WO2019131945A1 - 食品検査装置、食品検査方法及び食品検査装置の食品再構成ニューラルネットワークの学習方法 - Google Patents

食品検査装置、食品検査方法及び食品検査装置の食品再構成ニューラルネットワークの学習方法 Download PDF

Info

Publication number
WO2019131945A1
WO2019131945A1 PCT/JP2018/048323 JP2018048323W WO2019131945A1 WO 2019131945 A1 WO2019131945 A1 WO 2019131945A1 JP 2018048323 W JP2018048323 W JP 2018048323W WO 2019131945 A1 WO2019131945 A1 WO 2019131945A1
Authority
WO
WIPO (PCT)
Prior art keywords
food
image
neural network
learning
reconstruction
Prior art date
Application number
PCT/JP2018/048323
Other languages
English (en)
French (fr)
Inventor
幸太郎 降旗
武 荻野
祐介 水谷
田村　崇
満久 太田
義充 今津
ティネオ アレハンドロ ハビエル ゴンザレス
勇太 吉田
洋平 菅原
Original Assignee
キューピー株式会社
株式会社ブレインパッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キューピー株式会社, 株式会社ブレインパッド filed Critical キューピー株式会社
Publication of WO2019131945A1 publication Critical patent/WO2019131945A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a food inspection apparatus, a food inspection method, and a learning method of a food reconstruction neural network of the food inspection apparatus.
  • Patent Document 1 proposes various techniques such as metal detection and X-ray inspection for a food inspection apparatus for detecting foreign matter mixed in an inspection object such as food.
  • Patent Document 1 one that detects a foreign object by performing image processing on a captured image.
  • Patent Document 1 spectral images of rotten samples and healthy samples of decaying substances such as food are acquired, and principal component analysis is performed using differences in absorption spectra of each sample. And a regression analysis etc. to make a calibration equation to determine whether it is rot or not, and apply the spectral image of an unknown sample of the same substance to the calibration to determine whether the unknown sample is rot or not It is described.
  • the present invention has been made in consideration of such circumstances, and an object thereof is a food inspection apparatus and a food inspection method capable of improving the robustness of a food inspection for confirming that there is no mixture of foreign substances. And providing a learning method of a food reconstruction neural network of the food inspection apparatus.
  • the present invention is grasped by the following composition.
  • a light irradiator that irradiates light to the inspection object with an inspection object that is a food that confirms that there is no foreign matter mixed, an imaging unit that picks up an image of the inspection object, and identification
  • the identification processing device includes a food reconstruction neural network in which only good items of food have been learned in advance, and using the food reconstruction neural network from an image obtained by the imaging unit Recomposing a food assumption image, calculating a difference between the image obtained by the imaging means and the food assumption image, and identifying an inspection object whose difference exceeds a preset threshold value as a foreign matter It is.
  • the present invention is characterized in that, in the configuration of the above (1), a convolutional neural network of reconstruction using a self-coder is used as the food reconstruction neural network.
  • the present invention is characterized in that in the configuration of the above (1), color reconstruction using only luminance is used as the food reconstruction neural network.
  • the present invention is a food inspection method for confirming that the food of the object to be inspected is not contaminated with foreign matter, by the food inspection device having any one of the configurations (1) to (3).
  • the present invention is a learning method of a food reconstruction neural network of a food inspection apparatus according to the above (1), wherein the imaging means of the food inspection apparatus confirms that no foreign matter is mixed.
  • a food hypothesis image generated by a convolutional neural network from a non-defective image in which a good item of the food is captured and a foreign object is not captured based on an original image obtained by imaging by the imaging unit of the food inspection apparatus The learning is performed so that the difference with the obtained image is minimized.
  • the present invention is a learning method according to the above (5), characterized in that the non-defective image is obtained by imaging only non-defective items of the food by the imaging means of the food inspection apparatus. It is.
  • the present invention is a learning method according to the above (5), characterized in that the non-defective image is obtained by performing a process of removing an image of a foreign object from the original image.
  • a food inspection apparatus a food inspection method, and a learning method of a food reconstruction neural network of the food inspection apparatus capable of improving the robustness of a food inspection for confirming that foreign matter is not mixed. be able to.
  • FIG. 7 is an explanatory view of an average luminance calculating step (S120) according to the first embodiment.
  • FIG. 7 is an explanatory diagram of a preprocessing step (S210) according to the first embodiment.
  • FIG. 6 is an explanatory diagram of a learning step (S220) of a model according to the first embodiment.
  • FIG. 14 is an explanatory diagram of a preprocessing step (S210) according to a second embodiment.
  • FIG. 14 is an explanatory diagram of a learning step (S220) of a model according to a second embodiment. It is explanatory drawing of each step (S310, S320, S330) of the detection step (S300) which concerns on Example 2.
  • FIG. 14 is an explanatory diagram of a preprocessing step (S210) according to a second embodiment.
  • FIG. 14 is an explanatory diagram of a learning step (S220) of a model according to a second embodiment.
  • FIG. 1 is a schematic view showing a food inspection apparatus according to an embodiment of the present invention.
  • the food inspection apparatus 1 shown in FIG. 1 includes a transport unit 2, a light irradiation unit 3, an imaging unit 4, and an identification processing unit 6.
  • the transport means 2 transports the inspection object A from the upstream process to the downstream process through the inspection process at the inspection site C, and is composed of a belt conveyor or the like.
  • the transport means 2 transports the inspection object A at a transport speed of about 2 m / min to about 20 m / min.
  • the inspection object A includes the non-defective item S of the food B and the foreign matter F.
  • the light irradiating means 3 irradiates light to the inspection object A present in the inspection place C.
  • the light irradiating means 3 may include the light compensator 32. Further, the light irradiation means 3 may include a deflection filter 33 attached to the inspection place C side.
  • the image pickup means 4 picks up an image of the inspection object A being transported at the inspection place C, and is constituted by a CCD camera, a hyperspectral camera or the like. Moreover, the imaging means 4 may be attached to the inspection place C side, and may include a deflection filter 41 having a phase different from the phase of the deflection filter 33.
  • the identification processing device 6 is for identifying the foreign matter F of the food B in the inspection object A.
  • the identification processing device 6 identifies the foreign matter F of the food B in the inspection object A from the image D1 captured by the imaging unit 4.
  • the identification processing device 6 identifies the foreign matter F in-line from the inspection object A being transported by the transport means 2 based on the image D1.
  • the identification processing device 6 learns in advance the process of identifying the foreign object F from the inspection object A by deep learning.
  • FIG. 2 is a schematic view showing the identification state of the inspection object.
  • foreign objects F1 and F2 are identified in-line from the inspection object A being transported by the transport means 2.
  • the foreign substance F2 is mixed with the portion of the good product S in the food B.
  • Example 1 Example 1 of the identification processing apparatus 6 according to the present embodiment will be described with reference to FIGS. 3 to 12.
  • 3 to 12 are diagrams showing the identification processing method of the first example of the identification processing apparatus 6 according to the present embodiment.
  • the present identification processing method comprises a model learning stage and a detection stage.
  • the model learning stage is a stage of performing learning of a neural network used in the detection stage.
  • learning of a neural network is performed to perform color reconstruction using only luminance.
  • the detection step is a step of identifying the foreign matter F of the food B in the inspection object A being transported by the transport means 2 using the neural network learned in the model learning stage.
  • FIG. 3 is a flowchart showing the procedure of the process of the model learning stage of the identification processing method of the first embodiment of the identification processing apparatus according to the present embodiment. As shown in FIG. 3, in the model learning stage, first, a data preparation stage (S100) is performed, and then a learning stage (S200) is performed.
  • S100 data preparation stage
  • S200 learning stage
  • the data preparation step (S100) will be described.
  • the data preparation step (S100) includes a learning data preparation step (S110) and an average luminance calculation step (S120).
  • each step (S110, S120) of the data preparation step (S100) will be described with reference to FIGS. 4 and 5, respectively.
  • FIG. 4 is an explanatory diagram of a preparation step (S110) of learning data.
  • the preparation step (S110) of learning data data used in the learning step (S200) according to the first embodiment is prepared.
  • a plurality of (Nall sheets) learning images (RGB images) are prepared.
  • the learning image (RGB image) is an image in which the non-defective item S of the food B is shown and the foreign matter F is not shown.
  • the size of the learning image (RGB image) is “P1 ⁇ P2” pixels (px).
  • the learning image (RGB image) may be an image in which only the non-defective item S of the food B is captured by the imaging unit 4.
  • the image D1 of the non-defective item S captured by the imaging unit 4 is a learning image (RGB image) of a plurality of sheets (Nall sheets).
  • the learning image (RGB image) may be the image D1 after the processing of removing the image of the foreign material F from the image D1 of the non-defective item S of the food B and the foreign material F captured by the imaging unit 4 Good.
  • the image D1 after the process of removing the image of the foreign material F from the image D1 captured by the imaging unit 4 becomes a plurality of (Nall) learning images (RGB images).
  • the process of removing the image of the foreign matter F may be a process of removing the image itself in which the foreign matter F appears, or the process of erasing the image area of the foreign matter F from the image in which the foreign matter F appears (for example, in white It may be a process of filling, etc.).
  • a data preparation step is performed using Nall learning images (RGB images).
  • Nall learning images RGB images
  • Nall X% learning images RGB images
  • Nall (100-X)% learning images RGB images
  • the N% number of X% learning images are learning images (RGB images) of the learning set (Train set).
  • the learning image (RGB image) of Nall sheets of (100 ⁇ X)% of the number is a learning image (RGB image) of the validation set.
  • a training set (Train set) is used to train a neural network.
  • Validation sets are used to verify the quality of learning of neural networks.
  • each learning image is decomposed into sub images (RGB images) of “P3 ⁇ P3” pixels (px). (S112, where “P1> P3, P2> P3”). Further, there is no overlap between a plurality of sub images (RGB images) decomposed from one learning image (RGB image). Note that step S112 (decomposition processing into sub images) may not be performed. When step S112 (decomposition processing into sub images) is not performed, the learning image (RGB image) of the learning set (Train set) and the learning image (RGB image) of the validation set (Validation set) are as they are in the subsequent processing. used.
  • step S112 decomposition process to sub image
  • FIG. 5 is an explanatory view of the calculation step (S120) of the average luminance according to the first embodiment.
  • the identification processing device 6 performs the calculation step (S120) of the average luminance on a calculation target of N train sub images (RGB images) of the learning set (Train set).
  • the identification processing device 6 extracts a luminance channel (luminance ch) from each of the N train sub images (RGB images) of the learning set (Train set) (S121).
  • the identification processing device 6 calculates the average luminance (Lavg) using the luminance channels (luminance ch) of the extracted Ntrain sub images (S122).
  • the calculation formula of this average luminance (Lavg) is represented by following Formula (1).
  • the average luminance (Lavg) calculated by the identification processing device 6 is used to normalize input data used in learning of the neural network in the learning step (S200).
  • the learning stage (S200) will be described.
  • the learning stage (S200) comprises a pre-processing stage (S210) and a model learning stage (S220).
  • S210 pre-processing stage
  • S220 model learning stage
  • each step (S210, S220) of the learning step (S200) will be described with reference to FIGS. 6 and 7, respectively.
  • FIG. 6 is an explanatory diagram of the preprocessing step (S210) according to the first embodiment.
  • a learning input image RGB image, “Pin1 ⁇ Pin2” pixel
  • step S112 decomposition processing to a sub image
  • step S112 decomposition processing into sub images
  • the pre-processing stage (S210) for the learning set (Train set) and the validation set (Validation set), for each learning input image (RGB image), “input (x) and correct color (y)” Generate a pair.
  • the identification processing device 6 performs color space conversion processing to convert the learning input image (RGB image, “Pin1 ⁇ Pin2” pixel) from RGB space to Lab space, and the L value (luminance) of L channel (Lch) And the a and b values (colors) of the ab channel (abch) (S211).
  • the identification processing device 6 normalizes the L value (brightness) of Lch (S212).
  • the calculation formula of this normalization is represented by following Formula (2).
  • the average luminance (Lavg) is a value calculated in the above-described calculation of the average luminance (S120). Equation (2) is an example of a method of normalization.
  • Xi, j is a value resulting from normalization of the L value (brightness) of the “i, j” -th pixel.
  • the L value (brightness) is normalized using the average brightness (Lavg) in step S212 described above, the L value (brightness) may be normalized instead of the normalization. Normalization of the L value (brightness) may be performed by setting the average brightness (Lavg) to 0 in the above equation (2) (that is, the numerator of the above equation (2) is set to the L value “Li, j”) . However, normalizing the L value (brightness) rather than normalization can improve the learning efficiency in the learning step of step S200 described later.
  • the identification processing device 6 categorizes the a values and b values (colors) of abch and normalizes them (S213).
  • the value of the abch categorization result is the correct color (y).
  • FIG. 10 is a graph showing an example of categorization (RGB color gamut) of ab space.
  • FIG. 11 is an explanatory view showing an example of categorization and normalization of ab values of pixels.
  • Vector (y) is a representation of categorization and normalization of pixel values (p).
  • the number of categories is Q (that is, k is an integer from 1 to Q in equation (3))
  • pixel values p: a
  • FIG. 7 is an explanatory diagram of a learning step (S220) of the model according to the first embodiment.
  • a pair of “input (x) and correct color (y)” in the learning set (Train set) and “input (x) and correct color (y) in the validation set (Validation set) The learning of the neural network “model Net (f ( ⁇ ))” is performed using “pairs”.
  • FIG. 12 is a conceptual diagram showing an example of the structure of the neural network “model Net (f ( ⁇ ))” according to the first embodiment.
  • the neural network “model Net (f ( ⁇ ))” shown in FIG. 12 is a convolutional neural network composed of, for example, eight layers.
  • the first layer is an input layer.
  • the second to fourth layers are convolutional layers.
  • the fifth to seventh layers are deconvoluted layers, and the eighth layer is an output layer.
  • the output size of the second layer is “P4 ⁇ P4 ⁇ 16”.
  • the output size of the third, fourth and fifth layers is “P5 ⁇ P5 ⁇ 16”.
  • the output size of the sixth layer is “P4 ⁇ P4 ⁇ 16”.
  • the output size of the seventh layer is “Pin1 ⁇ Pin2 ⁇ 16”.
  • the output size of the eighth layer is “Pin1 ⁇ Pin2 ⁇ nb”.
  • the magnitude relationship of Pin1, Pin2, P3, P4, and P5 is “Pin1 or Pin2 ⁇ Pin2 or Pin1> P4> P5”.
  • the model learning step (S220) will be described below with reference to FIG.
  • the identification processing device 6 uses a pair of “input (x) and correct color (y)” of the training set (Train set) to minimize the loss of “categorical cross-entropy” “neural network“ model Net ( The parameter ( ⁇ ) of f ( ⁇ )) is learned (S221, S222).
  • the input (x) is input to the neural network "model Net (f (.theta.))"
  • the equation for calculating loss (E (y, y ⁇ ) of “Categorical Cross-entropy” is expressed by the following equation (4), where Q is the number of categories in categorization of abch in step S 213 described above.
  • Yi, j, k” of color (y) is the value of the kth category of the “i, j” -th pixel (that is, yk according to equation (3)) “y” of the predicted color (y ⁇ ) ⁇ I, j, k “is the value of the k-th category of the" i, j "-th output value of the neural network” model Net (f ( ⁇ )) ".
  • Error back-propagation method and probabilistic as a method to learn parameters ( ⁇ ) of neural network “model Net (f ( ⁇ ))” which minimizes loss (E (y, y ⁇ ) of “Categorical Cross-entropy” Use Stochastic Gradient Descent (SGD).
  • the identification processing device 6 repeatedly learns the parameter ( ⁇ ) of the neural network “model Net (f ( ⁇ ))” by a certain number of iterations (epochs).
  • the identification processing device 6 uses the pair of “input (x) and correct color (y)” of the validation set (Validation set) to repeat the parameter ( ⁇ ) for each repetition of learning of the parameter ( ⁇ ). Verify.
  • the above-described steps S221 and S222 are performed using a pair of “input (x) and correct color (y)” of the validation set (Validation set) to “Categorical Cross-entropy”.
  • model Net (f ( ⁇ )) in which only the non-defective item S of the food B is learned is generated.
  • FIG. 8 is a flowchart showing the procedure of the detection step of the identification processing method of the first example of the identification processing apparatus according to this embodiment.
  • the detection step (S300) first, the pre-processing step (S310) is performed, then the prediction step (S320) is performed, and then the post-processing step (S330) is performed.
  • FIG. 9 is an explanatory view of each step (S310, S320, S330) of the detection step (S300) according to the first embodiment.
  • each step (S310, S320, S330) of the detection step (S300) will be described with reference to FIG.
  • the input image is an RGB image of the image D1 in which the inspection object A being transported is imaged by the imaging unit 4.
  • the size of the input image is “P1 ⁇ P2” pixels.
  • a pair of "input (x) and correct color (y)” is generated from the input image (RGB image).
  • the identification processing device 6 performs color space conversion processing for converting an RGB image to an Lab space on an input image (RGB image), and generates L values (brightness) of Lch and a values and b values of abch (color And are generated (S311).
  • the identification processing device 6 normalizes the L value (brightness) of Lch (S312).
  • the equation for this normalization is represented by the above equation (2).
  • the average luminance (Lavg) is a value calculated in the above-described calculation of the average luminance (S120).
  • the value resulting from Lch normalization is input (x).
  • the identification processing device 6 categorizes the a values and b values (colors) of abch and normalizes them (S313).
  • the method of categorization and normalization is the same as step S213 described above.
  • the value of the abch categorization result is the correct color (y).
  • the equation for calculating this heat map (h) is expressed by the following equation (5).
  • N k is the number of categories (Q).
  • "Hi, j" is the heat map value of the "i, j" th pixel.
  • Detection stage post-processing stage (S330)
  • the heat map (h) of the input image RGB image
  • the detection position (i, j) of the foreign matter F is obtained.
  • the identification processing device 6 sets the pixel (i, j) whose heat map value “hi, j” exceeds the predetermined threshold value Th1 as a defect “1”, and sets the other pixels as good. As a result, the heat map (h) is binarized (S331). Next, the identification processing device 6 calculates the distance between pixels of defect “1”, and classifies pixels of defect “1” whose distances are equal to or less than a predetermined threshold value Th2 into the same cluster (S332). Next, the identification processing device 6 calculates the center of gravity of each cluster, and outputs the pixel (i, j) of the center of gravity as the detected position (i, j) of the foreign matter F (S333).
  • the detection position (i, j) at which the foreign matter F of the food B in the inspection object A being transported is identified by the transport means 2 is output.
  • the lowest illuminance among the four corners of the angle of view of the imaging target location imaged by the imaging unit 4 Is preferably 80% or more, and more preferably 90% or more of the illuminance at the center of the angle of view.
  • a color reconstruction convolutional neural network using L values since the L value input to the neural network is greatly affected, it is possible to perform reproducible learning by stabilizing the illuminance.
  • features are extracted by obtaining a plurality of feature maps through a neural network by convolution processing using a convolutional layer.
  • the number of pixels of the original image size is reproduced through a neural network by deconvolution processing by a deconvolution layer.
  • a more conceptual feature extraction becomes possible by repeating these multiple times in the nested form (second, third,..., N-th layer).
  • the sub image (RGB image) is obtained by cutting out with an image size less than about 10 times the average pixel length of the food B captured in the learning image.
  • the average pixel length of food B the maximum number of pixels in either vertical or horizontal direction when food B to be an object is imaged is measured, and when a predetermined plurality (10 as an example here) is imaged Is the average value of In learning of color reconstruction using this luminance, first, the L value (input (x)) of the learning image or sub-image is input, and the color reconstructed reconstruction category obtained from the n-th deconvoluted layer You can get a karmic expression.
  • the L values of the input image are input to the first convolution layer and the categorical representation obtained from the nth layer (The difference between the food assumption image) and the categorical expression obtained from the input image is obtained, and pixels exceeding a predetermined threshold value with respect to the difference are detected as “non-defective object (that is, foreign matter)”.
  • Example 2 of the identification processing device 6 according to the present embodiment will be described with reference to FIGS. 13 to 15.
  • 13 to 15 are diagrams showing an identification processing method of Example 2 of the identification processing apparatus 6 according to the present embodiment.
  • the present identification processing method includes the model learning stage and the detection stage, as in the first embodiment described above.
  • the model learning stage is a stage of performing learning of a neural network used in the detection stage.
  • the second embodiment uses a convolutional neural network for reconstruction using a self-coder.
  • the detection step is a step of identifying the foreign matter F of the food B in the inspection object A being transported by the transport means 2 using the neural network learned in the model learning stage.
  • Model learning stage The model learning stage according to the second embodiment will be described with reference to FIGS. 13 and 14.
  • the data preparation step (S100) is performed first, and then the learning step (S200) is performed, as in the procedure shown in FIG. 3 of the first embodiment described above.
  • the calculation step (S120) of the average luminance is not performed in the data preparation step (S100).
  • the data preparation step (S100) according to the second embodiment includes a preparation step (S110) of learning data.
  • the preparation step (S110) of learning data according to the second embodiment is the same as the first embodiment (FIG. 4) described above, and thus the description thereof is omitted.
  • step S112 decomposition processing into sub-images
  • the learning step (S200) according to the second embodiment will be described.
  • the learning stage (S200) according to the second embodiment includes a pre-processing stage (S210) and a model learning stage (S220).
  • S210 pre-processing stage
  • S220 model learning stage
  • each step (S210, S220) of the learning step (S200) according to the second embodiment will be described with reference to FIGS. 13 and 14, respectively.
  • FIG. 13 is an explanatory diagram of the preprocessing step (S210) according to the second embodiment.
  • a learning input image RGB image, “Pin1 ⁇ Pin2” pixel
  • the pre-processing step (S210) according to the second embodiment for the learning set (Train set) and the validation set (Validation set), from the respective learning input image (RGB image) (Y) "pair is generated.
  • the identification processing device 6 standardizes each channel (ch) of RGB with respect to the learning input image (RGB image, “Pin1 ⁇ Pin2” pixel) (S2110).
  • the equation for this normalization is expressed by the following equation (6). Equation (6) is an example of a method of standardization.
  • “Xi, j, k” is a value resulting from the normalization of channel k of the “i, j” -th pixel.
  • normalization of each channel of RGB is performed, but normalization of each channel of RGB may be performed using an average value of each channel of RGB.
  • the method of normalization of each channel of RGB is the same as the method of normalization of the L value (brightness) according to the first embodiment described above.
  • FIG. 14 is an explanatory diagram of a learning step (S220) of a model according to the second embodiment.
  • a pair of “input (x) and correct image (y)” of the learning set (Train set) and “input (x) of the validation set (Validation set)” The neural network “CAE (f ( ⁇ ))” is learned using the pair of correct image (y) ”.
  • the structure of the neural network “CAE (f ( ⁇ ))” according to the second embodiment is the same as the structure of the neural network "model Net (f ( ⁇ ))" of FIG. 12 according to the first embodiment described above.
  • the identification processing device 6 uses a pair of “input (x) and correct image (y)” of the training set (Train set) to minimize the loss of “Binary Cross-entropy” neural network “CAE (f (f)”
  • the parameter ( ⁇ ) of “( ⁇ ))” is learned (S2210, S2220).
  • the formula for calculating loss (E (y, y ⁇ ) of Binary Cross-entropy is expressed by the following equation (7): “yi, j, k” of the correct image (y) is “i, j” It is a value of channel k (RGB each ch) of the th pixel.
  • the identification processing device 6 repeats learning of the parameter ( ⁇ ) of the neural network “CAE (f ( ⁇ ))” by a fixed number of iterations (epochs).
  • the identification processing device 6 uses the pair of “input (x) and correct image (y)” of the validation set (Validation set) to repeat the parameter ( ⁇ ) for each repetition of learning of the parameter ( ⁇ ). Verify.
  • the above-described steps S2210 and S2220 are performed using the pair of “input (x) and correct image (y)” of the validation set (Validation set), and “Binary Cross-entropy” Calculate the loss (E (y, y ⁇ ) of the most recent parameter ( ⁇ ) when this loss (E (y, y ⁇ ) falls) as the best parameter.
  • ( ⁇ ) is a parameter ( ⁇ ) applied to the neural network “CAE (f ( ⁇ ))” used in the detection stage.
  • FIG. 15 is an explanatory diagram of each step (S310, S320, S330) of the detection step (S300) according to the second embodiment.
  • each step (S310, S320, S330) of the detection step (S300) according to the second embodiment will be described with reference to FIG.
  • the input image is an RGB image of the image D1 in which the inspection object A being transported is imaged by the imaging unit 4.
  • the size of the input image is “P1 ⁇ P2” pixels.
  • a pair of "input (x) and correct image (y)” is generated from the input image (RGB image).
  • the identification processing device 6 standardizes each channel (ch) of RGB with respect to the input image (RGB image) (S3110).
  • the calculation formula of this normalization is represented by the above-mentioned formula (6).
  • “Xi, j, k” is a value resulting from the normalization of channel k of the “i, j” -th pixel.
  • Detection stage Prediction stage (S320)
  • the prediction step (S320) using the neural network “CAE (f ( ⁇ ))” in which only good products S of the food B were learned in the model learning step according to the second embodiment described above, the input image (RGB image) A heat map (h) is generated from the pair of “input (x) and correct image (y)”.
  • the equation for calculating this heat map (h) is expressed by the following equation (8). "Hi, j" is the heat map value of the "i, j" th pixel.
  • Detection stage post-processing stage (S330)
  • the heat map (h) of the input image RGB image
  • the post-processing step (S330) according to the second embodiment is the same as the above-described first embodiment (the post-processing step (S330) in FIG. 9), and thus the description thereof is omitted.
  • the detection position (i, j) at which the foreign matter F of the food B in the inspection object A being transported is identified by the transport means 2 is output.
  • the neural network “CAE (f ( ⁇ ))” is a convolutional neural network for reconstruction using a self-coder, and is an example of a food reconstruction neural network.
  • a learning image or sub-image (input (x)) is to obtain a plurality of feature maps through a neural network by convolution processing using a convolution layer.
  • the feature is extracted in the next step and then reconstructed via a neural network by deconvolution processing by a deconvoluted layer.
  • more conceptual feature extraction becomes possible by repeating the convolution process and the deconvolution process multiple times in a nested manner.
  • the learning of the convolutional neural network for reconstruction using this self-coder is such that the output from the final deconvolution layer matches the original input learning image or sub-image (correct image (y)) as much as possible. That is, learning is performed so that the loss function representing the difference is as low as possible.
  • a loss function such as BCE (Binary Cross-entropy) can be used as the loss function.
  • the conveyance means 2 may not be.
  • the inspection object A may be imaged and inspected while being dropped.
  • the inspection object A may be configured to be imaged and inspected while being rotationally dropped. By imaging and inspecting the inspection object A while rotating and dropping it, it is possible to image and inspect a plurality of directions and all directions of the inspection object A.
  • the food inspection apparatus 1 uses the food B for confirming that there is no mixture of foreign substances F as the inspection object A, the light irradiation means 3 for irradiating light to the inspection object A, and the image of the inspection object A
  • the identification processing device 6 is provided with a food reconstruction neural network in which only the non-defective item S of the food B is learned in advance, and the image obtained by the imaging means 4 is provided. From the food reconstruction neural network, the food hypothesis image is reconstructed, and the difference between the image obtained by the imaging unit 4 and the food hypothesis image is calculated, and the difference is set in advance as a threshold value.
  • the inspection object A exceeding the above is identified as a foreign matter.
  • the food hypothesis image is “an image that predicts the case where all the food B picked up were all good items S”, and the food hypothesis image and the image obtained by the imaging unit 4 It becomes possible to identify the inspection object A, whose difference exceeds a predetermined threshold value, as a foreign matter. As a result, there is no need to learn foreign matter, so it is possible to cope with any foreign matter, and to improve the robustness of the food inspection to confirm that there is no mixture of foreign matter, that is, to improve versatility in abnormality determination. it can.
  • the identification processing device 6 of the embodiment may be realized by dedicated hardware, or may be configured by a computer system such as a personal computer to realize the function of the identification processing device 6 of the embodiment.
  • the function may be realized by executing the program of
  • an input device, a display device or the like may be connected to the identification processing device 6 as a peripheral device.
  • the input device refers to an input device such as a keyboard and a mouse.
  • the display device refers to a CRT (Cathode Ray Tube), a liquid crystal display device, or the like.
  • the peripheral device may be directly connected to the identification processing device 6, or may be connected via a communication line.

Abstract

検査対象物に光を照射する光照射手段と、検査対象物Ａの映像を撮像する撮像手段と、識別処理装置と、を備え、識別処理装置は、予め食品の良品のみを学習した食品再構成ニューラルネットワークを備えており、撮像手段によって得られた画像から、食品再構成ニューラルネットワークを用いて、食品仮定画像を再構成し、撮像手段によって得られた画像と食品仮定画像との差分を算出し、差分が予め設定していた閾値を超える検査対象物を異物として識別する。

Description

食品検査装置、食品検査方法及び食品検査装置の食品再構成ニューラルネットワークの学習方法
　本発明は、食品検査装置、食品検査方法及び食品検査装置の食品再構成ニューラルネットワークの学習方法に関する。
　従来、食品などの検査対象物に混在する異物を検出する食品検査装置に関し、金属検知やＸ線検査など各種の技術が提案されている。近年は、撮影画像を画像処理して、異物を検出するものも提案されている（特許文献１）。
　特許文献１（請求項１参照）には、食物等の腐敗する物質の腐敗部サンプルと健全部サンプルについてそれぞれの分光画像を取得し、各サンプルについての吸光スペクトルの違いを利用して主成分分析や回帰分析等の統計的手法により腐敗部か否かを判定する検量式を作成し、該検量式に同種物質の未知サンプルの分光画像を当てはめて該未知サンプルが腐敗部か否かを判断することが記載されている。
　しかしながら、特許文献１の判定方法では、腐敗部サンプルとは異なる異物に対して異物の検出精度が落ちる可能性があった。そのため、一定の検出精度を維持するには、想定されるすべての異物に対して機械学習することが必要であるが、時間や労力、コンピュータの処理能力などの制約により実施が難しい場合があった。
特開２００５－２０１６３６号公報
　本発明は、このような事情を考慮してなされたものであり、その目的は、異物の混在がないことを確認する食品検査のロバスト性の向上を図ることができる食品検査装置、食品検査方法及び食品検査装置の食品再構成ニューラルネットワークの学習方法を提供することにある。
　このような目的を達成するため、本発明は、以下の構成によって把握される。
（１）本発明は、異物の混在がないことを確認する食品を検査対象物として前記検査対象物に光を照射する光照射手段と、前記検査対象物の映像を撮像する撮像手段と、識別処理装置と、を備え、前記識別処理装置は、予め食品の良品のみを学習した食品再構成ニューラルネットワークを備えており、前記撮像手段によって得られた画像から、前記食品再構成ニューラルネットワークを用いて、食品仮定画像を再構成し、前記撮像手段によって得られた前記画像と前記食品仮定画像との差分を算出し、前記差分が予め設定していた閾値を超える検査対象物を異物として識別するものである。
（２）本発明は、上記（１）の構成において、前記食品再構成ニューラルネットワークとして自己符号化器を用いた再構成の畳み込みニューラルネットワークを用いることを特徴とするものである。
（３）本発明は、上記（１）の構成において、前記食品再構成ニューラルネットワークとして輝度のみを用いた色再構成を用いることを特徴とするものである。
（４）本発明は、上記（１）から（３）までのいずれか１つの構成の食品検査装置によって、検査対象物の食品に異物の混在がないことを確認する食品検査方法である。
（５）本発明は、上記（１）の構成の食品検査装置の食品再構成ニューラルネットワークの学習方法であって、前記食品検査装置の撮像手段によって、異物の混在がないことを確認する食品を撮像し、前記食品検査装置の撮像手段によって得られた元画像に基づく前記食品の良品が写っている且つ異物が写っていない良品画像から畳み込みニューラルネットワークが生成する食品仮定画像と、前記撮像手段によって得られた前記画像との差分が最小化されるように学習を行うものである。
（６）本発明は、上記（５）の構成の学習方法であって、前記食品検査装置の撮像手段によって前記食品の良品のみを撮像することにより、前記良品画像を得ることを特徴とするものである。
（７）本発明は、上記（５）の構成の学習方法であって、前記元画像から異物の画像を取り除く処理を行うことにより、前記良品画像を得ることを特徴とするものである。
　本発明によれば、異物の混在がないことを確認する食品検査のロバスト性の向上を図ることができる食品検査装置、食品検査方法及び食品検査装置の食品再構成ニューラルネットワークの学習方法を提供することができる。
本発明の実施形態に係る食品検査装置を示す概略図である。 検査対象物の識別状態を示す概略図である。 本発明の実施形態に係る識別処理装置の実施例１の識別処理方法のモデル学習段階の処理の手順を示すフロー図である。 実施例１に係る学習データの準備段階（Ｓ１１０）の説明図である。 実施例１に係る平均輝度の計算段階（Ｓ１２０）の説明図である。 実施例１に係る前処理段階（Ｓ２１０）の説明図である。 実施例１に係るモデルの学習段階（Ｓ２２０）の説明図である。 本発明の実施形態に係る識別処理装置の実施例１の識別処理方法の検知段階の処理の手順を示すフロー図である。 実施例１に係る検知段階（Ｓ３００）の各段階（Ｓ３１０，Ｓ３２０，Ｓ３３０）の説明図である。 ａｂ空間のカテゴリカル化（ＲＧＢ色域）の例を示すグラフである。 ピクセルのａｂ値のカテゴリカル化の表現例を示す説明図である。 実施例１に係るニューラルネットワーク「モデルＮｅｔ（ｆ（θ））」の構造の例を示す概念図である。 実施例２に係る前処理段階（Ｓ２１０）の説明図である。 実施例２に係るモデルの学習段階（Ｓ２２０）の説明図である。 実施例２に係る検知段階（Ｓ３００）の各段階（Ｓ３１０，Ｓ３２０，Ｓ３３０）の説明図である。
　以下、添付図面を参照して、本発明を実施するための形態（以下、「実施形態」と称する）について詳細に説明する。実施形態の説明の全体を通して同じ要素には同じ符号を付している。
　まず、異物Ｆの混在がないことを確認したい食品Ｂ（検査対象物Ａ）から、異物Ｆをインラインで識別する食品検査装置１について、図１に基づいて説明する。図１は本発明の実施形態に係る食品検査装置を示す概略図である。図１に示される食品検査装置１は、搬送手段２と、光照射手段３と、撮像手段４と、識別処理装置６とを備える。
　搬送手段２は、検査対象物Ａを上流工程から検査場所Ｃでの検査工程を経て下流工程へ搬送するもので、ベルトコンベアなどから構成されている。搬送手段２は、２ｍ／分から２０ｍ／分程度の搬送速度で検査対象物Ａを搬送する。検査対象物Ａは、食品Ｂの良品Ｓと異物Ｆを含む。
　光照射手段３は、検査場所Ｃに在る検査対象物Ａに光を照射する。なお、光照射手段３は、補光器３２を含んでもよい。また、光照射手段３は、検査場所Ｃ側に取り付けられた偏向フィルタ３３を含んでもよい。
　撮像手段４は、検査場所Ｃに在る搬送中の検査対象物Ａを撮像するもので、ＣＣＤカメラや、ハイパースペクトルカメラなどで構成される。また、撮像手段４は、検査場所Ｃ側に取り付けられ、偏向フィルタ３３の位相とは異なる位相とした偏向フィルタ４１を含んでもよい。
　識別処理装置６は、検査対象物Ａ中の食品Ｂの異物Ｆを識別するものである。識別処理装置６は、撮像手段４により撮像された映像Ｄ１から検査対象物Ａ中の食品Ｂの異物Ｆを識別する。
　識別処理装置６は、映像Ｄ１に基づいて、搬送手段２によって搬送中の検査対象物Ａから異物Ｆをインラインで識別する。この識別処理装置６は、検査対象物Ａから異物Ｆを識別する処理を、あらかじめディープラーニングにより学習している。
　図２は、検査対象物の識別状態を示す概略図である。図２においては、搬送手段２によって搬送中の検査対象物Ａから異物Ｆ１，Ｆ２がインラインで識別されている。異物Ｆ２は、食品Ｂ中に良品Ｓの部分と混在するものである。
　次に本実施形態に係る識別処理装置６について、実施例１，２を挙げて説明する。
［実施例１］
　本実施形態に係る識別処理装置６の実施例１について、図３から図１２を参照して説明する。図３から図１２は、本実施形態に係る識別処理装置６の実施例１の識別処理方法を示す図である。本識別処理方法は、モデル学習段階と、検知段階と、から構成される。モデル学習段階は、検知段階で使用されるニューラルネットワークの学習を行う段階である。実施例１では、輝度のみを用いた色再構成を行うように、ニューラルネットワークの学習を行う。検知段階は、モデル学習段階で学習したニューラルネットワークを使用して、搬送手段２によって搬送中の検査対象物Ａ中の食品Ｂの異物Ｆを識別する段階である。
＜モデル学習段階＞
　図３から図７を参照して、実施例１に係るモデル学習段階を説明する。図３は、本実施形態に係る識別処理装置の実施例１の識別処理方法のモデル学習段階の処理の手順を示すフロー図である。図３に示されるように、モデル学習段階では、まずデータ準備段階（Ｓ１００）が行われ、次いで学習段階（Ｓ２００）が行われる。
（データ準備段階）
　データ準備段階（Ｓ１００）を説明する。データ準備段階（Ｓ１００）は、学習データの準備段階（Ｓ１１０）と、平均輝度の計算段階（Ｓ１２０）と、から構成される。以下、データ準備段階（Ｓ１００）の各段階（Ｓ１１０，Ｓ１２０）を、図４，図５をそれぞれ参照して説明する。
（データ準備段階：学習データの準備段階（Ｓ１１０））
　図４は、学習データの準備段階（Ｓ１１０）の説明図である。学習データの準備段階（Ｓ１１０）では、実施例１に係る学習段階（Ｓ２００）で使用されるデータを準備する。
この準備のために、まず、複数枚（Ｎａｌｌ枚）の学習用画像（ＲＧＢ画像）を用意する。学習用画像（ＲＧＢ画像）は、食品Ｂの良品Ｓが写っている且つ異物Ｆが写っていない画像である。学習用画像（ＲＧＢ画像）のサイズは、「Ｐ１×Ｐ２」ピクセル（ｐｘ）である。学習用画像（ＲＧＢ画像）は、撮像手段４によって食品Ｂの良品Ｓのみが撮像された画像であってもよい。この場合、撮像手段４により撮像された良品Ｓの映像Ｄ１が複数枚（Ｎａｌｌ枚）の学習用画像（ＲＧＢ画像）となる。又は、学習用画像（ＲＧＢ画像）は、撮像手段４によって撮像された食品Ｂの良品Ｓ及び異物Ｆの映像Ｄ１から、異物Ｆの画像を取り除く処理が行われた後の映像Ｄ１であってもよい。この場合、撮像手段４により撮像された映像Ｄ１から異物Ｆの画像を取り除く処理が行われた後の映像Ｄ１が複数枚（Ｎａｌｌ枚）の学習用画像（ＲＧＢ画像）となる。異物Ｆの画像を取り除く処理は、異物Ｆが写っている画像自体を取り除く処理であってもよく、又は、異物Ｆが写っている画像から当該異物Ｆの画像領域を消す処理（例えば、白色で塗りつぶす処理等）であってもよい。
　次に、Ｎａｌｌ枚の学習用画像（ＲＧＢ画像）を使用して、データ準備段階（Ｓ１００）を行う。まず、Ｎａｌｌ枚の学習用画像（ＲＧＢ画像）を、Ｎａｌｌ枚のＸ％の枚数の学習用画像（ＲＧＢ画像）と、Ｎａｌｌ枚の（１００－Ｘ）％の枚数の学習用画像（ＲＧＢ画像）と、に分ける（Ｓ１１１）。Ｎａｌｌ枚のＸ％の枚数の学習用画像（ＲＧＢ画像）は、学習セット（Train set）の学習用画像（ＲＧＢ画像）である。Ｎａｌｌ枚の（１００－Ｘ）％の枚数の学習用画像（ＲＧＢ画像）は、検証セット（Validation set）の学習用画像（ＲＧＢ画像）である。学習セット（Train set）は、ニューラルネットワークの学習に使用される。検証セット（Validation set）は、ニューラルネットワークの学習のクオリティを検証するために使用される。
　次いで、学習セット（Train set）と、検証セット（Validation set）とに対して、それぞれの学習用画像（ＲＧＢ画像）を、「Ｐ３×Ｐ３」ピクセル（ｐｘ）のサブ画像（ＲＧＢ画像）に分解する（Ｓ１１２、但し、「Ｐ１＞Ｐ３，Ｐ２＞Ｐ３」である）。また、１枚の学習用画像（ＲＧＢ画像）から分解された複数枚のサブ画像（ＲＧＢ画像）の間には、重なりがないようにする。
　なお、ステップＳ１１２（サブ画像への分解処理）は実行しなくてもよい。ステップＳ１１２（サブ画像への分解処理）を実行しない場合、学習セット（Train set）の学習用画像（ＲＧＢ画像）及び検証セット（Validation set）の学習用画像（ＲＧＢ画像）がそのまま以降の処理で使用される。但し、サブ画像に分解することにより、後述するステップＳ２００の学習段階における画素組み合わせを指数関数的に減らすことができるので、当該学習段階の学習時間の短縮が可能となる。
　以降の処理の説明では、ステップＳ１１２（サブ画像への分解処理）が実行されたとして説明を行う。
（データ準備段階：平均輝度の計算段階（Ｓ１２０））
　図５は、実施例１に係る平均輝度の計算段階（Ｓ１２０）の説明図である。識別処理装置６は、学習セット（Train set）のＮｔｒａｉｎ枚のサブ画像（ＲＧＢ画像）を計算対象にして、平均輝度の計算段階（Ｓ１２０）を行う。まず、識別処理装置６は、学習セット（Train set）のＮｔｒａｉｎ枚のサブ画像（ＲＧＢ画像）のそれぞれから輝度チャネル（輝度ｃｈ）を抽出する（Ｓ１２１）。次いで、識別処理装置６は、該抽出されたＮｔｒａｉｎ枚のサブ画像の輝度チャネル（輝度ｃｈ）を使用して、平均輝度（Ｌａｖｇ）を計算する（Ｓ１２２）。この平均輝度（Ｌａｖｇ）の計算式は、次式（１）で表される。
Figure JPOXMLDOC01-appb-M000001
　識別処理装置６によって計算された平均輝度（Ｌａｖｇ）は、学習段階（Ｓ２００）におけるニューラルネットワークの学習で使用される入力データを正規化するために使用される。
（学習段階）
　学習段階（Ｓ２００）を説明する。学習段階（Ｓ２００）は、前処理段階（Ｓ２１０）と、モデルの学習段階（Ｓ２２０）と、から構成される。以下、学習段階（Ｓ２００）の各段階（Ｓ２１０，Ｓ２２０）を、図６，図７をそれぞれ参照して説明する。
（学習段階：前処理段階（Ｓ２１０））
　図６は、実施例１に係る前処理段階（Ｓ２１０）の説明図である。前処理段階（Ｓ２１０）には、学習入力画像（ＲＧＢ画像、「Ｐｉｎ１×Ｐｉｎ２」ピクセル）が入力される。学習データの準備段階（Ｓ１１０）においてステップＳ１１２（サブ画像への分解処理）が実行された場合、学習入力画像はサブ画像（Ｐｉｎ１＝Ｐｉｎ２＝Ｐ３）である。一方、学習データの準備段階（Ｓ１１０）においてステップＳ１１２（サブ画像への分解処理）が実行されなかった場合には、学習入力画像は学習用画像（Ｐｉｎ１＝Ｐ１、Ｐｉｎ２＝Ｐ２）である。前処理段階（Ｓ２１０）では、学習セット（Train set）と、検証セット（Validation set）とに対して、それぞれの学習入力画像（ＲＧＢ画像）から「入力（ｘ）と正解色（ｙ）」のペアを生成する。
　識別処理装置６は、学習入力画像（ＲＧＢ画像、「Ｐｉｎ１×Ｐｉｎ２」ピクセル）に対して、ＲＧＢ空間からＬａｂ空間へ変換する色空間変換処理を行い、Ｌチャネル（Ｌｃｈ）のＬ値（輝度）と、ａｂチャネル（ａｂｃｈ）のａ値及びｂ値（色）とを生成する（Ｓ２１１）。
　次いで、識別処理装置６は、ＬｃｈのＬ値（輝度）を正規化する（Ｓ２１２）。この正規化の計算式は、次式（２）で表される。平均輝度（Ｌａｖｇ）は、上述した平均輝度の計算段階（Ｓ１２０）で計算された値である。なお、式（２）は正規化の方法の一例である。
Figure JPOXMLDOC01-appb-M000002
　Ｌｃｈの正規化の結果の値は入力（ｘ＝｛ｘｉ，ｊ｝）である。「ｘｉ，ｊ」は、「ｉ，ｊ」番目のピクセルのＬ値（輝度）の正規化の結果の値である。
　なお、上述したステップＳ２１２では、平均輝度（Ｌａｖｇ）を使用してＬ値（輝度）を正規化したが、正規化の代わりに、Ｌ値（輝度）を規格化してもよい。Ｌ値（輝度）の規格化は、上記の式（２）において平均輝度（Ｌａｖｇ）を０にすればよい（つまり、上記の式（２）の分子をＬ値「Ｌｉ，ｊ」にする）。但し、Ｌ値（輝度）を、規格化よりも正規化した方が、後述するステップＳ２００の学習段階における学習効率をよくすることができる。
　また、識別処理装置６は、ａｂｃｈのａ値及びｂ値（色）を、カテゴリカル化し、規格化する（Ｓ２１３）。ａｂｃｈのカテゴリカル化の結果の値は正解色（ｙ）である。
　ここで、図１０，図１１を参照して、ａｂｃｈのａ値及びｂ値（色）のカテゴリカル化と規格化の方法を説明する。図１０は、ａｂ空間のカテゴリカル化（ＲＧＢ色域）の例を示すグラフである。図１１は、ピクセルのａｂ値のカテゴリカル化と規格化の表現例を示す説明図である。
　まず、図１０に示されるように、予め、ａｂ空間を、任意のカテゴリ数（Ｑ）のカテゴリ基底（図１０中の丸印）に均等的に離散化する。次いで、カテゴリカル化する対象の画像の各ピクセルについて、ピクセル値（ｐ）に最も近い所定の複数個数（図１０の例では５個）のカテゴリ基底（ｖｋ）を判定する。次いで、該判定結果の各カテゴリ基底（ｖｋ）とピクセル値（ｐ）との間の距離を重みとしたベクタ（ｙ’）を求める。最後にクラス間の重みを規格化し、ベクタ（ｙ）を算出する。このベクタ（ｙ＝｛ｙｋ｝）の計算式は、次式（３）で表される（式（３）の例ではカテゴリ基底（ｖｋ）の個数は５個）。
Figure JPOXMLDOC01-appb-M000003
　ベクタ（ｙ）は、ピクセル値（ｐ）のカテゴリカル化と規格化の表現である。図１１に示されるカテゴリカル化と規格化の表現の一例では、カテゴリ数をＱ個として（つまり、式（３）において、ｋは１からＱまでの整数である）、ピクセル値（ｐ：ａ値「－３４」，ｂ値「６５」）のカテゴリカル化と規格化の表現「ベクタ（ｙ＝｛ｙｋ｝）」が示されている。
（学習段階：モデルの学習段階（Ｓ２２０））
　図７は、実施例１に係るモデルの学習段階（Ｓ２２０）の説明図である。モデルの学習段階（Ｓ２２０）では、学習セット（Train set）の「入力（ｘ）と正解色（ｙ）」のペアと、検証セット（Validation set）の「入力（ｘ）と正解色（ｙ）」のペアとを使用して、ニューラルネットワーク「モデルＮｅｔ（ｆ（θ））」の学習を行う。
　ここで、図１２を参照して、ニューラルネットワーク「モデルＮｅｔ（ｆ（θ））」の構造を説明する。図１２は、実施例１に係るニューラルネットワーク「モデルＮｅｔ（ｆ（θ））」の構造の例を示す概念図である。
　図１２に示されるニューラルネットワーク「モデルＮｅｔ（ｆ（θ））」は、例えば８個の層（Ｌａｙｅｒ）から構成される、畳み込みニューラルネットワークである。第１層は入力層である。第２層から第４層までは畳み込み層である。第５層から第７層までは逆畳み込み層であり、第８層は出力層である。入力画像は、サイズが「Ｐｉｎ１×Ｐｉｎ２」ピクセルであり、ｎａ個のチャネルから構成される。本実施例１では、入力画像はＬｃｈ（輝度チャネル）のみである（つまり、ｎａ＝１）。第２層の出力サイズは「Ｐ４×Ｐ４×１６」である。第３層、第４層及び第５層の出力サイズは「Ｐ５×Ｐ５×１６」である。第６層の出力サイズは「Ｐ４×Ｐ４×１６」である。第７層の出力サイズは「Ｐｉｎ１×Ｐｉｎ２×１６」である。第８層の出力サイズは、「Ｐｉｎ１×Ｐｉｎ２×ｎｂ」である。本実施例１では、ｎｂはａｂｃｈのカテゴリ数（Ｑ）である（つまり、ｎｂ＝Ｑ）。Ｐｉｎ１，Ｐｉｎ２，Ｐ３，Ｐ４，Ｐ５の大小関係は「Ｐｉｎ１又はＰｉｎ２≧Ｐｉｎ２又はＰｉｎ１＞Ｐ４＞Ｐ５」である。
　以下、図７を参照して、モデルの学習段階（Ｓ２２０）を説明する。
　識別処理装置６は、学習セット（Train set）の「入力（ｘ）と正解色（ｙ）」のペアを使用して、「Categorical Cross-entropy」のロスを最小化するニューラルネットワーク「モデルＮｅｔ（ｆ（θ））」のパラメータ（θ）を学習する（Ｓ２２１，Ｓ２２２）。ステップＳ２２１では、入力（ｘ）をニューラルネットワーク「モデルＮｅｔ（ｆ（θ））」に入力して、ニューラルネットワーク「モデルＮｅｔ（ｆ（θ））」の出力値を予測色（ｙ＾＝ｆθ（ｘ））とする。次いで、ステップＳ２２２では、予測色（ｙ＾＝ｆθ（ｘ））と正解色（ｙ）とを使用して、「Categorical Cross-entropy」のロス（Ｅ（ｙ，ｙ＾）を計算する。「Categorical Cross-entropy」のロス（Ｅ（ｙ，ｙ＾）の計算式は、次式（４）で表される。Ｑは、上述したステップＳ２１３のａｂｃｈのカテゴリカル化におけるカテゴリ数である。正解色（ｙ）の「ｙｉ，ｊ，ｋ」は、「ｉ，ｊ」番目のピクセルの第ｋカテゴリの値（つまり、式（３）によるｙｋ）である。予測色（ｙ＾）の「ｙ＾ｉ，ｊ，ｋ」は、ニューラルネットワーク「モデルＮｅｔ（ｆ（θ））」の「ｉ，ｊ」番目の出力値の第ｋカテゴリの値である。
Figure JPOXMLDOC01-appb-M000004
　「Categorical Cross-entropy」のロス（Ｅ（ｙ，ｙ＾）を最小化するニューラルネットワーク「モデルＮｅｔ（ｆ（θ））」のパラメータ（θ）を学習する方法として、誤差逆伝搬法と確率的勾配降下法（Stochastic Gradient Descent：ＳＧＤ）とを使用する。
　識別処理装置６は、ニューラルネットワーク「モデルＮｅｔ（ｆ（θ））」のパラメータ（θ）の学習を、一定の反復数（epochs）だけ繰り返して行う。識別処理装置６は、該パラメータ（θ）の学習の繰り返し毎に、検証セット（Validation set）の「入力（ｘ）と正解色（ｙ）」のペアを使用して、該パラメータ（θ）を検証する。このパラメータ（θ）の検証では、検証セット（Validation set）の「入力（ｘ）と正解色（ｙ）」のペアを使用して、上述したステップＳ２２１，Ｓ２２２を行い、「Categorical Cross-entropy」のロス（Ｅ（ｙ，ｙ＾）を計算する。このロス（Ｅ（ｙ，ｙ＾）が下がったときの最新のパラメータ（θ）をベストパラメータとして保存する。この保存されたベストパラメータのパラメータ（θ）は、検知段階で使用されるニューラルネットワーク「モデルＮｅｔ（ｆ（θ））」に適用されるパラメータ（θ）である。
　以上が実施例１に係るモデル学習段階の説明である。このモデル学習段階によって、食品Ｂの良品Ｓのみを学習したニューラルネットワーク「モデルＮｅｔ（ｆ（θ））」が生成される。
＜検知段階＞
　図８，図９を参照して、実施例１に係る検知段階を説明する。図８は、本実施形態に係る識別処理装置の実施例１の識別処理方法の検知段階の処理の手順を示すフロー図である。図８に示されるように、検知段階（Ｓ３００）では、まず前処理段階（Ｓ３１０）が行われ、次いで予測段階（Ｓ３２０）が行われ、次いで後処理段階（Ｓ３３０）が行われる。図９は、実施例１に係る検知段階（Ｓ３００）の各段階（Ｓ３１０，Ｓ３２０，Ｓ３３０）の説明図である。以下、検知段階（Ｓ３００）の各段階（Ｓ３１０，Ｓ３２０，Ｓ３３０）を、図９を参照して説明する。
（検知段階：前処理段階（Ｓ３１０））
　入力画像は、撮像手段４によって、搬送中の検査対象物Ａが撮像された映像Ｄ１のＲＧＢ画像である。入力画像（ＲＧＢ画像）のサイズは、「Ｐ１×Ｐ２」ピクセルである。前処理段階（Ｓ３１０）では、入力画像（ＲＧＢ画像）から「入力（ｘ）と正解色（ｙ）」のペアを生成する。
　識別処理装置６は、入力画像（ＲＧＢ画像）に対して、ＲＧＢ空間からＬａｂ空間へ変換する色空間変換処理を行い、Ｌｃｈ）のＬ値（輝度）と、ａｂｃｈのａ値及びｂ値（色）とを生成する（Ｓ３１１）。次いで、識別処理装置６は、ＬｃｈのＬ値（輝度）を正規化する（Ｓ３１２）。この正規化の計算式は、上述の式（２）で表される。平均輝度（Ｌａｖｇ）は、上述した平均輝度の計算段階（Ｓ１２０）で計算された値である。Ｌｃｈの正規化の結果の値は入力（ｘ）である。また、識別処理装置６は、ａｂｃｈのａ値及びｂ値（色）を、カテゴリカル化し、規格化する（Ｓ３１３）。このカテゴリカル化と規格化の方法は、上述したステップＳ２１３と同じである。ａｂｃｈのカテゴリカル化の結果の値は正解色（ｙ）である。
（検知段階：予測段階（Ｓ３２０））
　予測段階（Ｓ３２０）では、上述したモデル学習段階で食品Ｂの良品Ｓのみを学習したニューラルネットワーク「モデルＮｅｔ（ｆ（θ））」を使用して、入力画像（ＲＧＢ画像）の「入力（ｘ）と正解色（ｙ）」のペアからヒートマップ（ｈ）を生成する。
　まず、識別処理装置６は、入力（ｘ）をニューラルネットワーク「モデルＮｅｔ（ｆ（θ））」に入力して、ニューラルネットワーク「モデルＮｅｔ（ｆ（θ））」の出力値を予測色（ｙ＾＝ｆθ（ｘ））とする（Ｓ３２１）。次いで、識別処理装置６は、予測色（ｙ＾＝ｆθ（ｘ））と正解色（ｙ）との間の再構成誤差（ヒートマップ（ｈ））を、ピクセル毎に計算する（Ｓ３２２）。このヒートマップ（ｈ）の計算式は、次式（５）で表される。Ｎｋはカテゴリ数（Ｑ）である。「ｈｉ，ｊ」は、「ｉ，ｊ」番目のピクセルのヒートマップ値である。
Figure JPOXMLDOC01-appb-M000005
（検知段階：後処理段階（Ｓ３３０））
　後処理段階（Ｓ３３０）では、入力画像（ＲＧＢ画像）のヒートマップ（ｈ）を使用して、異物Ｆの検知位置（ｉ，ｊ）を求める。
　まず、識別処理装置６は、ヒートマップ（ｈ）において、ヒートマップ値「ｈｉ，ｊ」が所定の閾値Ｔｈ１を超えるピクセル（ｉ，ｊ）を不良「１」とし、その他のピクセルを良「０」として、ヒートマップ（ｈ）をバイナリ化する（Ｓ３３１）。次いで、識別処理装置６は、不良「１」のピクセル同士の間の距離を計算し、該距離が所定の閾値Ｔｈ２以下である不良「１」のピクセル同士を同じクラスターに分類する（Ｓ３３２）。次いで、識別処理装置６は、各クラスターの重心を計算し、該重心のピクセル（ｉ，ｊ）を異物Ｆの検知位置（ｉ，ｊ）として出力する（Ｓ３３３）。
　以上が実施例１に係る検知段階の説明である。この検知段階によって、搬送手段２によって搬送中の検査対象物Ａ中の食品Ｂの異物Ｆが識別された検知位置（ｉ，ｊ）が出力される。
　上述した実施例１において、ニューラルネットワーク「モデルＮｅｔ（ｆ（θ））」は、Ｌ値（輝度）を用いた色再構成の畳み込みニューラルネットワークであり、食品再構成ニューラルネットワークの例である。また、予測色（ｙ＾＝ｆθ（ｘ））は食品仮定画像の例である。
　なお、ニューラルネットワーク「モデルＮｅｔ（ｆ（θ））」の学習に使用される学習用画像（ＲＧＢ画像）の撮像において、撮像手段４により撮像される撮像対象場所の画角四隅のうちの最低照度は、画角中央の照度の８０％以上であることが好ましく、より好ましくは９０％以上である。Ｌ値を用いた色再構成の畳み込みニューラルネットワークでは、ニューラルネットワークにインプットされるＬ値に大きく作用されるため、照度を安定させることで、再現性のある学習を行いやくなる。
　また、Ｌ値（輝度）を用いた色再構成の畳み込みニューラルネットワークの学習において、畳み込み層による畳み込み処理によってニューラルネットワークを経て複数のフィーチャーマップを得ることで特徴抽出される。次に逆畳み込み層による逆畳み込み処理によってニューラルネットワークを経て元の画像サイズのピクセル数を再現する。これらを複数回入れ子状（第２、３、…、第ｎ層）に繰り返すことで、より概念的な特徴抽出が可能となる。
　この輝度を用いた色再構成の学習には、サブ画像（ＲＧＢ画像）を用いるのが好ましい。サブ画像（ＲＧＢ画像）は、学習用画像に写りこむ食品Ｂの平均ピクセル長の約１０倍未満の画像サイズで切り出して得られる。なお、食品Ｂの平均ピクセル長とは、対象となる食品Ｂを撮像したときの縦・横いずれかの最大ピクセル数を計測し、所定複数個（ここでの例として１０個）を撮像したときの平均値である。
　この輝度を用いた色再構成の学習では、まず学習用画像またはサブ画像のＬ値（入力（ｘ））を入力し、第ｎの逆畳み込み層から得られた色再構成された再構成カテゴリカル表現が得られる。元画像である学習用画像またはサブ画像のカテゴリカル表現（正解色（ｙ））と再構成カテゴリカル表現（予測色（ｙ＾＝ｆθ（ｘ）））との損失（ロス）関数（Categorical Cross-entropy）が極力低くなるように学習される。
　また、Ｌ値（輝度）を用いた色再構成の畳み込みニューラルネットワークを使用する検知段階では、入力画像のＬ値を第１の畳み込み層に入力して第ｎ層から得られたカテゴリカル表現（食品仮定画像）と、入力画像から得られたカテゴリカル表現との差分を求め、その差分に対して予め定めた閾値を超えるピクセルを「良品でない物体（つまり、異物）」として検出する。
　以上が実施例１の説明である。
［実施例２］
　本実施形態に係る識別処理装置６の実施例２について、図１３から図１５を参照して説明する。図１３から図１５は、本実施形態に係る識別処理装置６の実施例２の識別処理方法を示す図である。本識別処理方法は、上述した実施例１と同様に、モデル学習段階と、検知段階と、から構成される。モデル学習段階は、検知段階で使用されるニューラルネットワークの学習を行う段階である。実施例２では、自己符号化器を用いた再構成の畳み込みニューラルネットワークを用いる。検知段階は、モデル学習段階で学習したニューラルネットワークを使用して、搬送手段２によって搬送中の検査対象物Ａ中の食品Ｂの異物Ｆを識別する段階である。
＜モデル学習段階＞
　図１３及び図１４を参照して、実施例２に係るモデル学習段階を説明する。実施例２に係るモデル学習段階は、上述した実施例１の図３に示される手順と同様に、まずデータ準備段階（Ｓ１００）が行われ、次いで学習段階（Ｓ２００）が行われる。但し、実施例２では、データ準備段階（Ｓ１００）において、平均輝度の計算段階（Ｓ１２０）は実行されない。
（データ準備段階）
　実施例２に係るデータ準備段階（Ｓ１００）は、学習データの準備段階（Ｓ１１０）から構成される。実施例２に係る学習データの準備段階（Ｓ１１０）は、上述した実施例１（図４）と同じであるので、その説明を省略する。なお、実施例１と同様に、ステップＳ１１２（サブ画像への分解処理）は実行してもしなくてもよい。
（学習段階）
　実施例２に係る学習段階（Ｓ２００）を説明する。実施例２に係る学習段階（Ｓ２００）は、前処理段階（Ｓ２１０）と、モデルの学習段階（Ｓ２２０）と、から構成される。
以下、実施例２に係る学習段階（Ｓ２００）の各段階（Ｓ２１０，Ｓ２２０）を、図１３，図１４をそれぞれ参照して説明する。
（学習段階：前処理段階（Ｓ２１０））
　図１３は、実施例２に係る前処理段階（Ｓ２１０）の説明図である。前処理段階（Ｓ２１０）には、学習入力画像（ＲＧＢ画像、「Ｐｉｎ１×Ｐｉｎ２」ピクセル）が入力される。実施例２に係る学習データの準備段階（Ｓ１１０）においてステップＳ１１２（サブ画像への分解処理）が実行された場合、学習入力画像はサブ画像（Ｐｉｎ１＝Ｐｉｎ２＝Ｐ３）である。一方、実施例２に係る学習データの準備段階（Ｓ１１０）においてステップＳ１１２（サブ画像への分解処理）が実行されなかった場合には、学習入力画像は学習用画像（Ｐｉｎ１＝Ｐ１、Ｐｉｎ２＝Ｐ２）である。実施例２に係る前処理段階（Ｓ２１０）では、学習セット（Train set）と、検証セット（Validation set）とに対して、それぞれの学習入力画像（ＲＧＢ画像）から「入力（ｘ）と正解画像（ｙ）」のペアを生成する。
　識別処理装置６は、学習入力画像（ＲＧＢ画像、「Ｐｉｎ１×Ｐｉｎ２」ピクセル）に対して、ＲＧＢ各チャネル（ｃｈ）の規格化を行う（Ｓ２１１０）。この規格化の計算式は、次式（６）で表される。なお、式（６）は規格化の方法の一例である。
Figure JPOXMLDOC01-appb-M000006
　ＲＧＢ各ｃｈの規格化の結果の値は入力（ｘ＝｛ｘｉ，ｊ，ｋ｝）である。「ｘｉ，ｊ，ｋ」は、「ｉ，ｊ」番目のピクセルのチャンネルｋの規格化の結果の値である。また、入力（ｘ＝｛ｘｉ，ｊ，ｋ｝）とペアの正解画像（ｙ）として、当該入力（ｘ＝｛ｘｉ，ｊ，ｋ｝）を使用する。つまり、一つのペアにおいて、入力（ｘ）と正解画像（ｙ）とは同じである。
　なお、上述した実施例２に係る前処理段階（Ｓ２１０）では、ＲＧＢ各ｃｈの規格化を行ったが、ＲＧＢ各ｃｈの平均値を使用してＲＧＢ各ｃｈの正規化を行ってもよい。ＲＧＢ各ｃｈの正規化の方法は、上述した実施例１に係るＬ値（輝度）の正規化の方法と同様である。
（学習段階：モデルの学習段階（Ｓ２２０））
　図１４は、実施例２に係るモデルの学習段階（Ｓ２２０）の説明図である。実施例２に係るモデルの学習段階（Ｓ２２０）では、学習セット（Train set）の「入力（ｘ）と正解画像（ｙ）」のペアと、検証セット（Validation set）の「入力（ｘ）と正解画像（ｙ）」のペアとを使用して、ニューラルネットワーク「ＣＡＥ（ｆ（θ））」の学習を行う。
　実施例２に係るニューラルネットワーク「ＣＡＥ（ｆ（θ））」の構造は、上述した実施例１に係る図１２のニューラルネットワーク「モデルＮｅｔ（ｆ（θ））」の構造と同様である。但し、図１２において、実施例２に係るニューラルネットワーク「ＣＡＥ（ｆ（θ））」では、入力画像は、サイズが「Ｐｉｎ１×Ｐｉｎ２」ピクセルであり、ＲＧＢの３個のチャネルから構成される（つまり、ｎａ＝３）。また、第８層の出力サイズは、「Ｐｉｎ１×Ｐｉｎ２×３」である（つまり、ｎｂ＝３）。本実施例２では、ｎａ及びｎｂはＲＧＢのチャネル数「３」である（ｎａ＝ｎｂ＝３）。
　以下、図１４を参照して、実施例２に係るモデルの学習段階（Ｓ２２０）を説明する。
　識別処理装置６は、学習セット（Train set）の「入力（ｘ）と正解画像（ｙ）」のペアを使用して、「Binary Cross-entropy」のロスを最小化するニューラルネットワーク「ＣＡＥ（ｆ（θ））」のパラメータ（θ）を学習する（Ｓ２２１０，Ｓ２２２０）。ステップＳ２２１０では、入力（ｘ）をニューラルネットワーク「ＣＡＥ（ｆ（θ））」に入力して、ニューラルネットワーク「ＣＡＥ（ｆ（θ））」の出力値を予測画像（ｙ＾＝ｆθ（ｘ））とする。次いで、ステップＳ２２２０では、予測画像（ｙ＾＝ｆθ（ｘ））と正解画像（ｙ）とを使用して、「Binary Cross-entropy」のロス（Ｅ（ｙ，ｙ＾）を計算する。「Binary Cross-entropy」のロス（Ｅ（ｙ，ｙ＾）の計算式は、次式（７）で表される。正解画像（ｙ）の「ｙｉ，ｊ，ｋ」は、「ｉ，ｊ」番目のピクセルのチャンネルｋ（ＲＧＢ各ｃｈ）の値である。予測画像（ｙ＾）の「ｙ＾ｉ，ｊ，ｋ」は、ニューラルネットワーク「ＣＡＥ（ｆ（θ））」の「ｉ，ｊ」番目の出力値のチャンネルｋ（ＲＧＢ各ｃｈ）の値である。
Figure JPOXMLDOC01-appb-M000007
　「Binary Cross-entropy」のロス（Ｅ（ｙ，ｙ＾）を最小化するニューラルネットワーク「ＣＡＥ（ｆ（θ））」のパラメータ（θ）を学習する方法として、誤差逆伝搬法と確率的勾配降下法（Stochastic Gradient Descent：ＳＧＤ）とを使用する。
　識別処理装置６は、ニューラルネットワーク「ＣＡＥ（ｆ（θ））」のパラメータ（θ）の学習を、一定の反復数（epochs）だけ繰り返して行う。識別処理装置６は、該パラメータ（θ）の学習の繰り返し毎に、検証セット（Validation set）の「入力（ｘ）と正解画像（ｙ）」のペアを使用して、該パラメータ（θ）を検証する。このパラメータ（θ）の検証では、検証セット（Validation set）の「入力（ｘ）と正解画像（ｙ）」のペアを使用して、上述したステップＳ２２１０，Ｓ２２２０を行い、「Binary Cross-entropy」のロス（Ｅ（ｙ，ｙ＾）を計算する。このロス（Ｅ（ｙ，ｙ＾）が下がったときの最新のパラメータ（θ）をベストパラメータとして保存する。この保存されたベストパラメータのパラメータ（θ）は、検知段階で使用されるニューラルネットワーク「ＣＡＥ（ｆ（θ））」に適用されるパラメータ（θ）である。
　以上が実施例２に係るモデル学習段階の説明である。このモデル学習段階によって、食品Ｂの良品Ｓのみを学習したニューラルネットワーク「ＣＡＥ（ｆ（θ））」が生成される。
＜検知段階＞
　図１５を参照して、実施例２に係る検知段階を説明する。実施例２に係る検知段階は、上述した実施例１の図８に示される検知段階（Ｓ３００）の手順と同様に、まず前処理段階（Ｓ３１０）が行われ、次いで予測段階（Ｓ３２０）が行われ、次いで後処理段階（Ｓ３３０）が行われる。図１５は、実施例２に係る検知段階（Ｓ３００）の各段階（Ｓ３１０，Ｓ３２０，Ｓ３３０）の説明図である。以下、実施例２に係る検知段階（Ｓ３００）の各段階（Ｓ３１０，Ｓ３２０，Ｓ３３０）を、図１５を参照して説明する。
（検知段階：前処理段階（Ｓ３１０））
　入力画像は、撮像手段４によって、搬送中の検査対象物Ａが撮像された映像Ｄ１のＲＧＢ画像である。入力画像（ＲＧＢ画像）のサイズは、「Ｐ１×Ｐ２」ピクセルである。前処理段階（Ｓ３１０）では、入力画像（ＲＧＢ画像）から「入力（ｘ）と正解画像（ｙ）」のペアを生成する。
　識別処理装置６は、入力画像（ＲＧＢ画像）に対して、ＲＧＢ各チャネル（ｃｈ）の規格化を行う（Ｓ３１１０）。この規格化の計算式は、上述の式（６）で表される。ＲＧＢ各ｃｈの規格化の結果の値は入力（ｘ＝｛ｘｉ，ｊ，ｋ｝）である。「ｘｉ，ｊ，ｋ」は、「ｉ，ｊ」番目のピクセルのチャンネルｋの規格化の結果の値である。また、入力（ｘ＝｛ｘｉ，ｊ，ｋ｝）とペアの正解画像（ｙ）として、当該入力（ｘ＝｛ｘｉ，ｊ，ｋ｝）を使用する。つまり、一つのペアにおいて、入力（ｘ）と正解画像（ｙ）とは同じである。
（検知段階：予測段階（Ｓ３２０））
　予測段階（Ｓ３２０）では、上述した実施例２に係るモデル学習段階で食品Ｂの良品Ｓのみを学習したニューラルネットワーク「ＣＡＥ（ｆ（θ））」を使用して、入力画像（ＲＧＢ画像）の「入力（ｘ）と正解画像（ｙ）」のペアからヒートマップ（ｈ）を生成する。
　まず、識別処理装置６は、入力（ｘ）をニューラルネットワーク「ＣＡＥ（ｆ（θ））」に入力して、ニューラルネットワーク「ＣＡＥ（ｆ（θ））」の出力値を予測画像（ｙ＾＝ｆθ（ｘ））とする（Ｓ３２１０）。次いで、識別処理装置６は、予測画像（ｙ＾＝ｆθ（ｘ））と正解画像（ｙ）との間の再構成誤差（ヒートマップ（ｈ））を、ピクセル毎に計算する（Ｓ３２２０）。このヒートマップ（ｈ）の計算式は、次式（８）で表される。「ｈｉ，ｊ」は、「ｉ，ｊ」番目のピクセルのヒートマップ値である。
Figure JPOXMLDOC01-appb-M000008
　なお、ヒートマップ（ｈ）の他の計算方法として、正解画像（ｙ）と予測画像（ｙ＾＝ｆθ（ｘ））との差分をグレースケール変換し、このグレースケール変換後の値をヒートマップ値に使用してもよい。
（検知段階：後処理段階（Ｓ３３０））
　後処理段階（Ｓ３３０）では、入力画像（ＲＧＢ画像）のヒートマップ（ｈ）を使用して、異物Ｆの検知位置（ｉ，ｊ）を求める。実施例２に係る後処理段階（Ｓ３３０）は、上述した実施例１（図９の後処理段階（Ｓ３３０）と同じであるので、その説明を省略する。
　以上が実施例２に係る検知段階の説明である。この検知段階によって、搬送手段２によって搬送中の検査対象物Ａ中の食品Ｂの異物Ｆが識別された検知位置（ｉ，ｊ）が出力される。
　上述した実施例２において、ニューラルネットワーク「ＣＡＥ（ｆ（θ））」は、自己符号化器を用いた再構成の畳み込みニューラルネットワークであり、食品再構成ニューラルネットワークの例である。また、予測画像（ｙ＾＝ｆθ（ｘ））は食品仮定画像の例である。
　なお、自己符号化器を用いた再構成の畳み込みニューラルネットワークの学習において、学習用画像またはサブ画像（入力（ｘ））は、畳み込み層による畳み込み処理によってニューラルネットワークを経て複数のフィーチャーマップを得ることで特徴抽出され、次に逆畳み込み層による逆畳み込み処理によってニューラルネットワークを経て再構成される。さらに、畳み込み処理と逆畳み込み処理を複数回入れ子状に繰り返すことで、より概念的な特徴抽出が可能となる。
　この自己符号化器を用いた再構成の畳み込みニューラルネットワークの学習は、最終逆畳み込み層からの出力が元の入力された学習用画像またはサブ画像（正解画像（ｙ））と極力一致するように、つまり差分を表す損失関数が極力低くなるように学習される。この時の損失関数は、ＢＣＥ（Ｂｉｎａｒｙ　Ｃｒｏｓｓ－ｅｎｔｒｏｐｙ）といった損失関数が利用できる。
　以上が実施例２の説明である。
　なお、上述した図１に示される食品検査装置１は搬送手段２を備えたが、搬送手段２は無くてもよい。例えば、検査対象物Ａを落下させながら撮像して検査するように構成してもよい。さらには、検査対象物Ａを回転落下させながら撮像して検査するように構成してもよい。検査対象物Ａを回転落下させながら撮像して検査することによって、検査対象物Ａの複数の方向さらには全方向を撮像して検査することができる。
　以上、説明した実施形態の効果について述べる。
　実施形態の食品検査装置１は、異物Ｆの混在がないことを確認する食品Ｂを検査対象物Ａとして該検査対象物Ａに光を照射する光照射手段３と、検査対象物Ａの映像を撮像する撮像手段４と、識別処理装置６と、を備え、識別処理装置６は、予め食品Ｂの良品Ｓのみを学習した食品再構成ニューラルネットワークを備えており、撮像手段４によって得られた画像から、該食品再構成ニューラルネットワークを用いて、食品仮定画像を再構成し、撮像手段４によって得られた該画像と該食品仮定画像との差分を算出し、該差分が予め設定していた閾値を超える検査対象物Ａを異物として識別するものである。この食品検査装置１によれば、食品仮定画像は「もし仮に撮像された食品Ｂが全て良品Ｓであった場合を予測した画像」であり、食品仮定画像と撮像手段４によって得られた画像との差分が予め設定していた閾値を超える検査対象物Ａを異物として識別することが可能となる。これにより、異物を学習する必要がないので、任意の異物に対応することができ、異物の混在がないことを確認する食品検査のロバスト性、つまり異常判別においての汎用性の向上を図ることができる。特に、食品再構成ニューラルネットワークとしてＬ値（輝度）のみを用いた色再構成の畳み込みニューラルネットワークを用いれば、自己符号化器を用いた再構成の畳み込みニューラルネットワークと比べて、ニューラルネットワークの詳細設計モデルの検査対象物依存性が少なく、Ｌ値のみを用いた色再構成の畳み込みニューラルネットワークの詳細設計モデルを変更することなく、多様な検査対象物に対して汎用的に現場で学習し、異物の混在がないことを確認することができる。
　また、食品再構成ニューラルネットワークとして輝度のみを用いた色再構成を用いることにより、食品再構成ニューラルネットワークの学習において輝度のみから色を再構成させるという難題を学習させるので、結果的に自明なルールの学習が避けられて学習効率が向上する効果が期待される。
　また、実施形態の識別処理装置６は、専用のハードウェアにより実現されるものであってもよく、あるいはパーソナルコンピュータ等のコンピュータシステムにより構成され、実施形態の識別処理装置６の機能を実現するためのプログラムを実行することによりその機能を実現させるものであってもよい。
　また、その識別処理装置６には、周辺機器として入力装置、表示装置等が接続されてもよい。ここで、入力装置とはキーボード、マウス等の入力デバイスのことをいう。表示装置とはＣＲＴ（Cathode Ray Tube）や液晶表示装置等のことをいう。
　また、上記周辺機器については、識別処理装置６に直接接続するものであってもよく、あるいは通信回線を介して接続するようにしてもよい。
　以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。また、その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
１　　食品検査装置
２　　搬送手段
３　　光照射手段
３２　補光器
４　　撮像手段
６　　識別処理装置
Ａ　　検査対象物
Ｂ　　食品
Ｓ　　良品
Ｆ　　異物

Claims (7)

  1. 　異物の混在がないことを確認する食品を検査対象物として前記検査対象物に光を照射する光照射手段と、
    　前記検査対象物の映像を撮像する撮像手段と、
    　識別処理装置と、を備え、
    　前記識別処理装置は、
    　予め食品の良品のみを学習した食品再構成ニューラルネットワークを備えており、
    　前記撮像手段によって得られた画像から、前記食品再構成ニューラルネットワークを用いて、食品仮定画像を再構成し、
    　前記撮像手段によって得られた前記画像と前記食品仮定画像との差分を算出し、
    　前記差分が予め設定していた閾値を超える検査対象物を異物として識別する、
    　食品検査装置。
  2. 　請求項１に記載の食品検査装置であって、
    　前記食品再構成ニューラルネットワークとして輝度のみを用いた色再構成を用いることを特徴とする食品検査装置。
  3. 　請求項１に記載の食品検査装置であって、
    　前記食品再構成ニューラルネットワークとして自己符号化器を用いた再構成の畳み込みニューラルネットワークを用いることを特徴とする食品検査装置。
  4. 　請求項１から３までのいずれか１項に記載の食品検査装置によって、
    　検査対象物の食品に異物の混在がないことを確認する食品検査方法。
  5. 　請求項１に記載の食品検査装置の食品再構成ニューラルネットワークの学習方法であって、
    　前記食品検査装置の撮像手段によって、異物の混在がないことを確認する食品を撮像し、
    　前記食品検査装置の撮像手段によって得られた元画像に基づく前記食品の良品が写っている且つ異物が写っていない良品画像から畳み込みニューラルネットワークが生成する食品仮定画像と、前記撮像手段によって得られた前記画像との差分が最小化されるように学習を行う、
    　食品検査装置の食品再構成ニューラルネットワークの学習方法。
  6. 　請求項５に記載の学習方法であって、
    　前記食品検査装置の撮像手段によって前記食品の良品のみを撮像することにより、前記良品画像を得ることを特徴とする、
    　食品検査装置の食品再構成ニューラルネットワークの学習方法。
  7. 　請求項５に記載の学習方法であって、
    　前記元画像から異物の画像を取り除く処理を行うことにより、前記良品画像を得ることを特徴とする、
    　食品検査装置の食品再構成ニューラルネットワークの学習方法。
PCT/JP2018/048323 2017-12-27 2018-12-27 食品検査装置、食品検査方法及び食品検査装置の食品再構成ニューラルネットワークの学習方法 WO2019131945A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017252576A JP2021042955A (ja) 2017-12-27 2017-12-27 食品検査装置、食品検査方法及び食品検査装置の食品再構成ニューラルネットワークの学習方法
JP2017-252576 2017-12-27

Publications (1)

Publication Number Publication Date
WO2019131945A1 true WO2019131945A1 (ja) 2019-07-04

Family

ID=67067529

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/048323 WO2019131945A1 (ja) 2017-12-27 2018-12-27 食品検査装置、食品検査方法及び食品検査装置の食品再構成ニューラルネットワークの学習方法

Country Status (2)

Country Link
JP (1) JP2021042955A (ja)
WO (1) WO2019131945A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7046150B1 (ja) 2020-12-03 2022-04-01 Ckd株式会社 基板異物検査装置及び基板異物検査方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7072953B1 (ja) 2021-11-11 2022-05-23 吉泉産業株式会社 計量異物検知包装装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08136466A (ja) * 1994-11-10 1996-05-31 Dainippon Screen Mfg Co Ltd 画像パターン検査装置
JP2004334814A (ja) * 2003-05-07 2004-11-25 Susumu Shiroyama モノクロ画像のカラー化手法、装置、プログラム
JP2009115613A (ja) * 2007-11-06 2009-05-28 Hitachi High-Tech Control Systems Corp 異物検査装置
US20160117845A1 (en) * 2014-10-27 2016-04-28 King Fahd University Petroleum and Minerals Contamination level estimation method for high voltage insulators
JP2017111085A (ja) * 2015-12-18 2017-06-22 株式会社流通システム設計 食品検査システム及び食品検査方法
JP6241576B1 (ja) * 2016-12-06 2017-12-06 三菱電機株式会社 検査装置及び検査方法
JP2017219529A (ja) * 2016-06-07 2017-12-14 株式会社豊田中央研究所 外観異常検査装置、方法、及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08136466A (ja) * 1994-11-10 1996-05-31 Dainippon Screen Mfg Co Ltd 画像パターン検査装置
JP2004334814A (ja) * 2003-05-07 2004-11-25 Susumu Shiroyama モノクロ画像のカラー化手法、装置、プログラム
JP2009115613A (ja) * 2007-11-06 2009-05-28 Hitachi High-Tech Control Systems Corp 異物検査装置
US20160117845A1 (en) * 2014-10-27 2016-04-28 King Fahd University Petroleum and Minerals Contamination level estimation method for high voltage insulators
JP2017111085A (ja) * 2015-12-18 2017-06-22 株式会社流通システム設計 食品検査システム及び食品検査方法
JP2017219529A (ja) * 2016-06-07 2017-12-14 株式会社豊田中央研究所 外観異常検査装置、方法、及びプログラム
JP6241576B1 (ja) * 2016-12-06 2017-12-06 三菱電機株式会社 検査装置及び検査方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7046150B1 (ja) 2020-12-03 2022-04-01 Ckd株式会社 基板異物検査装置及び基板異物検査方法
WO2022118523A1 (ja) * 2020-12-03 2022-06-09 Ckd株式会社 基板異物検査装置及び基板異物検査方法
JP2022088818A (ja) * 2020-12-03 2022-06-15 Ckd株式会社 基板異物検査装置及び基板異物検査方法

Also Published As

Publication number Publication date
JP2021042955A (ja) 2021-03-18

Similar Documents

Publication Publication Date Title
JP7250331B2 (ja) 画像生成装置、検査装置及び学習装置
CN104169945B (zh) 对图像中的对象的两级分类
US9180552B2 (en) System and method for identifying defects in welds by processing X-ray images
Barbedo et al. Deoxynivalenol screening in wheat kernels using hyperspectral imaging
CN107271375A (zh) 一种羊肉品质指标的高光谱图像检测方法
KR20180071405A (ko) 단일 이미지 검출
WO2019151393A1 (ja) 食品検査システム、食品検査プログラム、食品検査方法および食品生産方法
US20220244194A1 (en) Automated inspection method for a manufactured article and system for performing same
CN106716125A (zh) 纳米颗粒分析器
WO2019131945A1 (ja) 食品検査装置、食品検査方法及び食品検査装置の食品再構成ニューラルネットワークの学習方法
US20230222645A1 (en) Inspection apparatus, unit selection apparatus, inspection method, and computer-readable storage medium storing an inspection program
Kandlbauer et al. Sensor-based particle size determination of shredded mixed commercial waste based on two-dimensional images
Kong et al. Mask R‐CNN‐based feature extraction and three‐dimensional recognition of rice panicle CT images
Sola-Guirado et al. A smart system for the automatic evaluation of green olives visual quality in the field
PT104902A (pt) Método de inspecção não destrutivo e não evasivo de materiais vegetais baseado na utilização de radiação electromagnética
Faltynkova et al. Developing and testing a workflow to identify microplastics using near infrared hyperspectral imaging
Hena et al. Deep learning neural network performance on NDT digital X-ray radiography images: Analyzing the impact of image quality parameters—an experimental study
JP7250330B2 (ja) 検査装置及び学習装置
WO2022065110A1 (ja) Ｘ線検査装置およびｘ線検査方法
JP2005252451A (ja) 画質検査方法及び画質検査装置
JP7240780B1 (ja) 検査装置
Grönroos et al. Automated visual inspection of CMS HGCAL silicon sensor surface using an ensemble of a deep convolutional autoencoder and classifier
WO2023095520A1 (ja) 教師データ生成装置、教師データ生成方法、プログラム及び欠陥検査装置
Damien et al. Sorting of crop residues and fossil bones from soil by NIR Hyperspectral Imaging
WO2020189087A1 (ja) Ｘ線検査装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18896710

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18896710

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP