WO2023120306A1 - 分類装置、分類方法、及び分類システム - Google Patents

分類装置、分類方法、及び分類システム Download PDF

Info

Publication number
WO2023120306A1
WO2023120306A1 PCT/JP2022/045863 JP2022045863W WO2023120306A1 WO 2023120306 A1 WO2023120306 A1 WO 2023120306A1 JP 2022045863 W JP2022045863 W JP 2022045863W WO 2023120306 A1 WO2023120306 A1 WO 2023120306A1
Authority
WO
WIPO (PCT)
Prior art keywords
classification
images
size
image
grade
Prior art date
Application number
PCT/JP2022/045863
Other languages
English (en)
French (fr)
Inventor
崇 片山
貴宣 森
順二 古谷
Original Assignee
日清紡ホールディングス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日清紡ホールディングス株式会社 filed Critical 日清紡ホールディングス株式会社
Publication of WO2023120306A1 publication Critical patent/WO2023120306A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/85—Investigating moving fluids or granular solids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a classifying device, a classifying method and a classifying system.
  • This application claims priority based on Japanese Patent Application No. 2021-209910 filed in Japan on December 23, 2021, the contents of which are incorporated herein.
  • Patent Document 1 There is a system for classifying strawberries as classification objects (see Patent Document 1, for example).
  • the system of Patent Literature 1 classifies the size and shape of the strawberry using an image of the appearance of the strawberry. As a result, the strawberries can be sorted in a non-contact manner without contacting the strawberries with a measuring device or the like. Therefore, it becomes possible to classify strawberries without damaging them.
  • the present invention has been made in view of such circumstances. SUMMARY OF THE INVENTION It is an object of the present invention to provide a classification device, a classification method, and a classification system capable of classifying objects based on the states of different regions on the outer peripheral surface of the object to be classified.
  • the classification apparatus of the present invention includes an image acquisition unit that acquires a plurality of images obtained by capturing mutually different regions on an outer peripheral surface of a classification target, and using the plurality of images acquired by the image acquisition unit, the and a grade classification unit that classifies the grade, which is the superiority or inferiority of appearance, in the classification target.
  • the classification apparatus of the present invention includes an image acquisition unit that acquires a plurality of images obtained by capturing mutually different regions on an outer peripheral surface of a classification target, and using the plurality of images acquired by the image acquisition unit, the a size sorting unit that sorts the sizes of the sorting objects.
  • a classification system includes an imaging device that captures a plurality of images including mutually different regions on an outer peripheral surface of a classification target, and the above-described classification device, wherein the classification device is the imaging device. acquire the plurality of images captured by.
  • a classification method is a classification method performed by a computer, which is a classification device, wherein an image acquisition unit acquires a plurality of images in which different regions on the outer peripheral surface of a classification object are captured, and a grade classification unit uses the plurality of images acquired by the image acquisition unit to classify the quality, which is the superiority or inferiority of the appearance, of the classification object.
  • a classification method of the present invention is a classification method performed by a computer, which is a classification device, wherein an image acquisition unit acquires a plurality of images in which different regions on the outer peripheral surface of an object to be classified are captured, and a size classification unit uses the plurality of images acquired by the image acquisition unit to classify the size of the classification object.
  • classification can be performed based on the states of different regions on the outer peripheral surface of the classification target.
  • FIG. 1 is a schematic diagram showing an example of a classification system to which a classification device according to an embodiment is applied; FIG. It is a figure explaining the positional relationship of the sample and camera by embodiment. It is a figure explaining the positional relationship of the sample and camera by embodiment. 1 is a block diagram showing a configuration example of a classification device according to an embodiment; FIG. It is a figure explaining the process which the classification device by embodiment performs. It is a figure explaining the process which the classification device by embodiment performs. It is a figure explaining the process which the classification device by embodiment performs. It is a figure explaining the process which the classification device by embodiment performs. 4 is a flow chart showing the flow of processing performed by the classification device according to the embodiment; 4 is a flow chart showing the flow of processing performed by the classification device according to the embodiment; 4 is a flow chart showing the flow of processing performed by the classification device according to the embodiment;
  • Objects to be classified may be arbitrary objects. This embodiment can be applied to, for example, cone-shaped objects or spherical objects as classification objects. Examples of cone-shaped objects to be classified include crops such as corn and asparagus, and processed foods such as daifuku. Examples of spherical particles include crops such as apples and tomatoes.
  • FIG. 1 is a schematic diagram showing an example of a classification system 1 to which a classification device 10 according to an embodiment is applied.
  • the sorting system 1 is installed, for example, in a plant factory that cultivates strawberries, and performs work to sort strawberries harvested in the plant factory.
  • the classification system 1 includes, for example, a conveyor CV, a plurality of (three in this figure) cameras K (cameras K1 to K3), a classification device 10, an arm robot RB, and a display device 20.
  • the conveyor CV conveys strawberries to be sorted (hereinafter referred to as sample SP).
  • steps KT1 to KT3 are performed in the process of transporting the sample SP.
  • step KT1 an operation of classifying the samples SP is performed.
  • the camera K captures an image of the sample SP and outputs the captured image data to the classification device 10.
  • FIG. The classification device 10 classifies the grade of the sample SP based on the image captured by the camera K, and outputs the classification result to the arm robot RB and the display device 20 .
  • step KT2 an operation of transferring the sample SP based on the classification result is performed.
  • the arm robot RB transfers the sample SP to a branch lane or the like based on the classification result obtained from the classification device 10.
  • manual work by worker P is performed.
  • the display device 20 displays instructions to the worker P, such as packing the sorted strawberries, based on the sorting result. The worker P performs the work according to the instructions displayed on the display device 20 .
  • the classification system 1 classifies the grade and size (size) of the sample SP, and determines the grade of the sample SP comprehensively based on the grade-related classification results and the size-related classification results.
  • the quality is the superiority or inferiority of appearance.
  • the grade is a degree of superiority or inferiority based on the state of the surface of the strawberry, for example, the presence or absence of scratches, texture such as texture, color, and the like.
  • the classification system 1 classifies quality and size based on images. As a result, it is possible to perform comprehensive classification based on appearance and size without contact with a measuring instrument or the like.
  • FIG. 2 and 3 are diagrams for explaining the positional relationship between the sample SP and the camera K according to the embodiment.
  • the fruit part of mature strawberries is often soft and easily damaged. If the fruit portion of the strawberry, which is in such a soft and easily damaged state, is placed in contact with the placement surface, the fruit portion may be damaged by its own weight.
  • the sample SP is arranged so that the stem portion is on the lower side and the tip portion is on the upper side. As a result, it is possible to prevent the fruit portion from being damaged by its own weight by preventing the fruit portion from coming into contact with the placement surface.
  • the outer skin of the strawberry is the edible part, that is, the part that can be eaten. For this reason, it is necessary to accurately detect dust and dirt adhering to the outer skin of strawberries.
  • the outer skin of the strawberry has a granular achene (something that looks like a seed), and the periphery of the achene is slightly concave and has a complex shape. In order to correctly classify the quality of strawberries whose surface conditions are complicated textures, it is necessary to correctly distinguish at least between achenes and adhering stains.
  • an image of a strawberry photographed against the light is binarized into the shaded part of the strawberry and the other part, and the silhouette of the strawberry generated is used to classify the size and shape of the strawberry. It is difficult for the system to accurately detect dust and dirt adhering to the outer skin of strawberries. Further, in classification using monotone images of strawberries, it is difficult to accurately distinguish between achenes and stains adhering to the surface of the strawberries.
  • strawberries are captured in color, and the quality of the strawberries is classified using the captured color image. As a result, it is possible to accurately distinguish between the achene and the dirt adhering to the surface of the strawberry based on the difference in color.
  • classification is performed using a plurality of images obtained by capturing different regions on the outer peripheral surface of the sample SP.
  • the plurality of images are, for example, images obtained by imaging the sample SP from each of a plurality of imaging positions different from each other.
  • a camera K is arranged at each of the plurality of imaging positions.
  • FIG. 2 schematically shows a perspective view of the positional relationship between the sample SP and the camera K viewed from above.
  • the cameras K1 to K3 are arranged at equal intervals on the circumference of a circle E with the sample SP as the center. placed at an angle.
  • the sample SP can be imaged from three directions, and the entire state of the outer peripheral surface of the sample SP can be imaged.
  • FIG. 3 schematically shows a front view of the positional relationship between the sample SP and the camera K.
  • the cameras K1-K3 are arranged in a circle E on a plane perpendicular to a straight line passing through the sample SP in the vertical direction. That is, the cameras K1 to K3 are equidistant from the arrangement position of the sample SP to their respective imaging positions, and the angle between the straight line connecting the arrangement position of the sample SP and the respective imaging positions and the horizontal plane is Arranged to be equiangular.
  • the sample SP can be imaged with the same resolution and approximately the same size for each of the plurality of images.
  • the plurality of images may be images captured from one imaging position where one camera K is installed.
  • the table on which the sample SP is arranged is rotated about a straight line extending vertically through the sample SP as the axis of rotation.
  • a plurality of images are captured so as to include mutually different regions on the outer peripheral surface of the sample SP from the one imaging position. Accordingly, one camera K can image different regions on the outer peripheral surface of the sample SP.
  • FIG. 4 is a block diagram showing a configuration example of the classification device 10 according to the embodiment.
  • the classification device 10 is a computer such as a PC (Personal Computer), a microcontroller, or a PLC (Programmable Logic Controller).
  • the classification device 10 includes, for example, a communication unit 11, a storage unit 12, and a control unit 13.
  • the communication unit 11 communicates with an external device.
  • the external devices here are the camera K, the arm robot RB, and the display device 20 .
  • the storage unit 12 is a storage medium such as a HDD (Hard Disk Drive), flash memory, EEPROM (Electrically Erasable Programmable Read Only Memory), RAM (Random Access read/write Memory), ROM (Read Only Memory), or a combination thereof. Consists of The storage unit 12 stores programs for executing various processes of the classification device 10 and temporary data used when performing various processes.
  • HDD Hard Disk Drive
  • flash memory flash memory
  • EEPROM Electrical Erasable Programmable Read Only Memory
  • RAM Random Access read/write Memory
  • ROM Read Only Memory
  • the storage unit 12 stores, for example, a grade classification trained model 120 and a size classification trained model 121.
  • the grade classification trained model 120 is a model that estimates the grade of the sample SP based on the input image input to the model.
  • the input image here is an image obtained by imaging the outer peripheral surface of the sample SP.
  • the grade classification learned model 120 is a model that has learned the correspondence relationship between strawberries and grades by executing machine learning using a learning data set. Learning the correspondence enables the grade classification trained model 120 to estimate the grade of the strawberry based on the input image.
  • the learning data set here is information in which a learning image in which the outer peripheral surface of an unspecified strawberry is captured is associated with the quality of the strawberry shown in the learning image.
  • the size classification trained model 121 is a model that estimates the size of the sample SP based on the input image input to the model.
  • the input image here is an image obtained by imaging the outer peripheral surface of the sample SP.
  • the size classification trained model 121 is a model that has learned the correspondence relationship between strawberries and sizes by executing machine learning using a learning data set. Learning the correspondence enables the size classification trained model 121 to estimate the size of the strawberry based on the input image.
  • the learning data set here is information in which a learning image in which the outer peripheral surface of an unspecified strawberry is captured is associated with the size of the strawberry shown in the learning image.
  • the grade classification trained model 120 or the size classification trained model 121 is applied to the existing learning model until it can accurately classify according to each classification target. Generated by iteratively performing learning.
  • Existing learning models here are, for example, CNN (Convolutional Neural Network), decision tree, hierarchical Bayes, SVM (Support Vector Machine), and the like.
  • the control unit 13 is implemented by causing a CPU (Central Processing Unit) provided as hardware in the classification device 10 to execute a program.
  • the control unit 13 comprehensively controls the classification device 10 .
  • the control unit 13 includes, for example, an image acquisition unit 130, a grade classification unit 131, a size classification unit 132, a general classification unit 133, and a classification result output unit .
  • the image acquisition unit 130 acquires image data corresponding to each of a plurality of images including mutually different regions on the outer peripheral surface of the sample SP.
  • the image acquisition unit 130 acquires image data corresponding to images captured by the cameras K1 to K3, respectively, from the cameras K1 to K3.
  • the image acquisition section 130 outputs the acquired image to the quality classification section 131 and the size classification section 132 .
  • the quality classification unit 131 classifies the quality of the sample SP based on the multiple images acquired from the image acquisition unit 130 .
  • the grade classification unit 131 uses the grade classification trained model 120, for example, to determine the grade of the sample SP for each of the plurality of images.
  • the grade classification unit 131 inputs image data corresponding to one image among the plurality of images to the grade classification trained model 120 .
  • the grade classification trained model 120 outputs the grade of the strawberry shown in the image, which is estimated based on the input image data.
  • the grade classification unit 131 determines the estimation result output from the grade classification trained model 120 as the grade estimated from the outer peripheral surface of the strawberry shown in the image.
  • the grade classification unit 131 determines the grade of each of the plurality of images using the grade classification trained model 120 .
  • the quality determined for each of the plurality of images is averaged, and the averaged quality is used as the quality of the entire sample SP. It is possible to accurately classify the quality of the entire SP.
  • each of the plurality of images indicates a different quality
  • the average of the quality determined for each of the plurality of images is taken as the quality of the entire sample SP
  • the classification accuracy may decrease.
  • the strawberry is determined to be non-defective. It is preferable to
  • the grade classification unit 131 determines the lowest grade among the plurality of grades corresponding to each of the determined plurality of images as the grade of the entire sample SP. As a result, if there is serious damage or dirt attached to even one place, it is classified into grades according to the serious damage or dirt. Therefore, even if the quality of each of a plurality of images is different from each other, it is possible to classify the quality of the entire sample SP with high accuracy.
  • the size classification unit 132 classifies the sizes of the samples SP based on the multiple images acquired from the image acquisition unit 130 .
  • the size classification unit 132 uses, for example, the size classification trained model 121 to determine the size of the sample SP for each of the plurality of images.
  • the size classification unit 132 inputs image data corresponding to one image among the plurality of images to the size classification trained model 121 .
  • the size classification trained model 121 outputs the size of the strawberry shown in the image, which is estimated based on the input image data.
  • the size classification unit 132 determines the estimation result output from the size classification trained model 121 as the size estimated from the outer peripheral surface of the strawberry shown in the image.
  • the size classification unit 132 uses the size classification trained model 121 to determine the size of each of the plurality of images.
  • the size classification unit 132 determines the average value of the plurality of sizes corresponding to each of the determined plurality of images as the size of the entire sample SP.
  • the comprehensive classification unit 133 comprehensively classifies the sample SP.
  • the comprehensive classification unit 133 acquires information indicating the quality of the entire sample SP determined by the quality classification unit 131 .
  • the comprehensive classification unit 133 acquires information indicating the size of the entire sample SP determined by the size classification unit 132 .
  • the comprehensive classification unit 133 performs comprehensive classification of the samples SP based on the obtained quality and size, using, for example, a correspondence table.
  • the correspondence table here is information in which a comprehensive grade is associated with a combination of grade and size.
  • the classification result output unit 134 outputs the classification result classified by the comprehensive classification unit 133.
  • the classification results output in this manner are transmitted from the classification device 10 to the arm robot RB and the display device 20 .
  • FIG. 5 to 7 are diagrams for explaining the processing performed by the classification device 10 according to the embodiment.
  • FIG. 5 shows the processing performed in the process of classification using the trained models (grade classification trained model 120 and size classification trained model 121).
  • images captured by the cameras K1 to K3 are input to the grade classification trained model 120 and the size classification trained model 121, respectively.
  • the grade classification trained model 120 outputs a grade score corresponding to each input image.
  • the grace score is, for example, a value indicating the probability (likelihood) that the sample SP shown in the image belongs to a particular grace class.
  • the decency score (Kn) indicates the decency score estimated for the image captured by the camera Kn.
  • the size classification trained model 121 outputs a size score corresponding to each input image.
  • the size score is, for example, a value indicating the likelihood that the sample SP shown in the image belongs to a specific size class.
  • the size score (Kn) indicates the size score estimated for the image captured by the camera Kn.
  • FIG. 6 shows an example of the grade score for each grade class estimated by the grade classification trained model 120 .
  • three classes A to C are set as quality classes.
  • the grade class A is the highest grade
  • the grade class B is the next highest grade
  • the grade class C is the lowest grade.
  • the image captured by camera K1 has a score (grade score) of 0.80 that is estimated to be of grade class A, a score of 0.20 that is estimated to be of grade class B, and a score of 0.20.
  • the estimated score is shown to be 0.00.
  • the grade classification unit 131 takes the grade class with the highest score as the grade estimated from the image.
  • the highest score among the scores estimated from the images captured by the camera K1 is 0.80, and the class (grade class) corresponding to the highest score is A. Therefore, the quality classifying unit 131 determines that the quality of the sample SP shown in the image captured by the camera K1 is "class A”.
  • the grade classifier 131 determines that the grade of the sample SP shown in the image captured by the camera K2 is "grade class A”.
  • the grade of the sample SP shown in the image captured by the camera K3 is determined to be "grade class C".
  • the quality classification unit 131 determines the lowest quality among the quality classes estimated for the images captured by the cameras K1 to K3 as the quality of the entire sample SP.
  • the grade classification unit 131 selects the "grade class C", which is the lowest grade among the grade classes A, A, and C estimated for the images captured by the cameras K1, K2, and K3. , determines the overall quality of the sample SP.
  • FIG. 7 shows an example of the grace score for each size class estimated by the size classification trained model 121.
  • This example shows an example in which classes of 3L, 2L, L, M, S, 2S, and less than 2S are set as size classes.
  • size class 3L is the largest size
  • size class less than 2S is the smallest size.
  • the image captured by camera K1 has a score (size score) of 0.00 that is estimated to be of size class 3L, and a score of 0.1 that is estimated to be of size class 2L.
  • the estimated score is shown to be 0.2.
  • the image captured by camera K1 has a score of 0.6 when it is estimated to be of size class M, and a score of 0.1 when it is estimated to be of size class S, and is estimated to be of size class 2S or less than 2S. Scores are shown to be 0.00.
  • the total score is 1.0.
  • the image captured by the camera K2 has a score of 0.00 when it is estimated to be of size class 3L, a score of 0.3 when it is estimated to be of size class 2L, and is estimated to be of size class L. is shown to be 0.5. Also, it is shown that the image captured by the camera K2 has a score of 0.2 when it is estimated to be of size class M, and a score of 0.00 when it is estimated to be of size class S, 2S, or less than 2S. there is The sum of the scores is 1.0.
  • the image captured by the camera K3 has a score of 0.00 when it is estimated to be of size class 3L, a score of 0.4 when it is estimated to be of size class 2L, and is estimated to be of size class L. is shown to be 0.5. Also, it is shown that the image captured by the camera K3 has a score of 0.1 when it is estimated to be of size class M, and a score of 0.00 when it is estimated to be of size class S, 2S, or less than 2S. there is The sum of the scores is 1.0.
  • the size classification unit 132 calculates a size score for each size class for each of a plurality of images. Then, the size classification unit 132 calculates an average value (score average) of size scores estimated from each image for each size class.
  • the score average for size class 3L is 0.00.
  • the average score for size class 2L is 0.27.
  • the average score for size class L is 0.40.
  • the average score for size class M is 0.30.
  • the average score for size class S is 0.03.
  • the score average for size class 2S and below 2S is 0.00.
  • the size classification unit 132 sets the class with the highest score among the score averages calculated for each size class as the size class of the entire sample SP.
  • the size class L score average of 0.40 is the highest score. Therefore, the size classification unit 132 determines the size class L as the size of this sample SP.
  • FIG. 8 to 10 are flowcharts showing the flow of processing performed by the classification device 10 according to the embodiment.
  • FIG. 8 shows the overall processing performed by the classification device 10.
  • the classification device 10 acquires image data corresponding to each of a plurality of images (step S1). Different regions on the outer peripheral surface of the sample SP are captured in each of the plurality of images.
  • the classification device 10 uses the plurality of images acquired in step S1 to classify the quality of the entire sample SP shown in the images (step S2).
  • the classification device 10 uses the multiple images acquired in step S1 to classify the size of the entire sample SP shown in the images (step S3).
  • the classification device 10 classifies the overall grade of the sample SP based on the quality classified in step S2 and the size classified in step S3 (step S4).
  • the classification device 10 outputs the result of classification performed in step S4, that is, information indicating the overall grade of the sample SP (step S5).
  • steps S2 and S3 may be reversed. That is, the processing may be executed in order of steps S1, S3, and S2.
  • FIG. 9 shows a detailed flow of the processing (processing for classifying quality) shown in step S2 of FIG.
  • the classification device 10 obtains a grace score for each grace class estimated based on one image (step S20).
  • the classification device 10 inputs one image out of the plurality of images acquired in step S ⁇ b>1 to the grade classification trained model 120 .
  • the grade classification trained model 120 outputs a grade score for each grade class as the grade estimated based on the input image.
  • the classification device 10 acquires the grace score for each grace class output from the grace classification trained model 120 .
  • the classification device 10 takes the grace class with the highest grace score among the grace scores for each grace class acquired in step S20 as the grace estimated from the image (step S21). The classification device 10 determines whether or not the quality has been estimated for all of the plurality of images acquired in step S1 (step S22). If there is an image whose quality has not been estimated, the classification device 10 returns to step S20. On the other hand, when the quality is estimated for all images, the classification device 10 determines the lowest quality among the quality estimated for each image as the quality of the sample SP (step S23).
  • FIG. 10 shows a detailed flow of the processing (size classification processing) shown in step S3 of FIG.
  • the classification device 10 obtains a size score for each size class estimated based on one image (step S30).
  • the classification device 10 inputs one image out of the plurality of images acquired in step S ⁇ b>1 to the size classification trained model 121 .
  • the size classification trained model 121 outputs a size score for each size class as a size estimated based on the input image.
  • the classification device 10 acquires a size score for each size class output from the size classification trained model 121 .
  • the classification device 10 determines whether or not the sizes have been estimated for all of the multiple images acquired in step S1 (step S31). If there is an image whose size has not been estimated, the classification device 10 returns to step S30. On the other hand, if the sizes have been estimated for all images, the process proceeds to step S32.
  • the classification device 10 calculates the average size score estimated from each image for each size class (step S32). The classification device 10 determines the size class having the largest average value calculated in step S32 as the size of the sample SP (step S33).
  • the classification device 10 of the embodiment includes the image acquisition unit 130 and the grade classification unit 131.
  • the image acquisition unit 130 acquires image data corresponding to each of the plurality of images.
  • the plurality of images are a plurality of images including mutually different regions on the outer peripheral surface of the sample SP (object to be classified, for example, strawberry).
  • the grade classifying unit 131 classifies the grade of the sample SP using a plurality of images acquired by the image acquiring unit 130 .
  • the grade is the superiority or inferiority of appearance.
  • the classification device 10 of the embodiment can classify based on the state of the entire sample SP (object to be classified, for example, strawberry).
  • the relative positional relationship between the imaging position corresponding to each of the plurality of images and the arrangement position of the sample SP is such that the distance from the arrangement position to the imaging position is equal.
  • An equiangular angle is formed between a straight line connecting the position and the imaging position and the horizontal plane.
  • the size of the sample SP captured in each image is different.
  • the size of the sample SP estimated from the image is different.
  • the amount of light received by the camera K (the amount of light reflected on the sample SP) changes when each image is captured. .
  • the color tones of the sample SP imaged in each of the plurality of images will be different.
  • the sample SP and a reference whose color is known are captured in one image, and image processing is performed based on the reference to correct the brightness and chromaticity of the sample SP. It is conceivable to estimate the quality based on the image of
  • the sample SP is a conical object, and is arranged so that the bottom surface of the conical object faces downward. Thereby, the classification target can be placed in a stable state.
  • the sample SP is arranged so that the stem portion is on the bottom side and the tip portion is on the top side. It is possible to prevent the soft and easily damaged fruit part on the side of the strawberry from coming into contact with the mounting surface, thereby suppressing damage to the fruit part due to its own weight.
  • the sample SP arranged horizontally so that the stem portion is on the right side and the tip portion is on the left side is imaged from three directions by the camera K installed as shown in FIGS.
  • the plurality of images obtained by imaging one sample SP may include an image containing green and red color tones and an image containing only red color tone but not green color tone. becomes.
  • the classification device 10 of the present embodiment is arranged so that the stem portion is on the lower side and the tip portion is on the upper side.
  • all of the plurality of images can be images that include stem portions and fruit portions, that is, images that include color tones of green and red. Therefore, when classifying quality based on images, it is possible to apply the same algorithm to each of a plurality of images. That is, a model corresponding to one algorithm is prepared, and each of a plurality of images is classified using the model. Therefore, it is possible to simplify the processing.
  • the plurality of images are images captured from a plurality of imaging positions different from each other.
  • Each of the plurality of imaging positions is set on the circumference of the circle E so that angles formed by adjacent imaging positions and the center of the circle E are equal.
  • Circle E as shown in FIGS. 2 and 3, is a circle that lies on a plane perpendicular to a straight line passing through the sample SP and whose center is the intersection of the plane and the straight line.
  • the sample SP is imaged from three directions at every 120° circumference angle.
  • the plurality of images may be images captured from one imaging position.
  • a plurality of images are obtained from one imaging position on the outer peripheral surface of the sample SP by rotating the table on which the sample SP is arranged in the horizontal direction about an axis that passes through the sample SP and extends in the vertical direction.
  • 4 is a plurality of images in which different regions are imaged; Accordingly, in the classification device 10 of the embodiment, it is possible to image the entire state of the outer peripheral surface of the sample SP with one camera K.
  • the quality classification unit 131 determines the quality of each of a plurality of images.
  • the grade classification unit 131 determines the lowest grade among the plurality of grades corresponding to each of the determined plurality of images as the grade of the sample SP.
  • the classification device 10 of the embodiment can set the lowest quality among the quality of the different regions on the outer peripheral surface of the sample SP as the quality of the entire sample SP. Therefore, even if there is serious damage or dirt on even one place, the quality can be determined in consideration of the damage or dirt, so that the quality can be classified with high accuracy.
  • the grade classification unit 131 determines grade using the grade classification trained model 120 (an example of a trained model).
  • the grade classification trained model 120 is a training image in which the outer peripheral surface of an unspecified strawberry (an example of an unspecified object) is captured and the grade of the strawberry shown in the learning image are associated with each other. It is created by performing machine learning using the dataset for
  • the grade classification learned model 120 becomes a model that has learned the correspondence relationship between strawberries and grades by executing such machine learning.
  • the grade classification trained model 120 estimates the grade of the sample SP based on the input image in which the outer peripheral surface of the sample SP is captured, using the correspondence relationship learned in this way.
  • the classification device 10 of the embodiment can estimate the quality by a simple method of inputting an image to a trained model.
  • the learned model estimates the grace based on the correspondence between strawberries and grace learned by machine-learning the learning data set. Therefore, the classification device 10 of the present embodiment can quantitatively estimate the quality. Therefore, compared to the method in which workers (humans) judge the quality based on their own senses, there is a situation in which the quality is judged incorrectly, or the judgment result is biased depending on the worker. can be reduced.
  • the classification device 10 of the embodiment may be configured to include the image acquisition section 130 and the size classification section 132 .
  • the image acquisition unit 130 acquires image data corresponding to each of the plurality of images.
  • the plurality of images are a plurality of images including mutually different regions on the outer peripheral surface of the sample SP (object to be classified, for example, strawberry).
  • the size classification unit 132 classifies the size of the sample SP using the plurality of images acquired by the image acquisition unit 130 .
  • the classification device 10 of the embodiment can classify samples SP (objects to be classified, such as strawberries) based on the states of different surfaces.
  • the size classification unit 132 determines the size of the strawberry for each of the plurality of images.
  • the size classification unit 132 determines the average value of the plurality of sizes corresponding to each of the determined plurality of images as the size of the sample SP.
  • the size classification unit 132 determines the size using the size classification trained model 121 (an example of a trained model).
  • the size classification trained model 121 is a training image in which a learning image in which the outer peripheral surface of an unspecified strawberry (an example of an unspecified object) is captured is associated with the size of the strawberry shown in the learning image. It is created by performing machine learning using the dataset for The size classification trained model 121 becomes a model that has learned the correspondence relationship between strawberries and sizes by executing such machine learning. The size classification trained model 121 uses the correspondence thus learned to estimate the size of the sample SP based on the input image in which the outer peripheral surface of the sample SP is captured.
  • the classification device 10 of the embodiment can estimate the size by a simple method of inputting an image to the trained model. Also, the trained model estimates the grace based on the correspondence between strawberries and sizes learned by machine-learning the learning data set. Therefore, the classification device 10 of the present embodiment can quantitatively estimate the size.
  • the classification system 1 of the embodiment includes a camera K (imaging device) and a classification device 10 .
  • the classification system 1 classifies a sample SP (object to be classified, for example, strawberry), which is an object to be classified.
  • the camera K captures a plurality of images including mutually different regions on the outer peripheral surface of the sample SP.
  • the classification device 10 acquires a plurality of images captured by the camera K. FIG. Thereby, in the classification system 1 of the embodiment, classification can be performed based on the states of different surfaces of the sample SP (object to be classified, for example, strawberry).
  • Classifier 10 may use image processing to classify quality or size.
  • the classification device 10 extracts the contour of the sample SP by performing image processing on an image obtained by capturing the sample SP, and classifies the size based on the proportion of the extracted contour portion in the image. may be configured.
  • the classification device 10 calculates the area occupied by the red color tone and the area occupied by the green color tone in the image by performing image processing on the image of the sample SP.
  • the area occupied by the red color tone corresponds to the area of the fruit portion.
  • the area occupied by the green color tone corresponds to the area of the stem portion.
  • the classification device 10 may classify the grade using the ratio of the area occupied by red tones and the area occupied by green tones.
  • All or part of the classification system 1 and the classification device 10 in the above-described embodiment may be implemented by a computer.
  • a program for realizing this function may be recorded in a computer-readable recording medium, and the program recorded in this recording medium may be read into a computer system and executed.
  • the "computer system” referred to here includes hardware such as an OS and peripheral devices.
  • the term "computer-readable recording medium” refers to portable media such as flexible discs, magneto-optical discs, ROMs and CD-ROMs, and storage devices such as hard discs incorporated in computer systems.
  • “computer-readable recording medium” refers to a program that dynamically retains programs for a short period of time, like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. It may also include something that holds the program for a certain period of time, such as a volatile memory inside a computer system that serves as a server or client in that case. Further, the program may be for realizing a part of the functions described above, or may be capable of realizing the functions described above in combination with a program already recorded in the computer system, It may be realized using a programmable logic device such as FPGA.

Landscapes

  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

分類対象物の外周面における互いに異なる領域が撮像された複数の画像を取得する画像取得部と、前記画像取得部によって取得された前記複数の画像を用いて、前記分類対象物における、外観の優劣度である品位を分類する品位分類部と、を備える。

Description

分類装置、分類方法、及び分類システム
　本発明は、分類装置、分類方法、及び分類システムに関する。
　本願は、２０２１年１２月２３日に日本に出願された特願２０２１－２０９９１０に基づき優先権を主張し、その内容をここに援用する。
　分類対象物としての苺を分類するシステムがある（例えば、特許文献１参照）。特許文献１のシステムでは、苺の外観を撮像した画像を用いて当該苺の大きさや形状を分類する。これにより、計測機器などを苺に接触させることなく非接触にて苺を分類することができる。したがって、苺を傷つけずに分類することが可能となる。
特開平７－８７４７７号公報
　しかしながら、分類を行う場合、分類対象物の全体の状態に基づいて分類が行われる方が望ましい。特許文献１では苺を一方の方向から撮像した画像を用いた分類が行なわれ、他方の状態を考慮した分類が行われていなかった。
　本発明は、このような状況に鑑みてなされたものである。本発明は、分類対象物の外周面における互いに異なる領域のそれぞれの状態に基づいて分類を行うことが可能となる分類装置、分類方法、及び分類システムを提供することを目的とする。
　本発明の、分類装置は、分類対象物の外周面における互いに異なる領域が撮像された複数の画像を取得する画像取得部と、前記画像取得部によって取得された前記複数の画像を用いて、前記分類対象物における、外観の優劣度である品位を分類する品位分類部と、を備える。
　本発明の、分類装置は、分類対象物の外周面における互いに異なる領域が撮像された複数の画像を取得する画像取得部と、前記画像取得部によって取得された前記複数の画像を用いて、前記分類対象物のサイズを分類するサイズ分類部と、を備える。
　本発明の、分類システムは、分類対象物の外周面における互いに異なる領域が含まれる複数の画像を撮像する撮像装置と、上記に記載の分類装置と、を備え、前記分類装置は、前記撮像装置により撮像された前記複数の画像を取得する。
　本発明の、分類方法は、分類装置であるコンピュータが行う分類方法であって、画像取得部が、分類対象物の外周面における互いに異なる領域が撮像された複数の画像を取得し、品位分類部が、前記画像取得部によって取得された前記複数の画像を用いて、前記分類対象物における、外観の優劣度である品位を分類する。
　本発明の、分類方法は、分類装置であるコンピュータが行う分類方法であって、画像取得部が、分類対象物の外周面における互いに異なる領域が撮像された複数の画像を取得し、サイズ分類部が、前記画像取得部によって取得された前記複数の画像を用いて、前記分類対象物のサイズを分類する。
　本発明によれば、分類対象物の外周面における互いに異なる領域のそれぞれの状態に基づいて分類を行うことが可能となる。
実施形態による分類装置が適用される分類システムの例を示す概要図である。 実施形態によるサンプルとカメラの位置関係を説明する図である。 実施形態によるサンプルとカメラの位置関係を説明する図である。 実施形態による分類装置の構成例を示すブロック図である。 実施形態による分類装置が行う処理を説明する図である。 実施形態による分類装置が行う処理を説明する図である。 実施形態による分類装置が行う処理を説明する図である。 実施形態による分類装置が行う処理の流れを示すフローチャートである。 実施形態による分類装置が行う処理の流れを示すフローチャートである。 実施形態による分類装置が行う処理の流れを示すフローチャートである。
　以下、本発明の実施形態について、図面を参照して説明する。以下では、分類対象物が苺である場合を例示して説明するが、これに限定されない。分類対象物は、任意の物体であってよい。本実施形態は、分類対象物として、例えば、円錐状のもの、或いは球状のものに適用可能である。円錐状の分類対象物としては、例えば、トウモロコシ、アスパラガスなどの農作物、大福などの加工品がある。球状のものとしては、例えば、りんご、トマトなどの農作物がある。
（分類システム１について）
　まず、分類システム１について、図１を用いて説明する。図１は、実施形態による分類装置１０が適用される分類システム１の例を示す概要図である。分類システム１は、例えば、苺を栽培する植物工場に設置され、植物工場で収穫された苺を分類する作業を行う。
　分類システム１は、例えば、コンベアＣＶと、複数（この図の例では、３つ）のカメラＫ（カメラＫ１～Ｋ３）と、分類装置１０と、アームロボットＲＢと、表示装置２０とを備える。コンベアＣＶは、分類対象とする苺（以下、サンプルＳＰという）を搬送する。分類システム１では、サンプルＳＰを搬送する過程において、工程ＫＴ１～ＫＴ３が行われる。
　工程ＫＴ１では、サンプルＳＰを分類する作業が行われる。例えば、工程ＫＴ１では、カメラＫは、サンプルＳＰを撮像し、撮像した画像データを分類装置１０に出力する。分類装置１０は、カメラＫによって撮像された画像に基づいてサンプルＳＰの等級を分類し、分類結果をアームロボットＲＢ及び表示装置２０に出力する。
　工程ＫＴ２では、分類結果に基づいてサンプルＳＰを移載する作業が行われる。例えば、工程ＫＴ２では、アームロボットＲＢは、分類装置１０から取得した分類結果に基づいてサンプルＳＰを分岐レーン等に移載する。
　工程ＫＴ３では、作業員Ｐによる手作業が行われる。例えば、工程ＫＴ３では、表示装置２０は、分類結果に基づいて、分類された苺を梱包する等、作業員Ｐに対する指示を表示する。作業員Ｐは、表示装置２０に表示された指示に従い作業を行う。
　分類システム１では、サンプルＳＰの品位及びサイズ（大きさ）をそれぞれ分類し、品位に係る分類結果と、サイズに係る分類結果とに基づいて、総合的にサンプルＳＰの等級を決定する。ここでの品位とは、外観の優劣度である。品位は、苺の表面の状態、例えば、傷の有無やテクスチャなどの質感、色味等に基づく優劣度である。分類システム１では、画像に基づいて品位及びサイズを分類する。これにより、外観と大きさとに基づく総合的な分類を、計測機器などを苺に接触させることなく非接触にて行うことが可能となる。
　（撮像について）
　ここで、工程ＫＴ１において、カメラＫがサンプルＳＰを撮像する方法について、図２及び図３を用いて説明する。図２及び図３は、実施形態によるサンプルＳＰとカメラＫの位置関係を説明する図である。
　一般に、成熟した苺の果実部分はやわらかくて傷つき易い状態にある場合が多い。このようなやわらかくて傷つき易い状態にある苺の果実部分を載置面と接触するように載置してしまうと、果実部分が自重により損傷してしまう可能性がある。
　この対策として本実施形態では、サンプルＳＰを、ヘタ部分が下側、先端部分が上側となるように配置する。これにより、果実部分を載置面に接触させないようにして果実部分が自重により損傷してしまうことを抑制できるようにする。
　また、苺の外皮は可食部、つまり食べられる部分である。このため、苺の外皮に付着したゴミや汚れを精度よく検知する必要がある。さらに、苺の外皮には粒状の痩果（種のようにみえるもの）がついており、痩果の周囲がやや窪んだ複雑な形状をしている。このように表面の状態が複雑なテクスチャである苺に対し、品位を正しく分類するには、少なくとも痩果と付着汚れを正しく区別する必要がある。
　例えば、逆光にて撮像した苺の画像を、苺の陰影部分とそれ以外の部分とに二値化処理するなどして生成した苺のシルエットを用いてその苺の大きさや形状を分類するようなシステムでは、苺の外皮に付着したゴミや汚れを精度よく検知することが困難である。また、苺をモノトーンで撮像した画像を用いた分類では、痩果と、苺の表面に付着した汚れとを精度よく区別することが難しい。
　この対策として、本実施形態では、苺を色付き（カラー）で撮像し、撮像したカラー画像を用いて苺の品位を分類する。これにより、色の相違に基づいて、痩果と苺の表面に付着した汚れとを精度よく区別できるようにする。
　さらに、本実施形態では、サンプルＳＰの外周面における互いに異なる領域のそれぞれが撮像された複数の画像を用いて分類を行う。これにより、苺の外周面における互いに異なる領域のそれぞれの状態に基づいて分類を行うことができるようにする。ここでの複数の画像は、例えば、互いに異なる複数の撮像位置のそれぞれからサンプルＳＰが撮像された画像である。この場合、複数の撮像位置のそれぞれにカメラＫが配置される。
　図２には、サンプルＳＰとカメラＫの位置関係を上方からみた斜視図が模式的に示されている。この図の例に示すように、カメラＫ１～Ｋ３は、サンプルＳＰを中心とする円Ｅの円周上に等間隔に、すなわち、隣り合う撮像位置と、円Ｅの中心とがなす角度が等角度となるように配置される。これにより、サンプルＳＰを三方向から撮像することができ、サンプルＳＰの外周面の全体の状態を撮像することが可能となる。
　図３には、サンプルＳＰとカメラＫの位置関係を正面からみた正面図が模式的に示されている。この図の例に示すように、カメラＫ１～Ｋ３は、サンプルＳＰを通り鉛直方向に向かう直線に垂直な平面上にある円Ｅに配置される。すなわち、カメラＫ１～Ｋ３は、サンプルＳＰの配置位置から、それぞれの撮像位置までの距離が等距離であり、且つ、サンプルＳＰの配置位置からそれぞれの撮像位置を結ぶ直線と水平面とのなす角度が等角度であるように配置される。これにより、複数の画像のそれぞれについて、同じ解像度、且つ同程度の大きさにてサンプルＳＰを撮像することができる。
　なお、本実施形態では、複数台のカメラＫのそれぞれを異なる位置に配置して撮像する場合を例示したが、これに限定されることはない。例えば、複数の画像が、１台のカメラＫが設置された１つの撮像位置から撮像された画像であってもよい。この場合、例えば、サンプルＳＰが配置された台を、サンプルＳＰを通り鉛直方向に向かう直線を回転軸として回転させる。これによって、当該１つの撮像位置からサンプルＳＰの外周面における互いに異なる領域が含まれるように複数の画像が撮像される。これにより、１つのカメラＫによって、サンプルＳＰの外周面における互いに異なる領域を撮像することができる。
（分類装置１０について）
　ここで、分類装置１０について、図４を用いて説明する。図４は、実施形態による分類装置１０の構成例を示すブロック図である。分類装置１０は、コンピュータであり、例えば、ＰＣ（Personal Computer）、マイコン（microcontroller）、ＰＬＣ（Programmable Logic Controller）等である。
　図４に示す通り、分類装置１０は、例えば、通信部１１と、記憶部１２と、制御部１３とを備える。通信部１１は、外部の装置と通信する。ここでの外部の装置とは、カメラＫ、アームロボットＲＢ、及び表示装置２０である。
　記憶部１２は、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＡＭ（Random Access read/write Memory）、ＲＯＭ（Read Only Memory）などの記憶媒体、あるいはこれらの組合せによって構成される。記憶部１２は、分類装置１０の各種処理を実行するためのプログラム、及び各種処理を行う際に利用される一時的なデータを記憶する。
　記憶部１２は、例えば、品位分類学習済モデル１２０と、サイズ分類学習済モデル１２１を記憶する。品位分類学習済モデル１２０は、モデルに入力された入力画像に基づいてサンプルＳＰの品位を推定するモデルである。ここでの入力画像は、サンプルＳＰの外周面が撮像された画像である。品位分類学習済モデル１２０は、学習用データセットを用いた機械学習を実行することにより苺と品位との対応関係を学習したモデルである。対応関係を学習することにより、品位分類学習済モデル１２０は、入力画像に基づいて苺の品位を推定することができるようになる。ここでの学習用データセットは、不特定の苺の外周面が撮像された学習用画像と当該学習用画像に示された苺の品位とが対応付けられた情報である。
　サイズ分類学習済モデル１２１は、モデルに入力された入力画像に基づいてサンプルＳＰのサイズを推定するモデルである。ここでの入力画像は、サンプルＳＰの外周面が撮像された画像である。サイズ分類学習済モデル１２１は、学習用データセットを用いた機械学習を実行することにより苺とサイズとの対応関係を学習したモデルである。対応関係を学習することにより、サイズ分類学習済モデル１２１は、入力画像に基づいて苺のサイズを推定することができるようになる。ここでの学習用データセットは、不特定の苺の外周面が撮像された学習用画像と当該学習用画像に示された苺のサイズとが対応付けられた情報である。
　品位分類学習済モデル１２０、或いはサイズ分類学習済モデル１２１は、既存の学習モデルに、それぞれの分類対象に応じた分類を精度よく行うことができるようになるまで、学習用データセットを用いた機械学習を繰り返し実行することによって生成される。ここでの既存の学習モデルは、例えば、ＣＮＮ（Convolutional Neural Network）、決定木、階層ベイズ、ＳＶＭ（Support Vector Machine）などである。
　制御部１３は、分類装置１０がハードウェアとして備えるＣＰＵ（Central Processing Unit）にプログラムを実行させることによって実現される。制御部１３は、分類装置１０を統括的に制御する。制御部１３は、例えば、画像取得部１３０と、品位分類部１３１と、サイズ分類部１３２と、総合分類部１３３と、分類結果出力部１３４とを備える。
　画像取得部１３０は、サンプルＳＰの外周面における互いに異なる領域が含まれる複数の画像のそれぞれに対応する画像データを取得する。本実施形態では、画像取得部１３０は、カメラＫ１～Ｋ３のそれぞれが撮像した画像に対応する画像データを、カメラＫ１～Ｋ３のそれぞれから取得する。画像取得部１３０は、取得した画像を、品位分類部１３１及びサイズ分類部１３２に出力する。
　品位分類部１３１は、画像取得部１３０から取得した複数の画像に基づいて、サンプルＳＰの品位を分類する。品位分類部１３１は、例えば、品位分類学習済モデル１２０を用いて、複数の画像のそれぞれについてサンプルＳＰの品位を判定する。品位分類部１３１は、複数の画像のうち、１つの画像に対応する画像データを品位分類学習済モデル１２０に入力する。品位分類学習済モデル１２０は、入力された画像データに基づいて推定される、画像に示された苺の品位を出力する。品位分類部１３１は、品位分類学習済モデル１２０から出力された推定結果を、その画像に示された苺の外周面から推定される品位と判定する。品位分類部１３１は、複数の画像のそれぞれについて、品位分類学習済モデル１２０を用いて、それぞれの品位を判定する。
　ここで、複数の画像のそれぞれが似たような品位を示す場合には、複数の画像のそれぞれについて判定した品位を平均化し、その平均化した品位をサンプルＳＰ全体の品位とすることによって、サンプルＳＰ全体の品位を精度よく分類することが可能である。
　しかし、複数の画像のそれぞれが異なる品位を示す場合、複数の画像のそれぞれについて判定した品位の平均をサンプルＳＰ全体の品位とすると、分類精度を低下させてしまう可能性がある。一般に、１か所でも深刻なダメージや汚れが付着していれば、それは良品ではないと判断される場合が多い。このため、１つの画像に深刻なダメージや汚れが付着している状態が撮像されており、他の画像には深刻なダメージや汚れが撮像されていない場合、その苺は良品ではないと判定される方が望ましい。
　この対策として、本実施形態では、品位分類部１３１は、判定した複数の画像のそれぞれに対応する複数の品位のうち、最も劣る品位を、サンプルＳＰ全体の品位として決定する。これにより、１か所でも深刻なダメージや汚れが付着していれば、その深刻なダメージや汚れに応じた品位に分類されるようにする。したがって、複数の画像のそれぞれの品位が互いに異なる状態にある場合であっても、そのサンプルＳＰ全体の品位を精度よく分類することが可能となる。
　サイズ分類部１３２は、画像取得部１３０から取得した複数の画像に基づいて、サンプルＳＰのサイズを分類する。サイズ分類部１３２は、例えば、サイズ分類学習済モデル１２１を用いて、複数の画像のそれぞれについてサンプルＳＰのサイズを判定する。サイズ分類部１３２は、複数の画像のうち、１つの画像に対応する画像データをサイズ分類学習済モデル１２１に入力する。サイズ分類学習済モデル１２１は、入力された画像データに基づいて推定される、画像に示された苺のサイズを出力する。サイズ分類部１３２は、サイズ分類学習済モデル１２１から出力された推定結果を、その画像に示された苺の外周面から推定されるサイズと判定する。サイズ分類部１３２は、複数の画像のそれぞれについて、サイズ分類学習済モデル１２１を用いて、それぞれのサイズを判定する。
　そして、サイズ分類部１３２は、判定した複数の画像のそれぞれに対応する複数のサイズの平均値を、サンプルＳＰ全体のサイズとして決定する。これにより、例えば、サンプルＳＰが少し傾いて配置され、一方からは見かけのサイズが大きくなり、他方から見た見かけのサイズが小さく見えるような場合があっても、それぞれの画像について判定したそれぞれのサイズを平均化することにより、精度よくサイズを判定することが可能となる。
　総合分類部１３３は、サンプルＳＰを総合的に分類する。総合分類部１３３は、品位分類部１３１により判定されたサンプルＳＰ全体の品位を示す情報を取得する。総合分類部１３３は、サイズ分類部１３２により判定されたサンプルＳＰ全体のサイズを示す情報を取得する。総合分類部１３３は、取得した品位とサイズとに基づいて、例えば、対応テーブルを用いて、サンプルＳＰの総合的な分類を行う。ここでの対応テーブルは、品位とサイズとの組合せに、総合的な等級が対応付けられた情報である。
　分類結果出力部１３４は、総合分類部１３３により分類された分類結果を出力する。このようにして出力された分類結果が、分類装置１０からアームロボットＲＢ及び表示装置２０に送信される。
　ここで、分類装置１０が行う分類の方法について、図５～図７を用いて説明する。図５～図７は、実施形態による分類装置１０が行う処理を説明する図である。
　図５には、学習済モデル（品位分類学習済モデル１２０及びサイズ分類学習済モデル１２１）を用いて行う分類の過程で行われる処理が示されている。まず、カメラＫ１～Ｋ３のそれぞれにより撮像された画像が、品位分類学習済モデル１２０及びサイズ分類学習済モデル１２１に入力される。
　品位分類学習済モデル１２０は、入力された画像に応じた品位スコアをそれぞれ出力する。品位スコアは、例えば、画像に示されたサンプルＳＰが、特定の品位クラスである確からしさ（尤度）を示す値である。この図の例では、ｎ＝１～３として、品位スコア（Ｋｎ）は、カメラＫｎによって撮像された画像について推定された品位スコアを示す。
　サイズ分類学習済モデル１２１は、入力された画像に応じたサイズスコアをそれぞれ出力する。サイズスコアは、例えば、画像に示されたサンプルＳＰが特定のサイズクラスである確からしさ（尤度）を示す値である。この図の例では、ｎ＝１～３として、サイズスコア（Ｋｎ）は、カメラＫｎによって撮像された画像について推定されたサイズスコアを示す。
　図６には、品位分類学習済モデル１２０により推定された、品位クラスごとの品位スコアの例が示されている。この例では、品位クラスとして、Ａ～Ｃの三つのクラスが設定された例が示されている。ここでは、品位クラスＡが最も優れた品位であり、品位クラスＢが次に優れた品位であり、品位クラスＣが最も劣った品位である。
　この例では、カメラＫ１が撮像した画像が、品位クラスＡと推定されるスコア（品位スコア）は０．８０であり、品位クラスＢと推定されるスコアは０．２０であり、品位クラスＣと推定されるスコアは０．００であることが示されている。
　品位分類部１３１は、最もスコアが大きい品位クラスを、その画像から推定される品位とする。この例では、カメラＫ１が撮像した画像から推定されたスコアのうち、最も大きなスコアが０．８０であり、その最大のスコアに対応するクラス（品位クラス）がＡである。このため、品位分類部１３１は、カメラＫ１が撮像した画像に示されたサンプルＳＰの品位は「品位クラスＡ」であると判定する。同様に、品位分類部１３１は、カメラＫ２が撮像した画像に示されたサンプルＳＰの品位は「品位クラスＡ」であると判定する。また、カメラＫ３が撮像した画像に示されたサンプルＳＰの品位は「品位クラスＣ」であると判定する。
　品位分類部１３１は、カメラＫ１～Ｋ３のそれぞれが撮像した画像について推定した、それぞれの品位クラスのうち、最も劣った品位を、そのサンプルＳＰ全体の品位に決定する。この例では、品位分類部１３１は、カメラＫ１、Ｋ２、Ｋ３のそれぞれが撮像した画像について推定した、それぞれの品位クラスＡ、Ａ、Ｃのうち、最も劣った品位である「品位クラスＣ」を、そのサンプルＳＰ全体の品位に決定する。
　図７には、サイズ分類学習済モデル１２１により推定された、サイズクラスごとの品位スコアの例が示されている。この例では、サイズクラスとして、３Ｌ、２Ｌ、Ｌ、Ｍ、Ｓ、２Ｓ、及び２Ｓ未満のそれぞれのクラスが設定された例が示されている。ここでは、サイズクラス３Ｌが最も大きいサイズであり、サイズクラス２Ｓ未満が最も小さいサイズである。
　この例では、カメラＫ１が撮像した画像が、サイズクラス３Ｌと推定されるスコア（サイズスコア）は０．００であり、サイズクラス２Ｌと推定されるスコアは０．１であり、サイズクラスＬと推定されるスコアは０．２であることが示されている。また、カメラＫ１が撮像した画像が、サイズクラスＭと推定されるスコアは０．６であり、サイズクラスＳと推定されるスコアは０．１であり、サイズクラス２Ｓ又は２Ｓ未満と推定されるスコアは０．００であることが示されている。スコアの合計（トータル）は、１．０である。
　また、この例では、カメラＫ２が撮像した画像が、サイズクラス３Ｌと推定されるスコアは０．００であり、サイズクラス２Ｌと推定されるスコアは０．３であり、サイズクラスＬと推定されるスコアは０．５であることが示されている。また、カメラＫ２が撮像した画像が、サイズクラスＭと推定されるスコアは０．２であり、サイズクラスＳ、２Ｓ、又は２Ｓ未満と推定されるスコアは０．００であることが示されている。スコアの合計は、１．０である。
　また、この例では、カメラＫ３が撮像した画像が、サイズクラス３Ｌと推定されるスコアは０．００であり、サイズクラス２Ｌと推定されるスコアは０．４であり、サイズクラスＬと推定されるスコアは０．５であることが示されている。また、カメラＫ３が撮像した画像が、サイズクラスＭと推定されるスコアは０．１であり、サイズクラスＳ、２Ｓ、又は２Ｓ未満と推定されるスコアは０．００であることが示されている。スコアの合計は、１．０である。
　サイズ分類部１３２は、複数の画像のそれぞれについて、サイズクラスごとのサイズスコアを算出する。そして、サイズ分類部１３２は、サイズクラスごとに、各画像から推定されたサイズスコアの平均値（スコア平均）を算出する。この例では、サイズクラス３Ｌのスコア平均は０．００である。サイズクラス２Ｌのスコア平均は０．２７である。サイズクラスＬのスコア平均は０．４０である。サイズクラスＭのスコア平均は０．３０である。サイズクラスＳのスコア平均は０．０３である。サイズクラス２Ｓ及び２Ｓ未満のスコア平均は０．００である。
　サイズ分類部１３２は、サイズクラスごとに算出したスコア平均のうち、最もスコアが大きいクラスを、そのサンプルＳＰ全体のサイズクラスとする。この例では、サイズクラスＬのスコア平均である０．４０が、最も大きいスコアである。このため、サイズ分類部１３２は、サイズクラスＬを、このサンプルＳＰのサイズと決定する。
　ここで、分類装置１０が行う処理の流れについて、図８～図１０を用いて説明する。図８～図１０は、実施形態による分類装置１０が行う処理の流れを示すフローチャートである。
　図８には、分類装置１０が行う処理の全体が示されている。まず、分類装置１０は、複数の画像のそれぞれに対応する画像データを取得する（ステップＳ１）。複数の画像のそれぞれには、サンプルＳＰの外周面における互いに異なる領域が撮像されている。次に、分類装置１０は、ステップＳ１で取得した複数の画像を用いて、その画像に示されたサンプルＳＰ全体の品位を分類する（ステップＳ２）。次に、分類装置１０は、ステップＳ１で取得した複数の画像を用いて、その画像に示されたサンプルＳＰ全体のサイズを分類する（ステップＳ３）。次に、分類装置１０は、ステップＳ２で分類した品位、及びステップＳ３で分類したサイズに基づいて、サンプルＳＰの総合的な等級を分類する（ステップＳ４）。そして、分類装置１０は、ステップＳ４で分類した分類結果、すなわち、サンプルＳＰの総合的な等級を示す情報を出力する（ステップＳ５）。
　なお、図８において、ステップＳ２、Ｓ３を行う処理の順序が逆であってもよい。つまり、ステップＳ１、Ｓ３、Ｓ２の順に処理が実行されてもよい。
　図９には、図８のステップＳ２に示す処理（品位を分類する処理）の詳細な流れが示されている。分類装置１０は、１つの画像に基づいて推定された品位クラスごとの品位スコアを取得する（ステップＳ２０）。分類装置１０は、品位分類学習済モデル１２０に、ステップＳ１で取得した複数の画像のうちの１つの画像を入力する。品位分類学習済モデル１２０は、入力された画像に基づいて推定される品位として、品位クラスごとの品位スコアを出力する。分類装置１０は、品位分類学習済モデル１２０から出力された品位クラスごとの品位スコアを取得する。
　分類装置１０は、ステップＳ２０で取得した品位クラスごとの品位スコアのうち、最も品位スコアが大きい品位クラスを、その画像から推定される品位とする（ステップＳ２１）。分類装置１０は、ステップＳ１で取得した複数の画像の全てについて、品位を推定したか否かを判定する（ステップＳ２２）。分類装置１０は、品位を推定していない画像がある場合にはステップＳ２０に戻る。一方、全ての画像について品位を推定した場合には、分類装置１０は、各画像について推定された品位のうち、最も劣った品位を、そのサンプルＳＰの品位として決定する（ステップＳ２３）。
　図１０には、図８のステップＳ３に示す処理（サイズを分類する処理）の詳細な流れが示されている。分類装置１０は、１つの画像に基づいて推定されたサイズクラスごとのサイズスコアを取得する（ステップＳ３０）。分類装置１０は、サイズ分類学習済モデル１２１に、ステップＳ１で取得した複数の画像のうちの１つの画像を入力する。サイズ分類学習済モデル１２１は、入力された画像に基づいて推定されるサイズとして、サイズクラスごとのサイズスコアを出力する。分類装置１０は、サイズ分類学習済モデル１２１から出力されたサイズクラスごとのサイズスコアを取得する。
　分類装置１０は、ステップＳ１で取得した複数の画像の全てについて、サイズを推定したか否かを判定する（ステップＳ３１）。分類装置１０は、サイズを推定していない画像がある場合にはステップＳ３０に戻る。一方、全ての画像についてサイズを推定した場合には、ステップＳ３２に進む。
　分類装置１０は、サイズクラスごとに、各画像から推定されたサイズスコアの平均値を算出する（ステップＳ３２）。分類装置１０は、ステップＳ３２で算出した平均値が最も大きい値となったサイズクラスを、そのサンプルＳＰのサイズとして決定する（ステップＳ３３）。
　以上、説明した通り、実施形態の分類装置１０は、画像取得部１３０と、品位分類部１３１を備える。画像取得部１３０は、複数の画像のそれぞれに対応する画像データを取得する。複数の画像は、サンプルＳＰ（分類対象物、例えば苺）の外周面における互いに異なる領域が含まれる複数の画像である。品位分類部１３１は、画像取得部１３０によって取得された複数の画像を用いて、サンプルＳＰにおける品位を分類する。品位は、外観の優劣度である。これにより、実施形態の分類装置１０では、サンプルＳＰ（分類対象物、例えば苺）全体の状態に基づいて分類を行うことができる。
　また、実施形態の分類装置１０では、複数の画像のそれぞれに対応する撮像位置とサンプルＳＰの配置位置との相対的な位置関係は、配置位置から撮像位置までの距離が等距離であり、配置位置から撮像位置を結ぶ直線と水平面とのなす角度が等角度である。これにより、実施形態の分類装置１０では、複数の画像のそれぞれについて、同じ解像度、且つ同程度のサイズにてサンプルＳＰを撮像することができる。
　複数の画像のそれぞれに対応する撮像位置から配置位置までの距離が異なっている場合、それぞれ画像に撮像されるサンプルＳＰの大きさが異なる。このため、画像から推定されるサンプルＳＰのサイズが異なる結果となってしまう。この対策として、１つの画像にサンプルＳＰと、大きさが既知のリファレンスとが含まれるよう撮像を行い、リファレンスに基づいて画像処理を行うことにより、サンプルＳＰの大きさを推定することが考えられる。
　また、複数の画像のそれぞれに対応する撮像位置から配置位置までの距離が異なっている場合、それぞれ画像を撮像する際にカメラＫが受光する光量（サンプルＳＰに反射した光の光量）が変化する。このため、複数の画像のそれぞれに撮像されたサンプルＳＰの色調が異なる色調となる可能性がある。この対策として、１つの画像にサンプルＳＰと、色が既知のリファレンスとが含まれるよう撮像を行い、リファレンスに基づいて画像処理を行うことにより、サンプルＳＰの明度及び色度を補正し、補正後の画像に基づいて品位を推定することが考えられる。
　上述したような画像処理を行う構成にしてもよいが、処理が煩雑となるため、それぞれに対応する撮像位置から配置位置までの距離が等距離となるように構成されることが望ましい。
　また、実施形態の分類装置１０では、サンプルＳＰは、錘状の物体であり、錘状の物体における底面が下側となるように配置される。これにより、分類対象物を安定した状態で載置することができる。
　また、実施形態の分類装置１０では、サンプルＳＰは、ヘタ部分が下側となり、先端部分が上側となるように配置される。やわらかくて傷つき易い苺の側面にある果実部分が載置面に接触しないようにして果実部分が自重により損傷してしまうことを抑制することができる。
　ここで比較例として、例えば、ヘタ部分が右側となり、先端部分が左側となるように、横向きに配置したサンプルＳＰを、図２及び図３のように設置されたカメラＫで三方向から撮像する場合を考える。この場合、３つの画像のうち、少なくとも1つの画像にはヘタ部分が撮像された画像となり、少なくとも１つの画像には果実部分のみが撮像されヘタ部分が撮像されていない画像となる。この場合、１つのサンプルＳＰを撮像して得られる複数の画像に、緑色と赤色のそれぞれの色調が含まれる画像と、緑の色調が含まれず赤色の色調のみが含まれる画像とが混在することとなる。このような混在した画像に基づいて品位を判定しようとすると、緑色と赤色のそれぞれの色調が含まれる画像に基づいて品位を判定するアルゴリズムと、赤色のみの色調が含まれる画像に基づいて品位を判定するアルゴリズムとの２種類のアルゴリズムを用意する必要がある。つまり、２種類のアルゴリズムのそれぞれに対応するモデル（学習済モデルなど）を用意する必要がある。また、複数の画像のうち、何れの画像を、何れのアルゴリズムを用いて分類するかを判定する必要があるため処理が煩雑となる。
　これに対し、本実施形態の分類装置１０では、ヘタ部分が下側となり、先端部分が上側となるように配置される。このようにサンプルＳＰを配置することにより、苺の外周面において互いに異なる面を、同じような色調で撮像することが可能となる。つまり、複数の画像の全てを、ヘタ部分と果実部分とが含まれる画像、つまり緑色と赤色のそれぞれの色調が含まれる画像とすることができる。このため、画像に基づいて品位を分類する場合に、複数の画像のそれぞれに、同じアルゴリズムを適用することが可能となる。つまり、１つのアルゴリズムに対応するモデルを用意し、そのモデルを用いて複数の画像のそれぞれについて分類を行えばよい。このため、処理を簡素化することが可能である。
　また、実施形態の分類装置１０では、複数の画像は、互いに異なる複数の撮像位置のそれぞれから撮像された画像である。複数の撮像位置のそれぞれは、円Ｅの円周上に、隣り合う撮像位置と、円Ｅの中心とがなす角度が等角度となるように設定される。円Ｅは、図２及び図３に示すように、サンプルＳＰを通り鉛直方向に向かう直線に垂直な平面にあり、その平面とその直線との交点を中心とする円である。例えば、三つのカメラＫを用いる場合には円周角１２０度ごとに三方向からサンプルＳＰを撮像する。これにより、実施形態の分類装置１０では、複数のカメラＫによってサンプルＳＰの外周面の全体の状態を撮像することが可能となる。
　また、実施形態の分類装置１０では、複数の画像は、１つの撮像位置から撮像された画像であってもよい。この場合、複数の画像は、サンプルＳＰが配置された台を、サンプルＳＰを通り鉛直方向に向かう軸を中心として水平方向に回転させることによって、当該１つの撮像位置からサンプルＳＰの外周面における互いに異なる領域が撮像された複数の画像である。これにより、実施形態の分類装置１０では、１つのカメラＫによってサンプルＳＰの外周面の全体の状態を撮像することが可能となる。
　また、実施形態の分類装置１０では、品位分類部１３１は、複数の画像のそれぞれについて品位を判定する。品位分類部１３１は、判定した複数の画像のそれぞれに対応する複数の品位のうち、最も劣る前記品位を、サンプルＳＰの品位として決定する。これにより、実施形態の分類装置１０では、サンプルＳＰの外周面における互いに異なる領域のそれぞれの品位のうち、最も劣った品位を、そのサンプルＳＰ全体の品位とすることができる。したがって、１か所でも深刻なダメージや汚れが付着していれば、そのダメージや汚れを考慮した品位とすることができるため精度よく品位を分類することができる。
　また、実施形態の分類装置１０では、品位分類部１３１は、品位分類学習済モデル１２０（学習済モデルの一例）を用いて品位を判定する。品位分類学習済モデル１２０は、不特定の苺（不特定の対象物の一例）の外周面が撮像された学習用画像と当該学習用画像に示された苺の品位とが対応付けられた学習用データセットを用いた機械学習を実行することにより作成される。品位分類学習済モデル１２０は、このような機械学習を実行することにより、苺と品位との対応関係を学習したモデルとなる。品位分類学習済モデル１２０は、このようにして学習した対応関係を用いて、サンプルＳＰの外周面が撮像された入力画像に基づいて、サンプルＳＰの品位を推定する。これにより、実施形態の分類装置１０では、学習済モデルに画像を入力するという簡単な方法により品位を推定することができる。また、学習済モデルは、学習データセットを機械学習することにより学習した、苺と品位との対応関係に基づいて品位を推定する。このため、本実施形態の分類装置１０では定量的に品位を推定することが可能となる。したがって、作業者（人間）が各自の感覚に基づいて品位を判別する方法と比較して、品位を誤って判定してしまったり、作業者によって判定結果に偏りが出てしまったりするような事態を低減することができる。
　また、実施形態の分類装置１０は、画像取得部１３０と、サイズ分類部１３２を備えるように構成されてもよい。画像取得部１３０は、複数の画像のそれぞれに対応する画像データを取得する。複数の画像は、サンプルＳＰ（分類対象物、例えば苺）の外周面における互いに異なる領域が含まれる複数の画像である。サイズ分類部１３２は、画像取得部１３０によって取得された複数の画像を用いて、サンプルＳＰにおけるサイズを分類する。これにより、実施形態の分類装置１０では、サンプルＳＰ（分類対象物、例えば苺）の異なる面の状態に基づいて分類を行うことができる。
　また、実施形態の分類装置１０では、サイズ分類部１３２は、複数の画像のそれぞれについて前記苺のサイズを判定する。サイズ分類部１３２は、判定した複数の画像のそれぞれに対応する複数のサイズの平均値を、サンプルＳＰのサイズとして決定する。これにより、実施形態の分類装置１０では、例えば、サンプルＳＰが少し傾いて載置され、一方からは見かけのサイズが大きくなり、他方から見た見かけのサイズが小さく見えるような場合があっても、それぞれの画像について判定したそれぞれのサイズを平均化することができる。このため、精度よくサイズを判定することが可能となる。
　また、実施形態の分類装置１０では、サイズ分類部１３２は、サイズ分類学習済モデル１２１（学習済モデルの一例）を用いてサイズを判定する。サイズ分類学習済モデル１２１は、不特定の苺（不特定の対象物の一例）の外周面が撮像された学習用画像と当該学習用画像に示された苺のサイズとが対応付けられた学習用データセットを用いた機械学習を実行することにより作成される。サイズ分類学習済モデル１２１は、このような機械学習を実行することにより、苺とサイズとの対応関係を学習したモデルとなる。サイズ分類学習済モデル１２１は、このようにして学習した対応関係を用いて、サンプルＳＰの外周面が撮像された入力画像に基づいて、サンプルＳＰのサイズを推定する。これにより、実施形態の分類装置１０では、学習済モデルに画像を入力するという簡単な方法によりサイズを推定することができる。また、学習済モデルは、学習データセットを機械学習することにより学習した、苺とサイズとの対応関係に基づいて品位を推定する。このため、本実施形態の分類装置１０では定量的にサイズを推定することが可能となる。
　また、実施形態の分類システム１は、カメラＫ（撮像装置）と分類装置１０とを備える。分類システム１は、分類対象物であるサンプルＳＰ（分類対象物、例えば苺）を分類する。カメラＫは、サンプルＳＰの外周面における互いに異なる領域が含まれる複数の画像を撮像する。分類装置１０は、カメラＫにより撮像された複数の画像を取得する。これにより、実施形態の分類システム１では、サンプルＳＰ（分類対象物、例えば苺）の異なる面の状態に基づいて分類を行うことが可能となる。
　上述した実施形態では、学習済モデルを用いて品位又はサイズを分類する方法を例示して説明したがこれに限定されない。分類装置１０は、画像処理を用いて、品位又はサイズを分類するようにしてもより。例えば、分類装置１０は、サンプルＳＰが撮像された画像に画像処理を行うことによって、サンプルＳＰの輪郭を抽出し、抽出した輪郭部分が画像に占める割合に基づいて、大きさを分類するように構成されてもよい。また、分類装置１０は、サンプルＳＰが撮像された画像に画像処理を行うことによって、画像において赤色の色調が占める面積、及び緑色の色調が占める面積を算出する。ここで、赤色の色調が占める面積は果実部分の面積に相当する。また、緑色の色調が占める面積は、ヘタ部分の面積に相当する。分類装置１０は、赤色の色調が占める面積と、緑色の色調が占める面積との比率を用いて、品位を分類するようにしてもよい。
　上述した実施形態における分類システム１及び分類装置１０の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
　１…分類システム
　１０…分類装置
　１１…通信部
　１２…記憶部
　１２０…品位分類学習済モデル
　１２１…サイズ分類学習済モデル
　１３…制御部
　１３０…画像取得部
　１３１…品位分類部
　１３２…サイズ分類部
　１３３…総合分類部
　１３４…分類結果出力部

Claims (14)

  1. 　分類対象物の外周面における互いに異なる領域が撮像された複数の画像を取得する画像取得部と、
    　前記画像取得部によって取得された前記複数の画像を用いて、前記分類対象物における、外観の優劣度である品位を分類する品位分類部と、
    　を備える分類装置。
  2. 　前記複数の画像のそれぞれに対応する撮像位置と前記分類対象物の配置位置との相対的な位置関係は、前記配置位置から前記撮像位置までの距離が等距離であり、前記配置位置から前記撮像位置を結ぶ直線と水平面とのなす角度が等角度である、
    　請求項１に記載の分類装置。
  3. 　前記分類対象物は、錘状の物体であり、当該錘状の物体における底面が下側となるように配置される、
    　請求項１又は請求項２に記載の分類装置。
  4. 　前記分類対象物は苺であり、
    　前記苺は、ヘタ部分が下側となり、先端部分が上側となるように配置される、
    　請求項１から請求項３のいずれか一項に記載の分類装置。
  5. 　前記複数の画像は、互いに異なる複数の撮像位置のそれぞれから撮像された画像であり、
    　前記複数の撮像位置のそれぞれは、円の円周上に、隣り合う撮像位置と前記円の中心とがなす角度が等角度となるように設定され、
    　前記円は、前記分類対象物を通り鉛直方向に向かう直線に垂直な平面にある、前記平面と前記直線との交点を中心とする円である、
    　請求項１から請求項４のいずれか一項に記載の分類装置。
  6. 　前記複数の画像は、１つの撮像位置から撮像された画像であり、前記分類対象物が配置された台を、前記分類対象物を通り鉛直方向に向かう軸を中心に水平方向に回転させることによって、当該１つの撮像位置から前記分類対象物の外周面における互いに異なる領域が撮像された複数の画像である、
    　請求項１から請求項４のいずれか一項に記載の分類装置。
  7. 　前記品位分類部は、前記複数の画像のそれぞれについて前記品位を判定し、判定した前記複数の画像のそれぞれに対応する複数の前記品位のうち、最も劣る前記品位を、前記分類対象物の前記品位として決定する、
    　請求項１から請求項６のいずれか一項に記載の分類装置。
  8. 　前記品位分類部は、学習済モデルを用いて前記品位を判定し、
    　前記学習済モデルは、不特定の対象物の外周面が撮像された学習用画像と当該学習用画像に示された前記対象物の前記品位とが対応付けられた学習用データセットを用いた機械学習を実行することにより前記対象物と前記品位との対応関係を学習したモデルであって、前記分類対象物の外周面が撮像された入力画像に基づいて前記分類対象物の前記品位を推定するモデルである、
    　請求項７に記載の分類装置。
  9. 　分類対象物の外周面における互いに異なる領域が撮像された複数の画像を取得する画像取得部と、
    　前記画像取得部によって取得された前記複数の画像を用いて、前記分類対象物のサイズを分類するサイズ分類部と、
    　を備える分類装置。
  10. 　前記サイズ分類部は、前記複数の画像のそれぞれについて前記分類対象物のサイズを判定し、判定した前記複数の画像のそれぞれに対応する複数のサイズの平均値を、前記分類対象物のサイズとして決定する、
    　請求項９に記載の分類装置。
  11. 　前記サイズ分類部は、学習済モデルを用いて前記分類対象物のサイズを判定し、
    　前記学習済モデルは、不特定の対象物の外周面が撮像された学習用画像と当該学習用画像に示された前記対象物のサイズとが対応付けられた学習用データセットを用いた機械学習を実行することにより前記対象物とサイズとの対応関係を学習したモデルであって、前記分類対象物の外周面が撮像された入力画像に基づいて前記分類対象物のサイズを推定するモデルである、
    　請求項１０に記載の分類装置。
  12. 　分類対象物を撮像する撮像装置と、
    　請求項１から請求項１１のいずれか一項に記載の分類装置と、
    　を備え、
    　前記分類装置は、前記撮像装置から前記分類対象物の外周面における互いに異なる領域が撮像された複数の画像を取得する、
    　分類システム。
  13. 　分類装置であるコンピュータが行う分類方法であって、
    　画像取得部が、分類対象物の外周面における互いに異なる領域が撮像された複数の画像を取得し、
    　品位分類部が、前記画像取得部によって取得された前記複数の画像を用いて、前記分類対象物における、外観の優劣度である品位を分類する、
    　分類方法。
  14. 　分類装置であるコンピュータが行う分類方法であって、
    　画像取得部が、分類対象物での外周面における互いに異なる領域が撮像された複数の画像を取得し、
    　サイズ分類部が、前記画像取得部によって取得された前記複数の画像を用いて、前記分類対象物のサイズを分類する、
    　分類方法。
PCT/JP2022/045863 2021-12-23 2022-12-13 分類装置、分類方法、及び分類システム WO2023120306A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021209910A JP2023094434A (ja) 2021-12-23 2021-12-23 分類装置、分類方法、及び分類システム
JP2021-209910 2021-12-23

Publications (1)

Publication Number Publication Date
WO2023120306A1 true WO2023120306A1 (ja) 2023-06-29

Family

ID=86902396

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/045863 WO2023120306A1 (ja) 2021-12-23 2022-12-13 分類装置、分類方法、及び分類システム

Country Status (2)

Country Link
JP (1) JP2023094434A (ja)
WO (1) WO2023120306A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5987083A (ja) * 1982-11-09 1984-05-19 池上通信機株式会社 画像処理装置
JP2004198297A (ja) * 2002-12-19 2004-07-15 Yanmar Agricult Equip Co Ltd 画像認識装置
JP2004251777A (ja) * 2003-02-20 2004-09-09 Yanmar Agricult Equip Co Ltd 農産物非破壊品質判定装置
JP2011240257A (ja) * 2010-05-18 2011-12-01 Kochi Univ Of Technology 回転楕円体及び球面体の全面画像検査装置
US20130028487A1 (en) * 2010-03-13 2013-01-31 Carnegie Mellon University Computer vision and machine learning software for grading and sorting plants
JP2018132962A (ja) * 2017-02-15 2018-08-23 オムロン株式会社 画像出力装置及び画像出力方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5987083A (ja) * 1982-11-09 1984-05-19 池上通信機株式会社 画像処理装置
JP2004198297A (ja) * 2002-12-19 2004-07-15 Yanmar Agricult Equip Co Ltd 画像認識装置
JP2004251777A (ja) * 2003-02-20 2004-09-09 Yanmar Agricult Equip Co Ltd 農産物非破壊品質判定装置
US20130028487A1 (en) * 2010-03-13 2013-01-31 Carnegie Mellon University Computer vision and machine learning software for grading and sorting plants
JP2011240257A (ja) * 2010-05-18 2011-12-01 Kochi Univ Of Technology 回転楕円体及び球面体の全面画像検査装置
JP2018132962A (ja) * 2017-02-15 2018-08-23 オムロン株式会社 画像出力装置及び画像出力方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
IKEDA, KAZUHIRO: "Three test machines using "cucumber selecting AI" attempted by farmer team of foreign engineers, tracking for two years", ITMEDIA ENTERPRISE - BIG DATA, pages 1 - 6, XP009547356, Retrieved from the Internet <URL:https://www.itmedia.co.jp/enterprise/articles/1803/12/news035.html> [retrieved on 20230118] *

Also Published As

Publication number Publication date
JP2023094434A (ja) 2023-07-05

Similar Documents

Publication Publication Date Title
US11310467B2 (en) Object inspection system and method for inspecting an object
Sa et al. Peduncle detection of sweet pepper for autonomous crop harvesting—combined color and 3-D information
Mhaski et al. Determination of ripeness and grading of tomato using image analysis on Raspberry Pi
Abelha et al. Learning how a tool affords by simulating 3D models from the web
Velumani Wheat ear detection in plots by segmenting mobile laser scanner data
Wang et al. Separation and identification of touching kernels and dockage components in digital images
WO2020005773A1 (en) Food quality image classification
JP7387117B2 (ja) 計算システム、方法及び非一時的コンピュータ可読媒体
WO2023084543A1 (en) System and method for leveraging neural network based hybrid feature extraction model for grain quality analysis
JP2021174456A (ja) 異常判定方法及び異常判定装置
CN112756324B (zh) 一种物品清洗方法、装置及终端设备
Kuo et al. Improving defect inspection quality of deep-learning network in dense beans by using hough circle transform for coffee industry
Dolata et al. Instance segmentation of root crops and simulation-based learning to estimate their physical dimensions for on-line machine vision yield monitoring
Strachan et al. Image analysis in the fish and food industries
CN117314923B (zh) 一种基于机器视觉的荔枝智能分拣与配送优化方法
WO2023120306A1 (ja) 分類装置、分類方法、及び分類システム
JP2017040522A (ja) 教示支援方法および画像分類方法
CN113894058A (zh) 基于深度学习的品质检测与分拣方法、系统及存储介质
CN113822842A (zh) 一种基于多任务学习的工业缺陷检测方法
Jabalameli et al. Edge-based recognition of novel objects for robotic grasping
Recce et al. Video grading of oranges in real-time
Cupec et al. Point cloud segmentation to approximately convex surfaces for fruit recognition
Pham et al. A Computer Vision Based Robotic Harvesting System for Lettuce
Runge Mobile 3D Computer Vision: Introducing a portable system for potato size grading
JP7417882B2 (ja) 計算システム、方法及び非一時的コンピュータ可読媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22911014

Country of ref document: EP

Kind code of ref document: A1