JP7471215B2 - Crop sorting equipment - Google Patents

Crop sorting equipment Download PDF

Info

Publication number
JP7471215B2
JP7471215B2 JP2020217449A JP2020217449A JP7471215B2 JP 7471215 B2 JP7471215 B2 JP 7471215B2 JP 2020217449 A JP2020217449 A JP 2020217449A JP 2020217449 A JP2020217449 A JP 2020217449A JP 7471215 B2 JP7471215 B2 JP 7471215B2
Authority
JP
Japan
Prior art keywords
crop
unit
calculates
calculation unit
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020217449A
Other languages
Japanese (ja)
Other versions
JP2022102614A (en
Inventor
裕介 作田
正洋 中西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kubota Corp
Original Assignee
Kubota Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kubota Corp filed Critical Kubota Corp
Priority to JP2020217449A priority Critical patent/JP7471215B2/en
Publication of JP2022102614A publication Critical patent/JP2022102614A/en
Application granted granted Critical
Publication of JP7471215B2 publication Critical patent/JP7471215B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Sorting Of Articles (AREA)

Description

本発明は、搬送される人参や大根などの農作物の撮影画像を用いて農作物を評価し、その評価結果に基づいて農作物を選別する農作物選別装置に関する。 The present invention relates to a crop sorting device that evaluates crops such as carrots and radishes using photographed images of the crops being transported and sorts the crops based on the evaluation results.

特許文献1には、農作物を貯溜部から1個ずつ搬出して、計量測定し、各重量等級に振り分けて選別回収する農作物自動選別装置が開示されている。 Patent Document 1 discloses an automatic crop sorting device that removes crops one by one from a storage area, weighs and measures them, and sorts and collects them by weight class.

特許文献2には、コンベア等の搬送手段により搬送される検査対象物を複数のカメラで撮像して、その複数の撮像画像に基づき検査対象物である青果物の外観検査を行なう検査装置が開示されている。この検査装置は、青果物が投入される投入部と、投入された青果物を搬送する搬送部と、搬送された青果物を撮影する撮像部と、青果物の複数の撮影画像を用いて青果物の大きさ、形状及びキズを識別する識別部と、識別結果に基づいて青果物を選別する選別部とを備えている。識別部による大きさ判定は、撮影画像の画像処理によって得られた青果物領域の画素数を面積としてその閾値と比べることで行われる。識別部による形状判定は、青果物領域と接する長方形の長辺と短辺との比率も用いて行われる。識別部によるキズ判定は、画像処理で得られたキズ画像の連結領域の面積を規格値と比べることで行われる。 Patent Document 2 discloses an inspection device that uses multiple cameras to capture images of an inspection object transported by a transport means such as a conveyor, and performs an appearance inspection of the fruit or vegetable that is the inspection object based on the multiple captured images. This inspection device includes an input section into which the fruit or vegetable is input, a transport section that transports the input fruit or vegetable, an imaging section that photographs the transported fruit or vegetable, an identification section that uses the multiple captured images of the fruit or vegetable to identify the size, shape, and damage of the fruit or vegetable, and a sorting section that sorts the fruit or vegetable based on the identification results. The size determination by the identification section is performed by comparing the number of pixels in the fruit or vegetable area obtained by image processing of the captured image as the area with a threshold value. The shape determination by the identification section is also performed using the ratio of the long side to the short side of a rectangle that borders the fruit or vegetable area. The damage determination by the identification section is performed by comparing the area of the connected area of the damaged image obtained by image processing with a standard value.

特開平6-156654号公報Japanese Patent Application Laid-Open No. 6-156654 特許第4649628号公報Japanese Patent No. 4649628

特許文献1による農作物自動選別装置では、計量選別のために、重量等級別に天秤アームを設ける必要があるので、重量等級数が多くなると、天秤アームの数も多くなり、装置が大型化する。 In the automatic crop sorting device described in Patent Document 1, it is necessary to provide a balance arm for each weight class for weighing and sorting, so as the number of weight classes increases, the number of balance arms also increases, and the device becomes larger.

特許文献2による検査装置では、青果物の大きさ、形状及びキズを判定するために、複数台のカメラを有する撮像部からの複数の撮影画像が必要となり、撮像部及び画像処理が複雑となる。さらに、青果物の大きさは、撮影画像で画像認識した青果物領域の画素数を面積とし、その面積を閾値と比較して、大きさの大小を判定しているので、その青果物が変形していても面積さえ大きければ、大きさが大と判定される可能性がある。 In the inspection device according to Patent Document 2, in order to determine the size, shape and damage of fruits and vegetables, multiple captured images from an imaging unit having multiple cameras are required, which complicates the imaging unit and image processing. Furthermore, the size of fruits and vegetables is determined by comparing the number of pixels in the fruit or vegetable area recognized in the captured image as the area with a threshold value, so even if the fruit or vegetable is deformed, it may be determined to be large as long as its area is large.

このため、本発明の目的は、撮影画像を用いて評価された農作物の大きさ等級や表面異常に基づいて農作物を選別する農作物選別装置を改良することである。 Therefore, the object of the present invention is to improve a crop sorting device that sorts crops based on the size grade and surface abnormalities of the crops evaluated using captured images.

本発明の農作物選別装置は、農作物を個別に搬送する搬送部と、個別に搬送される前記農作物の撮影画像を出力する撮影部と、前記農作物の評価情報としての前記農作物の大きさ等級を前記撮影画像から演算する大きさ演算部と、前記評価情報としての前記農作物の表面異常を、前記撮影画像から演算する表面異常演算部と、前記評価情報に基づいて前記農作物を選別する選別部と、を備え、前記大きさ演算部は、前記撮影画像から演算された前記農作物の輪郭と前記輪郭の内部領域の面積とに基づいて、前記大きさ等級を演算する。 The crop sorting device of the present invention includes a transport unit that transports crops individually, a photographing unit that outputs photographed images of the crops that are transported individually, a size calculation unit that calculates a size grade of the crop from the photographed images as evaluation information of the crop, a surface abnormality calculation unit that calculates surface abnormalities of the crop from the photographed images as the evaluation information, and a sorting unit that sorts the crop based on the evaluation information, and the size calculation unit calculates the size grade based on the outline of the crop and the area of the internal region of the outline calculated from the photographed images.

この構成では、大きさ演算部と表面異常演算部とは、共通の撮影画像を用いることができるので、撮影部を簡単化することができる。さらに、大きさ演算部は、農作物の輪郭とこの輪郭の内部領域の面積とに基づいて、当該農作物の大きさ等級を決定するので、形状がいびつなために生じる商品価値の少ない部分の面積も含めた総面積で大きさ等級を決定するという不都合を抑制することができる。 In this configuration, the size calculation unit and the surface anomaly calculation unit can use a common captured image, simplifying the capture unit. Furthermore, the size calculation unit determines the size grade of the crop based on the contour of the crop and the area of the internal region of this contour, which can prevent the inconvenience of determining the size grade based on the total area, including the area of parts with little commercial value that arise due to irregular shapes.

多くの農作物は重量単位で価格が決められて販売されるので、農作物の選別基準として、農作物の重量は重要である。撮影画像からは正確な重量は算出できない。しかしながら、農産物の密度や形状などの固有特性を考慮すれば、撮影画像から容易に算出できる農作物の投影面積から、農作物の重量を正確に導出することができる相関関係を作成することができる。このことから、好適な実施形態では、前記大きさ演算部は、前記撮影画像から演算された前記輪郭と前記内部領域の面積とに基づいて、前記農作物の重量を演算し、前記重量に基づいて前記大きさ等級を演算することができる。 Since many agricultural products are sold at a price determined by weight, the weight of the agricultural product is important as a criterion for sorting the agricultural products. An accurate weight cannot be calculated from a photographed image. However, by taking into account the inherent characteristics of the agricultural product, such as its density and shape, it is possible to create a correlation that enables the weight of the agricultural product to be accurately derived from the projected area of the agricultural product, which can be easily calculated from the photographed image. For this reason, in a preferred embodiment, the size calculation unit can calculate the weight of the agricultural product based on the contour and the area of the internal region calculated from the photographed image, and calculate the size grade based on the weight.

農作物の表面異常は、以前から目視によって行われており、その評価基準は、農作物の種類、その品種、生育時期(早生または晩生)などの条件によって異なる。このため、表面異常は、そのような条件を考慮して設定された評価基準を用いて、評価されることが要求される。評価基準は、判定すべき表面異常を有する適時の農作物の撮影画像等に基づいて設定されることが好ましい。このことから、好適な実施形態では、前記表面異常演算部は、前記撮影画像における農作物領域と、予め選択された異常判定用参照画像との比較によって、前記表面異常を演算する比較演算機能を有する。ここでの異常判定用参照画像は、実際に表面異常と見なされる農作物の撮影画像でもよいし、実際に表面異常と見なされる農作物の疑似的に作成された画像でもよい。 Surface abnormalities of agricultural crops have been visually inspected for a long time, and the evaluation criteria vary depending on conditions such as the type of agricultural crop, its variety, and growing season (early or late). For this reason, surface abnormalities must be evaluated using evaluation criteria that are set in consideration of such conditions. It is preferable that the evaluation criteria be set based on a photographed image of the agricultural crop having a surface abnormality to be judged at the appropriate time. For this reason, in a preferred embodiment, the surface abnormality calculation unit has a comparison calculation function that calculates the surface abnormality by comparing the agricultural crop area in the photographed image with a preselected reference image for abnormality judgment. The reference image for abnormality judgment here may be a photographed image of the agricultural crop that is actually considered to have a surface abnormality, or it may be a pseudo-created image of the agricultural crop that is actually considered to have a surface abnormality.

表面異常には、農作物の全体輪郭の変形、例えば、人参や胡瓜や茄子の曲がりなどが、含まれる。しかしながら、農作物の全体輪郭を一括して評価することは、画像分析の負荷が高い。農作物の形状特徴に応じて、先端区域、中間区域、根元区域に区分けし、区分けされた部分ごとに適した画像分析することで、この画像分析は簡単化される。このことから、好適な実施形態では、前記表面異常演算部は、前記輪郭の全体的な幾何学的特徴によって区分けされた部分の形状特性に基づいて前記表面異常を演算する。 Surface abnormalities include deformations in the overall contour of a crop, such as bending of carrots, cucumbers, and eggplants. However, evaluating the overall contour of a crop all at once places a high burden on image analysis. This image analysis can be simplified by dividing the crop into tip, middle, and base areas according to the shape characteristics, and performing appropriate image analysis for each divided area. For this reason, in a preferred embodiment, the surface abnormality calculation unit calculates the surface abnormality based on the shape characteristics of the areas divided according to the overall geometric characteristics of the contour.

また、農作物の先端形状に生じる表面異常では、農作物の先端区域の画像分析だけで十分であり、根元に生じる表面異常では、農作物の根元区域の画像分析だけで十分である。また、農作物の先端区域と根元区域を除く本体区域に生じる表面異常では、農作物の本体区域の画像分析だけで十分である。このことから、好適な実施形態では、前記表面異常演算部は、前記輪郭から形状特性幾何学的特徴によって区分けされた部分輪郭の形状特性に基づいて前記表面異常を演算する。 For surface abnormalities occurring in the tip shape of a crop, image analysis of the tip region of the crop is sufficient, and for surface abnormalities occurring at the base, image analysis of the base region of the crop is sufficient. For surface abnormalities occurring in the main region of the crop excluding the tip and base regions, image analysis of the main region of the crop is sufficient. For this reason, in a preferred embodiment, the surface abnormality calculation unit calculates the surface abnormality based on the shape characteristics of partial contours separated from the contour by shape characteristic geometric features.

農作物の表面に生じるシミなどの特異点の発生が原因となる表面異常は、その大きさや個数が重要となる。大きいシミは1つでも問題となる場合があり、小さなシミでも、多数あれば問題となる。このことから、好適な実施形態では、前記表面異常演算部は、前記輪郭内の明度特異点の面積と個数に基づいて前記表面異常を演算する。 The size and number of surface abnormalities caused by the occurrence of singular points such as spots on the surface of agricultural crops are important. Even a single large spot can be problematic, and even multiple small spots can be problematic. For this reason, in a preferred embodiment, the surface abnormality calculation unit calculates the surface abnormality based on the area and number of brightness singular points within the contour.

農作物において問題となる大きさや表面異常に関して、農作物の種類、その品種、さらには生育時期によっても、その重要度が変化する場合があり、その結果、その選別条件や仕分け先も変化する。したがって、選別条件が自由に変更可能で、種々の仕分けが可能なことが要望される。このことから、好適な実施形態では、前記選別部は、前記大きさ等級と前記表面異常との組み合わせに基づいて、前記農作物を選別して、前もって設定された各仕分け先に投与するように構成されている。 The importance of problematic size and surface abnormalities in agricultural crops may vary depending on the type of crop, its variety, and even the growing season, and as a result, the sorting conditions and sorting destinations also change. Therefore, it is desirable to be able to freely change the sorting conditions and perform various sorting operations. For this reason, in a preferred embodiment, the sorting unit is configured to sort the agricultural crops based on a combination of the size class and the surface abnormality, and distribute them to each of the pre-set sorting destinations.

農作物選別装置の概略斜視図である。FIG. 2 is a schematic perspective view of the crop sorting device. 農作物選別装置の制御系を示す機能ブロック図である。FIG. 2 is a functional block diagram showing a control system of the crop sorting device. 大きさ判定のために評価基準設定用画面を示す模式図である。FIG. 13 is a schematic diagram showing a screen for setting evaluation criteria for size determination. 輪郭形状判定のために評価基準設定用画面を示す模式図である。FIG. 13 is a schematic diagram showing a screen for setting an evaluation criterion for determining a contour shape. 仕分け先設定画面を示す模式図である。FIG. 13 is a schematic diagram showing a sorting destination setting screen. 運転状況表示画面を示す模式図である。FIG. 4 is a schematic diagram showing a driving status display screen. こぶの評価方法を説明する説明図である。FIG. 1 is an explanatory diagram for explaining a method for evaluating lumps. 曲根の評価方法を説明する説明図である。FIG. 13 is an explanatory diagram for explaining a method for evaluating a curved root. 岐根の評価方法を説明する説明図である。FIG. 1 is an explanatory diagram for explaining a method for evaluating fork roots.

以下、農作物選別装置の実施形態として、大きさと表面異常とによって人参を選別する人参選別装置を説明する。図1は、人参選別装置の概略斜視図である。人参選別装置は、供給部11と、整列部12と、搬送部13と、選別部14とから構成されている。供給部11は、貯留ホッパとして形成されている。整列部12は、供給部11から上方に搬送した人参を整列させて、1個ずつ送り出す。搬送部13は、供給部11から送り出された人参を選別部14に搬送する。選別部14には、8つの仕分け先が人参の搬送方向に沿って形成されている。選別部14は、後述する農作物評価処理によって生成された評価情報に基づいて、搬送されてくる人参を適切な仕分け先に投与する。 Below, as an embodiment of the agricultural product sorting device, a carrot sorting device that sorts carrots based on size and surface abnormalities will be described. FIG. 1 is a schematic perspective view of the carrot sorting device. The carrot sorting device is composed of a supply unit 11, an alignment unit 12, a conveying unit 13, and a sorting unit 14. The supply unit 11 is formed as a storage hopper. The alignment unit 12 aligns the carrots conveyed upward from the supply unit 11 and sends them out one by one. The conveying unit 13 conveys the carrots sent out from the supply unit 11 to the sorting unit 14. The sorting unit 14 has eight sorting destinations formed along the conveying direction of the carrots. The sorting unit 14 distributes the conveyed carrots to appropriate sorting destinations based on evaluation information generated by the agricultural product evaluation process described later.

人参選別装置の速度等を設定するために、人参選別装置には操作パネル15が設けられている。さらに、人参の評価情報としての、人参の大きさ等級及び表面異常レベル算出には、人参の撮影画像が用いられるので、搬送部13の上方には、搬送されている人参を撮影するカメラを含む撮影部2が設けられている。 The carrot sorting device is provided with an operation panel 15 to set the speed and other settings of the device. Furthermore, since photographed images of carrots are used to calculate the size grade and surface abnormality level of carrots as evaluation information for carrots, an image capturing unit 2 including a camera for capturing images of the carrots being transported is provided above the transport unit 13.

図2には、農作物選別装置の制御系を示す機能ブロック図が示されている。この制御系には、選別機制御装置10が含まれている。選別機制御装置10は、操作パネル15及び選別制御ユニット100からの制御パラメータを受け取り、人参選別装置を制御する。選別制御ユニット100は、撮影部2から人参の撮影画像を取得し、人参の大きさ等級や表面異常の状態などを演算し、その演算結果を評価情報として選別部14に送る。選別制御ユニット100は、農作物評価ユニット3、評価基準設定部4、参照画像管理部6を備えている。さらに、作業者による情報入力及び作業者への情報表示を行う表示部として機能するタッチパネルユニット5も備えられている。 Figure 2 shows a functional block diagram of the control system of the agricultural product sorting device. This control system includes a sorting machine control device 10. The sorting machine control device 10 receives control parameters from an operation panel 15 and a sorting control unit 100, and controls the carrot sorting device. The sorting control unit 100 acquires photographed images of the carrots from the photographing unit 2, calculates the size grade and surface abnormality state of the carrots, and sends the calculation results to the sorting unit 14 as evaluation information. The sorting control unit 100 includes a agricultural product evaluation unit 3, an evaluation criterion setting unit 4, and a reference image management unit 6. It also includes a touch panel unit 5 that functions as a display unit that allows the operator to input information and displays information to the operator.

農作物評価ユニット3は、大きさ演算部31と表面異常演算部32とを有する。大きさ演算部31と表面異常演算部32とに用いられる評価基準は、評価基準設定部4によって設定される。撮影部2からの人参の撮影画像は、大きさ演算部31と表面異常演算部32とに与えられる。大きさ演算部31は、人参の大きさ等級を評価基準と撮影画像とを用いて演算し、表面異常演算部32は、人参の表面異常を評価基準と撮影画像とを用いて演算する。農作物評価ユニット3は、大きさ演算部31及び表面異常演算部32の演算結果に基づいて、人参の評価結果としての評価情報を生成して、選別部14に出力する。 The crop evaluation unit 3 has a size calculation unit 31 and a surface abnormality calculation unit 32. The evaluation criteria used by the size calculation unit 31 and the surface abnormality calculation unit 32 are set by the evaluation criteria setting unit 4. The captured image of the carrot from the photographing unit 2 is provided to the size calculation unit 31 and the surface abnormality calculation unit 32. The size calculation unit 31 calculates the size grade of the carrot using the evaluation criteria and the captured image, and the surface abnormality calculation unit 32 calculates the surface abnormality of the carrot using the evaluation criteria and the captured image. The crop evaluation unit 3 generates evaluation information as an evaluation result of the carrot based on the calculation results of the size calculation unit 31 and the surface abnormality calculation unit 32, and outputs it to the sorting unit 14.

大きさ演算部31は、人参の撮影画像から演算された人参の輪郭とこの輪郭の内部領域の面積とに基づいて、大きさ等級を演算する。大きさ等級は、小さいものから順に、「SSS」、「SS」、「S」、「M」、「L」、「LL」、「LLL」である。これらから選択された等級が、実際に、選別部14による仕分け先に割り当てられる。なお、標準的な人参よりかなり細長い人参は、標準的な人参と同じ面積であっても、同じ大きさ等級と見なされるとは限らない。また、野菜や果物の種類によっては、見た目の大きさより、重量でその大きさが評価されるものもある。このため、この大きさ演算部31は、オプションとして、撮影画像から演算された輪郭とこの輪郭内の面積とに基づいて、その重量を推定演算し、その推定演算結果から大きさ等級を演算する機能も有する。 The size calculation unit 31 calculates a size grade based on the outline of the carrot calculated from the photographed image of the carrot and the area of the internal region of this outline. The size grades are "SSS", "SS", "S", "M", "L", "LL", and "LLL", in order from smallest to largest. A grade selected from these is actually assigned to the sorting destination by the sorting unit 14. Note that a carrot that is much longer and thinner than a standard carrot is not necessarily considered to be of the same size grade even if it has the same area as a standard carrot. Also, depending on the type of vegetable or fruit, the size of some is evaluated by weight rather than by apparent size. For this reason, the size calculation unit 31 also has a function as an option to estimate and calculate the weight based on the outline calculated from the photographed image and the area within this outline, and to calculate the size grade from the estimated calculation result.

表面異常演算部32は、人参の表面異常を演算するために、この実施形態では、大きく分けて3つの画像処理機能を有する。第1の機能は、撮影画像から抽出された人参領域の輪郭を複数に区分けして得られた特定部分の輪郭における形状特性に基づいて、特定の表面異常を演算する機能である。第2の機能は、撮影画像から抽出された人参領域における画像特異点の面積と個数に基づいて、特定の表面異常を演算する機能である。第3の機能は、撮影画像から抽出された人参領域の特定部分における特定色の分布度に基づいて、特定の表面異常を演算する機能である。 In this embodiment, the surface abnormality calculation unit 32 has three main image processing functions to calculate the surface abnormality of the carrot. The first function is a function to calculate a specific surface abnormality based on the shape characteristics of the outline of a specific part obtained by dividing the outline of the carrot region extracted from the photographed image into multiple parts. The second function is a function to calculate a specific surface abnormality based on the area and number of image singular points in the carrot region extracted from the photographed image. The third function is a function to calculate a specific surface abnormality based on the distribution degree of a specific color in a specific part of the carrot region extracted from the photographed image.

農作物評価ユニット3を構成する大きさ演算部31及び表面異常演算部32は、評価基準設定部4によって設定される評価基準に基づいて、人参の評価を行う。この評価基準は、タッチパネルユニット5からの指示情報に基づいて、評価基準設定部4によって生成される。タッチパネルユニット5は、作業者による操作入力に基づいて、指示情報を生成して、評価基準設定部4に与える。 The size calculation unit 31 and surface abnormality calculation unit 32 that make up the agricultural crop evaluation unit 3 evaluate the carrots based on the evaluation criteria set by the evaluation criteria setting unit 4. The evaluation criteria are generated by the evaluation criteria setting unit 4 based on instruction information from the touch panel unit 5. The touch panel unit 5 generates instruction information based on operational input by the worker and provides it to the evaluation criteria setting unit 4.

タッチパネルユニット5は、表示制御部51と、FPDと略称されるフラットパネルディスプレイ50と、操作部52とを有する。フラットパネルディスプレイ50はタッチパネルとして機能する。操作部52は、フラットパネルディスプレイ50に表示されるソフトウエアスイッチ、及びフラットパネルディスプレイ50の周辺に設けられたハードウエアスイッチを有する。表示制御部51は、フラットパネルディスプレイ50に表示する各種情報を生成する。さらに、表示制御部51は、操作部52による操作入力を処理して得られた処理情報を他の機能部に出力する。つまり、タッチパネルユニット5は、選別制御ユニット100のグラフィックユーザインタフェースを構築している。 The touch panel unit 5 has a display control unit 51, a flat panel display 50 abbreviated as FPD, and an operation unit 52. The flat panel display 50 functions as a touch panel. The operation unit 52 has software switches displayed on the flat panel display 50 and hardware switches provided around the flat panel display 50. The display control unit 51 generates various information to be displayed on the flat panel display 50. Furthermore, the display control unit 51 outputs processed information obtained by processing operation input by the operation unit 52 to other functional units. In other words, the touch panel unit 5 forms a graphic user interface for the sorting control unit 100.

参照画像管理部6は、後述される参照画像を管理する。フラットパネルディスプレイ50には、参照画像管理部6から取り込まれた参照画像が表示される。参照画像の一例は、人参であることが視認できる実参照画像であり、人参の種々の大きさを示す撮影画像や人参を表す参照画像の近似外形線である。実参照画像として、撮影画像に代えて、イラスト画像が用いられてもよい。参照画像の他の例は、種々の表面異常を示す人参の撮影画像(異常参照画像)である。この異常参照画像も、撮影画像に代えて、イラスト画像が用いられてもよい。 The reference image management unit 6 manages the reference images described below. The reference images captured from the reference image management unit 6 are displayed on the flat panel display 50. One example of a reference image is an actual reference image that can be visually identified as a carrot, and is a photographed image showing various sizes of carrots or an approximate outline of a reference image representing a carrot. Instead of a photographed image, an illustrated image may be used as the actual reference image. Another example of a reference image is a photographed image of a carrot showing various surface abnormalities (an abnormal reference image). For this abnormal reference image, an illustrated image may also be used instead of a photographed image.

次に、参照画像管理部6とタッチパネルユニット5と評価基準設定部4との協働によって、評価基準を生成する評価基準生成処理を説明する。 Next, we will explain the evaluation criteria generation process, which generates evaluation criteria through cooperation between the reference image management unit 6, the touch panel unit 5, and the evaluation criteria setting unit 4.

(大きさ評価を行うための評価基準)
大きさ評価を行うための評価基準を生成する処理では、図3に示すような、フラットパネルディスプレイ50の画面が用いられる。この画面の中央には、標準となる大きさの人参を示す実参照画像が表示され、さらに、この実参照画像に重ね合わせて、人参の外形を単純化した複数(図3では4つ)の近似外形線が表示されている。この近似外形線も参照画像管理部6に管理されている。さらに、画面の下方領域には、人参の面積(投影面積)の等級を設定する第1横バーと、人参の太さ(幅)の等級を設定する第2横バーが表示されている。第1横バーには複数(図3では3つ)の面積カーソルが、作業者の操作によって、第1横バーに沿って移動可能に配置されている。第2横バーにも複数(図3では3つ)の太さカーソルが、作業者の操作によって、第2横バーに沿って移動可能に配置されている。複数の面積カーソルは、面積等級を設定するものである。各面積カーソルの第1横バーでの位置は、それぞれに割り当てられている近似外形線の面積と連動しており、各面積カーソルの位置により、S、M、L、LLといった面積等級が区分けされる。同様に、複数の太さカーソルは、太さ等級を設定するものである。各太さカーソルの第2横バーでの位置は、それぞれに割り当てられている近似外形線の幅と連動しており、各太さカーソルの位置により、S、M、L、LLといった太さ等級が区分けされる。この太さカーソルの位置により、面積だけで大きさの等級を設定するのではなく、太さによって大きさの等級を制限することができる。これにより、例えば、面積が同じでも細すぎる人参の等級を下げることが可能となる。
(Evaluation criteria for size evaluation)
In the process of generating an evaluation standard for size evaluation, a screen of a flat panel display 50 as shown in FIG. 3 is used. In the center of the screen, an actual reference image showing a carrot of a standard size is displayed, and a plurality of (four in FIG. 3) approximate outlines of the carrot that are simplified in outline are displayed superimposed on the actual reference image. These approximate outlines are also managed by the reference image management unit 6. In addition, in the lower region of the screen, a first horizontal bar for setting the grade of the area (projected area) of the carrot and a second horizontal bar for setting the grade of the thickness (width) of the carrot are displayed. A plurality of (three in FIG. 3) area cursors are arranged on the first horizontal bar so as to be movable along the first horizontal bar by the operator's operation. A plurality of (three in FIG. 3) thickness cursors are also arranged on the second horizontal bar so as to be movable along the second horizontal bar by the operator's operation. The plurality of area cursors are for setting the area grades. The position of each area cursor on the first horizontal bar is linked to the area of the approximate outline assigned to each area cursor, and the area grades such as S, M, L, and LL are classified according to the position of each area cursor. Similarly, the thickness cursors set the thickness grade. The position of each thickness cursor on the second horizontal bar is linked to the width of the approximate outline assigned to each area cursor, and the thickness grades such as S, M, L, and LL are classified according to the position of each thickness cursor. Depending on the position of this thickness cursor, the size grade can be limited by the thickness, rather than setting the size grade only by the area. This makes it possible to lower the grade of a carrot that is too thin even if it has the same area.

面積カーソル及び太さカーソルに対する操作(操作入力)によって、各近似外形線が拡縮調整される。最終的に調整された近似外形線である複数の調整外形線が、評価基準設定部4に送られる。評価基準設定部4は、調整外形線に関するデータを指示情報として処理し、大きさに関する評価基準を生成し、農作物評価ユニット3に送る。この大きさに関する評価基準は、大きさ演算部31に設定される。大きさ演算部31は、撮影部2から送られてくる撮影画像の画像処理結果を評価基準と比較して、搬送中の人参の大きさ等級を演算する。 Each approximate outline is enlarged or reduced by operating (operation input) the area cursor and thickness cursor. The final adjusted approximate outlines, which are the multiple adjusted outlines, are sent to the evaluation criterion setting unit 4. The evaluation criterion setting unit 4 processes data related to the adjusted outlines as instruction information, generates an evaluation criterion related to size, and sends it to the agricultural crop evaluation unit 3. This evaluation criterion related to size is set in the size calculation unit 31. The size calculation unit 31 compares the image processing results of the captured image sent from the photography unit 2 with the evaluation criterion, and calculates the size grade of the carrots being transported.

具体的には、調整外形線には、基準となる大きさの人参を示す実参照画像(参照画像の一例)より大きな1つ以上の拡大外形線と、実参照画像より小さな1つ以上の縮小外形線と、拡大外形線と縮小外形線との間の面積を有する標準外形線とが含まれている。拡大外形線は、人参の面積及び太さに関して大サイズ(LLやL)の評価基準となり、前記縮小外形線は、人参の面積及び太さに関して小サイズ(SやSS)の評価基準となり、標準外形線は、人参の面積及び太さに関して中サイズ(M)の評価基準となる。なお、縮小外形線や標準外形線や拡大外形線などお各種外形線に代えて、それぞれの外形線に対応する参照画像のデータを指示情報として評価基準設定部4に送ってもよい。その場合、評価基準設定部4は指示情報として送られた参照画像のデータに基づいて、評価基準を生成して、農作物評価ユニット3に設定する。 Specifically, the adjusted outline includes one or more enlarged outlines larger than an actual reference image (an example of a reference image) showing a carrot of a standard size, one or more reduced outlines smaller than the actual reference image, and a standard outline having an area between the enlarged outline and the reduced outline. The enlarged outline serves as an evaluation criterion for large sizes (LL or L) in terms of the area and thickness of the carrot, the reduced outline serves as an evaluation criterion for small sizes (S or SS) in terms of the area and thickness of the carrot, and the standard outline serves as an evaluation criterion for medium sizes (M) in terms of the area and thickness of the carrot. Note that instead of various outlines such as the reduced outline, standard outline, and enlarged outline, data of a reference image corresponding to each outline may be sent to the evaluation criterion setting unit 4 as instruction information. In this case, the evaluation criterion setting unit 4 generates an evaluation criterion based on the data of the reference image sent as instruction information and sets it in the agricultural product evaluation unit 3.

(表面異常評価を行うための評価基準)
表面異常評価を行うための評価基準を生成する処理では、例えば、図4に示すような、フラットパネルディスプレイ50の画面が用いられる。図4に示す例では、中央領域には、種々の形態の人参を示す異常参照画像群(比較のため異常でない参照画像も含まれている)がマトリックス状(図4では5行×6列)に配置されており、その下方領域には、判定横バーが配置されている。判定横バーには、判定カーソルが、作業者の操作によって、判定横バーに沿って移動可能に配置されている。判定カーソルは、マトリックス状に配置された人参の各列の境界位置に移動可能である。この画面は、人参の表面異常としてのこぶの状態を判定するために用いられる。したがって、中央領域には、こぶの状態が正常から異常までの人参が段階的に並べられている。中央領域において、右端の列には、最も正常な等級(OK)とみなされる人参が配置されており、左端の列には、最も異常な等級(NG)とみなされる人参が配置されている。各列において、同じ等級であるが異なる正常状態または異常状態の人参が配置されている。つまり、異常度の大きさに準じて順番に表示されている。これにより、作業者は、種々の形態の人参の異常状態レベルを容易に視認することができる。なお、このような異常参照画像群は、その異常段階を示す属性値をもって、参照画像管理部6に管理されている。
(Evaluation criteria for evaluating surface abnormalities)
In the process of generating an evaluation standard for evaluating surface abnormalities, for example, a screen of a flat panel display 50 as shown in FIG. 4 is used. In the example shown in FIG. 4, a group of abnormal reference images (including non-abnormal reference images for comparison) showing various forms of carrots are arranged in a matrix (5 rows x 6 columns in FIG. 4), and a horizontal judgment bar is arranged in the area below the group. A judgment cursor is arranged on the horizontal judgment bar so as to be movable along the horizontal judgment bar by an operator's operation. The judgment cursor can be moved to the boundary position of each column of carrots arranged in the matrix. This screen is used to judge the state of a bump as a surface abnormality of a carrot. Therefore, in the central area, carrots with bump states ranging from normal to abnormal are arranged in stages. In the rightmost column in the central area, carrots considered to be the most normal grade (OK) are arranged, and carrots considered to be the most abnormal grade (NG) are arranged in the leftmost column. In each column, carrots of the same grade but different normal or abnormal states are arranged. That is, they are displayed in order according to the magnitude of the abnormality. This allows the operator to easily visually recognize the level of abnormality of various types of carrots. The abnormal reference images are managed in the reference image management unit 6 with attribute values that indicate the level of abnormality.

作業者は、OKとNGとを区分けする境界となる位置に判定カーソルを移動させる。最終的な判定カーソルの位置に基づいて、タッチパネルユニット5は、こぶを評価するための指示情報を生成し、評価基準設定部4に送る。評価基準設定部4は、指示情報に基づいて、表面異常の一例であるこぶに関する評価基準を生成し、農作物評価ユニット3に送る。このこぶに関する評価基準は、表面異常演算部32に設定される。表面異常演算部32は、撮影部2から送られてくる撮影画像を画像処理するとともに、その画像処理結果と設定された評価基準とを照合し、撮影された人参の表面異常状態を演算する。 The operator moves the judgment cursor to a position that is the boundary between OK and NG. Based on the final position of the judgment cursor, the touch panel unit 5 generates instruction information for evaluating the lumps and sends it to the evaluation criterion setting unit 4. Based on the instruction information, the evaluation criterion setting unit 4 generates evaluation criteria for lumps, which are an example of a surface abnormality, and sends it to the agricultural product evaluation unit 3. This evaluation criterion for lumps is set in the surface abnormality calculation unit 32. The surface abnormality calculation unit 32 processes the captured image sent from the imaging unit 2, and compares the image processing results with the set evaluation criteria to calculate the surface abnormality state of the photographed carrot.

人参の表面異常には、こぶ以外にへこみや曲根などがあるが、それらを選別条件にする場合にも、上述したように、異常参照画像群と判定カーソルとを用いて、作業者が所望する評価基準を生成して、設定することも可能である。 Surface abnormalities on carrots include dents and curved roots in addition to lumps, but even if these are used as selection criteria, the operator can generate and set the desired evaluation criteria using the abnormal reference images and judgment cursor, as described above.

大きさ演算部31によって演算された大きさ等級、及び表面異常演算部32によって演算された表面異常状態に基づいて、仕分け先を指定する評価情報を作成し、選別部14に与える。 Based on the size class calculated by the size calculation unit 31 and the surface abnormality state calculated by the surface abnormality calculation unit 32, evaluation information specifying the sorting destination is created and provided to the sorting unit 14.

選別部14における仕分け先の設定には、例えば、図4に示すような仕分け先設定画面が用いられる。この例では、仕分け先は8か所であり、仕分け条件は、大きさ等級と表面異常の種類とである。大きさ等級として、SSSからLLLまでの等級が選択可能あり、表面異常の種類として、異常なし、曲根、岐根、シミ、傷、着色不良、青首が選択可能である。例えば、設定に応じて、大きさ等級はMで表面異常なしの人参は仕分け先「1」に仕分けられ、大きさ等級はLでこぶ異常の人参は仕分け先「5」に仕分けられる。 To set the sorting destinations in the sorting unit 14, for example, a sorting destination setting screen as shown in FIG. 4 is used. In this example, there are eight sorting destinations, and the sorting conditions are size class and type of surface abnormality. Size classes ranging from SSS to LLL can be selected as size classes, and surface abnormality types such as no abnormality, curved root, forked root, stain, scratch, poor coloring, and blue neck can be selected. For example, depending on the settings, carrots with size class M and no surface abnormalities are sorted to sorting destination "1," and carrots with size class L and abnormal lumps are sorted to sorting destination "5."

人参選別装置の稼働状態の確認、及び稼働状態の変更は、図6に示す運転中画面を通じて可能である。この実施形態では、運転中画面の中央領域には、撮影部2からの撮影画像が表示される。下方領域には、装置の処理速度を調整するボタン群が表示されている。ボタン群には、停止ボタン、一時停止ボタン、運転開始ボタン、速度ダウンボタン、速度アップボタンが含まれている。 The operating status of the carrot sorting device can be confirmed and changed through the operating screen shown in FIG. 6. In this embodiment, the central area of the operating screen displays the captured image from the image capture unit 2. The lower area displays a group of buttons for adjusting the processing speed of the device. The group of buttons includes a stop button, a pause button, a start button, a speed down button, and a speed up button.

(画像処理アルゴリズム)
次に、農作物評価ユニット3で実行される表面異常を検知するための画像処理アルゴリズムの例を説明する。
(1)こぶ、へこみ(外周領域)
図7に示すような人参の表面異常としてのこぶやへこみの検知では、人参の先端区域と根元区域とが除外される。除外される先端区域と根元区域との長さは、それぞれ全長のp%とする。このpは作業者によって任意に設定可能である。先端区域と根元区域とを除外した残りの中間区域が検出対象領域となる。なお、実際の撮影画像では、先端区域と元領域とが逆になることもあるので、先端区域と根元区域とは、区別しなくてもよい。あるいは、人参が円錐状であることから、自動的に先端区域が一方側となるように画像回転させてもよい。図7に示された外周領域でのこぶの評価は、人参の断面に相当する人参の撮影画像の輪郭内部領域を所定画素数の幅で横断方向に断片化し、人参の仮想中心線P1から各断片の頂点までの長さに基づいて行う。具体的には、所定範囲での各断片の頂点の包絡線における極大値を求める。さらに、この極大値を有する断片の頂点を中心として、所定半径(図7ではrで示されている)の判定円を設定する。この判定円における人参面積と背景面積の割合を求め、人参面積の割合がこぶ閾値以下であれば、こぶと判定する。このようにして抽出したこぶの数がこぶ判定値を超えた場合、この人参は表面異常(こぶ)と評価され、選別される。なお、へこみの評価は、こぶの評価に類似しており、所定範囲での各断片の頂点の包絡線における極大値に代えて、極小値を求め、あとは同じ方法でへこみが評価される。
(Image Processing Algorithm)
An example of an image processing algorithm implemented in the crop assessment unit 3 for detecting surface anomalies will now be described.
(1) Bumps and dents (peripheral area)
In detecting lumps and dents as surface abnormalities of a carrot as shown in FIG. 7, the tip and root regions of the carrot are excluded. The lengths of the excluded tip and root regions are each p% of the total length. This p can be set arbitrarily by the operator. The remaining intermediate region excluding the tip and root regions is the detection target region. In an actual photographed image, the tip and root regions may be reversed, so the tip and root regions do not need to be distinguished. Alternatively, since a carrot is cone-shaped, the image may be rotated so that the tip region is automatically on one side. The evaluation of the lumps in the outer peripheral region shown in FIG. 7 is performed by fragmenting the inner region of the contour of the photographed image of the carrot, which corresponds to the cross section of the carrot, in the transverse direction with a width of a predetermined number of pixels, and based on the length from the virtual center line P1 of the carrot to the apex of each fragment. Specifically, the maximum value in the envelope of the apex of each fragment within a predetermined range is found. Furthermore, a judgment circle of a predetermined radius (indicated by r in FIG. 7) is set with the apex of the fragment having this maximum value as its center. The ratio of the carrot area to the background area in this judgment circle is calculated, and if the ratio of the carrot area is equal to or less than the bump threshold, it is judged to be a bump. If the number of bumps extracted in this way exceeds the bump judgment value, the carrot is judged to have a surface abnormality (bump) and is selected. Note that the evaluation of dents is similar to that of bumps, and instead of the maximum value in the envelope of the vertices of each fragment within a specified range, the minimum value is calculated, and the dents are evaluated in the same manner.

(2)こぶ、へこみ(内部領域)
人参の内部領域(人参撮影画像における内部領域)でのこぶやへこみの検出では、こぶやへこみの境界線で生じる輝度変化を利用したエッジ検出が用いられる。エッジ検出された領域の面積が所定値以上の場合、こぶまたはへこみと見なされ、その個数がこぶ(へこみ)判定値を超えた場合、この撮影画像の人参は表面異常(こぶ、へこみ)と評価され、選別される。なお、人参の表面に生じたシミも同様の方法で評価される。
(2) Bumps and dents (inner area)
To detect bumps and dents in the internal region of a carrot (the internal region in a photographed image of a carrot), edge detection is used, utilizing the brightness change that occurs at the boundary line of the bump or dent. If the area of the edge-detected region is equal to or greater than a predetermined value, it is deemed to be a bump or dent, and if the number of bumps or dents exceeds a bump (dent) judgment value, the carrot in the photographed image is evaluated as having a surface abnormality (bump, dent) and is selected out. Note that blemishes on the surface of the carrot are also evaluated in a similar manner.

(3)曲根
図8に示すような人参の表面異常としての曲根の検知でも、参の先端区域と根元区域とが除外される。評価対象領域である中間区域の外周輪郭線の近似直線が算出される。ここでは、近似直線は、根元区域と中間区域との境界点と、中間区域と先端区域との境界点を結ぶ直線である。次に、抽出された外周輪郭線の近似直線に対する乖離を算出する。この乖離の算出においても、人参の撮影画像の輪郭内部領域を所定画素数の幅で断片化されることによって得られた各断片の長さ(仮想中心線P1から頂点までの長さ)が用いられる。近似直線と断片の頂点との間の面積(膨らんでいる部分は正の面積、へこんでいる部分は負の面積として区分けられる)を乖離面積として、全ての断片にわたって積算する。なお、根元区域や先端区域に近い区域の断片の長さは、大きな誤差を含むので、平均化された長さが用いられる。積算された乖離面積が曲根判定値を超えた場合、この人参は表面異常(曲根)と評価され、選別される。
(3) Curved Roots In detecting curved roots as a surface abnormality of a carrot as shown in FIG. 8, the tip and root regions of the carrot are also excluded. An approximation line of the outer contour of the middle region, which is the region to be evaluated, is calculated. Here, the approximation line is a line connecting the boundary point between the root region and the middle region and the boundary point between the middle region and the tip region. Next, the deviation of the extracted outer contour from the approximation line is calculated. In calculating this deviation, the length of each fragment (the length from the virtual center line P1 to the apex) obtained by fragmenting the inner region of the contour of the photographed image of the carrot with a width of a predetermined number of pixels is used. The area between the approximation line and the apex of the fragment (the bulging portion is classified as a positive area and the depressed portion is classified as a negative area) is used as the deviation area and is integrated over all the fragments. Note that the length of the fragments in the region close to the root region or the tip region contains a large error, so the averaged length is used. If the integrated deviation area exceeds the curved root judgment value, the carrot is evaluated as having a surface abnormality (curved root) and is selected.

(4)岐根
図9に示すような人参の表面異常としての岐根の検知は、人参の長手方向に沿って所定画素数間隔で横断線(図9では点線で示されている画素線)を設定し、その横断線上に、人参部分と背景部分とが繰り返す場合、その横断線を岐根横断線とみなす。この岐根横断線の本数が岐根判定値を超えた場合、この人参は表面異常(岐根)と評価され、選別される。この岐根横断線の本数は、長さを表すことになる(本数×所定画素数)ので、図8では、岐根判定値が長さqで表され、実際に演算された長さ(岐根横断線の本数)がrで表されている。
(4) Forks As shown in Fig. 9, forks are detected as surface abnormalities of carrots by setting transverse lines (pixel lines shown by dotted lines in Fig. 9) at intervals of a predetermined number of pixels along the longitudinal direction of the carrot, and if a carrot part and a background part are repeated on the transverse line, the transverse line is regarded as a fork crossing line. If the number of these fork crossing lines exceeds the fork judgment value, the carrot is evaluated as having a surface abnormality (forks) and is selected. The number of these fork crossing lines represents the length (number of lines x predetermined number of pixels), so in Fig. 8, the fork judgment value is represented by the length q, and the actually calculated length (number of fork crossing lines) is represented by r.

(5)傷
人参の表面異常としての岐根の検知には、内部領域でのこぶやへこみ検出と同様に、エッジ検出が用いられる。エッジ検出で得られた閉領域を傷領域とし、その傷領域の長さと個数が算出される。第1傷判定値を超えた長さを有する傷領域の個数が、第2傷判定値を超えた場合、この人参は表面異常(傷)と評価され、選別される。
(5) Scratches Edge detection is used to detect forks as surface abnormalities of carrots, in the same way as detecting lumps and dents in internal regions. Closed regions obtained by edge detection are regarded as scratch regions, and the lengths and number of scratch regions are calculated. If the number of scratch regions having lengths exceeding the first scratch judgment value exceeds the second scratch judgment value, the carrot is evaluated as having a surface abnormality (scratches) and is selected.

(6)着色不良
人参の表面異常としての着色不良の検知にも、シミや傷の検出と同様に、エッジ検出が用いられる。エッジ検出のエッジ閾値として、着色不良を示す、色相、彩度、明度の閾値が設定される。エッジ検出によって得られた着色不良領域の面積が、着色不良判定値を超えた場合、この人参は表面異常(着色不良)と評価され、選別される。
(6) Coloring Defects As with the detection of blemishes and scratches, edge detection is also used to detect coloring defects as a surface abnormality of carrots. Threshold values for hue, saturation, and brightness that indicate coloring defects are set as edge thresholds for edge detection. If the area of a coloring defect region obtained by edge detection exceeds the coloring defect judgment value, the carrot is evaluated as having a surface abnormality (coloring defect) and is selected.

(7)青首
人参の表面異常としての青首の検知でも、人参は、先端区域と中間区域と根元区域に分けられる。撮影画像において、先端区域と根元区域とが区別されていない場合には、先端区域と根元区域との両方が検出対象領域となり、先端区域と根元区域とが区別されている場合には、根元区域が検出対象領域となる。検出対象領域において、撮影画像を、背景色、青系色、橙系色で3値化する。3値化された画像データにおいて、青系色の画素数の割合が青首判定値を超えた場合、この人参は表面異常(青首)と評価され、選別される。
(7) Green Neck When detecting a green neck as a surface abnormality of a carrot, the carrot is divided into a tip region, a middle region, and a base region. If the tip region and the base region are not distinguished in the captured image, both the tip region and the base region become the detection target region, and if the tip region and the base region are distinguished, the base region becomes the detection target region. In the detection target region, the captured image is ternarized with the background color, a bluish color, and an orange color. If the proportion of blue-colored pixels in the ternarized image data exceeds the blue neck judgment value, the carrot is evaluated as having a surface abnormality (green neck) and is selected.

上述した、画像処理アルゴリズムにおける、表面異常検知のための各種判定値は、デフォルトで設定された値が用いられてもよい。あるいは、図5に示すような表面異常を異常レベルで並べた異常参照画像群から、作業者が表面異常の境界を選択し、その選択結果に基づいて、表面異常判定値や各種閾値が設定されてもよい。例えば、着色不良の検知の場合、図5に示されたような実際の着色不良の段階的な撮影画像群から、作業者によって選択された、着色不良とみなされる撮影画像から、着色不良の閾値用データが作成される。 In the image processing algorithm described above, various judgment values for detecting surface abnormalities may be set as default values. Alternatively, an operator may select the boundaries of surface abnormalities from a group of abnormal reference images in which surface abnormalities are arranged by abnormality level as shown in FIG. 5, and the surface abnormality judgment values and various thresholds may be set based on the selection result. For example, in the case of detecting coloring defects, data for the threshold value of coloring defects is created from a photographed image that is considered to have a coloring defect and is selected by the operator from a group of photographed images showing actual coloring defects in stages as shown in FIG. 5.

〔別実施の形態〕
(1)上述した実施形態では、選別対象の農作物として人参が取り扱われたが、その他の青果物が取り扱われてもよい。
(2)図2で示された各種機能ブロックは、説明目的のためであり、これらの機能ブロックは、他の機能ブロックと統合されてもよいし、また複数のサブブロックに分割されてもよい。
[Another embodiment]
(1) In the above-described embodiment, carrots are used as the agricultural product to be sorted. However, other fruits and vegetables may also be used.
(2) The various functional blocks shown in FIG. 2 are for illustrative purposes only, and these functional blocks may be combined with other functional blocks or divided into multiple sub-blocks.

なお、上記実施形態(別実施形態を含む、以下同じ)で開示される構成は、矛盾が生じない限り、他の実施形態で開示される構成と組み合わせて適用することが可能であり、また、本明細書において開示された実施形態は例示であって、本発明の実施形態はこれに限定されず、本発明の目的を逸脱しない範囲内で適宜改変することが可能である。 The configurations disclosed in the above embodiment (including other embodiments, the same applies below) can be applied in combination with configurations disclosed in other embodiments, so long as no contradiction arises. Furthermore, the embodiments disclosed in this specification are merely examples, and the present invention is not limited to these embodiments. They can be modified as appropriate within the scope of the purpose of the present invention.

本発明は、農作物の撮影画像を用いて、当該農作物を評価し、その評価結果に基づいて選別する農作物選別装置に適用可能である。 The present invention can be applied to a crop sorting device that uses photographed images of crops to evaluate the crops and sort them based on the evaluation results.

2 :撮影部
3 :農作物評価ユニット
4 :評価基準設定部
5 :タッチパネルユニット
6 :参照画像管理部
10 :選別機制御装置
11 :供給部
12 :整列部
13 :搬送部
14 :選別部
31 :演算部
32 :表面異常演算部
50 :フラットパネルディスプレイ
51 :表示制御部
52 :操作部
100 :選別制御ユニット
2: Photographing section 3: Crop evaluation unit 4: Evaluation standard setting section 5: Touch panel unit 6: Reference image management section 10: Sorting machine control device 11: Supply section 12: Alignment section 13: Transport section 14: Sorting section 31: Calculation section 32: Surface abnormality calculation section 50: Flat panel display 51: Display control section 52: Operation section 100: Sorting control unit

Claims (6)

農作物選別装置であって、
農作物を個別に搬送する搬送部と、
個別に搬送される前記農作物の撮影画像を出力する撮影部と、
前記農作物の評価情報としての前記農作物の大きさ等級を前記撮影画像から演算する大きさ演算部と、
前記評価情報としての前記農作物の表面異常を、前記撮影画像から演算する表面異常演算部と、
前記評価情報に基づいて前記農作物を選別する選別部と、
を備え、
前記大きさ演算部は、前記撮影画像から演算された前記農作物の輪郭と前記輪郭の内部領域の面積とに基づいて、前記大きさ等級を演算し、
前記大きさ演算部は、前記撮影画像から演算された前記輪郭と前記内部領域の面積とに基づいて、前記農作物の重量を演算し、前記重量に基づいて前記大きさ等級を演算する農作物選別装置。
A crop sorting device, comprising:
A conveying unit that conveys the agricultural products individually;
an image capturing unit that captures and outputs images of the agricultural products that are individually transported;
a size calculation unit that calculates a size class of the agricultural crop as evaluation information of the agricultural crop from the captured image;
a surface abnormality calculation unit that calculates a surface abnormality of the crop as the evaluation information from the captured image;
A sorting unit that sorts the agricultural products based on the evaluation information;
Equipped with
The size calculation unit calculates the size class based on an outline of the crop and an area of an internal region of the outline calculated from the captured image ,
The size calculation unit calculates the weight of the crop based on the contour and the area of the internal region calculated from the captured image, and calculates the size class based on the weight.
農作物選別装置であって、
農作物を個別に搬送する搬送部と、
個別に搬送される前記農作物の撮影画像を出力する撮影部と、
前記農作物の評価情報としての前記農作物の大きさ等級を前記撮影画像から演算する大きさ演算部と、
前記評価情報としての前記農作物の表面異常を、前記撮影画像から演算する表面異常演算部と、
前記評価情報に基づいて前記農作物を選別する選別部と、
を備え、
前記大きさ演算部は、前記撮影画像から演算された前記農作物の輪郭と前記輪郭の内部領域の面積とに基づいて、前記大きさ等級を演算し、
前記表面異常演算部は、前記撮影画像における農作物領域と、予め選択された異常判定用参照画像との比較によって、前記表面異常を演算する比較演算機能を有する農作物選別装置。
A crop sorting device, comprising:
A conveying unit that conveys the agricultural products individually;
an image capturing unit that captures and outputs images of the agricultural products that are individually transported;
a size calculation unit that calculates a size class of the agricultural crop as evaluation information of the agricultural crop from the captured image;
a surface abnormality calculation unit that calculates a surface abnormality of the crop as the evaluation information from the captured image;
A sorting unit that sorts the agricultural products based on the evaluation information;
Equipped with
The size calculation unit calculates the size class based on an outline of the crop and an area of an internal region of the outline calculated from the captured image,
The surface abnormality calculation unit is a crop sorting device having a comparison calculation function that calculates the surface abnormality by comparing the crop area in the captured image with a preselected reference image for abnormality determination .
農作物選別装置であって、
農作物を個別に搬送する搬送部と、
個別に搬送される前記農作物の撮影画像を出力する撮影部と、
前記農作物の評価情報としての前記農作物の大きさ等級を前記撮影画像から演算する大きさ演算部と、
前記評価情報としての前記農作物の表面異常を、前記撮影画像から演算する表面異常演算部と、
前記評価情報に基づいて前記農作物を選別する選別部と、
を備え、
前記大きさ演算部は、前記撮影画像から演算された前記農作物の輪郭と前記輪郭の内部領域の面積とに基づいて、前記大きさ等級を演算し、
前記表面異常演算部は、前記輪郭の全体的な幾何学的特徴によって区分けされた部分の形状特性に基づいて前記表面異常を演算する農作物選別装置。
A crop sorting device, comprising:
A conveying unit that conveys the agricultural products individually;
an image capturing unit that captures and outputs images of the agricultural products that are individually transported;
a size calculation unit that calculates a size class of the agricultural crop as evaluation information of the agricultural crop from the captured image;
a surface abnormality calculation unit that calculates a surface abnormality of the crop as the evaluation information from the captured image;
A sorting unit that sorts the agricultural products based on the evaluation information;
Equipped with
The size calculation unit calculates the size class based on an outline of the crop and an area of an internal region of the outline calculated from the captured image,
The surface anomaly calculation unit calculates the surface anomaly based on shape characteristics of parts divided by the overall geometric characteristics of the contour .
農作物選別装置であって、
農作物を個別に搬送する搬送部と、
個別に搬送される前記農作物の撮影画像を出力する撮影部と、
前記農作物の評価情報としての前記農作物の大きさ等級を前記撮影画像から演算する大きさ演算部と、
前記評価情報としての前記農作物の表面異常を、前記撮影画像から演算する表面異常演算部と、
前記評価情報に基づいて前記農作物を選別する選別部と、
を備え、
前記大きさ演算部は、前記撮影画像から演算された前記農作物の輪郭と前記輪郭の内部領域の面積とに基づいて、前記大きさ等級を演算し、
前記表面異常演算部は、前記輪郭から形状特性幾何学的特徴によって区分けされた部分輪郭の形状特性に基づいて前記表面異常を演算する農作物選別装置。
A crop sorting device, comprising:
A conveying unit that conveys the agricultural products individually;
an image capturing unit that captures and outputs images of the agricultural products that are individually transported;
a size calculation unit that calculates a size class of the agricultural crop as evaluation information of the agricultural crop from the captured image;
a surface abnormality calculation unit that calculates a surface abnormality of the crop as the evaluation information from the captured image;
A sorting unit that sorts the agricultural products based on the evaluation information;
Equipped with
The size calculation unit calculates the size class based on an outline of the crop and an area of an internal region of the outline calculated from the captured image,
The surface anomaly calculation unit of the agricultural product sorting device calculates the surface anomaly based on shape characteristics of partial contours that are divided from the contour by shape characteristics and geometric features .
前記表面異常演算部は、前記輪郭内の明度特異点の面積と個数に基づいて前記表面異常を演算する請求項1からのいずれか一項に記載の農作物選別装置。 The farm product sorting device according to claim 1 , wherein the surface anomaly calculation unit calculates the surface anomaly based on an area and a number of brightness singular points within the contour. 前記選別部は、前記大きさ等級と前記表面異常との組み合わせに基づいて、前記農作物を選別して、前もって設定された各仕分け先に投与する請求項1からのいずれか一項に記載の農作物選別装置。 The agricultural product sorting device according to claim 1 , wherein the sorting unit sorts the agricultural products based on a combination of the size class and the surface abnormality, and distributes the agricultural products to each pre-set sorting destination.
JP2020217449A 2020-12-25 2020-12-25 Crop sorting equipment Active JP7471215B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020217449A JP7471215B2 (en) 2020-12-25 2020-12-25 Crop sorting equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020217449A JP7471215B2 (en) 2020-12-25 2020-12-25 Crop sorting equipment

Publications (2)

Publication Number Publication Date
JP2022102614A JP2022102614A (en) 2022-07-07
JP7471215B2 true JP7471215B2 (en) 2024-04-19

Family

ID=82273471

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020217449A Active JP7471215B2 (en) 2020-12-25 2020-12-25 Crop sorting equipment

Country Status (1)

Country Link
JP (1) JP7471215B2 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011240257A (en) 2010-05-18 2011-12-01 Kochi Univ Of Technology Rotating oval body and entire-surface image inspection device of spherical body

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011240257A (en) 2010-05-18 2011-12-01 Kochi Univ Of Technology Rotating oval body and entire-surface image inspection device of spherical body

Also Published As

Publication number Publication date
JP2022102614A (en) 2022-07-07

Similar Documents

Publication Publication Date Title
JP5082676B2 (en) Optical grain sorter
EP2454028B1 (en) Inspection apparatus and method using pattern recognition
CN109886298A (en) A kind of detection method for quality of welding line based on convolutional neural networks
JP5255953B2 (en) Defect inspection method and apparatus
JPH05126757A (en) Method and apparatus for optically determining acceptability of product
CN103134809A (en) Welded line defect detection method
EP2454029B1 (en) Sorting apparatus and method using a graphical user interface
JP2001264257A (en) Image defect detecting device and method, and storage medium storing procedure for image defect detecting method
US20240045407A1 (en) Manufacturing line abnormality portent detection apparatus, manufacturing line abnormality portent detection method, manufacturing line abnormality portent detection program, manufacturing apparatus, and inspection apparatus
JP7471215B2 (en) Crop sorting equipment
CN105699397A (en) Apple surface glossiness detection method
JP7471216B2 (en) Crop sorting equipment
US12067701B2 (en) Management and control system for an inspection apparatus
CN114240877A (en) Method and device for detecting welding quality
JP4139291B2 (en) Defect inspection method and apparatus
GB2481804A (en) Dual sensitivity browser for optical sorting machines
JP2002008029A (en) Image inspection device
TWI703320B (en) Marking inspection apparatus, marking inspection method and article inspection apparatus
JP7207948B2 (en) Appearance inspection method and program
TWI655412B (en) Light source detection system and method
JP3962525B2 (en) Image generation device and sorting classification determination device used for sorting agricultural products
US20190364193A1 (en) Image processing apparatus, robot and robot system
JP2003216930A (en) Method and apparatus for inspecting discoloration
JP4699883B2 (en) Appearance inspection device
US20240015268A1 (en) Display device, fish counting system provided therewith, and display control program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221229

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240409

R150 Certificate of patent or registration of utility model

Ref document number: 7471215

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150