JP7471215B2 - Crop sorting equipment - Google Patents
Crop sorting equipment Download PDFInfo
- Publication number
- JP7471215B2 JP7471215B2 JP2020217449A JP2020217449A JP7471215B2 JP 7471215 B2 JP7471215 B2 JP 7471215B2 JP 2020217449 A JP2020217449 A JP 2020217449A JP 2020217449 A JP2020217449 A JP 2020217449A JP 7471215 B2 JP7471215 B2 JP 7471215B2
- Authority
- JP
- Japan
- Prior art keywords
- crop
- unit
- calculates
- calculation unit
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005856 abnormality Effects 0.000 claims description 89
- 238000011156 evaluation Methods 0.000 claims description 75
- 238000004364 calculation method Methods 0.000 claims description 56
- 244000000626 Daucus carota Species 0.000 description 88
- 235000002767 Daucus carota Nutrition 0.000 description 88
- 235000013399 edible fruits Nutrition 0.000 description 12
- 235000013311 vegetables Nutrition 0.000 description 12
- 230000002159 abnormal effect Effects 0.000 description 11
- 238000004040 coloring Methods 0.000 description 11
- 230000007547 defect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 239000012634 fragment Substances 0.000 description 8
- 238000000034 method Methods 0.000 description 8
- 230000032258 transport Effects 0.000 description 7
- 238000003708 edge detection Methods 0.000 description 6
- 238000010191 image analysis Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 235000012055 fruits and vegetables Nutrition 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 240000008067 Cucumis sativus Species 0.000 description 1
- 235000009849 Cucumis sativus Nutrition 0.000 description 1
- 244000088415 Raphanus sativus Species 0.000 description 1
- 235000006140 Raphanus sativus var sativus Nutrition 0.000 description 1
- 244000061458 Solanum melongena Species 0.000 description 1
- 235000002597 Solanum melongena Nutrition 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Sorting Of Articles (AREA)
Description
本発明は、搬送される人参や大根などの農作物の撮影画像を用いて農作物を評価し、その評価結果に基づいて農作物を選別する農作物選別装置に関する。 The present invention relates to a crop sorting device that evaluates crops such as carrots and radishes using photographed images of the crops being transported and sorts the crops based on the evaluation results.
特許文献1には、農作物を貯溜部から1個ずつ搬出して、計量測定し、各重量等級に振り分けて選別回収する農作物自動選別装置が開示されている。
特許文献2には、コンベア等の搬送手段により搬送される検査対象物を複数のカメラで撮像して、その複数の撮像画像に基づき検査対象物である青果物の外観検査を行なう検査装置が開示されている。この検査装置は、青果物が投入される投入部と、投入された青果物を搬送する搬送部と、搬送された青果物を撮影する撮像部と、青果物の複数の撮影画像を用いて青果物の大きさ、形状及びキズを識別する識別部と、識別結果に基づいて青果物を選別する選別部とを備えている。識別部による大きさ判定は、撮影画像の画像処理によって得られた青果物領域の画素数を面積としてその閾値と比べることで行われる。識別部による形状判定は、青果物領域と接する長方形の長辺と短辺との比率も用いて行われる。識別部によるキズ判定は、画像処理で得られたキズ画像の連結領域の面積を規格値と比べることで行われる。
特許文献1による農作物自動選別装置では、計量選別のために、重量等級別に天秤アームを設ける必要があるので、重量等級数が多くなると、天秤アームの数も多くなり、装置が大型化する。
In the automatic crop sorting device described in
特許文献2による検査装置では、青果物の大きさ、形状及びキズを判定するために、複数台のカメラを有する撮像部からの複数の撮影画像が必要となり、撮像部及び画像処理が複雑となる。さらに、青果物の大きさは、撮影画像で画像認識した青果物領域の画素数を面積とし、その面積を閾値と比較して、大きさの大小を判定しているので、その青果物が変形していても面積さえ大きければ、大きさが大と判定される可能性がある。
In the inspection device according to
このため、本発明の目的は、撮影画像を用いて評価された農作物の大きさ等級や表面異常に基づいて農作物を選別する農作物選別装置を改良することである。 Therefore, the object of the present invention is to improve a crop sorting device that sorts crops based on the size grade and surface abnormalities of the crops evaluated using captured images.
本発明の農作物選別装置は、農作物を個別に搬送する搬送部と、個別に搬送される前記農作物の撮影画像を出力する撮影部と、前記農作物の評価情報としての前記農作物の大きさ等級を前記撮影画像から演算する大きさ演算部と、前記評価情報としての前記農作物の表面異常を、前記撮影画像から演算する表面異常演算部と、前記評価情報に基づいて前記農作物を選別する選別部と、を備え、前記大きさ演算部は、前記撮影画像から演算された前記農作物の輪郭と前記輪郭の内部領域の面積とに基づいて、前記大きさ等級を演算する。 The crop sorting device of the present invention includes a transport unit that transports crops individually, a photographing unit that outputs photographed images of the crops that are transported individually, a size calculation unit that calculates a size grade of the crop from the photographed images as evaluation information of the crop, a surface abnormality calculation unit that calculates surface abnormalities of the crop from the photographed images as the evaluation information, and a sorting unit that sorts the crop based on the evaluation information, and the size calculation unit calculates the size grade based on the outline of the crop and the area of the internal region of the outline calculated from the photographed images.
この構成では、大きさ演算部と表面異常演算部とは、共通の撮影画像を用いることができるので、撮影部を簡単化することができる。さらに、大きさ演算部は、農作物の輪郭とこの輪郭の内部領域の面積とに基づいて、当該農作物の大きさ等級を決定するので、形状がいびつなために生じる商品価値の少ない部分の面積も含めた総面積で大きさ等級を決定するという不都合を抑制することができる。 In this configuration, the size calculation unit and the surface anomaly calculation unit can use a common captured image, simplifying the capture unit. Furthermore, the size calculation unit determines the size grade of the crop based on the contour of the crop and the area of the internal region of this contour, which can prevent the inconvenience of determining the size grade based on the total area, including the area of parts with little commercial value that arise due to irregular shapes.
多くの農作物は重量単位で価格が決められて販売されるので、農作物の選別基準として、農作物の重量は重要である。撮影画像からは正確な重量は算出できない。しかしながら、農産物の密度や形状などの固有特性を考慮すれば、撮影画像から容易に算出できる農作物の投影面積から、農作物の重量を正確に導出することができる相関関係を作成することができる。このことから、好適な実施形態では、前記大きさ演算部は、前記撮影画像から演算された前記輪郭と前記内部領域の面積とに基づいて、前記農作物の重量を演算し、前記重量に基づいて前記大きさ等級を演算することができる。 Since many agricultural products are sold at a price determined by weight, the weight of the agricultural product is important as a criterion for sorting the agricultural products. An accurate weight cannot be calculated from a photographed image. However, by taking into account the inherent characteristics of the agricultural product, such as its density and shape, it is possible to create a correlation that enables the weight of the agricultural product to be accurately derived from the projected area of the agricultural product, which can be easily calculated from the photographed image. For this reason, in a preferred embodiment, the size calculation unit can calculate the weight of the agricultural product based on the contour and the area of the internal region calculated from the photographed image, and calculate the size grade based on the weight.
農作物の表面異常は、以前から目視によって行われており、その評価基準は、農作物の種類、その品種、生育時期(早生または晩生)などの条件によって異なる。このため、表面異常は、そのような条件を考慮して設定された評価基準を用いて、評価されることが要求される。評価基準は、判定すべき表面異常を有する適時の農作物の撮影画像等に基づいて設定されることが好ましい。このことから、好適な実施形態では、前記表面異常演算部は、前記撮影画像における農作物領域と、予め選択された異常判定用参照画像との比較によって、前記表面異常を演算する比較演算機能を有する。ここでの異常判定用参照画像は、実際に表面異常と見なされる農作物の撮影画像でもよいし、実際に表面異常と見なされる農作物の疑似的に作成された画像でもよい。 Surface abnormalities of agricultural crops have been visually inspected for a long time, and the evaluation criteria vary depending on conditions such as the type of agricultural crop, its variety, and growing season (early or late). For this reason, surface abnormalities must be evaluated using evaluation criteria that are set in consideration of such conditions. It is preferable that the evaluation criteria be set based on a photographed image of the agricultural crop having a surface abnormality to be judged at the appropriate time. For this reason, in a preferred embodiment, the surface abnormality calculation unit has a comparison calculation function that calculates the surface abnormality by comparing the agricultural crop area in the photographed image with a preselected reference image for abnormality judgment. The reference image for abnormality judgment here may be a photographed image of the agricultural crop that is actually considered to have a surface abnormality, or it may be a pseudo-created image of the agricultural crop that is actually considered to have a surface abnormality.
表面異常には、農作物の全体輪郭の変形、例えば、人参や胡瓜や茄子の曲がりなどが、含まれる。しかしながら、農作物の全体輪郭を一括して評価することは、画像分析の負荷が高い。農作物の形状特徴に応じて、先端区域、中間区域、根元区域に区分けし、区分けされた部分ごとに適した画像分析することで、この画像分析は簡単化される。このことから、好適な実施形態では、前記表面異常演算部は、前記輪郭の全体的な幾何学的特徴によって区分けされた部分の形状特性に基づいて前記表面異常を演算する。 Surface abnormalities include deformations in the overall contour of a crop, such as bending of carrots, cucumbers, and eggplants. However, evaluating the overall contour of a crop all at once places a high burden on image analysis. This image analysis can be simplified by dividing the crop into tip, middle, and base areas according to the shape characteristics, and performing appropriate image analysis for each divided area. For this reason, in a preferred embodiment, the surface abnormality calculation unit calculates the surface abnormality based on the shape characteristics of the areas divided according to the overall geometric characteristics of the contour.
また、農作物の先端形状に生じる表面異常では、農作物の先端区域の画像分析だけで十分であり、根元に生じる表面異常では、農作物の根元区域の画像分析だけで十分である。また、農作物の先端区域と根元区域を除く本体区域に生じる表面異常では、農作物の本体区域の画像分析だけで十分である。このことから、好適な実施形態では、前記表面異常演算部は、前記輪郭から形状特性幾何学的特徴によって区分けされた部分輪郭の形状特性に基づいて前記表面異常を演算する。 For surface abnormalities occurring in the tip shape of a crop, image analysis of the tip region of the crop is sufficient, and for surface abnormalities occurring at the base, image analysis of the base region of the crop is sufficient. For surface abnormalities occurring in the main region of the crop excluding the tip and base regions, image analysis of the main region of the crop is sufficient. For this reason, in a preferred embodiment, the surface abnormality calculation unit calculates the surface abnormality based on the shape characteristics of partial contours separated from the contour by shape characteristic geometric features.
農作物の表面に生じるシミなどの特異点の発生が原因となる表面異常は、その大きさや個数が重要となる。大きいシミは1つでも問題となる場合があり、小さなシミでも、多数あれば問題となる。このことから、好適な実施形態では、前記表面異常演算部は、前記輪郭内の明度特異点の面積と個数に基づいて前記表面異常を演算する。 The size and number of surface abnormalities caused by the occurrence of singular points such as spots on the surface of agricultural crops are important. Even a single large spot can be problematic, and even multiple small spots can be problematic. For this reason, in a preferred embodiment, the surface abnormality calculation unit calculates the surface abnormality based on the area and number of brightness singular points within the contour.
農作物において問題となる大きさや表面異常に関して、農作物の種類、その品種、さらには生育時期によっても、その重要度が変化する場合があり、その結果、その選別条件や仕分け先も変化する。したがって、選別条件が自由に変更可能で、種々の仕分けが可能なことが要望される。このことから、好適な実施形態では、前記選別部は、前記大きさ等級と前記表面異常との組み合わせに基づいて、前記農作物を選別して、前もって設定された各仕分け先に投与するように構成されている。 The importance of problematic size and surface abnormalities in agricultural crops may vary depending on the type of crop, its variety, and even the growing season, and as a result, the sorting conditions and sorting destinations also change. Therefore, it is desirable to be able to freely change the sorting conditions and perform various sorting operations. For this reason, in a preferred embodiment, the sorting unit is configured to sort the agricultural crops based on a combination of the size class and the surface abnormality, and distribute them to each of the pre-set sorting destinations.
以下、農作物選別装置の実施形態として、大きさと表面異常とによって人参を選別する人参選別装置を説明する。図1は、人参選別装置の概略斜視図である。人参選別装置は、供給部11と、整列部12と、搬送部13と、選別部14とから構成されている。供給部11は、貯留ホッパとして形成されている。整列部12は、供給部11から上方に搬送した人参を整列させて、1個ずつ送り出す。搬送部13は、供給部11から送り出された人参を選別部14に搬送する。選別部14には、8つの仕分け先が人参の搬送方向に沿って形成されている。選別部14は、後述する農作物評価処理によって生成された評価情報に基づいて、搬送されてくる人参を適切な仕分け先に投与する。
Below, as an embodiment of the agricultural product sorting device, a carrot sorting device that sorts carrots based on size and surface abnormalities will be described. FIG. 1 is a schematic perspective view of the carrot sorting device. The carrot sorting device is composed of a
人参選別装置の速度等を設定するために、人参選別装置には操作パネル15が設けられている。さらに、人参の評価情報としての、人参の大きさ等級及び表面異常レベル算出には、人参の撮影画像が用いられるので、搬送部13の上方には、搬送されている人参を撮影するカメラを含む撮影部2が設けられている。
The carrot sorting device is provided with an
図2には、農作物選別装置の制御系を示す機能ブロック図が示されている。この制御系には、選別機制御装置10が含まれている。選別機制御装置10は、操作パネル15及び選別制御ユニット100からの制御パラメータを受け取り、人参選別装置を制御する。選別制御ユニット100は、撮影部2から人参の撮影画像を取得し、人参の大きさ等級や表面異常の状態などを演算し、その演算結果を評価情報として選別部14に送る。選別制御ユニット100は、農作物評価ユニット3、評価基準設定部4、参照画像管理部6を備えている。さらに、作業者による情報入力及び作業者への情報表示を行う表示部として機能するタッチパネルユニット5も備えられている。
Figure 2 shows a functional block diagram of the control system of the agricultural product sorting device. This control system includes a sorting
農作物評価ユニット3は、大きさ演算部31と表面異常演算部32とを有する。大きさ演算部31と表面異常演算部32とに用いられる評価基準は、評価基準設定部4によって設定される。撮影部2からの人参の撮影画像は、大きさ演算部31と表面異常演算部32とに与えられる。大きさ演算部31は、人参の大きさ等級を評価基準と撮影画像とを用いて演算し、表面異常演算部32は、人参の表面異常を評価基準と撮影画像とを用いて演算する。農作物評価ユニット3は、大きさ演算部31及び表面異常演算部32の演算結果に基づいて、人参の評価結果としての評価情報を生成して、選別部14に出力する。
The
大きさ演算部31は、人参の撮影画像から演算された人参の輪郭とこの輪郭の内部領域の面積とに基づいて、大きさ等級を演算する。大きさ等級は、小さいものから順に、「SSS」、「SS」、「S」、「M」、「L」、「LL」、「LLL」である。これらから選択された等級が、実際に、選別部14による仕分け先に割り当てられる。なお、標準的な人参よりかなり細長い人参は、標準的な人参と同じ面積であっても、同じ大きさ等級と見なされるとは限らない。また、野菜や果物の種類によっては、見た目の大きさより、重量でその大きさが評価されるものもある。このため、この大きさ演算部31は、オプションとして、撮影画像から演算された輪郭とこの輪郭内の面積とに基づいて、その重量を推定演算し、その推定演算結果から大きさ等級を演算する機能も有する。
The
表面異常演算部32は、人参の表面異常を演算するために、この実施形態では、大きく分けて3つの画像処理機能を有する。第1の機能は、撮影画像から抽出された人参領域の輪郭を複数に区分けして得られた特定部分の輪郭における形状特性に基づいて、特定の表面異常を演算する機能である。第2の機能は、撮影画像から抽出された人参領域における画像特異点の面積と個数に基づいて、特定の表面異常を演算する機能である。第3の機能は、撮影画像から抽出された人参領域の特定部分における特定色の分布度に基づいて、特定の表面異常を演算する機能である。
In this embodiment, the surface
農作物評価ユニット3を構成する大きさ演算部31及び表面異常演算部32は、評価基準設定部4によって設定される評価基準に基づいて、人参の評価を行う。この評価基準は、タッチパネルユニット5からの指示情報に基づいて、評価基準設定部4によって生成される。タッチパネルユニット5は、作業者による操作入力に基づいて、指示情報を生成して、評価基準設定部4に与える。
The
タッチパネルユニット5は、表示制御部51と、FPDと略称されるフラットパネルディスプレイ50と、操作部52とを有する。フラットパネルディスプレイ50はタッチパネルとして機能する。操作部52は、フラットパネルディスプレイ50に表示されるソフトウエアスイッチ、及びフラットパネルディスプレイ50の周辺に設けられたハードウエアスイッチを有する。表示制御部51は、フラットパネルディスプレイ50に表示する各種情報を生成する。さらに、表示制御部51は、操作部52による操作入力を処理して得られた処理情報を他の機能部に出力する。つまり、タッチパネルユニット5は、選別制御ユニット100のグラフィックユーザインタフェースを構築している。
The
参照画像管理部6は、後述される参照画像を管理する。フラットパネルディスプレイ50には、参照画像管理部6から取り込まれた参照画像が表示される。参照画像の一例は、人参であることが視認できる実参照画像であり、人参の種々の大きさを示す撮影画像や人参を表す参照画像の近似外形線である。実参照画像として、撮影画像に代えて、イラスト画像が用いられてもよい。参照画像の他の例は、種々の表面異常を示す人参の撮影画像(異常参照画像)である。この異常参照画像も、撮影画像に代えて、イラスト画像が用いられてもよい。
The reference
次に、参照画像管理部6とタッチパネルユニット5と評価基準設定部4との協働によって、評価基準を生成する評価基準生成処理を説明する。
Next, we will explain the evaluation criteria generation process, which generates evaluation criteria through cooperation between the reference
(大きさ評価を行うための評価基準)
大きさ評価を行うための評価基準を生成する処理では、図3に示すような、フラットパネルディスプレイ50の画面が用いられる。この画面の中央には、標準となる大きさの人参を示す実参照画像が表示され、さらに、この実参照画像に重ね合わせて、人参の外形を単純化した複数(図3では4つ)の近似外形線が表示されている。この近似外形線も参照画像管理部6に管理されている。さらに、画面の下方領域には、人参の面積(投影面積)の等級を設定する第1横バーと、人参の太さ(幅)の等級を設定する第2横バーが表示されている。第1横バーには複数(図3では3つ)の面積カーソルが、作業者の操作によって、第1横バーに沿って移動可能に配置されている。第2横バーにも複数(図3では3つ)の太さカーソルが、作業者の操作によって、第2横バーに沿って移動可能に配置されている。複数の面積カーソルは、面積等級を設定するものである。各面積カーソルの第1横バーでの位置は、それぞれに割り当てられている近似外形線の面積と連動しており、各面積カーソルの位置により、S、M、L、LLといった面積等級が区分けされる。同様に、複数の太さカーソルは、太さ等級を設定するものである。各太さカーソルの第2横バーでの位置は、それぞれに割り当てられている近似外形線の幅と連動しており、各太さカーソルの位置により、S、M、L、LLといった太さ等級が区分けされる。この太さカーソルの位置により、面積だけで大きさの等級を設定するのではなく、太さによって大きさの等級を制限することができる。これにより、例えば、面積が同じでも細すぎる人参の等級を下げることが可能となる。
(Evaluation criteria for size evaluation)
In the process of generating an evaluation standard for size evaluation, a screen of a
面積カーソル及び太さカーソルに対する操作(操作入力)によって、各近似外形線が拡縮調整される。最終的に調整された近似外形線である複数の調整外形線が、評価基準設定部4に送られる。評価基準設定部4は、調整外形線に関するデータを指示情報として処理し、大きさに関する評価基準を生成し、農作物評価ユニット3に送る。この大きさに関する評価基準は、大きさ演算部31に設定される。大きさ演算部31は、撮影部2から送られてくる撮影画像の画像処理結果を評価基準と比較して、搬送中の人参の大きさ等級を演算する。
Each approximate outline is enlarged or reduced by operating (operation input) the area cursor and thickness cursor. The final adjusted approximate outlines, which are the multiple adjusted outlines, are sent to the evaluation
具体的には、調整外形線には、基準となる大きさの人参を示す実参照画像(参照画像の一例)より大きな1つ以上の拡大外形線と、実参照画像より小さな1つ以上の縮小外形線と、拡大外形線と縮小外形線との間の面積を有する標準外形線とが含まれている。拡大外形線は、人参の面積及び太さに関して大サイズ(LLやL)の評価基準となり、前記縮小外形線は、人参の面積及び太さに関して小サイズ(SやSS)の評価基準となり、標準外形線は、人参の面積及び太さに関して中サイズ(M)の評価基準となる。なお、縮小外形線や標準外形線や拡大外形線などお各種外形線に代えて、それぞれの外形線に対応する参照画像のデータを指示情報として評価基準設定部4に送ってもよい。その場合、評価基準設定部4は指示情報として送られた参照画像のデータに基づいて、評価基準を生成して、農作物評価ユニット3に設定する。
Specifically, the adjusted outline includes one or more enlarged outlines larger than an actual reference image (an example of a reference image) showing a carrot of a standard size, one or more reduced outlines smaller than the actual reference image, and a standard outline having an area between the enlarged outline and the reduced outline. The enlarged outline serves as an evaluation criterion for large sizes (LL or L) in terms of the area and thickness of the carrot, the reduced outline serves as an evaluation criterion for small sizes (S or SS) in terms of the area and thickness of the carrot, and the standard outline serves as an evaluation criterion for medium sizes (M) in terms of the area and thickness of the carrot. Note that instead of various outlines such as the reduced outline, standard outline, and enlarged outline, data of a reference image corresponding to each outline may be sent to the evaluation
(表面異常評価を行うための評価基準)
表面異常評価を行うための評価基準を生成する処理では、例えば、図4に示すような、フラットパネルディスプレイ50の画面が用いられる。図4に示す例では、中央領域には、種々の形態の人参を示す異常参照画像群(比較のため異常でない参照画像も含まれている)がマトリックス状(図4では5行×6列)に配置されており、その下方領域には、判定横バーが配置されている。判定横バーには、判定カーソルが、作業者の操作によって、判定横バーに沿って移動可能に配置されている。判定カーソルは、マトリックス状に配置された人参の各列の境界位置に移動可能である。この画面は、人参の表面異常としてのこぶの状態を判定するために用いられる。したがって、中央領域には、こぶの状態が正常から異常までの人参が段階的に並べられている。中央領域において、右端の列には、最も正常な等級(OK)とみなされる人参が配置されており、左端の列には、最も異常な等級(NG)とみなされる人参が配置されている。各列において、同じ等級であるが異なる正常状態または異常状態の人参が配置されている。つまり、異常度の大きさに準じて順番に表示されている。これにより、作業者は、種々の形態の人参の異常状態レベルを容易に視認することができる。なお、このような異常参照画像群は、その異常段階を示す属性値をもって、参照画像管理部6に管理されている。
(Evaluation criteria for evaluating surface abnormalities)
In the process of generating an evaluation standard for evaluating surface abnormalities, for example, a screen of a
作業者は、OKとNGとを区分けする境界となる位置に判定カーソルを移動させる。最終的な判定カーソルの位置に基づいて、タッチパネルユニット5は、こぶを評価するための指示情報を生成し、評価基準設定部4に送る。評価基準設定部4は、指示情報に基づいて、表面異常の一例であるこぶに関する評価基準を生成し、農作物評価ユニット3に送る。このこぶに関する評価基準は、表面異常演算部32に設定される。表面異常演算部32は、撮影部2から送られてくる撮影画像を画像処理するとともに、その画像処理結果と設定された評価基準とを照合し、撮影された人参の表面異常状態を演算する。
The operator moves the judgment cursor to a position that is the boundary between OK and NG. Based on the final position of the judgment cursor, the
人参の表面異常には、こぶ以外にへこみや曲根などがあるが、それらを選別条件にする場合にも、上述したように、異常参照画像群と判定カーソルとを用いて、作業者が所望する評価基準を生成して、設定することも可能である。 Surface abnormalities on carrots include dents and curved roots in addition to lumps, but even if these are used as selection criteria, the operator can generate and set the desired evaluation criteria using the abnormal reference images and judgment cursor, as described above.
大きさ演算部31によって演算された大きさ等級、及び表面異常演算部32によって演算された表面異常状態に基づいて、仕分け先を指定する評価情報を作成し、選別部14に与える。
Based on the size class calculated by the
選別部14における仕分け先の設定には、例えば、図4に示すような仕分け先設定画面が用いられる。この例では、仕分け先は8か所であり、仕分け条件は、大きさ等級と表面異常の種類とである。大きさ等級として、SSSからLLLまでの等級が選択可能あり、表面異常の種類として、異常なし、曲根、岐根、シミ、傷、着色不良、青首が選択可能である。例えば、設定に応じて、大きさ等級はMで表面異常なしの人参は仕分け先「1」に仕分けられ、大きさ等級はLでこぶ異常の人参は仕分け先「5」に仕分けられる。
To set the sorting destinations in the
人参選別装置の稼働状態の確認、及び稼働状態の変更は、図6に示す運転中画面を通じて可能である。この実施形態では、運転中画面の中央領域には、撮影部2からの撮影画像が表示される。下方領域には、装置の処理速度を調整するボタン群が表示されている。ボタン群には、停止ボタン、一時停止ボタン、運転開始ボタン、速度ダウンボタン、速度アップボタンが含まれている。
The operating status of the carrot sorting device can be confirmed and changed through the operating screen shown in FIG. 6. In this embodiment, the central area of the operating screen displays the captured image from the
(画像処理アルゴリズム)
次に、農作物評価ユニット3で実行される表面異常を検知するための画像処理アルゴリズムの例を説明する。
(1)こぶ、へこみ(外周領域)
図7に示すような人参の表面異常としてのこぶやへこみの検知では、人参の先端区域と根元区域とが除外される。除外される先端区域と根元区域との長さは、それぞれ全長のp%とする。このpは作業者によって任意に設定可能である。先端区域と根元区域とを除外した残りの中間区域が検出対象領域となる。なお、実際の撮影画像では、先端区域と元領域とが逆になることもあるので、先端区域と根元区域とは、区別しなくてもよい。あるいは、人参が円錐状であることから、自動的に先端区域が一方側となるように画像回転させてもよい。図7に示された外周領域でのこぶの評価は、人参の断面に相当する人参の撮影画像の輪郭内部領域を所定画素数の幅で横断方向に断片化し、人参の仮想中心線P1から各断片の頂点までの長さに基づいて行う。具体的には、所定範囲での各断片の頂点の包絡線における極大値を求める。さらに、この極大値を有する断片の頂点を中心として、所定半径(図7ではrで示されている)の判定円を設定する。この判定円における人参面積と背景面積の割合を求め、人参面積の割合がこぶ閾値以下であれば、こぶと判定する。このようにして抽出したこぶの数がこぶ判定値を超えた場合、この人参は表面異常(こぶ)と評価され、選別される。なお、へこみの評価は、こぶの評価に類似しており、所定範囲での各断片の頂点の包絡線における極大値に代えて、極小値を求め、あとは同じ方法でへこみが評価される。
(Image Processing Algorithm)
An example of an image processing algorithm implemented in the
(1) Bumps and dents (peripheral area)
In detecting lumps and dents as surface abnormalities of a carrot as shown in FIG. 7, the tip and root regions of the carrot are excluded. The lengths of the excluded tip and root regions are each p% of the total length. This p can be set arbitrarily by the operator. The remaining intermediate region excluding the tip and root regions is the detection target region. In an actual photographed image, the tip and root regions may be reversed, so the tip and root regions do not need to be distinguished. Alternatively, since a carrot is cone-shaped, the image may be rotated so that the tip region is automatically on one side. The evaluation of the lumps in the outer peripheral region shown in FIG. 7 is performed by fragmenting the inner region of the contour of the photographed image of the carrot, which corresponds to the cross section of the carrot, in the transverse direction with a width of a predetermined number of pixels, and based on the length from the virtual center line P1 of the carrot to the apex of each fragment. Specifically, the maximum value in the envelope of the apex of each fragment within a predetermined range is found. Furthermore, a judgment circle of a predetermined radius (indicated by r in FIG. 7) is set with the apex of the fragment having this maximum value as its center. The ratio of the carrot area to the background area in this judgment circle is calculated, and if the ratio of the carrot area is equal to or less than the bump threshold, it is judged to be a bump. If the number of bumps extracted in this way exceeds the bump judgment value, the carrot is judged to have a surface abnormality (bump) and is selected. Note that the evaluation of dents is similar to that of bumps, and instead of the maximum value in the envelope of the vertices of each fragment within a specified range, the minimum value is calculated, and the dents are evaluated in the same manner.
(2)こぶ、へこみ(内部領域)
人参の内部領域(人参撮影画像における内部領域)でのこぶやへこみの検出では、こぶやへこみの境界線で生じる輝度変化を利用したエッジ検出が用いられる。エッジ検出された領域の面積が所定値以上の場合、こぶまたはへこみと見なされ、その個数がこぶ(へこみ)判定値を超えた場合、この撮影画像の人参は表面異常(こぶ、へこみ)と評価され、選別される。なお、人参の表面に生じたシミも同様の方法で評価される。
(2) Bumps and dents (inner area)
To detect bumps and dents in the internal region of a carrot (the internal region in a photographed image of a carrot), edge detection is used, utilizing the brightness change that occurs at the boundary line of the bump or dent. If the area of the edge-detected region is equal to or greater than a predetermined value, it is deemed to be a bump or dent, and if the number of bumps or dents exceeds a bump (dent) judgment value, the carrot in the photographed image is evaluated as having a surface abnormality (bump, dent) and is selected out. Note that blemishes on the surface of the carrot are also evaluated in a similar manner.
(3)曲根
図8に示すような人参の表面異常としての曲根の検知でも、参の先端区域と根元区域とが除外される。評価対象領域である中間区域の外周輪郭線の近似直線が算出される。ここでは、近似直線は、根元区域と中間区域との境界点と、中間区域と先端区域との境界点を結ぶ直線である。次に、抽出された外周輪郭線の近似直線に対する乖離を算出する。この乖離の算出においても、人参の撮影画像の輪郭内部領域を所定画素数の幅で断片化されることによって得られた各断片の長さ(仮想中心線P1から頂点までの長さ)が用いられる。近似直線と断片の頂点との間の面積(膨らんでいる部分は正の面積、へこんでいる部分は負の面積として区分けられる)を乖離面積として、全ての断片にわたって積算する。なお、根元区域や先端区域に近い区域の断片の長さは、大きな誤差を含むので、平均化された長さが用いられる。積算された乖離面積が曲根判定値を超えた場合、この人参は表面異常(曲根)と評価され、選別される。
(3) Curved Roots In detecting curved roots as a surface abnormality of a carrot as shown in FIG. 8, the tip and root regions of the carrot are also excluded. An approximation line of the outer contour of the middle region, which is the region to be evaluated, is calculated. Here, the approximation line is a line connecting the boundary point between the root region and the middle region and the boundary point between the middle region and the tip region. Next, the deviation of the extracted outer contour from the approximation line is calculated. In calculating this deviation, the length of each fragment (the length from the virtual center line P1 to the apex) obtained by fragmenting the inner region of the contour of the photographed image of the carrot with a width of a predetermined number of pixels is used. The area between the approximation line and the apex of the fragment (the bulging portion is classified as a positive area and the depressed portion is classified as a negative area) is used as the deviation area and is integrated over all the fragments. Note that the length of the fragments in the region close to the root region or the tip region contains a large error, so the averaged length is used. If the integrated deviation area exceeds the curved root judgment value, the carrot is evaluated as having a surface abnormality (curved root) and is selected.
(4)岐根
図9に示すような人参の表面異常としての岐根の検知は、人参の長手方向に沿って所定画素数間隔で横断線(図9では点線で示されている画素線)を設定し、その横断線上に、人参部分と背景部分とが繰り返す場合、その横断線を岐根横断線とみなす。この岐根横断線の本数が岐根判定値を超えた場合、この人参は表面異常(岐根)と評価され、選別される。この岐根横断線の本数は、長さを表すことになる(本数×所定画素数)ので、図8では、岐根判定値が長さqで表され、実際に演算された長さ(岐根横断線の本数)がrで表されている。
(4) Forks As shown in Fig. 9, forks are detected as surface abnormalities of carrots by setting transverse lines (pixel lines shown by dotted lines in Fig. 9) at intervals of a predetermined number of pixels along the longitudinal direction of the carrot, and if a carrot part and a background part are repeated on the transverse line, the transverse line is regarded as a fork crossing line. If the number of these fork crossing lines exceeds the fork judgment value, the carrot is evaluated as having a surface abnormality (forks) and is selected. The number of these fork crossing lines represents the length (number of lines x predetermined number of pixels), so in Fig. 8, the fork judgment value is represented by the length q, and the actually calculated length (number of fork crossing lines) is represented by r.
(5)傷
人参の表面異常としての岐根の検知には、内部領域でのこぶやへこみ検出と同様に、エッジ検出が用いられる。エッジ検出で得られた閉領域を傷領域とし、その傷領域の長さと個数が算出される。第1傷判定値を超えた長さを有する傷領域の個数が、第2傷判定値を超えた場合、この人参は表面異常(傷)と評価され、選別される。
(5) Scratches Edge detection is used to detect forks as surface abnormalities of carrots, in the same way as detecting lumps and dents in internal regions. Closed regions obtained by edge detection are regarded as scratch regions, and the lengths and number of scratch regions are calculated. If the number of scratch regions having lengths exceeding the first scratch judgment value exceeds the second scratch judgment value, the carrot is evaluated as having a surface abnormality (scratches) and is selected.
(6)着色不良
人参の表面異常としての着色不良の検知にも、シミや傷の検出と同様に、エッジ検出が用いられる。エッジ検出のエッジ閾値として、着色不良を示す、色相、彩度、明度の閾値が設定される。エッジ検出によって得られた着色不良領域の面積が、着色不良判定値を超えた場合、この人参は表面異常(着色不良)と評価され、選別される。
(6) Coloring Defects As with the detection of blemishes and scratches, edge detection is also used to detect coloring defects as a surface abnormality of carrots. Threshold values for hue, saturation, and brightness that indicate coloring defects are set as edge thresholds for edge detection. If the area of a coloring defect region obtained by edge detection exceeds the coloring defect judgment value, the carrot is evaluated as having a surface abnormality (coloring defect) and is selected.
(7)青首
人参の表面異常としての青首の検知でも、人参は、先端区域と中間区域と根元区域に分けられる。撮影画像において、先端区域と根元区域とが区別されていない場合には、先端区域と根元区域との両方が検出対象領域となり、先端区域と根元区域とが区別されている場合には、根元区域が検出対象領域となる。検出対象領域において、撮影画像を、背景色、青系色、橙系色で3値化する。3値化された画像データにおいて、青系色の画素数の割合が青首判定値を超えた場合、この人参は表面異常(青首)と評価され、選別される。
(7) Green Neck When detecting a green neck as a surface abnormality of a carrot, the carrot is divided into a tip region, a middle region, and a base region. If the tip region and the base region are not distinguished in the captured image, both the tip region and the base region become the detection target region, and if the tip region and the base region are distinguished, the base region becomes the detection target region. In the detection target region, the captured image is ternarized with the background color, a bluish color, and an orange color. If the proportion of blue-colored pixels in the ternarized image data exceeds the blue neck judgment value, the carrot is evaluated as having a surface abnormality (green neck) and is selected.
上述した、画像処理アルゴリズムにおける、表面異常検知のための各種判定値は、デフォルトで設定された値が用いられてもよい。あるいは、図5に示すような表面異常を異常レベルで並べた異常参照画像群から、作業者が表面異常の境界を選択し、その選択結果に基づいて、表面異常判定値や各種閾値が設定されてもよい。例えば、着色不良の検知の場合、図5に示されたような実際の着色不良の段階的な撮影画像群から、作業者によって選択された、着色不良とみなされる撮影画像から、着色不良の閾値用データが作成される。 In the image processing algorithm described above, various judgment values for detecting surface abnormalities may be set as default values. Alternatively, an operator may select the boundaries of surface abnormalities from a group of abnormal reference images in which surface abnormalities are arranged by abnormality level as shown in FIG. 5, and the surface abnormality judgment values and various thresholds may be set based on the selection result. For example, in the case of detecting coloring defects, data for the threshold value of coloring defects is created from a photographed image that is considered to have a coloring defect and is selected by the operator from a group of photographed images showing actual coloring defects in stages as shown in FIG. 5.
〔別実施の形態〕
(1)上述した実施形態では、選別対象の農作物として人参が取り扱われたが、その他の青果物が取り扱われてもよい。
(2)図2で示された各種機能ブロックは、説明目的のためであり、これらの機能ブロックは、他の機能ブロックと統合されてもよいし、また複数のサブブロックに分割されてもよい。
[Another embodiment]
(1) In the above-described embodiment, carrots are used as the agricultural product to be sorted. However, other fruits and vegetables may also be used.
(2) The various functional blocks shown in FIG. 2 are for illustrative purposes only, and these functional blocks may be combined with other functional blocks or divided into multiple sub-blocks.
なお、上記実施形態(別実施形態を含む、以下同じ)で開示される構成は、矛盾が生じない限り、他の実施形態で開示される構成と組み合わせて適用することが可能であり、また、本明細書において開示された実施形態は例示であって、本発明の実施形態はこれに限定されず、本発明の目的を逸脱しない範囲内で適宜改変することが可能である。 The configurations disclosed in the above embodiment (including other embodiments, the same applies below) can be applied in combination with configurations disclosed in other embodiments, so long as no contradiction arises. Furthermore, the embodiments disclosed in this specification are merely examples, and the present invention is not limited to these embodiments. They can be modified as appropriate within the scope of the purpose of the present invention.
本発明は、農作物の撮影画像を用いて、当該農作物を評価し、その評価結果に基づいて選別する農作物選別装置に適用可能である。 The present invention can be applied to a crop sorting device that uses photographed images of crops to evaluate the crops and sort them based on the evaluation results.
2 :撮影部
3 :農作物評価ユニット
4 :評価基準設定部
5 :タッチパネルユニット
6 :参照画像管理部
10 :選別機制御装置
11 :供給部
12 :整列部
13 :搬送部
14 :選別部
31 :演算部
32 :表面異常演算部
50 :フラットパネルディスプレイ
51 :表示制御部
52 :操作部
100 :選別制御ユニット
2: Photographing section 3: Crop evaluation unit 4: Evaluation standard setting section 5: Touch panel unit 6: Reference image management section 10: Sorting machine control device 11: Supply section 12: Alignment section 13: Transport section 14: Sorting section 31: Calculation section 32: Surface abnormality calculation section 50: Flat panel display 51: Display control section 52: Operation section 100: Sorting control unit
Claims (6)
農作物を個別に搬送する搬送部と、
個別に搬送される前記農作物の撮影画像を出力する撮影部と、
前記農作物の評価情報としての前記農作物の大きさ等級を前記撮影画像から演算する大きさ演算部と、
前記評価情報としての前記農作物の表面異常を、前記撮影画像から演算する表面異常演算部と、
前記評価情報に基づいて前記農作物を選別する選別部と、
を備え、
前記大きさ演算部は、前記撮影画像から演算された前記農作物の輪郭と前記輪郭の内部領域の面積とに基づいて、前記大きさ等級を演算し、
前記大きさ演算部は、前記撮影画像から演算された前記輪郭と前記内部領域の面積とに基づいて、前記農作物の重量を演算し、前記重量に基づいて前記大きさ等級を演算する農作物選別装置。 A crop sorting device, comprising:
A conveying unit that conveys the agricultural products individually;
an image capturing unit that captures and outputs images of the agricultural products that are individually transported;
a size calculation unit that calculates a size class of the agricultural crop as evaluation information of the agricultural crop from the captured image;
a surface abnormality calculation unit that calculates a surface abnormality of the crop as the evaluation information from the captured image;
A sorting unit that sorts the agricultural products based on the evaluation information;
Equipped with
The size calculation unit calculates the size class based on an outline of the crop and an area of an internal region of the outline calculated from the captured image ,
The size calculation unit calculates the weight of the crop based on the contour and the area of the internal region calculated from the captured image, and calculates the size class based on the weight.
農作物を個別に搬送する搬送部と、
個別に搬送される前記農作物の撮影画像を出力する撮影部と、
前記農作物の評価情報としての前記農作物の大きさ等級を前記撮影画像から演算する大きさ演算部と、
前記評価情報としての前記農作物の表面異常を、前記撮影画像から演算する表面異常演算部と、
前記評価情報に基づいて前記農作物を選別する選別部と、
を備え、
前記大きさ演算部は、前記撮影画像から演算された前記農作物の輪郭と前記輪郭の内部領域の面積とに基づいて、前記大きさ等級を演算し、
前記表面異常演算部は、前記撮影画像における農作物領域と、予め選択された異常判定用参照画像との比較によって、前記表面異常を演算する比較演算機能を有する農作物選別装置。 A crop sorting device, comprising:
A conveying unit that conveys the agricultural products individually;
an image capturing unit that captures and outputs images of the agricultural products that are individually transported;
a size calculation unit that calculates a size class of the agricultural crop as evaluation information of the agricultural crop from the captured image;
a surface abnormality calculation unit that calculates a surface abnormality of the crop as the evaluation information from the captured image;
A sorting unit that sorts the agricultural products based on the evaluation information;
Equipped with
The size calculation unit calculates the size class based on an outline of the crop and an area of an internal region of the outline calculated from the captured image,
The surface abnormality calculation unit is a crop sorting device having a comparison calculation function that calculates the surface abnormality by comparing the crop area in the captured image with a preselected reference image for abnormality determination .
農作物を個別に搬送する搬送部と、
個別に搬送される前記農作物の撮影画像を出力する撮影部と、
前記農作物の評価情報としての前記農作物の大きさ等級を前記撮影画像から演算する大きさ演算部と、
前記評価情報としての前記農作物の表面異常を、前記撮影画像から演算する表面異常演算部と、
前記評価情報に基づいて前記農作物を選別する選別部と、
を備え、
前記大きさ演算部は、前記撮影画像から演算された前記農作物の輪郭と前記輪郭の内部領域の面積とに基づいて、前記大きさ等級を演算し、
前記表面異常演算部は、前記輪郭の全体的な幾何学的特徴によって区分けされた部分の形状特性に基づいて前記表面異常を演算する農作物選別装置。 A crop sorting device, comprising:
A conveying unit that conveys the agricultural products individually;
an image capturing unit that captures and outputs images of the agricultural products that are individually transported;
a size calculation unit that calculates a size class of the agricultural crop as evaluation information of the agricultural crop from the captured image;
a surface abnormality calculation unit that calculates a surface abnormality of the crop as the evaluation information from the captured image;
A sorting unit that sorts the agricultural products based on the evaluation information;
Equipped with
The size calculation unit calculates the size class based on an outline of the crop and an area of an internal region of the outline calculated from the captured image,
The surface anomaly calculation unit calculates the surface anomaly based on shape characteristics of parts divided by the overall geometric characteristics of the contour .
農作物を個別に搬送する搬送部と、
個別に搬送される前記農作物の撮影画像を出力する撮影部と、
前記農作物の評価情報としての前記農作物の大きさ等級を前記撮影画像から演算する大きさ演算部と、
前記評価情報としての前記農作物の表面異常を、前記撮影画像から演算する表面異常演算部と、
前記評価情報に基づいて前記農作物を選別する選別部と、
を備え、
前記大きさ演算部は、前記撮影画像から演算された前記農作物の輪郭と前記輪郭の内部領域の面積とに基づいて、前記大きさ等級を演算し、
前記表面異常演算部は、前記輪郭から形状特性幾何学的特徴によって区分けされた部分輪郭の形状特性に基づいて前記表面異常を演算する農作物選別装置。 A crop sorting device, comprising:
A conveying unit that conveys the agricultural products individually;
an image capturing unit that captures and outputs images of the agricultural products that are individually transported;
a size calculation unit that calculates a size class of the agricultural crop as evaluation information of the agricultural crop from the captured image;
a surface abnormality calculation unit that calculates a surface abnormality of the crop as the evaluation information from the captured image;
A sorting unit that sorts the agricultural products based on the evaluation information;
Equipped with
The size calculation unit calculates the size class based on an outline of the crop and an area of an internal region of the outline calculated from the captured image,
The surface anomaly calculation unit of the agricultural product sorting device calculates the surface anomaly based on shape characteristics of partial contours that are divided from the contour by shape characteristics and geometric features .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020217449A JP7471215B2 (en) | 2020-12-25 | 2020-12-25 | Crop sorting equipment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020217449A JP7471215B2 (en) | 2020-12-25 | 2020-12-25 | Crop sorting equipment |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022102614A JP2022102614A (en) | 2022-07-07 |
JP7471215B2 true JP7471215B2 (en) | 2024-04-19 |
Family
ID=82273471
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020217449A Active JP7471215B2 (en) | 2020-12-25 | 2020-12-25 | Crop sorting equipment |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7471215B2 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011240257A (en) | 2010-05-18 | 2011-12-01 | Kochi Univ Of Technology | Rotating oval body and entire-surface image inspection device of spherical body |
-
2020
- 2020-12-25 JP JP2020217449A patent/JP7471215B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011240257A (en) | 2010-05-18 | 2011-12-01 | Kochi Univ Of Technology | Rotating oval body and entire-surface image inspection device of spherical body |
Also Published As
Publication number | Publication date |
---|---|
JP2022102614A (en) | 2022-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5082676B2 (en) | Optical grain sorter | |
EP2454028B1 (en) | Inspection apparatus and method using pattern recognition | |
CN109886298A (en) | A kind of detection method for quality of welding line based on convolutional neural networks | |
JP5255953B2 (en) | Defect inspection method and apparatus | |
JPH05126757A (en) | Method and apparatus for optically determining acceptability of product | |
CN103134809A (en) | Welded line defect detection method | |
EP2454029B1 (en) | Sorting apparatus and method using a graphical user interface | |
JP2001264257A (en) | Image defect detecting device and method, and storage medium storing procedure for image defect detecting method | |
US20240045407A1 (en) | Manufacturing line abnormality portent detection apparatus, manufacturing line abnormality portent detection method, manufacturing line abnormality portent detection program, manufacturing apparatus, and inspection apparatus | |
JP7471215B2 (en) | Crop sorting equipment | |
CN105699397A (en) | Apple surface glossiness detection method | |
JP7471216B2 (en) | Crop sorting equipment | |
US12067701B2 (en) | Management and control system for an inspection apparatus | |
CN114240877A (en) | Method and device for detecting welding quality | |
JP4139291B2 (en) | Defect inspection method and apparatus | |
GB2481804A (en) | Dual sensitivity browser for optical sorting machines | |
JP2002008029A (en) | Image inspection device | |
TWI703320B (en) | Marking inspection apparatus, marking inspection method and article inspection apparatus | |
JP7207948B2 (en) | Appearance inspection method and program | |
TWI655412B (en) | Light source detection system and method | |
JP3962525B2 (en) | Image generation device and sorting classification determination device used for sorting agricultural products | |
US20190364193A1 (en) | Image processing apparatus, robot and robot system | |
JP2003216930A (en) | Method and apparatus for inspecting discoloration | |
JP4699883B2 (en) | Appearance inspection device | |
US20240015268A1 (en) | Display device, fish counting system provided therewith, and display control program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221229 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230929 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240312 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240409 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7471215 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |