JP3614980B2 - 農産物の外観検査方法及び装置 - Google Patents
農産物の外観検査方法及び装置 Download PDFInfo
- Publication number
- JP3614980B2 JP3614980B2 JP13889196A JP13889196A JP3614980B2 JP 3614980 B2 JP3614980 B2 JP 3614980B2 JP 13889196 A JP13889196 A JP 13889196A JP 13889196 A JP13889196 A JP 13889196A JP 3614980 B2 JP3614980 B2 JP 3614980B2
- Authority
- JP
- Japan
- Prior art keywords
- light image
- image information
- visible light
- pixels
- infrared light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 claims description 38
- 238000003384 imaging method Methods 0.000 claims description 30
- 238000000605 extraction Methods 0.000 claims description 21
- 239000000284 extract Substances 0.000 claims description 14
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000011179 visual inspection Methods 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims description 6
- 230000001678 irradiating effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 34
- 238000007689 inspection Methods 0.000 description 29
- 208000027418 Wounds and injury Diseases 0.000 description 24
- 238000001514 detection method Methods 0.000 description 22
- 238000001444 catalytic combustion detection Methods 0.000 description 18
- 241000220225 Malus Species 0.000 description 10
- 239000003086 colorant Substances 0.000 description 10
- 230000006378 damage Effects 0.000 description 9
- 235000021016 apples Nutrition 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 7
- 208000014674 injury Diseases 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 235000013399 edible fruits Nutrition 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000002310 reflectometry Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000003672 processing method Methods 0.000 description 3
- 239000011347 resin Substances 0.000 description 3
- 229920005989 resin Polymers 0.000 description 3
- 241001672694 Citrus reticulata Species 0.000 description 2
- 244000061458 Solanum melongena Species 0.000 description 2
- 235000002597 Solanum melongena Nutrition 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 229910052736 halogen Inorganic materials 0.000 description 2
- 150000002367 halogens Chemical class 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 240000009088 Fragaria x ananassa Species 0.000 description 1
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 1
- 241000758706 Piperaceae Species 0.000 description 1
- 241000220324 Pyrus Species 0.000 description 1
- 240000003768 Solanum lycopersicum Species 0.000 description 1
- 244000061456 Solanum tuberosum Species 0.000 description 1
- 235000002595 Solanum tuberosum Nutrition 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 235000012055 fruits and vegetables Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 235000021017 pears Nutrition 0.000 description 1
- 235000012015 potatoes Nutrition 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 235000021012 strawberries Nutrition 0.000 description 1
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、リンゴ、柿、梨、トマト、ナス、胡瓜、ミカン等の農産物を選別して包装し出荷する選果場等で用いられる農産物の外観検査方法及び装置に関するものである。
【０００２】
【従来技術】
選果場等での農産物の選別は、大別して、大きさ，面積などの階級要素を基準とする方式と、色，傷等の等級要素を基準とする方式とのいずれか一方あるいは双方を用いて行われており、このうちの前者の階級要素に基づく判定についてはこれに用いる要素（例えば大きさ，重量）が比較的に機械手段で検出し易いために古くから普及し、また近時の農産物を傷めない非接触方式でもこの要素を検出する光学的方法，装置は比較的装置化，自動化が簡単であるため実際の自動化装置も数多く提案され実用に供されている。
【０００３】
しかし後者の色や傷等の等級要素についての等級判定については、自動化装置が提案され一部実用に供されているものの未だ解決すべき課題があるのが実状である。
【０００４】
このような等級判定のための色情報等の要素を検出する従来提案の装置として知られるものには、例えば搬送コンベアなどの上を搬送される農産物のカラー画像をＣＣＤカメラ等を用いて撮像して、赤（Ｒ），緑（Ｇ），青（Ｂ）の三元色の色情報を検出する方式のもの（特公昭６１−７３６０号公報、特公昭６１−１１６７９号公報、特公平１−３３２２５号公報、特開平４−１４７０４２号公報、特開平４−２３８２５２号公報等）や、同様の手法で農産物表面の「傷」を検出する方式のものが知られている（特開平４−３０７３５７号公報等）。
【０００５】
これらの方式では、搬送農産物との明度差がつき易いように搬送コンベア等であるバケット，受皿（いわゆるフリートレイ），小幅スラットコンベア等を黒色として、農産物に関する色情報等を適切に検出できるようにした構成が一般に採用される。
【０００６】
しかし、農産物は色が千差万別であり、反射明度の低い農産物（例えば黒紫色「ナス」、濃紫色「スターキング」、濃緑色「青切ミカン」等が代表的）を等級判定する場合には、前記のように黒色系の色をもつ搬送手段で農産物を搬送しながら色情報を検出しても両者の境界がはっきりしないために農産物の輪郭を正確に捕らえることができない場合が多く、判定精度が低くなるという問題があった。例えば、ＣＣＤカメラ等を用いて撮像した農産物の画像をａ行ｂ列の画素信号にして色や傷を判定するためのデータ信号とするものがあるが、黒色系の農産物や泥埃が付着した馬鈴薯などの農産物ではその輪郭がはっきりせず、その結果として、本来農産物とは関係のないコンベア部分の反射光を農産物の一部分として取り込んでしまい判定精度の信頼性を低下させることがあった。
【０００７】
これに対処するためには、例えばコンベア等を測定対象物と反対色の背景色にして抽出する方法もあるが、コンベアが泥埃等の汚れなどによって短時間のうちに画像抽出性能が劣化するという問題があるし、また対象農産物毎にコンベアを交換しなければならないとすれば装置の汎用性を低下させるためにコスト的に不利という問題を招く他、選果現場においての装置部品の交換には相当知識をもった技術者の存在が必要となるため、選果場が多数散在している現実面への対応が極めて困難という問題がある。
【０００８】
ところで、等級判定要素である農産物表面の色等の解析法としては、上述の撮像により検出した反射光をいくつかの波長域に分けて取り出してＲ，Ｇ，Ｂで分析する方法や、彩度，色相，明度を分析する方法が知られている他、特公平３−２１２３５号公報のように、緑色光（Ｇ）や赤色光（Ｒ）が色の変化に敏感であるのに比べて赤外光（ＩＲ）は色の変化に鈍感であるという性質の違いを利用してＩＲ／Ｒ，ＩＲ／Ｇを演算した結果から色を判定する方法が知られている。なお赤外光は農産物に対しては反射率が高いが黒色系樹脂のコンベア等に対しての反射率は低いことも知られている。
【０００９】
【発明が解決しようとする課題】
本発明者は、以上のような従来技術の下で鋭意研究を進めて本発明をなすに至ったものである。
【００１０】
すなわち、上述した従来の色，傷等の農産物を選別するための等級判定においては、一般に、コンピュータによって色，傷を演算解析するには農産物からの色に敏感な可視光領域の反射光を計測する必要があるため、ＣＣＤカメラ等の撮像手段により農産物からの可視光領域の反射光を受光し、この光情報に基づいて農産物の色等の等級要素を判定しているが、一部の農産物（例えば黒色系農産物）においてはこの可視光の色情報では農産物の境界がはっきりせず、農産物の外形輪郭近傍の色情報が、コンベアに由来するものか農産物の色や傷を示すのか明らかでないことになって、農産物の外形輪郭線近傍を含めて色や傷を正確に判定できないという問題を招く。
【００１１】
そこで本発明は、農産物の外形輪郭を正確に切り出すことができ、かつ輪郭近傍の農産物の色，傷を正確に検出することができて、高い精度で等級判定が可能な方法及び装置を提供することを目的としてなされたものである。
【００１２】
また本発明の別の目的は、農産物の外形輪郭の正確な切り出しと、輪郭内の色，傷の情報の検出のための光情報を簡易な装置で検出できる方法及び装置を提供するところにある。
【００１３】
【課題を解決するための手段】
前記目的を達成する本発明の特徴は前記特許請求の範囲の各請求項に記載した通りにある。
【００１４】
本願の請求項１の発明は、搬送手段上の農産物を近赤外光及び可視光で同一の撮像手段により同時に撮像し、ａ行ｂ列の画素からなる近赤外光画像及び可視光画像を得、該近赤光外画像を構成する各画素の近赤外光画像情報を予め定めた閾値と比較して二値化し、各該二値化画素が該農産物の外形輪郭の内外のいずれに位置するかを区別することで、該農産物の輪郭内領域の画素を抽出し、これら抽出した輪郭内領域の二値化画素と前記可視光画像との画素間ＡＮＤ演算により前記農産物の輪郭内領域の画素を特定し、特定した該農産物の輪郭内領域の画素の可視光画像情報により農産物の色及び／又は傷を判定することを特徴とする農産物の外観検査方法にある。
【００１５】
本発明の対象となる農産物としては、色，傷の測定により等級判定が行われる果実，そ菜類などを特に制限されることなく挙げることができる。
【００１６】
本発明において農産物を撮像する近赤外光は、色の変化に鈍感でありかつ農産物に対しては反射率が高くコンベア等の搬送手段を構成する樹脂材料に対しては反射率の低い性質を有する波長域の光、一般的には波長７５０ｎｍ〜９００ｎｍの光が好ましく用いられるが、前記性質を満足するものであれば限定されるものではない。また可視光には、農産物の色，傷を検出、判定するのに適した波長の光が用いられる。
【００１７】
上記発明によれば、近赤外光で受光検出された各画素の近赤外光画像情報は、色の変化に鈍感でかつ農産物に対しては反射率が高くコンベア等に対しては反射率が低い性質であるため、農産物からの反射光よりは十分に低くかつコンベア等からの反射光よりは十分に高い値に予め設定した所定の閾値と、各画素の近赤外光画像情報を比較することで、各画素毎にこれが農産物の輪郭の内外のいずれに位置するかを明瞭に区別できる。すなわちこれにより、農産物の輪郭内領域に存在する画素（群）を正確に抽出する（輪郭を正確に切り出す）ことができる。
【００１８】
そして、このようにして正確に切り出し（抽出）た輪郭内領域の画素（群）のみについて（つまり抽出されなかった輪郭外側の画素は除外して）、色に敏感な可視光で受光検出した可視光画像の情報を用いて、色あるいは傷のいずれかあるいは双方を判定するので、高い精度の等級判定が可能とできる。なお色，傷の判定に用いる要素や演算の方法は、従来の方法を用いて行うことができる。
【００１９】
このように色の変化には鈍感であるが農産物と他の物の種類の違いには敏感な画像情報が得られる近赤外光を用いて農産物の輪郭を切り出し、色の変化に敏感な画像情報が得られる可視光の前記輪郭内画素（群）の情報で色，傷を判定するので、正確で効率のよい判定が可能となる。
また、搬送手段上の農産物を近赤外光及び可視光で同一の撮像手段により同時に撮像しているので、外観検査を迅速に行えると共に、近赤外光で撮像した画像と、可視光で撮像した画像を一致させる操作が不要であるため、農産物の輪郭内の色，傷を判定するための可視光画像情報を農産物の輪郭内の画素に基づくことを正確に確保できる。
【００２０】
本願の請求項２の発明は、前記の農産物の色及び／又は傷を判定するための可視光情報が、少なくとも赤色光（Ｒ），緑色光（Ｇ）の波長域の光情報を含み、必要に応じて青色光（Ｂ）の波長域の光情報を含むことを特徴とする。
【００２１】
本願の請求項３の発明は、搬送手段上の農産物を近赤外光及び可視光で同一の撮像手段により同時に撮像し、ａ行ｂ列の画素からなる近赤外光画像及び可視光画像を得、該近赤光外画像を構成する各画素の近赤外光画像情報を予め定めた閾値と比較して二値化し、各該二値化画素が該農産物の外形輪郭の内外のいずれに位置するかを区別することで、該農産物の輪郭内領域の画素を抽出し、これら抽出した輪郭内領域の二値化画素と前記近赤外画像情報及び前記可視光画像との画素間ＡＮＤ演算により前記農産物の輪郭内領域の画素を特定し、特定した該農産物輪郭内の画素の可視光画像情報と近赤外光画像情報とにより、農産物の色及び傷、又は傷を判定することを特徴とする農産物の外観検査方法にある。
【００２２】
この発明によれば、請求項１の発明に加えて近赤外光画像情報を農産物の傷検出に利用するので、傷の検出をより高精度に行うことができる。この場合、近赤外光画像情報と可視光画像情報とによる傷の検出は、両者で検出した傷とみなされる画素の論理和で農産物の傷を判定することもできるし、前記画素の論理積で農産物の傷を判定することもできる。この後者の論理積を用いる方法は、泥の付着など本当の傷でないものを傷と判定してしまう不具合を避けるのに好ましく採用することができるが、具体的に近赤外光と可視光の双方の画素情報を傷検出に利用する方式は、種々の農産物の特質等に応じて実際の傷と認識されるものとの関係を経験的，実験的に確認して設計すればよい。
【００２７】
本願の請求項４の発明は、農産物を搬送する搬送手段と、搬送される農産物に近赤外光領域及び可視光を含む照明光を照射する光源と、前記光源で照明した農産物の近赤外光画像及び可視光画像を同時に撮像してａ行ｂ列の各画素毎に近赤外光画像情報及び可視光画像情報を抽出する１つの受光手段と、前記各画素の近赤外光画像情報を予め定めた閾値と比較して二値化し、各該二値化画素が該農産物の外形輪郭の内外のいずれに位置するかを区別することで農産物の輪郭内領域の画素を抽出する輪郭内画素抽出手段と、これら抽出した輪郭内領域の二値化画素と前記可視光画像との画素間ＡＮＤ演算により前記農産物の輪郭内領域の画素を特定し、特定した各画素の可視光画像情報を抽出する可視光画像情報抽出手段と、該可視光画像情報抽出手段で抽出した可視光画像情報により農産物の色及び／又は傷を判定する判定手段と、を備えたことを特徴とする農産物の外観検査装置にある。
【００２８】
前記搬送手段は、ベルトコンベア、コロコンベア、バケットコンベア、ベルトコンベア等の上を拘束されずに搬送される受皿（いわゆるフリートレイ）、小幅スラットを搬送方向に多数整列させたいわゆるスラットコンベア等を挙げることができる。
【００２９】
農産物を照明する光源は、近赤外光を発する光源と可視光を発する光源を用いることができるが、発光波長域が限定されない例えばハロゲンランプ等を用いて受光光学系に近赤外光領域、可視光を通すバンドパスフィルターを用いることもできる。
【００３０】
撮像手段はＣＣＤカメラ、ビデオカメラ等を用いることができ、この撮像手段により撮像される農産物と及び輪郭外近傍の範囲の画像情報は、ａ行ｂ列のマトリックス状に区画された画素の情報の集合であり、このａ行ｂ列のマトリックスの大きさは受光光学系の解像度や農産物の大きさにより設計的に決められる。また各画素の大きさは小さい方が農産物の実際の外形輪郭に合致した画素の切出しができるために好ましいが、その反面、画素数が多くなって画像処理に時間がかかることになるため、設備コスト、処理速度、等級判定精度等の要求に応じて設計的に決められるものが用いられる。
【００３１】
近赤外光画像情報及び可視光画像情報を抽出する受光手段は、農産物からの反射光を集光するレンズ系、及びこのレンズ系からの光像が投影されるＣＣＤ等の撮像素子とを備えたＣＣＤカメラ、ビデオカメラ等の撮像手段と、この撮像手段により得られた撮像情報をコンピュータを利用して画像処理する画像処理手段から構成することができる。このためには、前記光源とも関係するが様々にその構成を設計することができ、例えば、赤外線画像情報を得るための近赤外光を発する光源とこれを受光する撮像手段、及び可視光画像情報を得るための可視光を発する光源とこれを受光する撮像手段を、それぞれ別々に設けることもできるし、発光波長域が限定されない共通の光源を用いながら近赤外光画像情報と可視光画像情報を別々の撮像手段で受光して得ることもできるし、該共通の光源を用いると共に分光手段（必要に応じて所定のバンドパスフィルタ）を用いることで、近赤外光画像情報と可視光画像情報を共通のレンズ系を通して得るようにすることもできる。
【００３２】
前記輪郭内画素抽出手段は、農産物を撮像して得た近赤外光画像のａ行ｂ列のマトリックス状に区画された各画素毎の画像情報を予めメモリ等に設定した閾値と比較するための手段であり、一般的にはコンピュータを利用して構成されかつその比較のための閾値は実験的、経験的に決めることができる。
【００３３】
この発明によれば、近赤外光画像情報により農産物の外形輪郭内の画素を正確に切り出し、切り出した画素の可視光画像情報により農産物の色，傷を高精度に検出する装置を提供できる。
【００３４】
本願の請求項５の発明は、農産物を搬送する搬送手段と、搬送される農産物に近赤外光領域及び可視光を含む照明光を照射する光源と、前記光源で照明した農産物の近赤外光画像及び可視光画像を同時に撮像してａ行ｂ列の各画素毎に近赤外光画像情報及び可視光画像情報を抽出する１つの受光手段と、前記各画素の近赤外光画像情報を予め定めた閾値と比較して二値化し、各該二値化画素が該農産物の外形輪郭の内外のいずれに位置するかを区別することで農産物の輪郭内領域の画素を抽出する輪郭内画素抽出手段と、前記輪郭内画素抽出手段で抽出した輪郭内領域の二値化画素と前記近赤外光画像及び前記可視光画像との画素間ＡＮＤ演算により前記農産物の輪郭内領域の画素を特定し、特定した各画素の近赤外光画像情報及び可視光画像情報を抽出する画像情報抽出手段と、前記画像情報抽出手段で抽出した可視光画像情報により農産物の傷を判定する第１の傷判定手段と、前記画像情報抽出手段で抽出した各画素の近赤外光画像情報により農産物の傷を判定する第２の傷判定手段と、を備え、前記第１及び第２の傷判定手段の結果を総合して農産物の傷判定を行うことを特徴とする農産物の外観検査装置にある。
【００３５】
この発明によれば、農産物の傷を近赤外光画像情報と可視画像情報のいずれかあるいは双方を利用してより高精度に検出する装置を提供できる。
【００３６】
本願の請求項６の発明は、農産物を搬送する搬送手段と、搬送される農産物に近赤外光領域及び可視光を含む照明光を照射する光源と、前記光源で照明した農産物の近赤外光画像及び可視光画像を同時に撮像してａ行ｂ列の各画素毎に近赤外光画像情報及び可視光画像情報を抽出する１つの受光手段と、前記各画素の近赤外光画像情報を予め定めた閾値と比較して二値化し、各該二値化画素が該農産物の外形輪郭の内外のいずれに位置するかを区別することで農産物の輪郭内領域の画素を抽出する輪郭内画素抽出手段と、前記輪郭内画素抽出手段で抽出した輪郭内領域の二値化画素と前記近赤外光画像及び前記可視光画像との画素間ＡＮＤ演算により前記農産物の輪郭内領域の画素を特定し、特定した各画素の近赤外光画像情報及び可視光画像情報を抽出する画像情報抽出手段と、前記画像情報抽出手段で抽出した可視光画像情報により農産物の色及び／又は傷を判定する第１の判定手段と、前記画像情報抽出手段で抽出した各画素の近赤外光画像情報により農産物の傷を判定する第２の判定手段と、を備えたことを特徴とする農産物の外観検査装置にある。
【００３７】
この発明によれば、農産物の色の検出と、近赤外光画像情報と可視画像情報のいずれかあるいは双方を利用した傷の検出を高精度に行う装置を提供できる。
【００４１】
また、上記した請求項４〜６の発明では農産物の近赤外光画像及び可視光画像を同時に１つの受光手段で撮像しているので、近赤外光による農産物の外形輪郭を切り出すための近赤外光による撮像画像と、色，傷を検出するための可視光による撮像画像を別々のカメラ（等の受光手段）で行う装置に比べ、両者画像の画角を一致させる各カメラ等の位置合わせが不要であり、色，傷の高い検出精度を確保できる点で優れている。また近赤外光及び可視光を一つの受光手段で同時に撮像するので、農産物が搬送コンベア等の搬送手段の上で動くことがあっても、近赤外光画像情報と可視光画像情報の画像のずれを全く考慮する必要がなく高精度に色，傷を検出できる。
【００４２】
【発明の実施の形態】
実施形態１
図１は本例の農産物の外観検査装置が適用される果実（農産物）の等級選別を行うための装置を適用した選果設備の構成概略を示したものであり、この図において１はリンゴであり、無端回動する搬送コンベア２により隙間なく連行されるフリートレー（容器）３の上に一つづつ載せられて搬送される。
【００４３】
４は色，傷検出のための撮像ステージ近傍に配置されたハロゲンランプ等の光源ランプであり、近赤外光の波長域及び可視光の波長域を含む光で農産物１を照明する。
【００４４】
５はＣＣＤを受光素子としたカメラ（撮像手段）を含む受光手段であり、このカメラを含む受光手段の詳細は図２に示される。すなわち、本例のこの図２に示した受光手段５は、前記により照明された農産物１からの反射光を、レンズ５１から、分光器５２を通して近赤外光（「ＮＥＡＲ ＩＮＦＲＡＲＥＤ ＲＡＹＳ」：以下「ＮＩＲ」と略記する），赤色光（以下「Ｒ」と略記する），緑色光（以下「Ｇ」と略記する）に分光したた後、各投影像を夫々ＮＩＲ用ＣＣＤ５３１、Ｒ用ＣＣＤ５３２、Ｇ用ＣＣＤ５３３の上に投影する。そして各ＣＣＤに投影・撮像された画像は、増幅回路５４１，５４２，５４３、次いでＡ／Ｄ変換回路５５１，５５２，５５３を介して、ＮＩＲデジタル出力、Ｒデジタル出力、Ｇデジタル出力として出力される。なお、ＮＩＲ，Ｒ，Ｇの各波長域の分光を取出すために、本例では分光器５２の内部にそれぞれに対応した所定波長域の光だけを透過させるバンドパスフィルター（図示せず）を備えている。また受光手段５の各ＣＣＤ５３１，ＣＣＤ５３２，ＣＣＤ５３３はそれぞれ同一の画素数を有するように設けられていると共に、駆動信号入力を受けた駆動回路５６により前記した各増幅回路及びＡ／Ｄ変換回路を同期駆動させるように設けられ、これにより、各ＣＣＤで撮像された画像のａ行ｂ列のマトリックスの各対応するアドレスの画素が一致する関係となるように制御される。
【００４５】
このようにして、カメラを含む受光手段５で撮像された画像の画素毎のＮＩＲ，Ｒ，Ｇの各波長域の画像情報は、コンピュータからなるカメラ計測制御装置６に入力される。
【００４６】
そしてこのカメラ計測制御装置６において、後述する入力信号に基づいた所定の演算処理により、本例の処理対象農産物であるリンゴの色，傷についての等級を判定し、その判定結果を農産物の仕分け信号として出力する。なお通常は、階級要素を測定してこれに基づく階級判定を行って階級・等級による仕分け判別を行うが、本例では階級についての説明は省略する。
【００４７】
７１ ，７２ ，・・・・７ｉ は前記カメラ計測制御装置６から出力される仕分け信号を受ける仕分け選別装置のソレノイドであり、等級１〜等級ｉまでの等級区分に農産物を仕分け選別するように所定の位置に設置され、該当する等級区分の農産物が載ったフリートレー３がその仕分け位置にきたときに、図示しない箱詰用の分岐排出コンベアにそのフリートレー３を排出するように動作する。
【００４８】
８は、前記搬送コンベア２の搬送に同期した信号を発生する同期信号発生装置であり、これにより発生されたコンベア搬送同期信号は前記カメラ計測制御装置６に入力され、受光手段５から入力される農産物の撮像情報により等級判定された所定の農産物１の仕分け位置を前記仕分け選別装置７１ ，７２ ，・・・・７ｉ に出力するように利用される。
【００４９】
前記カメラ計測制御装置６は図３のブロック図で示した画像処理／制御回路として構成されている。すなわち上記図２の受光手段５で取出されたＮＩＲ，Ｒ，Ｇの各画像情報の信号及び同期信号（これらを総称して「カメラ信号」という）は、図３に示したビデオ入力Ｉ／Ｆ６０１に入力され、各画像情報信号ＮＩＲ，Ｒ，Ｇはフレームメモリ６０２にそれぞれの信号の画像情報として記憶される。またこのフレームメモリ６０２で記憶された各画像情報はイメージバス６０３から一つはビデオＤ／Ａ６０４を介して図示しないビデオモニタにビデオモニタ信号として出力され、またイメージバス６０３からイメージプロセッサ６０５に送られる。６０６は前処理用のＬＵＴルックアープテーブルメモリであり、取り出された各画像の強調やノイズの除去等の前処理を加えたのち、この画像をメモりに記憶する。また６０７はプレーンメモリであり、イメージプロセッサ６０５で処理して得られた各画素の色情報等を一時記憶するバッファーとして機能する。以上のイメージプロセッサ６０５、ＬＵＴメモリ６０６、プレーンメモリ６０７の信号に基づいて、ＣＰＵバス６０８を介し、処理装置（ＣＰＵ）６０９は画像処理を行う。また、Ｉ／Ｏ６１０を介して仕分け選別信号を前記仕分け選別装置７１ ，７２ ，・・・・７ｉ のソレノイドに出力するようになっている。なお６１１はＲＯＭ、６１２はＲＡＭの各メモリである。
【００５０】
処理装置６０９で行われる画像処理は、図４により説明される。すなわち、本例ではＮＩＲ画像情報（各画素が様々な値をもつ多値画像情報）の信号を輪郭内画素抽出処理部でまず二値化処理する。この二値化処理はＲＯＭ６１１（又はＲＡＭ６１２）に記憶されている所定の閾値と、ＮＩＲ画像情報として検出された各画素の画像情報とを比較し、このＮＩＲがコンベア等の樹脂材料に比べて農産物に対し高い反射率を示すという性質を利用して、閾値よりも高い値を示した画素の領域を農産物の輪郭内として抽出するものであり、抽出された画素群はその連結領域順に番号が付けられる（ラベリング処理）。この後、各ラベル画像についてそのラベル画像が検査対象物であるか否かの判定が加えられたのち、検査対象物の画像のみを抽出する。
【００５１】
上記の輪郭内画素抽出処理部により得られたＮＩＲの二値画像は、本例では階級要素の形状処理部に送られ、大きさ等の階級要素を計測する処理が行われる。また、前記ＮＩＲ二値画像は、各画像情報信号ＮＩＲ，Ｒ，Ｇのうちで色，傷の判定に用いる農産物輪郭内の画素の画像情報を抽出するために検出領域特定処理部で画素間ＡＮＤ演算が行われ、それぞれＮＩＲ検出領域，Ｒ検出領域，Ｇ検出領域の画素の画像情報のみが抽出される。これらの抽出された各波長域の画素の画像は、画素毎に値が検出値に依存した多値画像である。
【００５２】
そして、これらの検出領域が特定されたＮＩＲ，Ｒ，Ｇの各波長域の画像情報のうちの所定の画像情報を色判定処理部あるいは傷害検出処理部に出力して、これに基づき色判定（着色度，色の均一性など）、傷害検出（最大面積，傷害面積など）を行う。なお色判定処理部，傷害検出処理部で行う処理法としては、従来知られている方法を用いることができ、例えば傷害検出処理では微分処理法や、既知の傷害色値と比較する色差処理法などを挙げることができる。
【００５３】
なお、図４ではＮＩＲ，Ｒ，Ｇの各波長域の画像情報をすべて色判定処理部及び傷害検出処理部に入力するように図示しているが、これは信号授受の系路を示しているものであって、すべての信号を常に利用することを意味するものではない。また装置に応じて必要のない信号授受の系路は省略することができるが、これらは実際には図３で説明したコンピュータ技術を用いて行われる処理の内容をモジュル化して示したものであって、このような各処理部をハード的に有する必要はない。
【００５４】
図５は、以上の農産物の外観検査装置を用いて行う検査操作を、上記請求項１，２，４，６，１０に対応する例として説明するためのフローチャートを示したものであり、まずステップ１０１において、近赤外光画像（ＮＩＲ ７５０〜９００ｎｍ）と可視光画像（Ｒ，Ｇ）を撮像する。この場合の撮像は、本例においては近赤外光と可視光を一つのカメラ（撮像手段）で同時に行う。
【００５５】
次にステップ１０２においては、近赤外光画像に基づき、農産物の輪郭切り出しのために予め定めた閾値と各画素の近赤外光画像情報を比較することにより二値化して、輪郭内領域の画素を抽出する。次いでステップ１０３において、前記抽出した輪郭内領域の画素と可視光画像の画素間ＡＮＤ演算を行って輪郭内領域の可視光画像情報を特定する。
【００５６】
ステップ１０４においては、上記ステップ１０３で特定された輪郭内領域の可視光画像情報に基づいて、輪郭内領域の色（したがって農産物の色）を演算算出する。例えば従来既知の色計算式に従って色ヒストグラムを作成し、色の均一性、画像中心の色を検出する。
【００５７】
最後にステップ１０５において、検出した色を評価判定し該当する農産物の色に関する等級評価を行って、処理を終了する。以上の処理を、搬送コンベア２で搬送される農産物（リンゴ）について順次繰り返し行う。
【００５８】
実施形態２
図６は、農産物の外観検査装置を用いて行う検査操作を請求項５，９に対応する例として説明するためのフローチャートを示したものである。
【００５９】
本例においては、ステップ２０１において近赤外光画像（ＮＩＲ ７５０〜９００ｎｍ）を撮像する。ステップ２０２においては、近赤外光画像に基づき、農産物の輪郭切り出しのために予め定めた閾値と各画素の近赤外光画像情報を比較することにより二値化して、輪郭内領域の画素を抽出する。
【００６０】
次いでステップ２０３において、前記抽出した輪郭内領域の画素と近赤外光画像の画素間ＡＮＤ演算を行って輪郭内領域の近赤外光画像情報を特定する。
【００６１】
ステップ２０４においては、上記ステップ２０３で特定された輪郭内領域の近赤外光画像情報に基づいて、例えば公知の二値化法により二値化を行って傷画像を作成する。
【００６２】
最後にステップ２０５で、検出した傷を評価判定し該当する農産物の傷に関する等級評価を行って、処理を終了する。以上の処理を、搬送コンベア２で搬送される農産物（リンゴ）について順次繰り返し行う。
【００６３】
実施形態３
図７は、農産物の外観検査装置を用いて行う検査操作を、上記請求項３，８に対応する例として説明するためのフローチャートを示したものであり、まずステップ３０１において近赤外光画像（ＮＩＲ ７５０〜９００ｎｍ）と可視光画像（Ｒ，Ｇ）を撮像する。この場合の撮像は、本例においては近赤外光と可視光を一つのカメラ（撮像手段）で同時に行う。
【００６４】
次にステップ３０２においては、近赤外光画像に基づき、農産物の輪郭切り出しのために予め定めた閾値と各画素の近赤外光画像情報を比較することにより二値化して、輪郭内領域の画素を抽出する。
【００６５】
次いでステップ３０３において、前記抽出した輪郭内領域の画素と、近赤外光画像及び可視光画像の画素間ＡＮＤ演算をそれぞれ行って輪郭内領域の近赤外光画像及び可視光画像情報を特定する。
【００６６】
ステップ３０４においては、上記ステップ３０３で特定された輪郭内領域の近赤外光画像情報に基づいて、例えば公知の二値化法により二値化を行って傷画像を作成し、傷害特定，傷面積算出を行う。
【００６７】
ステップ３０５においては、上記ステップ３０３で特定された輪郭内領域の可視光画像情報に基づいて、輪郭内領域の色（したがって農産物の色）を演算算出する。例えば従来既知の色計算式に従って色ヒストグラムを作成し、色の均一性、画像中心の色を検出する。
【００６８】
ステップ３０６においては、上記検出した傷を評価判定し該当する農産物の傷に関する等級評価を行う。
【００６９】
ステップ３０７においては、上記検出した色を評価判定し該当する農産物の色に関する等級評価を行って、処理を終了する。以上の処理を、搬送コンベア２で搬送される農産物（リンゴ）について順次繰り返し行う。
【００７０】
実施形態４
図８は、農産物の外観検査装置を用いて行う検査操作を、上記請求項７に対応する例として説明するためのフローチャートを示したものであり、まずステップ４０１において近赤外光画像（ＮＩＲ ７５０〜９００ｎｍ）と可視光画像（Ｒ，Ｇ）を撮像する。この場合の撮像は、本例においては近赤外光と可視光を一つのカメラ（撮像手段）で同時に行う。
【００７１】
次にステップ４０２においては、近赤外光画像に基づき、農産物の輪郭切り出しのために予め定めた閾値と各画素の近赤外光画像情報を比較することにより二値化して、輪郭内領域の画素を抽出する。
【００７２】
次いでステップ４０３においては、前記抽出した輪郭内領域の画素と、近赤外光画像及び可視光画像の画素間ＡＮＤ演算をそれぞれ行って輪郭内領域の近赤外光画像及び可視光画像情報を特定する。
【００７３】
ステップ４０４においては、上記ステップ４０３で特定された輪郭内領域の近赤外光画像情報に基づいて、例えば公知の二値化法により二値化を行って傷画像（Ａ）を作成する。
【００７４】
ステップ４０５においては、上記ステップ４０３で特定された輪郭内領域の可視光画像情報に基づいて、例えば公知の微分法、色差法により輪郭内領域の傷画像（Ｂ）を作成する。
【００７５】
ステップ４０６においては、上記検出した傷画像（Ａ），（Ｂ）に基づいて傷を総合評価判定し該当する農産物の傷に関する等級評価を行って、処理を終了する。以上の処理を、搬送コンベア２で搬送される農産物（リンゴ）について順次繰り返し行う。
【００７６】
実施形態５
図９は、農産物の外観検査装置を用いて行う検査操作を、上記請求項３，８に対応する例として説明するためのフローチャートを示したものであり、まずステップ５０１において近赤外光画像（ＮＩＲ ７５０〜９００ｎｍ）と可視光画像（Ｒ，Ｇ）を撮像する。この場合の撮像は、本例においては近赤外光と可視光を一つのカメラ（撮像手段）で同時に行う。
【００７７】
次にステップ５０２においては、近赤外光画像に基づき、農産物の輪郭切り出しのために予め定めた閾値と各画素の近赤外光画像情報を比較することにより二値化して、輪郭内領域の画素を抽出する。
【００７８】
次いでステップ５０３においては、前記抽出した輪郭内領域の画素と、近赤外光画像及び可視光画像の画素間ＡＮＤ演算をそれぞれ行って輪郭内領域の近赤外光画像及び可視光画像情報を特定する。
【００７９】
ステップ５０４においては、上記ステップ５０３で特定された輪郭内領域の近赤外光画像情報に基づいて、例えば公知の二値化法により二値化を行って傷画像（Ａ）を作成し、傷害特定，傷面積算出を行う。
【００８０】
ステップ５０５においては、上記ステップ５０３で特定された輪郭内領域の可視光画像情報に基づいて、例えば公知の微分法、色差法により輪郭内領域の傷画像（Ｂ）を作成する。
【００８１】
ステップ５０６においては、上記ステップ５０３で特定された輪郭内領域の可視光画像情報に基づいて、輪郭内領域の色（したがって農産物の色）を演算算出する。例えば従来既知の色計算式に従って色ヒストグラムを作成し、色の均一性、画像中心の色を検出する。
【００８２】
ステップ５０７で、上記検出した傷画像（Ａ），（Ｂ）に基づいて傷を総合評価判定し該当する農産物の傷に関する等級評価を行って、処理を終了する。以上の処理を、搬送コンベア２で搬送される農産物（リンゴ）について順次繰り返し行う。
【００８３】
ステップ５０８で、上記検出した色を評価判定し該当する農産物の色に関する等級評価を行って、処理を終了する。以上の処理を、搬送コンベア２で搬送される農産物（リンゴ）について順次繰り返し行う。
【００８４】
【発明の効果】
本願の請求項１の発明によれば、近赤外光で撮像した画像を利用して農産物の外形輪郭を正確に切り出すことができると共に、可視光で撮像した画像を利用して農産物輪郭内の色，傷を正確に検出することができて、高い精度で等級判定ができ、しかもこの農産物外形輪郭の正確な切り出しと、輪郭内の色，傷の情報の検出のための光情報を簡易な装置で検出できるという効果が奏され、また更に以下の効果が奏される。
【００８５】
請求項３の発明によれば、請求項１の発明に加えて近赤外光画像情報を農産物の傷検出に利用するので、傷の検出をより高精度に行うことができる。
また、抽出した輪郭内領域の二値化画素と前記近赤外画像情報及び前記可視光画像との画素間ＡＮＤ演算により前記農産物の輪郭内領域の画素を特定し、特定した該農産物輪郭内の画素の可視光画像情報と近赤外光画像情報とにより、農産物の色及び傷、又は傷を判定するようにしているので、傷の検出を、近赤外光画像情報と可視光画像情報で検出した傷とみなされる画素の論理和で農産物の傷を判定することもできるし、前記画素の論理積で農産物の傷を判定することもでき、後者の論理積を用いる場合は泥の付着など本当の傷でないものを傷と判定してしまう不具合を避けることもできる。
【００８６】
また、上記請求項１から３の発明では、近赤外光と可視光による撮像を単一の撮像手段により同時に行うので、外観検査を迅速に行えると共に、近赤外光で撮像した画像と、可視光で撮像した画像を一致させる操作が不要で、農産物の輪郭内の色，傷の判定をより正確に得ることができる。
【００８８】
請求項４の農産物の外観検査装置の発明によれば、近赤外光画像情報による農産物の外形輪郭の正確な切り出しと、切り出した輪郭内の画素の可視光画像情報を利用した農産物の色，傷の検出を高精度に行える。
【００８９】
請求項５の発明によれば、農産物の傷を近赤外光画像情報と可視画像情報のいずれかあるいは双方を利用してより高精度に検出する装置を提供できる。
【００９０】
請求項６の発明によれば、農産物の色の検出と、近赤外光画像情報と可視画像情報のいずれかあるいは双方を利用した傷の検出を高精度に行う装置を提供できる。
【００９２】
上記した請求項４から６の発明によれば、近赤外光による農産物の外形輪郭を切り出すための近赤外光による撮像画像と、色，傷を検出するための可視光による撮像画像を別々のカメラ（等の撮像手段）で行う装置に比べ、両者画像の画角を一致させる各カメラ等の位置合わせを不要とでき、しかも色，傷の高い検出精度を確保できる優れた効果が奏される。また、近赤外光及び可視光を一つの撮像手段で同時に撮像するので、農産物が搬送コンベア等の搬送手段の上で動くことがあっても近赤外光画像情報と可視光画像情報の画像のずれを全く考慮する必要がなく、高精度に色，傷を検出できるという効果が奏される。
【図面の簡単な説明】
【図１】本発明を適用する選果設備の構成概要一例を示した図。
【図２】本発明に用いられる受光手段の一部をなす撮像手段の構成を示した図。
【図３】本発明のカメラ計測制御装置の構成概要一例をブロック図で示した図。
【図４】本発明の農産物の外観検査方法の処理内容の一例をモジュル化して示した図。
【図５】農産物の外観検査装置を用いて行う検査操作の実施形態１を説明するフローチャート図。
【図６】農産物の外観検査装置を用いて行う検査操作の実施形態２を説明するフローチャート図。
【図７】農産物の外観検査装置を用いて行う検査操作の実施形態３を説明するフローチャート図。
【図８】農産物の外観検査装置を用いて行う検査操作の実施形態４を説明するフローチャート図。
【図９】農産物の外観検査装置を用いて行う検査操作の実施形態５を説明するフローチャート図。
【符号の説明】
１・・・リンゴ（農産物）
２・・・搬送コンベア
３・・・フリートレー（容器）
４・・・光源ランプ
５・・・受光手段
５１・・・レンズ
５２・・・分光器
５３１・・・ＮＩＲ用ＣＣＤ
５３２・・・Ｒ用ＣＣＤ
５３３・・・Ｇ用ＣＣＤ
５４１・・・増幅回路
５４２・・・増幅回路
５４３・・・増幅回路
５５１・・・Ａ／Ｄ変換回路
５５２・・・Ａ／Ｄ変換回路
５５３・・・Ａ／Ｄ変換回路
５６・・・駆動回路
６・・・カメラ計測制御装置
６０１・・・ビデオＩ／Ｆ
６０２・・・フレームメモリ
６０３・・・イメージバス
６０４・・・ビデオＤ／Ａ
６０５・・・イメージプロセッサ
６０６・・・ＬＵＴメモリ
６０７・・・プレーンメモリ
６０８・・・ＣＰＵバス
６０９・・・処理装置
６１０・・・Ｉ／Ｏ
６１１・・・ＲＯＭ
６１２・・・ＲＡＭ
７１ 〜７ｉ ・・・仕分け選別装置（のソレノイド）
８・・・同期信号発生装置
【発明の属する技術分野】
本発明は、リンゴ、柿、梨、トマト、ナス、胡瓜、ミカン等の農産物を選別して包装し出荷する選果場等で用いられる農産物の外観検査方法及び装置に関するものである。
【０００２】
【従来技術】
選果場等での農産物の選別は、大別して、大きさ，面積などの階級要素を基準とする方式と、色，傷等の等級要素を基準とする方式とのいずれか一方あるいは双方を用いて行われており、このうちの前者の階級要素に基づく判定についてはこれに用いる要素（例えば大きさ，重量）が比較的に機械手段で検出し易いために古くから普及し、また近時の農産物を傷めない非接触方式でもこの要素を検出する光学的方法，装置は比較的装置化，自動化が簡単であるため実際の自動化装置も数多く提案され実用に供されている。
【０００３】
しかし後者の色や傷等の等級要素についての等級判定については、自動化装置が提案され一部実用に供されているものの未だ解決すべき課題があるのが実状である。
【０００４】
このような等級判定のための色情報等の要素を検出する従来提案の装置として知られるものには、例えば搬送コンベアなどの上を搬送される農産物のカラー画像をＣＣＤカメラ等を用いて撮像して、赤（Ｒ），緑（Ｇ），青（Ｂ）の三元色の色情報を検出する方式のもの（特公昭６１−７３６０号公報、特公昭６１−１１６７９号公報、特公平１−３３２２５号公報、特開平４−１４７０４２号公報、特開平４−２３８２５２号公報等）や、同様の手法で農産物表面の「傷」を検出する方式のものが知られている（特開平４−３０７３５７号公報等）。
【０００５】
これらの方式では、搬送農産物との明度差がつき易いように搬送コンベア等であるバケット，受皿（いわゆるフリートレイ），小幅スラットコンベア等を黒色として、農産物に関する色情報等を適切に検出できるようにした構成が一般に採用される。
【０００６】
しかし、農産物は色が千差万別であり、反射明度の低い農産物（例えば黒紫色「ナス」、濃紫色「スターキング」、濃緑色「青切ミカン」等が代表的）を等級判定する場合には、前記のように黒色系の色をもつ搬送手段で農産物を搬送しながら色情報を検出しても両者の境界がはっきりしないために農産物の輪郭を正確に捕らえることができない場合が多く、判定精度が低くなるという問題があった。例えば、ＣＣＤカメラ等を用いて撮像した農産物の画像をａ行ｂ列の画素信号にして色や傷を判定するためのデータ信号とするものがあるが、黒色系の農産物や泥埃が付着した馬鈴薯などの農産物ではその輪郭がはっきりせず、その結果として、本来農産物とは関係のないコンベア部分の反射光を農産物の一部分として取り込んでしまい判定精度の信頼性を低下させることがあった。
【０００７】
これに対処するためには、例えばコンベア等を測定対象物と反対色の背景色にして抽出する方法もあるが、コンベアが泥埃等の汚れなどによって短時間のうちに画像抽出性能が劣化するという問題があるし、また対象農産物毎にコンベアを交換しなければならないとすれば装置の汎用性を低下させるためにコスト的に不利という問題を招く他、選果現場においての装置部品の交換には相当知識をもった技術者の存在が必要となるため、選果場が多数散在している現実面への対応が極めて困難という問題がある。
【０００８】
ところで、等級判定要素である農産物表面の色等の解析法としては、上述の撮像により検出した反射光をいくつかの波長域に分けて取り出してＲ，Ｇ，Ｂで分析する方法や、彩度，色相，明度を分析する方法が知られている他、特公平３−２１２３５号公報のように、緑色光（Ｇ）や赤色光（Ｒ）が色の変化に敏感であるのに比べて赤外光（ＩＲ）は色の変化に鈍感であるという性質の違いを利用してＩＲ／Ｒ，ＩＲ／Ｇを演算した結果から色を判定する方法が知られている。なお赤外光は農産物に対しては反射率が高いが黒色系樹脂のコンベア等に対しての反射率は低いことも知られている。
【０００９】
【発明が解決しようとする課題】
本発明者は、以上のような従来技術の下で鋭意研究を進めて本発明をなすに至ったものである。
【００１０】
すなわち、上述した従来の色，傷等の農産物を選別するための等級判定においては、一般に、コンピュータによって色，傷を演算解析するには農産物からの色に敏感な可視光領域の反射光を計測する必要があるため、ＣＣＤカメラ等の撮像手段により農産物からの可視光領域の反射光を受光し、この光情報に基づいて農産物の色等の等級要素を判定しているが、一部の農産物（例えば黒色系農産物）においてはこの可視光の色情報では農産物の境界がはっきりせず、農産物の外形輪郭近傍の色情報が、コンベアに由来するものか農産物の色や傷を示すのか明らかでないことになって、農産物の外形輪郭線近傍を含めて色や傷を正確に判定できないという問題を招く。
【００１１】
そこで本発明は、農産物の外形輪郭を正確に切り出すことができ、かつ輪郭近傍の農産物の色，傷を正確に検出することができて、高い精度で等級判定が可能な方法及び装置を提供することを目的としてなされたものである。
【００１２】
また本発明の別の目的は、農産物の外形輪郭の正確な切り出しと、輪郭内の色，傷の情報の検出のための光情報を簡易な装置で検出できる方法及び装置を提供するところにある。
【００１３】
【課題を解決するための手段】
前記目的を達成する本発明の特徴は前記特許請求の範囲の各請求項に記載した通りにある。
【００１４】
本願の請求項１の発明は、搬送手段上の農産物を近赤外光及び可視光で同一の撮像手段により同時に撮像し、ａ行ｂ列の画素からなる近赤外光画像及び可視光画像を得、該近赤光外画像を構成する各画素の近赤外光画像情報を予め定めた閾値と比較して二値化し、各該二値化画素が該農産物の外形輪郭の内外のいずれに位置するかを区別することで、該農産物の輪郭内領域の画素を抽出し、これら抽出した輪郭内領域の二値化画素と前記可視光画像との画素間ＡＮＤ演算により前記農産物の輪郭内領域の画素を特定し、特定した該農産物の輪郭内領域の画素の可視光画像情報により農産物の色及び／又は傷を判定することを特徴とする農産物の外観検査方法にある。
【００１５】
本発明の対象となる農産物としては、色，傷の測定により等級判定が行われる果実，そ菜類などを特に制限されることなく挙げることができる。
【００１６】
本発明において農産物を撮像する近赤外光は、色の変化に鈍感でありかつ農産物に対しては反射率が高くコンベア等の搬送手段を構成する樹脂材料に対しては反射率の低い性質を有する波長域の光、一般的には波長７５０ｎｍ〜９００ｎｍの光が好ましく用いられるが、前記性質を満足するものであれば限定されるものではない。また可視光には、農産物の色，傷を検出、判定するのに適した波長の光が用いられる。
【００１７】
上記発明によれば、近赤外光で受光検出された各画素の近赤外光画像情報は、色の変化に鈍感でかつ農産物に対しては反射率が高くコンベア等に対しては反射率が低い性質であるため、農産物からの反射光よりは十分に低くかつコンベア等からの反射光よりは十分に高い値に予め設定した所定の閾値と、各画素の近赤外光画像情報を比較することで、各画素毎にこれが農産物の輪郭の内外のいずれに位置するかを明瞭に区別できる。すなわちこれにより、農産物の輪郭内領域に存在する画素（群）を正確に抽出する（輪郭を正確に切り出す）ことができる。
【００１８】
そして、このようにして正確に切り出し（抽出）た輪郭内領域の画素（群）のみについて（つまり抽出されなかった輪郭外側の画素は除外して）、色に敏感な可視光で受光検出した可視光画像の情報を用いて、色あるいは傷のいずれかあるいは双方を判定するので、高い精度の等級判定が可能とできる。なお色，傷の判定に用いる要素や演算の方法は、従来の方法を用いて行うことができる。
【００１９】
このように色の変化には鈍感であるが農産物と他の物の種類の違いには敏感な画像情報が得られる近赤外光を用いて農産物の輪郭を切り出し、色の変化に敏感な画像情報が得られる可視光の前記輪郭内画素（群）の情報で色，傷を判定するので、正確で効率のよい判定が可能となる。
また、搬送手段上の農産物を近赤外光及び可視光で同一の撮像手段により同時に撮像しているので、外観検査を迅速に行えると共に、近赤外光で撮像した画像と、可視光で撮像した画像を一致させる操作が不要であるため、農産物の輪郭内の色，傷を判定するための可視光画像情報を農産物の輪郭内の画素に基づくことを正確に確保できる。
【００２０】
本願の請求項２の発明は、前記の農産物の色及び／又は傷を判定するための可視光情報が、少なくとも赤色光（Ｒ），緑色光（Ｇ）の波長域の光情報を含み、必要に応じて青色光（Ｂ）の波長域の光情報を含むことを特徴とする。
【００２１】
本願の請求項３の発明は、搬送手段上の農産物を近赤外光及び可視光で同一の撮像手段により同時に撮像し、ａ行ｂ列の画素からなる近赤外光画像及び可視光画像を得、該近赤光外画像を構成する各画素の近赤外光画像情報を予め定めた閾値と比較して二値化し、各該二値化画素が該農産物の外形輪郭の内外のいずれに位置するかを区別することで、該農産物の輪郭内領域の画素を抽出し、これら抽出した輪郭内領域の二値化画素と前記近赤外画像情報及び前記可視光画像との画素間ＡＮＤ演算により前記農産物の輪郭内領域の画素を特定し、特定した該農産物輪郭内の画素の可視光画像情報と近赤外光画像情報とにより、農産物の色及び傷、又は傷を判定することを特徴とする農産物の外観検査方法にある。
【００２２】
この発明によれば、請求項１の発明に加えて近赤外光画像情報を農産物の傷検出に利用するので、傷の検出をより高精度に行うことができる。この場合、近赤外光画像情報と可視光画像情報とによる傷の検出は、両者で検出した傷とみなされる画素の論理和で農産物の傷を判定することもできるし、前記画素の論理積で農産物の傷を判定することもできる。この後者の論理積を用いる方法は、泥の付着など本当の傷でないものを傷と判定してしまう不具合を避けるのに好ましく採用することができるが、具体的に近赤外光と可視光の双方の画素情報を傷検出に利用する方式は、種々の農産物の特質等に応じて実際の傷と認識されるものとの関係を経験的，実験的に確認して設計すればよい。
【００２７】
本願の請求項４の発明は、農産物を搬送する搬送手段と、搬送される農産物に近赤外光領域及び可視光を含む照明光を照射する光源と、前記光源で照明した農産物の近赤外光画像及び可視光画像を同時に撮像してａ行ｂ列の各画素毎に近赤外光画像情報及び可視光画像情報を抽出する１つの受光手段と、前記各画素の近赤外光画像情報を予め定めた閾値と比較して二値化し、各該二値化画素が該農産物の外形輪郭の内外のいずれに位置するかを区別することで農産物の輪郭内領域の画素を抽出する輪郭内画素抽出手段と、これら抽出した輪郭内領域の二値化画素と前記可視光画像との画素間ＡＮＤ演算により前記農産物の輪郭内領域の画素を特定し、特定した各画素の可視光画像情報を抽出する可視光画像情報抽出手段と、該可視光画像情報抽出手段で抽出した可視光画像情報により農産物の色及び／又は傷を判定する判定手段と、を備えたことを特徴とする農産物の外観検査装置にある。
【００２８】
前記搬送手段は、ベルトコンベア、コロコンベア、バケットコンベア、ベルトコンベア等の上を拘束されずに搬送される受皿（いわゆるフリートレイ）、小幅スラットを搬送方向に多数整列させたいわゆるスラットコンベア等を挙げることができる。
【００２９】
農産物を照明する光源は、近赤外光を発する光源と可視光を発する光源を用いることができるが、発光波長域が限定されない例えばハロゲンランプ等を用いて受光光学系に近赤外光領域、可視光を通すバンドパスフィルターを用いることもできる。
【００３０】
撮像手段はＣＣＤカメラ、ビデオカメラ等を用いることができ、この撮像手段により撮像される農産物と及び輪郭外近傍の範囲の画像情報は、ａ行ｂ列のマトリックス状に区画された画素の情報の集合であり、このａ行ｂ列のマトリックスの大きさは受光光学系の解像度や農産物の大きさにより設計的に決められる。また各画素の大きさは小さい方が農産物の実際の外形輪郭に合致した画素の切出しができるために好ましいが、その反面、画素数が多くなって画像処理に時間がかかることになるため、設備コスト、処理速度、等級判定精度等の要求に応じて設計的に決められるものが用いられる。
【００３１】
近赤外光画像情報及び可視光画像情報を抽出する受光手段は、農産物からの反射光を集光するレンズ系、及びこのレンズ系からの光像が投影されるＣＣＤ等の撮像素子とを備えたＣＣＤカメラ、ビデオカメラ等の撮像手段と、この撮像手段により得られた撮像情報をコンピュータを利用して画像処理する画像処理手段から構成することができる。このためには、前記光源とも関係するが様々にその構成を設計することができ、例えば、赤外線画像情報を得るための近赤外光を発する光源とこれを受光する撮像手段、及び可視光画像情報を得るための可視光を発する光源とこれを受光する撮像手段を、それぞれ別々に設けることもできるし、発光波長域が限定されない共通の光源を用いながら近赤外光画像情報と可視光画像情報を別々の撮像手段で受光して得ることもできるし、該共通の光源を用いると共に分光手段（必要に応じて所定のバンドパスフィルタ）を用いることで、近赤外光画像情報と可視光画像情報を共通のレンズ系を通して得るようにすることもできる。
【００３２】
前記輪郭内画素抽出手段は、農産物を撮像して得た近赤外光画像のａ行ｂ列のマトリックス状に区画された各画素毎の画像情報を予めメモリ等に設定した閾値と比較するための手段であり、一般的にはコンピュータを利用して構成されかつその比較のための閾値は実験的、経験的に決めることができる。
【００３３】
この発明によれば、近赤外光画像情報により農産物の外形輪郭内の画素を正確に切り出し、切り出した画素の可視光画像情報により農産物の色，傷を高精度に検出する装置を提供できる。
【００３４】
本願の請求項５の発明は、農産物を搬送する搬送手段と、搬送される農産物に近赤外光領域及び可視光を含む照明光を照射する光源と、前記光源で照明した農産物の近赤外光画像及び可視光画像を同時に撮像してａ行ｂ列の各画素毎に近赤外光画像情報及び可視光画像情報を抽出する１つの受光手段と、前記各画素の近赤外光画像情報を予め定めた閾値と比較して二値化し、各該二値化画素が該農産物の外形輪郭の内外のいずれに位置するかを区別することで農産物の輪郭内領域の画素を抽出する輪郭内画素抽出手段と、前記輪郭内画素抽出手段で抽出した輪郭内領域の二値化画素と前記近赤外光画像及び前記可視光画像との画素間ＡＮＤ演算により前記農産物の輪郭内領域の画素を特定し、特定した各画素の近赤外光画像情報及び可視光画像情報を抽出する画像情報抽出手段と、前記画像情報抽出手段で抽出した可視光画像情報により農産物の傷を判定する第１の傷判定手段と、前記画像情報抽出手段で抽出した各画素の近赤外光画像情報により農産物の傷を判定する第２の傷判定手段と、を備え、前記第１及び第２の傷判定手段の結果を総合して農産物の傷判定を行うことを特徴とする農産物の外観検査装置にある。
【００３５】
この発明によれば、農産物の傷を近赤外光画像情報と可視画像情報のいずれかあるいは双方を利用してより高精度に検出する装置を提供できる。
【００３６】
本願の請求項６の発明は、農産物を搬送する搬送手段と、搬送される農産物に近赤外光領域及び可視光を含む照明光を照射する光源と、前記光源で照明した農産物の近赤外光画像及び可視光画像を同時に撮像してａ行ｂ列の各画素毎に近赤外光画像情報及び可視光画像情報を抽出する１つの受光手段と、前記各画素の近赤外光画像情報を予め定めた閾値と比較して二値化し、各該二値化画素が該農産物の外形輪郭の内外のいずれに位置するかを区別することで農産物の輪郭内領域の画素を抽出する輪郭内画素抽出手段と、前記輪郭内画素抽出手段で抽出した輪郭内領域の二値化画素と前記近赤外光画像及び前記可視光画像との画素間ＡＮＤ演算により前記農産物の輪郭内領域の画素を特定し、特定した各画素の近赤外光画像情報及び可視光画像情報を抽出する画像情報抽出手段と、前記画像情報抽出手段で抽出した可視光画像情報により農産物の色及び／又は傷を判定する第１の判定手段と、前記画像情報抽出手段で抽出した各画素の近赤外光画像情報により農産物の傷を判定する第２の判定手段と、を備えたことを特徴とする農産物の外観検査装置にある。
【００３７】
この発明によれば、農産物の色の検出と、近赤外光画像情報と可視画像情報のいずれかあるいは双方を利用した傷の検出を高精度に行う装置を提供できる。
【００４１】
また、上記した請求項４〜６の発明では農産物の近赤外光画像及び可視光画像を同時に１つの受光手段で撮像しているので、近赤外光による農産物の外形輪郭を切り出すための近赤外光による撮像画像と、色，傷を検出するための可視光による撮像画像を別々のカメラ（等の受光手段）で行う装置に比べ、両者画像の画角を一致させる各カメラ等の位置合わせが不要であり、色，傷の高い検出精度を確保できる点で優れている。また近赤外光及び可視光を一つの受光手段で同時に撮像するので、農産物が搬送コンベア等の搬送手段の上で動くことがあっても、近赤外光画像情報と可視光画像情報の画像のずれを全く考慮する必要がなく高精度に色，傷を検出できる。
【００４２】
【発明の実施の形態】
実施形態１
図１は本例の農産物の外観検査装置が適用される果実（農産物）の等級選別を行うための装置を適用した選果設備の構成概略を示したものであり、この図において１はリンゴであり、無端回動する搬送コンベア２により隙間なく連行されるフリートレー（容器）３の上に一つづつ載せられて搬送される。
【００４３】
４は色，傷検出のための撮像ステージ近傍に配置されたハロゲンランプ等の光源ランプであり、近赤外光の波長域及び可視光の波長域を含む光で農産物１を照明する。
【００４４】
５はＣＣＤを受光素子としたカメラ（撮像手段）を含む受光手段であり、このカメラを含む受光手段の詳細は図２に示される。すなわち、本例のこの図２に示した受光手段５は、前記により照明された農産物１からの反射光を、レンズ５１から、分光器５２を通して近赤外光（「ＮＥＡＲ ＩＮＦＲＡＲＥＤ ＲＡＹＳ」：以下「ＮＩＲ」と略記する），赤色光（以下「Ｒ」と略記する），緑色光（以下「Ｇ」と略記する）に分光したた後、各投影像を夫々ＮＩＲ用ＣＣＤ５３１、Ｒ用ＣＣＤ５３２、Ｇ用ＣＣＤ５３３の上に投影する。そして各ＣＣＤに投影・撮像された画像は、増幅回路５４１，５４２，５４３、次いでＡ／Ｄ変換回路５５１，５５２，５５３を介して、ＮＩＲデジタル出力、Ｒデジタル出力、Ｇデジタル出力として出力される。なお、ＮＩＲ，Ｒ，Ｇの各波長域の分光を取出すために、本例では分光器５２の内部にそれぞれに対応した所定波長域の光だけを透過させるバンドパスフィルター（図示せず）を備えている。また受光手段５の各ＣＣＤ５３１，ＣＣＤ５３２，ＣＣＤ５３３はそれぞれ同一の画素数を有するように設けられていると共に、駆動信号入力を受けた駆動回路５６により前記した各増幅回路及びＡ／Ｄ変換回路を同期駆動させるように設けられ、これにより、各ＣＣＤで撮像された画像のａ行ｂ列のマトリックスの各対応するアドレスの画素が一致する関係となるように制御される。
【００４５】
このようにして、カメラを含む受光手段５で撮像された画像の画素毎のＮＩＲ，Ｒ，Ｇの各波長域の画像情報は、コンピュータからなるカメラ計測制御装置６に入力される。
【００４６】
そしてこのカメラ計測制御装置６において、後述する入力信号に基づいた所定の演算処理により、本例の処理対象農産物であるリンゴの色，傷についての等級を判定し、その判定結果を農産物の仕分け信号として出力する。なお通常は、階級要素を測定してこれに基づく階級判定を行って階級・等級による仕分け判別を行うが、本例では階級についての説明は省略する。
【００４７】
７１ ，７２ ，・・・・７ｉ は前記カメラ計測制御装置６から出力される仕分け信号を受ける仕分け選別装置のソレノイドであり、等級１〜等級ｉまでの等級区分に農産物を仕分け選別するように所定の位置に設置され、該当する等級区分の農産物が載ったフリートレー３がその仕分け位置にきたときに、図示しない箱詰用の分岐排出コンベアにそのフリートレー３を排出するように動作する。
【００４８】
８は、前記搬送コンベア２の搬送に同期した信号を発生する同期信号発生装置であり、これにより発生されたコンベア搬送同期信号は前記カメラ計測制御装置６に入力され、受光手段５から入力される農産物の撮像情報により等級判定された所定の農産物１の仕分け位置を前記仕分け選別装置７１ ，７２ ，・・・・７ｉ に出力するように利用される。
【００４９】
前記カメラ計測制御装置６は図３のブロック図で示した画像処理／制御回路として構成されている。すなわち上記図２の受光手段５で取出されたＮＩＲ，Ｒ，Ｇの各画像情報の信号及び同期信号（これらを総称して「カメラ信号」という）は、図３に示したビデオ入力Ｉ／Ｆ６０１に入力され、各画像情報信号ＮＩＲ，Ｒ，Ｇはフレームメモリ６０２にそれぞれの信号の画像情報として記憶される。またこのフレームメモリ６０２で記憶された各画像情報はイメージバス６０３から一つはビデオＤ／Ａ６０４を介して図示しないビデオモニタにビデオモニタ信号として出力され、またイメージバス６０３からイメージプロセッサ６０５に送られる。６０６は前処理用のＬＵＴルックアープテーブルメモリであり、取り出された各画像の強調やノイズの除去等の前処理を加えたのち、この画像をメモりに記憶する。また６０７はプレーンメモリであり、イメージプロセッサ６０５で処理して得られた各画素の色情報等を一時記憶するバッファーとして機能する。以上のイメージプロセッサ６０５、ＬＵＴメモリ６０６、プレーンメモリ６０７の信号に基づいて、ＣＰＵバス６０８を介し、処理装置（ＣＰＵ）６０９は画像処理を行う。また、Ｉ／Ｏ６１０を介して仕分け選別信号を前記仕分け選別装置７１ ，７２ ，・・・・７ｉ のソレノイドに出力するようになっている。なお６１１はＲＯＭ、６１２はＲＡＭの各メモリである。
【００５０】
処理装置６０９で行われる画像処理は、図４により説明される。すなわち、本例ではＮＩＲ画像情報（各画素が様々な値をもつ多値画像情報）の信号を輪郭内画素抽出処理部でまず二値化処理する。この二値化処理はＲＯＭ６１１（又はＲＡＭ６１２）に記憶されている所定の閾値と、ＮＩＲ画像情報として検出された各画素の画像情報とを比較し、このＮＩＲがコンベア等の樹脂材料に比べて農産物に対し高い反射率を示すという性質を利用して、閾値よりも高い値を示した画素の領域を農産物の輪郭内として抽出するものであり、抽出された画素群はその連結領域順に番号が付けられる（ラベリング処理）。この後、各ラベル画像についてそのラベル画像が検査対象物であるか否かの判定が加えられたのち、検査対象物の画像のみを抽出する。
【００５１】
上記の輪郭内画素抽出処理部により得られたＮＩＲの二値画像は、本例では階級要素の形状処理部に送られ、大きさ等の階級要素を計測する処理が行われる。また、前記ＮＩＲ二値画像は、各画像情報信号ＮＩＲ，Ｒ，Ｇのうちで色，傷の判定に用いる農産物輪郭内の画素の画像情報を抽出するために検出領域特定処理部で画素間ＡＮＤ演算が行われ、それぞれＮＩＲ検出領域，Ｒ検出領域，Ｇ検出領域の画素の画像情報のみが抽出される。これらの抽出された各波長域の画素の画像は、画素毎に値が検出値に依存した多値画像である。
【００５２】
そして、これらの検出領域が特定されたＮＩＲ，Ｒ，Ｇの各波長域の画像情報のうちの所定の画像情報を色判定処理部あるいは傷害検出処理部に出力して、これに基づき色判定（着色度，色の均一性など）、傷害検出（最大面積，傷害面積など）を行う。なお色判定処理部，傷害検出処理部で行う処理法としては、従来知られている方法を用いることができ、例えば傷害検出処理では微分処理法や、既知の傷害色値と比較する色差処理法などを挙げることができる。
【００５３】
なお、図４ではＮＩＲ，Ｒ，Ｇの各波長域の画像情報をすべて色判定処理部及び傷害検出処理部に入力するように図示しているが、これは信号授受の系路を示しているものであって、すべての信号を常に利用することを意味するものではない。また装置に応じて必要のない信号授受の系路は省略することができるが、これらは実際には図３で説明したコンピュータ技術を用いて行われる処理の内容をモジュル化して示したものであって、このような各処理部をハード的に有する必要はない。
【００５４】
図５は、以上の農産物の外観検査装置を用いて行う検査操作を、上記請求項１，２，４，６，１０に対応する例として説明するためのフローチャートを示したものであり、まずステップ１０１において、近赤外光画像（ＮＩＲ ７５０〜９００ｎｍ）と可視光画像（Ｒ，Ｇ）を撮像する。この場合の撮像は、本例においては近赤外光と可視光を一つのカメラ（撮像手段）で同時に行う。
【００５５】
次にステップ１０２においては、近赤外光画像に基づき、農産物の輪郭切り出しのために予め定めた閾値と各画素の近赤外光画像情報を比較することにより二値化して、輪郭内領域の画素を抽出する。次いでステップ１０３において、前記抽出した輪郭内領域の画素と可視光画像の画素間ＡＮＤ演算を行って輪郭内領域の可視光画像情報を特定する。
【００５６】
ステップ１０４においては、上記ステップ１０３で特定された輪郭内領域の可視光画像情報に基づいて、輪郭内領域の色（したがって農産物の色）を演算算出する。例えば従来既知の色計算式に従って色ヒストグラムを作成し、色の均一性、画像中心の色を検出する。
【００５７】
最後にステップ１０５において、検出した色を評価判定し該当する農産物の色に関する等級評価を行って、処理を終了する。以上の処理を、搬送コンベア２で搬送される農産物（リンゴ）について順次繰り返し行う。
【００５８】
実施形態２
図６は、農産物の外観検査装置を用いて行う検査操作を請求項５，９に対応する例として説明するためのフローチャートを示したものである。
【００５９】
本例においては、ステップ２０１において近赤外光画像（ＮＩＲ ７５０〜９００ｎｍ）を撮像する。ステップ２０２においては、近赤外光画像に基づき、農産物の輪郭切り出しのために予め定めた閾値と各画素の近赤外光画像情報を比較することにより二値化して、輪郭内領域の画素を抽出する。
【００６０】
次いでステップ２０３において、前記抽出した輪郭内領域の画素と近赤外光画像の画素間ＡＮＤ演算を行って輪郭内領域の近赤外光画像情報を特定する。
【００６１】
ステップ２０４においては、上記ステップ２０３で特定された輪郭内領域の近赤外光画像情報に基づいて、例えば公知の二値化法により二値化を行って傷画像を作成する。
【００６２】
最後にステップ２０５で、検出した傷を評価判定し該当する農産物の傷に関する等級評価を行って、処理を終了する。以上の処理を、搬送コンベア２で搬送される農産物（リンゴ）について順次繰り返し行う。
【００６３】
実施形態３
図７は、農産物の外観検査装置を用いて行う検査操作を、上記請求項３，８に対応する例として説明するためのフローチャートを示したものであり、まずステップ３０１において近赤外光画像（ＮＩＲ ７５０〜９００ｎｍ）と可視光画像（Ｒ，Ｇ）を撮像する。この場合の撮像は、本例においては近赤外光と可視光を一つのカメラ（撮像手段）で同時に行う。
【００６４】
次にステップ３０２においては、近赤外光画像に基づき、農産物の輪郭切り出しのために予め定めた閾値と各画素の近赤外光画像情報を比較することにより二値化して、輪郭内領域の画素を抽出する。
【００６５】
次いでステップ３０３において、前記抽出した輪郭内領域の画素と、近赤外光画像及び可視光画像の画素間ＡＮＤ演算をそれぞれ行って輪郭内領域の近赤外光画像及び可視光画像情報を特定する。
【００６６】
ステップ３０４においては、上記ステップ３０３で特定された輪郭内領域の近赤外光画像情報に基づいて、例えば公知の二値化法により二値化を行って傷画像を作成し、傷害特定，傷面積算出を行う。
【００６７】
ステップ３０５においては、上記ステップ３０３で特定された輪郭内領域の可視光画像情報に基づいて、輪郭内領域の色（したがって農産物の色）を演算算出する。例えば従来既知の色計算式に従って色ヒストグラムを作成し、色の均一性、画像中心の色を検出する。
【００６８】
ステップ３０６においては、上記検出した傷を評価判定し該当する農産物の傷に関する等級評価を行う。
【００６９】
ステップ３０７においては、上記検出した色を評価判定し該当する農産物の色に関する等級評価を行って、処理を終了する。以上の処理を、搬送コンベア２で搬送される農産物（リンゴ）について順次繰り返し行う。
【００７０】
実施形態４
図８は、農産物の外観検査装置を用いて行う検査操作を、上記請求項７に対応する例として説明するためのフローチャートを示したものであり、まずステップ４０１において近赤外光画像（ＮＩＲ ７５０〜９００ｎｍ）と可視光画像（Ｒ，Ｇ）を撮像する。この場合の撮像は、本例においては近赤外光と可視光を一つのカメラ（撮像手段）で同時に行う。
【００７１】
次にステップ４０２においては、近赤外光画像に基づき、農産物の輪郭切り出しのために予め定めた閾値と各画素の近赤外光画像情報を比較することにより二値化して、輪郭内領域の画素を抽出する。
【００７２】
次いでステップ４０３においては、前記抽出した輪郭内領域の画素と、近赤外光画像及び可視光画像の画素間ＡＮＤ演算をそれぞれ行って輪郭内領域の近赤外光画像及び可視光画像情報を特定する。
【００７３】
ステップ４０４においては、上記ステップ４０３で特定された輪郭内領域の近赤外光画像情報に基づいて、例えば公知の二値化法により二値化を行って傷画像（Ａ）を作成する。
【００７４】
ステップ４０５においては、上記ステップ４０３で特定された輪郭内領域の可視光画像情報に基づいて、例えば公知の微分法、色差法により輪郭内領域の傷画像（Ｂ）を作成する。
【００７５】
ステップ４０６においては、上記検出した傷画像（Ａ），（Ｂ）に基づいて傷を総合評価判定し該当する農産物の傷に関する等級評価を行って、処理を終了する。以上の処理を、搬送コンベア２で搬送される農産物（リンゴ）について順次繰り返し行う。
【００７６】
実施形態５
図９は、農産物の外観検査装置を用いて行う検査操作を、上記請求項３，８に対応する例として説明するためのフローチャートを示したものであり、まずステップ５０１において近赤外光画像（ＮＩＲ ７５０〜９００ｎｍ）と可視光画像（Ｒ，Ｇ）を撮像する。この場合の撮像は、本例においては近赤外光と可視光を一つのカメラ（撮像手段）で同時に行う。
【００７７】
次にステップ５０２においては、近赤外光画像に基づき、農産物の輪郭切り出しのために予め定めた閾値と各画素の近赤外光画像情報を比較することにより二値化して、輪郭内領域の画素を抽出する。
【００７８】
次いでステップ５０３においては、前記抽出した輪郭内領域の画素と、近赤外光画像及び可視光画像の画素間ＡＮＤ演算をそれぞれ行って輪郭内領域の近赤外光画像及び可視光画像情報を特定する。
【００７９】
ステップ５０４においては、上記ステップ５０３で特定された輪郭内領域の近赤外光画像情報に基づいて、例えば公知の二値化法により二値化を行って傷画像（Ａ）を作成し、傷害特定，傷面積算出を行う。
【００８０】
ステップ５０５においては、上記ステップ５０３で特定された輪郭内領域の可視光画像情報に基づいて、例えば公知の微分法、色差法により輪郭内領域の傷画像（Ｂ）を作成する。
【００８１】
ステップ５０６においては、上記ステップ５０３で特定された輪郭内領域の可視光画像情報に基づいて、輪郭内領域の色（したがって農産物の色）を演算算出する。例えば従来既知の色計算式に従って色ヒストグラムを作成し、色の均一性、画像中心の色を検出する。
【００８２】
ステップ５０７で、上記検出した傷画像（Ａ），（Ｂ）に基づいて傷を総合評価判定し該当する農産物の傷に関する等級評価を行って、処理を終了する。以上の処理を、搬送コンベア２で搬送される農産物（リンゴ）について順次繰り返し行う。
【００８３】
ステップ５０８で、上記検出した色を評価判定し該当する農産物の色に関する等級評価を行って、処理を終了する。以上の処理を、搬送コンベア２で搬送される農産物（リンゴ）について順次繰り返し行う。
【００８４】
【発明の効果】
本願の請求項１の発明によれば、近赤外光で撮像した画像を利用して農産物の外形輪郭を正確に切り出すことができると共に、可視光で撮像した画像を利用して農産物輪郭内の色，傷を正確に検出することができて、高い精度で等級判定ができ、しかもこの農産物外形輪郭の正確な切り出しと、輪郭内の色，傷の情報の検出のための光情報を簡易な装置で検出できるという効果が奏され、また更に以下の効果が奏される。
【００８５】
請求項３の発明によれば、請求項１の発明に加えて近赤外光画像情報を農産物の傷検出に利用するので、傷の検出をより高精度に行うことができる。
また、抽出した輪郭内領域の二値化画素と前記近赤外画像情報及び前記可視光画像との画素間ＡＮＤ演算により前記農産物の輪郭内領域の画素を特定し、特定した該農産物輪郭内の画素の可視光画像情報と近赤外光画像情報とにより、農産物の色及び傷、又は傷を判定するようにしているので、傷の検出を、近赤外光画像情報と可視光画像情報で検出した傷とみなされる画素の論理和で農産物の傷を判定することもできるし、前記画素の論理積で農産物の傷を判定することもでき、後者の論理積を用いる場合は泥の付着など本当の傷でないものを傷と判定してしまう不具合を避けることもできる。
【００８６】
また、上記請求項１から３の発明では、近赤外光と可視光による撮像を単一の撮像手段により同時に行うので、外観検査を迅速に行えると共に、近赤外光で撮像した画像と、可視光で撮像した画像を一致させる操作が不要で、農産物の輪郭内の色，傷の判定をより正確に得ることができる。
【００８８】
請求項４の農産物の外観検査装置の発明によれば、近赤外光画像情報による農産物の外形輪郭の正確な切り出しと、切り出した輪郭内の画素の可視光画像情報を利用した農産物の色，傷の検出を高精度に行える。
【００８９】
請求項５の発明によれば、農産物の傷を近赤外光画像情報と可視画像情報のいずれかあるいは双方を利用してより高精度に検出する装置を提供できる。
【００９０】
請求項６の発明によれば、農産物の色の検出と、近赤外光画像情報と可視画像情報のいずれかあるいは双方を利用した傷の検出を高精度に行う装置を提供できる。
【００９２】
上記した請求項４から６の発明によれば、近赤外光による農産物の外形輪郭を切り出すための近赤外光による撮像画像と、色，傷を検出するための可視光による撮像画像を別々のカメラ（等の撮像手段）で行う装置に比べ、両者画像の画角を一致させる各カメラ等の位置合わせを不要とでき、しかも色，傷の高い検出精度を確保できる優れた効果が奏される。また、近赤外光及び可視光を一つの撮像手段で同時に撮像するので、農産物が搬送コンベア等の搬送手段の上で動くことがあっても近赤外光画像情報と可視光画像情報の画像のずれを全く考慮する必要がなく、高精度に色，傷を検出できるという効果が奏される。
【図面の簡単な説明】
【図１】本発明を適用する選果設備の構成概要一例を示した図。
【図２】本発明に用いられる受光手段の一部をなす撮像手段の構成を示した図。
【図３】本発明のカメラ計測制御装置の構成概要一例をブロック図で示した図。
【図４】本発明の農産物の外観検査方法の処理内容の一例をモジュル化して示した図。
【図５】農産物の外観検査装置を用いて行う検査操作の実施形態１を説明するフローチャート図。
【図６】農産物の外観検査装置を用いて行う検査操作の実施形態２を説明するフローチャート図。
【図７】農産物の外観検査装置を用いて行う検査操作の実施形態３を説明するフローチャート図。
【図８】農産物の外観検査装置を用いて行う検査操作の実施形態４を説明するフローチャート図。
【図９】農産物の外観検査装置を用いて行う検査操作の実施形態５を説明するフローチャート図。
【符号の説明】
１・・・リンゴ（農産物）
２・・・搬送コンベア
３・・・フリートレー（容器）
４・・・光源ランプ
５・・・受光手段
５１・・・レンズ
５２・・・分光器
５３１・・・ＮＩＲ用ＣＣＤ
５３２・・・Ｒ用ＣＣＤ
５３３・・・Ｇ用ＣＣＤ
５４１・・・増幅回路
５４２・・・増幅回路
５４３・・・増幅回路
５５１・・・Ａ／Ｄ変換回路
５５２・・・Ａ／Ｄ変換回路
５５３・・・Ａ／Ｄ変換回路
５６・・・駆動回路
６・・・カメラ計測制御装置
６０１・・・ビデオＩ／Ｆ
６０２・・・フレームメモリ
６０３・・・イメージバス
６０４・・・ビデオＤ／Ａ
６０５・・・イメージプロセッサ
６０６・・・ＬＵＴメモリ
６０７・・・プレーンメモリ
６０８・・・ＣＰＵバス
６０９・・・処理装置
６１０・・・Ｉ／Ｏ
６１１・・・ＲＯＭ
６１２・・・ＲＡＭ
７１ 〜７ｉ ・・・仕分け選別装置（のソレノイド）
８・・・同期信号発生装置
Claims (6)
- 搬送手段上の農産物を近赤外光及び可視光で同一の撮像手段により同時に撮像し、ａ行ｂ列の画素からなる近赤外光画像及び可視光画像を得、該近赤光外画像を構成する各画素の近赤外光画像情報を予め定めた閾値と比較して二値化し、各該二値化画素が該農産物の外形輪郭の内外のいずれに位置するかを区別することで、該農産物の輪郭内領域の画素を抽出し、これら抽出した輪郭内領域の二値化画素と前記可視光画像との画素間ＡＮＤ演算により前記農産物の輪郭内領域の画素を特定し、特定した該農産物の輪郭内領域の画素の可視光画像情報により農産物の色及び／又は傷を判定することを特徴とする農産物の外観検査方法。
- 請求項１において、農産物の色及び／又は傷を判定するための可視光情報は、少なくとも赤色光（Ｒ），緑色光（Ｇ）の波長域の光情報を含み、必要に応じて青色光（Ｂ）の波長域の光情報を含むことを特徴とする農産物の外観検査方法。
- 搬送手段上の農産物を近赤外光及び可視光で同一の撮像手段により同時に撮像し、ａ行ｂ列の画素からなる近赤外光画像及び可視光画像を得、該近赤光外画像を構成する各画素の近赤外光画像情報を予め定めた閾値と比較して二値化し、各該二値化画素が該農産物の外形輪郭の内外のいずれに位置するかを区別することで、該農産物の輪郭内領域の画素を抽出し、これら抽出した輪郭内領域の二値化画素と前記近赤外画像情報及び前記可視光画像との画素間ＡＮＤ演算により前記農産物の輪郭内領域の画素を特定し、特定した該農産物輪郭内の画素の可視光画像情報と近赤外光画像情報とにより、農産物の色及び傷、又は傷を判定することを特徴とする農産物の外観検査方法。
- 農産物を搬送する搬送手段と、
搬送される農産物に近赤外光領域及び可視光を含む照明光を照射する光源と、
前記光源で照明した農産物の近赤外光画像及び可視光画像を同時に撮像してａ行ｂ列の各画素毎に近赤外光画像情報及び可視光画像情報を抽出する１つの受光手段と、
前記各画素の近赤外光画像情報を予め定めた閾値と比較して二値化し、各該二値化画素が該農産物の外形輪郭の内外のいずれに位置するかを区別することで農産物の輪郭内領域の画素を抽出する輪郭内画素抽出手段と、
これら抽出した輪郭内領域の二値化画素と前記可視光画像との画素間ＡＮＤ演算により前記農産物の輪郭内領域の画素を特定し、特定した各画素の可視光画像情報を抽出する可視光画像情報抽出手段と、
該可視光画像情報抽出手段で抽出した可視光画像情報により農産物の色及び／又は傷を判定する判定手段と、
を備えたことを特徴とする農産物の外観検査装置。 - 農産物を搬送する搬送手段と、
搬送される農産物に近赤外光領域及び可視光を含む照明光を照射する光源と、
前記光源で照明した農産物の近赤外光画像及び可視光画像を同時に撮像してａ行ｂ列の各画素毎に近赤外光画像情報及び可視光画像情報を抽出する１つの受光手段と、
前記各画素の近赤外光画像情報を予め定めた閾値と比較して二値化し、各該二値化画素が該農産物の外形輪郭の内外のいずれに位置するかを区別することで農産物の輪郭内領域の画素を抽出する輪郭内画素抽出手段と、
前記輪郭内画素抽出手段で抽出した輪郭内領域の二値化画素と前記近赤外光画像及び前記可視光画像との画素間ＡＮＤ演算により前記農産物の輪郭内領域の画素を特定し、特定した各画素の近赤外光画像情報及び可視光画像情報を抽出する画像情報抽出手段と、
前記画像情報抽出手段で抽出した可視光画像情報により農産物の傷を判定する第１の傷判定手段と、
前記画像情報抽出手段で抽出した各画素の近赤外光画像情報により農産物の傷を判定する第２の傷判定手段と、
を備え、前記第１及び第２の傷判定手段の結果を総合して農産物の傷判定を行うことを特徴とする農産物の外観検査装置。 - 農産物を搬送する搬送手段と、
搬送される農産物に近赤外光領域及び可視光を含む照明光を照射する光源と、
前記光源で照明した農産物の近赤外光画像及び可視光画像を同時に撮像してａ行ｂ列の各画素毎に近赤外光画像情報及び可視光画像情報を抽出する１つの受光手段と、
前記各画素の近赤外光画像情報を予め定めた閾値と比較して二値化し、各該二値化画素が該農産物の外形輪郭の内外のいずれに位置するかを区別することで農産物の輪郭内領域の画素を抽出する輪郭内画素抽出手段と、
前記輪郭内画素抽出手段で抽出した輪郭内領域の二値化画素と前記近赤外光画像及び前記可視光画像との画素間ＡＮＤ演算により前記農産物の輪郭内領域の画素を特定し、特定した各画素の近赤外光画像情報及び可視光画像情報を抽出する画像情報抽出手段と、
前記画像情報抽出手段で抽出した可視光画像情報により農産物の色及び／又は傷を判定する第１の判定手段と、
前記画像情報抽出手段で抽出した各画素の近赤外光画像情報により農産物の傷を判定する第２の判定手段と、
を備えたことを特徴とする農産物の外観検査装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13889196A JP3614980B2 (ja) | 1996-05-31 | 1996-05-31 | 農産物の外観検査方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13889196A JP3614980B2 (ja) | 1996-05-31 | 1996-05-31 | 農産物の外観検査方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09318547A JPH09318547A (ja) | 1997-12-12 |
| JP3614980B2 true JP3614980B2 (ja) | 2005-01-26 |
Family
ID=15232543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13889196A Expired - Lifetime JP3614980B2 (ja) | 1996-05-31 | 1996-05-31 | 農産物の外観検査方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3614980B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7812948B2 (en) * | 2003-10-17 | 2010-10-12 | Astellas Pharma Inc. | Different-kind-of-object detector employing plane spectrometer |
| JP2006003134A (ja) * | 2004-06-16 | 2006-01-05 | Maki Mfg Co Ltd | 農産物の外観検査装置 |
| JP4556993B2 (ja) | 2007-12-07 | 2010-10-06 | セイコーエプソン株式会社 | 状態検査システム |
| JP5213038B2 (ja) * | 2008-08-28 | 2013-06-19 | 独立行政法人農業・食品産業技術総合研究機構 | イチゴ品質測定方法及びイチゴ品質測定装置 |
| JP5888639B2 (ja) * | 2010-08-18 | 2016-03-22 | 国立大学法人三重大学 | 色彩画像撮像・解析システム |
| JP2016033694A (ja) * | 2014-07-30 | 2016-03-10 | 東芝テック株式会社 | 物体認識装置及び物体認識プログラム |
| WO2017168469A1 (ja) * | 2016-03-28 | 2017-10-05 | パナソニックＩｐマネジメント株式会社 | 外観検査装置と外観検査方法 |
| CN110118735B (zh) * | 2018-02-06 | 2020-08-25 | 中国农业机械化科学研究院 | 一种检测香梨公母的高光谱成像检测方法及装置 |
| CN111024710B (zh) * | 2019-12-17 | 2022-04-08 | 江苏恒宝智能系统技术有限公司 | 一种农作物异常检测系统及方法 |
| CN112756268B (zh) * | 2021-01-27 | 2023-02-21 | 延边金刚山食品股份有限公司 | 一种辣白菜原材料自动筛选装置 |
-
1996
- 1996-05-31 JP JP13889196A patent/JP3614980B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09318547A (ja) | 1997-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Noordam et al. | High-speed potato grading and quality inspection based on a color vision system | |
| US5675419A (en) | Scattered/transmitted light information system | |
| JP6590907B2 (ja) | 莢果選別システム、莢果選別装置及び莢果選別方法 | |
| US6271520B1 (en) | Item defect detection apparatus and method | |
| US20060244959A1 (en) | Inspecting apparatus and method for foreign matter | |
| US5106195A (en) | Product discrimination system and method therefor | |
| JP2008541007A (ja) | 食品の異物検出装置 | |
| CN1995987A (zh) | 基于高光谱图像技术的农畜产品无损检测方法及装置 | |
| JPH0321235B2 (ja) | ||
| JP3614980B2 (ja) | 農産物の外観検査方法及び装置 | |
| JP2001037367A (ja) | 卵自動選別装置及び不良卵検出装置 | |
| JPS5973089A (ja) | 電子的傷スキヤナ | |
| US20240420314A1 (en) | Foreign material inspection system | |
| JP5455409B2 (ja) | 異物選別方法および異物選別設備 | |
| US20180369872A1 (en) | Method and apparatus for sorting | |
| JPH06103170B2 (ja) | 物品の外観検査方法と装置 | |
| CN116532381A (zh) | 水果分拣机器人的控制方法、装置、电子设备 | |
| US5018864A (en) | Product discrimination system and method therefor | |
| US7835540B2 (en) | Method of detecting bunched-together poster items by analyzing images of their edges | |
| JPH11230960A (ja) | 卵の鮮度自動判定装置 | |
| JP4318292B2 (ja) | 農産物の外観検査装置 | |
| JP3311880B2 (ja) | 青果物の傷害自動検出装置 | |
| JP2004333177A (ja) | 被検査物の判別方法とその装置 | |
| JP2003251282A (ja) | 苺用等階級計測判定装置 | |
| JP2642107B2 (ja) | 青果物の自動等級判定方法と装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040616 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040706 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040902 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041012 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041028 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071112 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081112 Year of fee payment: 4 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081112 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081112 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081112 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091112 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101112 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111112 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111112 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121112 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131112 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term |