WO2016133175A1 - 莢果選別システム、莢果選別装置及び莢果選別方法 - Google Patents

Abstract

　莢内の種子を観察するに際して、透過光による撮影の必要性を無くし、反射光を撮影する事により、莢内における種子の収容状態（特に粒数や大きさ）を検査でき、望ましくは撮影画像から算出した植生指数の値により莢果を検査又は選別するようにした莢果選別システム及び莢果選別装置を提供する。この莢果選別システムは、莢付きの莢果を撮影した画像を解析する事で、当該莢果を検査又は選別するものであり、撮影手段が撮影した画像を取得する画像取得手段と、画像取得手段が取得した画像を解析する画像解析手段とを備えており、前記画像解析手段は、撮影画像に基づいて個々の莢果の長さと、個々の莢果の幅を計測するサイズ検査と、計測した莢果の長さに基づいて、莢の中に収容されている種子の数を算出する粒数検査とを実行するか、又はこれに代えて当該植生指数の値により莢果を検査又は選別する莢果選別システムとする。

Description

[規則37.2に基づきISAが決定した発明の名称]　莢果選別システム、莢果選別装置及び莢果選別方法

　本発明は、枝豆を始めとする莢果、特に莢が付いている莢果を選別する為の莢果選別システム及び莢果選別装置に関し、外観及び／又は植生指数に基づいて莢果を選別する為の莢果選別システム及び莢果選別装置に関する。

　莢果は、マメ科植物の多くに見られる果実であり、インゲン、エンドウ、ネムノキ、ダイズ、ハナズオウ、ルピナス、クローバー、カラスノエンドウなどが含まれる。これら莢果は莢が付いた状態で収穫されることも多く、未成熟な大豆を収穫した枝豆においては、莢が付いた状態で食卓に提供されることも多い。

　このような莢果であっても、市場に流通させる際には、その品質や等級を管理する為に選別が必要である。ところが、莢果は、それぞれの莢に入っている豆の数が異なっており、また当該豆の大きさも様々である。そこで従前においては、莢付き莢果の選別を自動化するべく、カメラを利用して、枝豆を始めとする莢付きの莢果を選別する技術も幾つか提案されている。

　例えば特許文献１（特開２００８－６２１１６号公報）では、透過光を利用して、莢果の等級に基づき莢果を選別するべく、莢果を透過した透過光によって莢果を撮像する透過光撮像手段を備え、この透過光撮像手段が撮像した莢果の画像に基づいて莢果の等級を判別して、選別する莢果選別システムを提案している。また特許文献２（特開２００５－２７９５２４号公報）では、エダマメ莢の精選別作業の省力化、高能率化を達成するべく、平面視Ｖ字状に二面を１２０°の角度で連結した合わせ鏡の連結部の中心面上に、エダマメ莢をその長手方向を垂直状態で落下させてエダマメ莢の全面画像を取得するエダマメ莢の精選別方法を提案している。

　また、莢果類の選別に際しては、更に莢果の活性度、水分含有量などの生育状況においても選別するのが望ましい。そして従前においては、作物を撮影した画像についてスペクトル分析を行い、生育状況等を判断する技術も提案されている。

　例えば特許文献３（特開２００６－２５０８２７号公報）では、リモートセンシングを利用したスペクトル画像により稲の蛋白含有率を推定して食味を診断する作物の生育状況分析方法が提案されている。また特許文献４（特開２０１３－２３１６４５号公報）では、茶樹の新芽の摘採の適否を短時間且つ高い精度で簡易に判断可能とするべく、茶葉の画像情報に含まれる光学データを用いて植生指数を算出し、これを用いて茶葉の摘採適性を評価する茶葉の摘採適性評価方法が提案されている。

特開２００８－６２１１６号公報 特開２００５－２７９５２４号公報 特開２００６－２５０８２７号公報 特開２０１３－２３１６４５号公報

　前述の通り、従前においてもカメラを利用して、莢付きの莢果を選別する技術は、種々提案されている。しかしながら、莢内における豆の収容状態を検査する為には、当該莢果の透過光を撮影しなければならなかった。そして莢果における透過光を撮影するためには、網目状のベルトで搬送するか、落下している莢果を撮影する等、透過光を撮影する為の構成が必要であった。

　そこで本発明は、このような透過光の撮影の必要性を無くし、莢付きの莢果に照射した光の反射光を撮影する事により、莢内における種子の収容状態（特に粒数や大きさ）を検査できるようにした莢果選別システム及び莢果選別装置を提供する事を第１の課題とする。

　更に、莢内における豆の収容状態と共に、莢果の大きさや形状、又は莢の裂けや欠けなどを検査する場合であっても反射光を撮影した画像を使用し、品質管理用画像の保存領域を減じ、また検査処理速度を向上させた莢果選別システム及び莢果選別装置を提供する事を第２の課題とする。

　また従来、莢果の選別や検査に使用されているカメラは可視光を撮影するものであり、専ら可視光画像によってのみ莢果の外観などを検査するだけであった。このような可視光を撮影した面像の検査は、専ら平面画像におけるスペクトルや色彩の変化等によって判断されることから、正確性において未だ改善の余地を有していた。特に莢果のキズなどを検査する場合には、単なる可視光画像では、当該キズ部分の色と周囲の色との差異が明確に出現しにくい事から、正確な検査や選別が困難であった。

　そこで本発明は、可視光画像にこだわることなく、より正確に外観の検査・選別を実施する事ができるようにし、特にキズなどを目視同様に検査・選別できるようにした莢果選別システム及び莢果選別装置、並びに莢果選別方法を提供する事を第３の課題とする。

　また、植物である莢果は、生育状況や収穫時期等によって、生育度合いが変わってくる。また収穫後における時間の経過や保管状況によっても、莢果の乾燥度（水分含有量）が異なってくる。しかしながら莢果を商品として出荷する際には、一定の品質基準を満たしている事が必要になる。よって品質管理を徹底させる上でも、莢果の活性度を検査し且つ選別する事が必要になる。

　そこで本発明は、植生指数を利用して、更に莢果の活性度、水分含有量、窒素量、繊維量、及び蛋白含有量の少なくとも何れかを検査又は選別する事のできる莢果選別システム及び莢果選別装置、並びに莢果選別方法を提供する事を第４の課題とする。

　上記課題を解決する為、本発明では取得した撮影画像を解析する事で、莢内の種子の数をも判定する事ができ、更に撮影画像に基づいて、欠けやヒゲの有無なども判断できるようにした莢果選別システム及び莢果選別装置を提供する。

　即ち、本発明では、莢付きの莢果を撮影した画像を解析する事で、当該莢果を検査又は選別する為の莢果選別システムであって、撮影手段が撮影した画像を取得する画像取得手段と、画像取得手段が取得した画像を解析する画像解析手段とを備えており、前記画像解析手段は、撮影画像に基づいて個々の莢果の長さと、個々の莢果の幅を計測するサイズ検査と、計測した莢果の長さに基づいて、莢の中に収容されている種子の数を算出する粒数検査とを実行する莢果選別システムを提供する。

　また前記課題の少なくとも何れかを解決するために、本発明では、莢付きの莢果を撮影した画像を解析する事で、当該莢果を検査又は選別する為の莢果選別システムであって、撮影手段が撮影した莢果の反射画像を取得する画像取得手段と、画像取得手段が取得した画像を解析する画像解析手段とを備えており、前記画像取得手段は、赤色波長領域の反射光からなる赤色画像と、近赤外波長領域の反射光からなる近赤外画像とを抽出又は取得し、前記画像解析手段は、以下の数式１によって植生指数を算出し、当該植生指数の値により莢果を検査又は選別することを特徴とする、莢果選別システムを提供する。

［式中、
　　Ｒ:赤色画像における赤色波長領域の反射率
　ＩＲ:近赤外画像における近赤外波長領域の反射率］

　かかる莢果選別システムは、コンピュータを用いて形成する事ができる。具体的にはコンピュータソフトウエアによって、処理内容と処理手順が制御されたコンピュータとして具体化する事ができる。そして、前記画像解析手段は、コンピュータソフトウエアが実行されることによって処理を行うＣＰＵやメモリーによって構成する事ができる。

＜粒数検査＞
　上記本発明にかかる莢果選別システムにおいて、画像解析手段は取得した撮影画像から、個々の莢果の長さと幅に関する情報を取得する「サイズ検査」を実行する。この長さと幅に関する情報は、取得した撮影画像における画素に基づいたドット数（又はピクセル数）として取得する他、検査対象物の実際の長さ及び幅として取得することができる。撮影画像から検査対象物の実際の長さ及び幅を算出する場合には、撮影画像上で特定される長さに一定の拡大または縮尺定数を乗算する。

　そして計測した莢果の長さに基づいて、莢の中に収容されている種子の数を算出する。この種子の数の設定は、莢果の長さに関連付けて種子の個数を規定した情報に基づいて設定する事ができる。例えば、予め莢果の長さと種子の個数を関連付けた長さ／個数テーブルを準備し、画像の解析によって読み取った莢果の長さを検索値として検索する事で、当該長さに対応する種の個数を演算・抽出する事ができる。また、取得した莢果の長さに応じて、一定の値（種子の個数）を出力する様にプログラムを設計することもできる。即ち、本発明では、莢の長さを計測して、この値を使用することで、透過光を撮影することなく、莢内に収容されている種子の大凡の数を算出する事ができる。

　そして、上記の粒数検査に際しては、莢内の種子の数を算出すると共に、種子の存在によって変化する莢の幅を算出する事ができる。即ち、前記画像解析手段における粒数検査は、当該粒数の数の分だけ、個々の莢果の画像を長さ方向に分割する。そして当該分割した夫々の領域において幅が最大となる位置を凸部として設定すると共に、当該凸部間において幅が凹部より狭く且つ最小となる位置を凹部として設定する。そして当該凸部と凹部の幅を算出するように構成できる。このように莢の長さと、凸部及び凹部の幅を取得し、これを予め設定されている許容値と比較する事により、検査対象となる莢果のサイズを、より詳細に検査する事ができる。

　また、凸部及び凹部を設定し、その幅を算出する際には、個々の莢果の画像を長さ方向に分割することなく、凸部及び凹部を特定して、その幅を算出する事もできる。即ち、前記莢果選別システムにおいて、画像解析手段は、撮影画像から個々の莢果の長さと、個々の莢果の幅を計測するサイズ検査と、計測した莢果の長さに基づいて、莢の中に収容されている種子の数を設定すると共に、莢果の長さ及び／又は種子の数に基づいて、幅方向における凸部の数を設定して、設定した凸部における夫々の幅と、凸部同士の間における最小幅である凹部の幅とを取得する粒数検査とを実行する莢果選別システムとすることができる。

　前記サイズ検査を実行する事により、莢果の長さ及び／又は種子の数を算出し、その後において、当該莢果の長さ及び／又は種子の数に応じた幅方向における凸部の数を設定する。ここで、莢の長さ及び／又は種子の数に基づいて設定する値は、凸部の数であって、当該凸部の位置までも特定するものではない。当該凸部の位置は、当該莢果の全長における幅を走査し、幅の値が大きい方から順に設定した凸部の数だけ抽出し、当該抽出した幅の位置を凸部として設定し、当該凸部における夫々の幅を算出することができる。例えば、莢内の種子の数が２粒と設定された場合には、当該幅方向における凸部の数を２つに設定し、幅が広い順に２か所を凸部として設定し、その幅を算出する。また莢内の種子の数が３粒と設定された場合には、当該幅方向における凸部の数を３つに設定し、幅が広い順に３か所を凸部として設定し、それぞれの凸部における幅を取得する。

　次に凸部同士の間において、莢の幅が最小値となる位置を抽出し、当該最小幅の位置を凹部として設定し、その幅を取得する。即ち、莢内において種子が存在する場所は、輪郭が膨らんでいることから凸部を設定する事ができる。そして種子間には、凹部が存在することから、凹部の存在を確認する事により、凸部に種子が存在する事を確認できる。

　また、前記の粒数検査において、凸部が２つ以上として算出された場合には、当該凸部間における幅の変化量を確認する事が望ましい。莢の長さだけを以って粒数を特定した場合、同じ莢長でも、中に存在する種子の大きさ次第では、１粒であったり、２粒であったりする場合も考えられる為である。したがって、凸部間における幅の変化は谷部（凹部）が１つ出現するように変化している事を確認する事が望ましい。

　粒数検査においては、莢内に収容されている種子が１粒のみの莢果を特定する事も望ましい。かかる種子が１粒の莢果は、先ず莢の全長によって特定する事ができる。即ち、基準の長さよりも短い莢果は、種子が１粒だけであると想定する事ができる。莢果の長さにより粒数を予想する事で、粒数検査における処理速度を向上させることができる。そして、基準値以上の長さを有する莢果については、莢内の種子が２粒以上であると判断する。しかしながら２粒以上と判断しても、種子の粒が大きい場合には、実際には１粒しか収容されていない場合もある。そこで、撮影画像から幅を読み出し、凸部と凹部を抽出・確認して、実際の粒数を算出する。即ち、基準値以上の長さであり、粒数を２つと設定した場合には、当該莢果を長さ方向に２つの領域に分けて、それぞれの領域において最も幅広の凸部を抽出する。その結果、莢内に収容されている種子が２粒以上であれば、当該凸部は２か所に存在し、当該凸部間には凹部が存在するはずである。しかしながら、莢内の種子が１粒の場合には、仮に凸部を２か所に設定したとしても、当該凸部同士の間には、両方の凸部よりも狭い幅は存在せず、よって凹部が存在しないことになる。したがって、莢内の種子が１粒となり得る長さの莢果については、凸部間に凹部が存在するか否かを確認する事で、１粒か否かを判断する事ができる。

　このように、莢内の種子が１粒の莢果を特定する処理は、特に枝豆を選別する際に有効である。枝豆の選別では、莢内の種子の数も商品価値に影響を与えている実情から、種子が１粒の莢果を特定し、これを選別する事で商品価値を高める事ができる為である。

　よって、上記本発明にかかる莢果選別システムによれば、透過光を撮影する必要なく、撮影手段から取得した撮影画像を解析するだけで、莢内に収容されている種子の数を正確に把握する事ができる。

　上記のように撮影画像を解析する際、撮影画像に複数含まれる莢果は、各莢果ごとに抽出されている事が望ましい。よって、前記画像解析手段は、撮影手段から取得した撮影画像についてラベリング処理を行い、それぞれの莢果ごとの画像を作成するのが望ましい。更に、各画像について角度補正を行い、角度補正を行った補正画像について、長軸方向となる長さと、短軸方向となる幅とを計測するのが望ましい。ラベリング処理を施すことにより、莢果の輪郭形状を特定する事ができ、また角度補正を行う事により、莢果の長さ及び幅の測定を、より正確に行う事ができる為である。

　即ち、莢果の選別を自動化する場合には、ベルトコンベアーなどの搬送手段で搬送する必要があり、搬送している莢果を撮影して、これを検査する必要がある。しかしながら搬送手段で搬送する莢果の向きを正確に揃えるのは事実上困難である。そこで無造作に搬送される莢果を撮影し、その向きを修正する事で、検査の実情に合致しながらも、莢果の長さ及び幅の測定を正確に行う事ができる莢果選別システムを実現するものである。

＜莢の欠け検査＞
　また、上記本発明にかかる莢果選別システムにおいて、前記画像解析手段は、検査対象物である莢果について欠けが有るか否かを検査する事が望ましい。
　即ち、前記画像解析手段は、前記撮影手段から取得した撮影画像について、幅の変化量が所定の範囲である領域を検査領域として設定し、当該検査領域における任意の基準位置の幅を基準幅として取得すると共に、当該基準位置から一定方向に移動した位置における幅を比較幅として取得し、基準幅と比較幅との差分を算出した値を許容値と比較する欠け検査を行う事が望ましい。

　幅の変化量が所定の範囲である領域を検査領域として設定する事により、長さ方向の端部等、ノイズが発生しやすい領域（即ち、御認識しやすい領域）を除くことができ、これにより解析速度を向上させることができる。そして、この検査領域内において、任意に定めた基準位置の幅を基準幅として取得し、この基準位置から一定方向に移動した位置における幅を比較幅として取得し、基準幅と比較幅との差分を算出する事により、幅の変化量を算出する事ができる。そして、この幅の変化量を、あらかじめ設定した許容値と比較することにより、欠けの有無を検査する事ができる。即ち、欠けが発生している部分では、莢果の幅が急激に変化することから、この変化量の大きい莢果については、欠けが発生していると判断する事ができる。

　また検査領域において基準幅を取得する基準位置は任意の位置であって良いが、例えば前記凸部や凹部の何れかを基準値とする事もできる。凸部を基準位置とした場合には、当該基準位置から一定方向に移動した位置における幅は、凹部に至る迄、徐々に狭くなっていく筈である。一方、凹部を基準位置とした場合には、当該基準位置から一定方向に移動した位置における幅は、凸部に至る迄、徐々に広くなっていく筈である。よって、このような莢果類の形状における特徴を利用して、比較幅の変化量の増減を判断する事により、より高速かつ正確に欠けの発生の有無を検査する事ができる。

＜莢のヒゲ検査＞
　また、上記本発明にかかる莢果選別システムにおいて、前記画像解析手段は、更に莢から細長く伸びたヒゲ部の有無を調べるヒゲ部検査を行う事が望ましい。
　即ち、前記画像解析手段は、更に前記撮影手段から取得した撮影画像について二値化処理を行い、莢の長さ方向に設定した任意の複数地点において、幅方向において色が変わるエッジ部分の数を検出し、当該エッジ部分の数が３個以上の地点をヒゲ部存在箇所として特定する事が望ましく、更に当該ヒゲ部存在箇所の始点と終点から、当該ヒゲ部の長さを算出するように構成するのが望ましい。

　撮影画像について二値化処理を実施する事により、撮影画像中における莢果の輪郭が明瞭になり、背景部分と莢果部分とを区別しやすくなる。その結果、莢果部分の領域を認識しやすくなることから、処理速度の向上を図れる他、画像を正確に認識する事ができ、検査精度を高める事ができる。

　このヒゲ部検査の検査対象としているのは、莢の縁部分から筋状に飛び出たスジ等であり、これを画像認識によって判読し、その長さに応じて選別するものである。具体的には、各莢果ごとに作成した画像において、幅方向における輪郭部分であるエッジの数によって判断する。即ち莢果の長さ方向にわたって、幅方向に延伸する線と輪郭部分との交点をエッジとし、このエッジの数が２つであれば、それは莢の輪郭によって取得されたものであり、２を超えて存在する場合には、莢の輪郭から飛び出ている部分（即ち、ヒゲ部分）が存在すると判断することができる。そしてこの処理を莢の長さ方向全体にわたって実行することにより、エッジの数が２つを超えて存在する部分から、当該エッジの数が２つになっている部分までの領域の長さを、ヒゲ部の長さとして算出することができる。

　その結果、反射光を撮影した２次元の画像を判読し、解析するだけで、ヒゲ部の存在を検査する事ができる。この点、仮に透過光を撮影した画像であれば、光の強さによって、このヒゲ部は撮影されない可能性もあり、撮影画像から当該ヒゲ部の有無の検査を行い得るには、反射光を撮影しているが故に実現できたものである。

＜莢果の活性度、水分含有量、窒素量、繊維量、及び蛋白含有量検査＞
　この検査では植生指数を利用するものである。即ち、植生指数（特に、正規化差植生指数）は、植物表面における反射光によって、植物の植生状況や活性度を判断する為の指標である。即ち、多くの植物に含まれるクロロフィルは、0.5～0.7μｍの赤色可視光領域での反射率は20%未満であるのに対して、0.7～1.3μｍの近赤外域での反射率は60%を越える。そこで、この特定の波長域における光の吸収及び反射を利用して、植物の植生状況や活性度を判断するべく、－１～＋１の間に正規化した数値として算出するものである。

　また、クロロフィルは熱や酸性環境に対しては不安定であり、光による光分解性がみられ、とくに紫外線による分解能が著しい。そこで、上記植生指数を算出することにより、このクロロフィルの存在量を推定する事ができる。これにより活性度や収穫後の経過時間（即ち、鮮度）などを判断する事ができる。

　さらに、上記植生指数と植物の窒素量、繊維量、及び蛋白含有量との間には相関性がある。例えば、赤色域波長と近赤外域波長の２つの波長域における植物の活性度と蛋白含有量との間に相関関係がある。より具体的には、植物に含まれるクロロフィルの含量と蛋白含有量との間の高い正の相関性がある。よって、植生指数を算出してクロロフィルの含量を推定する事で、蛋白含有量を推定する事ができ、対象となる莢果の食味を推定して選別する事ができる。

　また、窒素量、繊維量と前記植生指数との間に相関性がある。即ち、赤色光域、近赤外光域の光学データによって植生指数を算出し、該植生指数によって窒素量、繊維量を推定する事で、対象となる莢果の育成状況、又は栄養状態、等を推定でき、それによって選別する事が可能となる。

　そして、上記赤色画像における赤色波長領域の反射率や近赤外画像における近赤外波長領域の反射率は、デジタルカメラなどにおけるイメージセンサーで計測された反射輝度、反射スペクトルの強度ないしデジタル値として取得する事ができ、これらを用いて算出した植生指数により、植生の活性、植被率、葉面積指数（LAI）といった植生パラメーターを判断する事ができる。

　なお、上記赤色波長領域の反射光からなる赤色画像や、近赤外波長領域の反射光からなる近赤外画像は、撮影手段が撮影した莢果の反射画像から、それぞれの波長領域のスペクトルを抽出して取得することができる。その他にも、撮影手段にカラーフィルターを設置して、前記の波長領域内の反射画像を撮影して使用する事もできる。よって、例えば通常の商用デジタルカメラに対して、可視光遮断、赤外光遮断の２種類のレンズフィルタを設置して、可視光赤色と近赤外の画像を撮影する事もできる。

　更に、前記画像解析手段は、画像取得手段が取得した赤色画像及び近赤外画像の夫々について二値化処理を行い、二値化処理した赤色画像及び近赤外画像を使用して、前記植生指数を算出するのが望ましい。画像を二値化処理する事により、定めた閾値によって濃淡のある画像を白と黒の２階調に変換する事ができ、当該画像からの検出対象の抽出を容易にする事ができる。即ち、二値化処理を行う事で、検出対象の抽出を容易にできる為、その後に前記植生指数を算出する場合等にも処理が容易となり、高速に処理（又は実行）する事が可能となる。

　また、前記赤色画像及び近赤外画像は、それぞれを複数の領域に区画し、前記画像解析手段は、当該区画した領域ごとに植生指数を算出し、前記莢果を撮影した領域全体について、領域ごとに算出した植生指数の平均値を算出するのが望ましい。区画する領域は、撮影手段が撮影した画像において、莢果が写っている領域内であり、よって、当該莢果が映し出されている領域は抽出されている事が望ましい。撮影画像を解析する際、撮影画像に複数含まれる莢果は、各莢果ごとに抽出されている事が望ましいことから、取得した撮影画像についてラベリング処理を行って莢果の輪郭形状を特定し、それぞれの莢果ごとの画像を作成するのが望ましい。

　当該区画した領域ごとに植生指数を算出する事で、撮影したそれぞれの莢果ごとに、黒点や変色、或いは割れ等の不良を検査・判断する事ができる。即ち、区画した領域ごとに－１～＋１の間に正規化した数値として算出される為、前記不良の程度を認識する事ができる。例えば、黒点の大きさや変色の範囲、或いは割れの有無、等を認識する事ができる。よって、当該区画した領域ごとに植生指数を算出する事で、不良と認識された莢果の全てを廃棄する必要が無く、例えば不良の程度によって出荷先を変える等により、育成した莢果を無駄なく利用する事が可能になる。

　そして、領域ごとに算出した植生指数の平均値を算出する事で、検査・判断の対象となる莢果の活性度や収穫後の経過時間（即ち、鮮度）などを判断する事ができる。即ち、区画された領域ごとの植生指数の平均値をとる事で、１又は複数個の莢果を、撮影した領域全体における１つのグループとして認識し、その１つのグループの植生指数を算出する為に、領域ごとに算出した植生指数の平均値を算出する。領域ごとに算出した植生指数の平均値を算出する事で、当該グループの植生指数として認識でき、当該グループ内の莢果の活性度や、水分含有量、窒素量、繊維量、及び蛋白含有量の少なくとも何れかの評価項目を検査・判断する事ができる。よって対象となる莢果を鮮度、食味、栄養状態、等によって選別する事が可能になる。

＜莢果の割れ検査＞
　また、莢果の割れの有無の検査・判断を更に容易なものとする為に、可視光領域の反射光からなる可視光画像（以下、『RGB画像』とも言う）を利用するのが望ましい。即ち、前記画像取得手段によって可視光領域の反射光からなる可視光画像も取得する。前記画像解析手段では、当該可視光画像における可視光領域の反射率から、赤色画像における赤色波長領域の反射率を減算し、その値を前記植生指数の値に加算した値を利用する。例えば枝豆の割れの検査・判断をする場合にも、緑色と白色の２色のみで画像が構成され、割れが生じている部位は白色で表示できる為、視覚的にも判断しやすいものとなる。単なる前記植生指数で示された画像では、枝豆の緑色部の赤色反射量が少なく、非緑色部での赤色反射量が多い。即ち、枝豆の割れの箇所、及び枝豆以外の部分が赤色で示される為、割れの判断がし難いものとなる。そこで、可視光画像における可視光領域の反射率から、赤色画像における赤色波長領域の反射率を減算する事で赤色反射量を減らし、その値に植生指数の値（特に二値化処理したものが望ましい）を加算する事によって、非緑色部である割れの箇所を白色で示すことができる。これにより肉眼での認識を容易なものとする事ができる。なお、割れの判断に関しては、前記のように領域に分けず、撮影した領域全体について植生指数を算出してから、上記方法によって色の違いを確認する事でも検査・判断は可能となる。

＜莢果選別装置＞
　そして本発明では、上記のように構成した莢果選別システムを、莢果の搬送手段などと組み合わせる事で、連続的に莢果を選別することのできる莢果選別装置とすることができる。即ち、前記課題の少なくとも何れかを解決する為に、検査対象物を搬送する搬送手段と、当該搬送手段で搬送される検査対象物を撮影する撮影手段と、当該撮影手段が撮影した画像を取得すると共に、当該画像を解析する莢果選別手段とを具備しており、当該莢果選別手段として、上記本発明にかかる莢果選別システムを使用した莢果選別装置を提供する。

　かかる莢果選別装置によれば、検査対象である莢果を、搬送手段によって連続的に搬送し、これを撮影手段で撮影して、本発明にかかる莢果選別システムによって解析する事で、規格外の莢果を見つけ出し、必要に応じて排除する事ができる。

　また、上記本発明にかかる莢果選別装置では、更に、搬送手段で搬送される検査対象物の内、莢果選別手段において指定された検査対象物に対してエアーを吹き付け、当該検査対象をエアーで吹き飛ばす排出手段を具備する事が望ましい。その際、前記莢果選別手段における画像解析手段は、撮影画像から個々の莢果の長さと、個々の莢果の幅を計測するサイズ検査の結果から、長さと幅の中心を特定する事ができる。そこで当該排出手段は、莢果選別手段において指定された検査対象物の長さと幅の中心に向かってエアーを吹き付けるように構成するのが望ましい。

　排出手段を設ける事により、莢果選別システムによって規格外と判断された莢果を、搬送ラインから排出する事ができ、規格に合った莢果だけを選別することができる。また、この莢果選別システムを構成する画像解析手段は、撮影画像から個々の莢果の長さと、個々の莢果の幅を計測するサイズ検査の結果から、長さと幅の中心を特定することができ、よって前記排出手段は、莢果選別手段において指定された検査対象物の長さと幅の中心に向かってエアーを吹き付けることができる。これにより規格外の莢果の中心に対してエアーを吹き付ける事ができ、これにより、規格外の莢果を確実に抜き出すことができる。これにおり、大量の選別が必要な場合であっても、精確且つ確実に、収穫した莢果の検査・選別を行う事ができる。

　上記本発明の枝豆選別システムによれば、莢果に照射した光の反射光を撮影した画像に基づいて、莢内における種子の収容状態（特に粒数や大きさ）を検査することができ、透過光の撮影の必要性を無くすことができる。また、品質管理の為に撮影した画像を保存する場合であっても、反射光を撮影した画像を保存すれば良い事から、画像の保存領域を大幅に減じる事ができる。そして検査では、反射光を撮影した１種類の画像を解析すれば済む事から、収穫時期が一定の期間に制限されており、短い期間内に大量の莢果を検査・選別しなければならない莢果であっても、収穫後の検査・選別を、迅速且つ大量に行う事ができる。

　また、撮影手段が撮影した莢果の反射画像、即ち赤色波長領域の反射光からなる赤色画像と、近赤外波長領域の反射光からなる近赤外画像の画像に基づいて植生指数を算出すれば、この指数により莢果のキズや活性度等を検査・選別できる。即ち、より正確に外観の検査・選別を実施でき、特にキズなどを目視同様に検査・選別できる。

　また、当該植生指数を利用することにより、莢果の外観（特に割れ）のみならず、更に莢果の活性度、水分含有量、窒素量、繊維量、及び蛋白含有量の少なくとも何れかを検査又は選別する事ができる。よって、収穫後の時間の経過や、莢果の乾燥度（水分含有量）等を細かく認識出来る為、品質管理をより徹底させる事ができる。

　さらに、上記本発明にかかる莢果選別システムを使用した莢果選別装置を利用する事で、収穫した莢果の検査・選別を、迅速且つ大量に行う事ができるようになる。即ち、本発明では、反射光画像を使用し、植生指数を算出する事により、莢内における種子の収容状態（特に粒数や大きさ）、莢の欠けやヒゲの有無、莢果の活性度や、水分含有量、窒素量、繊維量、及び蛋白含有量を検査する事ができる。これにより、収穫後の検査・選別を、何段階にも分けて行う必要が無くなる。よって本発明にかかる莢果選別装置を利用する事で、収穫時期が一定の期間に制限されており、短い期間内に大量の莢果を検査・選別しなければならない莢果であっても、収穫後の検査・選別を、迅速且つ大量に行う事ができるようになる。

本実施の形態にかかる枝豆選別システムを用いて構成した枝豆選別装置を示す全体構成図 ハードウエア構成を示すブロック図 基本処理の内容を示すフローチャート 基本処理の内容を示す処理内容図 粒数検査を行う処理内容を示すフローチャート 粒数検査を行う処理内容図 １粒検査の処理の内容を示すフローチャート 欠け検査における処理内容を示すフローチャート 欠け検査を行う処理内容図 ヒゲ検査における処理内容を示すフローチャート ヒゲ検査を行う処理内容図 植生指数算出処理の内容を示すフローチャート 植生指数算出処理の内容を示す処理内容図 黒点・変色・割れ検査を行う処理内容を示すフローチャート 黒点・変色・割れ検査におけるさや領域/黒点領域を指定する様態を示す正面図 活性度検査の処理の内容を示すフローチャート 第２の実施の形態にかかる割れ検査の処理の内容を示すフローチャート 実施例１で使用したIRフィルターの透過率を示すグラフ 実施例１で使用した３種類の供試試料を示す斜視図 実施例１における撮影で得られた枝豆莢のIR画像及びRGB画像 実施例１における画像処理ソフトで得られたNDVI(植生指数)画像 実施例１におけるNDVI(植生指数)を基にした２値化処理画像 実施例１における、RGB画像から赤色の値を減らしたものに、２値化処理したNDVI画像を被せた画像

　以下、図面を参照しながら本発明にかかる莢果選別システムの1つの実施の形態を具体的に説明する。特に本実施の形態では、枝豆を選別する莢果選別システムについて、具体的に説明する。

　図１は、本実施の形態にかかる莢果選別システム（以下では、「枝豆選別システム40」とする）を用いて構成した莢果選別装置（以下では、「枝豆選別装置」とする）を示す全体構成図である。この枝豆選別装置は、選別対象となる枝豆Wを収容すると共に、選別ラインに連続的に供給するホッパー部10と、ホッパー部10から供給された枝豆Wを搬送する第一搬送手段20と、この第一搬送手段20で搬送された枝豆Wを反転させて搬送する第二搬送手段30と、それぞれの搬送手段に設けられた撮影手段21，31と、撮影手段21，31が撮影した画像を解析する枝豆選別システム40と、各搬送手段に設けられて搬送速度又は搬送量を検知する搬送検出手段22，32と、各搬送手段の終端側における枝豆Wの落下部に設けた排出手段23，33とで構成している。

　前記ホッパー部10は、選別対象となる枝豆W（莢果）を収容する空間部を備えている。またホッパー部10の内部に収容されている枝豆Wを、第一搬送手段20と第二搬送手段30とからなる搬送手段に供給する為の排出構造を伴っている。かかる排出構造は、当該ホッパー部10の底面に設けられたベルトコンベアー等であり、ホッパー部10内に収容している枝豆Wを前方に移動させる。但し、このホッパー部10は、内部に収容している枝豆Wを、検査を実施する搬送手段に送り出す事ができれば他の構成であって良い。

　ホッパー部10から排出された枝豆Wは、第一搬送手段20と第二搬送手段30とからなる搬送手段に供給される。その際、ホッパー部10から落下した枝豆Wが相互に重なる事が無いように、落下部分には、ホッパーから排出された枝豆Wを振動させながら搬送する振動手段（図示せず）を設けるのも望ましい。

　前記第一搬送手段20及び第二搬送手段30は、それぞれベルトコンベアー等によって形成する事ができる。ホッパー部10から供給された枝豆Wは、最初に第一搬送手段20によって搬送される。この第一搬送手段20には、望ましくは搬送する枝豆Wの向きを一定方向に揃える為の整列部を伴う事ができる。かかる整列部は、例えば枝豆Wの搬送方向に長尺な整列板や線材（図示せず）を所定の間隔で配置して形成できる。搬送される枝豆Wは、この整列板に当たることにより、搬送方向に向かって縦向きになるように向きが修正される。

　上記第一搬送手段20の上方には、第一搬送手段20によって搬送されている枝豆Wを撮影する為の撮影手段21が設けられている。この撮影手段21としては、カメラやビデオカメラを使用する事ができる。この撮影手段21は、搬送される枝豆Wを静止画又は動画で撮影し、その撮影画像を枝豆選別システム40に直接取り込んで解析できるように、撮影画像を電子データで取得することが望ましい。そして、この撮影手段21の撮影範囲に存在する枝豆Wを、安定的に照らす照明を設ける事も望ましい。枝豆Wを照らす光の明るさを一定にすることにより、撮影画像の輝度を安定させるためである。

　上記撮影手段21で撮影された画像は、コンピュータなどで構成されている枝豆選別システム40に送られる。枝豆選別システム40では、取得した撮影画像に基づいて、選別対象である枝豆Wを検査し、少なくとも枝豆Wの大きさや粒数、或いは欠けやヒゲの有無、黒点の有無や変色、及びわれの有無や活性度の少なくとも何れかを検査し、規格から外れる枝豆Wを特定する。この枝豆選別システム40の構成や処理については、後述する。

　第一搬送手段20には、その搬送速度や搬送距離を取得する為の搬送検出手段22を設けている。枝豆Wの搬送情報と撮影画像とを関連付けることにより、上記の枝豆選別システム40で選定した枝豆W（規格外の枝豆W）が、どこを搬送されているのかを特定する為である。搬送過程において、枝豆選別システム40で選定した規格外の枝豆Wを特定することで、当該規格外の枝豆Wを搬送ラインの外に排出する事もできる。かかる搬送検出手段22としては、ロータリーエンコーダやリニアエンコーダなどを使用する事ができる。

　本実施の形態において、前記規格外の枝豆Wは、第一搬送手段20の終端から落下する際に排除される。即ち、第一搬送手段20の終端には、搬送している枝豆Wを第二搬送手段30に落下させる落下部が設けられており、当該落下部から落下する際、前記枝豆選別システム40で特定した枝豆W（規格外の枝豆W）を、排出手段23によって搬送ラインから排出する。かかる排出手段23は、特定した枝豆Wに対してエアーを吹き付けて、搬送ラインの外に吹き飛ばすように構成する他、特定した枝豆Wを取り出すことのできる構成で形成する事ができる。

　以上により、第一搬送手段20によって搬送され、且つ枝豆選別システム40によって規格外と判断された枝豆Wは、排出手段23によって排出され、残った枝豆Wが第二搬送手段30によって搬送される。この第二搬送手段30で搬送する際、枝豆Wは、第一搬送手段20における搬送状態から反転させた状態で搬送するのが望ましい。したがって、第一搬送手段20の後、又は第二搬送手段30の始端側（第一搬送手段20側）には、搬送する枝豆Wを反転させる反転手段を設けるのが望ましい。かかる反転手段は、例えば搬送する枝豆Wを落下させる時の落差を利用して反転させる他、搬送される莢果の何れかの面にベルトやローラーによる回転力を作用させて反転することもできる。

　この第二搬送手段30で搬送する枝豆Wも、前記第一搬送手段20における搬送と同じように選別される。即ち、第二搬送手段30で搬送する枝豆Wを撮影手段31で撮影し、その撮影画像を枝豆選別システム40で解析して、規格外の枝豆Wを特定する。その際、枝豆の搬送速度や距離は、ロータリーエンコーダからなる搬送検出手段32から取得する。そして当該規格外の枝豆Wは、搬送手段の終端において排出手段33によりエアーを吹き付けて排出する。かかる第二搬送手段30における処理は、前記第一搬送手段20における処理と同じであるから、図面では第一搬送ラインと同じ構成については符号に「１０」の値を加算して示し、その詳細な説明は省略する。

　次に、図２～２３を参照しながら、この枝豆選別装置において搬送される枝豆を検査する枝豆選別システムの構成と、その処理内容を具体的に説明する。

　図２は、本実施の形態に係る莢果選別システムを構成するコンピュータのハードウエア構成の例を示している。ただし、図２のコンピュータ５００は、当該莢果選別システムの代表的な構成を例示したに過ぎず、当該枝豆選別システムは、画像解析のための演算装置やメモリ及びプログラムを実行する限りにおいて、専用の装置として構成しても良い。

　この図２に示すコンピュータ５００は、ＣＰＵ５０１、メモリ５０２、音声出力装置５０３、ネットワークインタフェース５０４、ディスプレイコントローラ５０５、ディスプレイ５０６、入力機器インタフェース５０７、キーボード５０８、マウス５０９、外部記憶装置５１０、外部記録媒体駆動装置５１１、およびこれらの構成要素を互いに接続するバス５１２を含んで構成されている。

　ＣＰＵ５０１は、コンピュータ５００の各構成要素の動作を制御し、ＯＳの制御下で、上記枝豆選別システムの各処理の実行をコントロールし、その動作を制御する。メモリ５０２は通常、不揮発性メモリであるＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、および揮発性メモリであるＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）から構成され、記憶部に相当する。ＲＯＭには、コンピュータ５００の起動時に実行される枝豆選別システムで実行されるプログラム等が格納される。ＲＡＭには、ＣＰＵ５０１で実行され、撮影手段から取得した画像を解析し、枝豆の大きさや粒数を算出し、また欠けやヒゲ・黒点・変色・割れの有無、又は活性度等を判断するためのプログラムや、それらのプログラムが実行中に使用するデータが一時的に格納される。

　音声出力装置５０３は、スピーカ等の、音声を出力する機器であり、ネットワークインタフェース５０４は、各種の機器と情報交換する為のネットワーク５２０に接続するためのインタフェースである。ディスプレイコントローラ５０５は、ＣＰＵ５０１が発する描画命令を処理するための専用コントローラであり、表示部としてのディスプレイ５０６に描画データを出力する。かかるディスプレイ５０６は、ＬＣＤ等で構成される表示装置である。

　入力機器インタフェース５０７は、キーボード５０８やマウス５０９、或いはタッチパッドなどの入出力デバイスから入力された信号を受信して、その信号パターンに応じて所定の指令をＣＰＵ５０１に提供する。キーボード５０８やマウス５０９は、プログラムの実行や設定などの操作を行う場合に必要となる。

　外部記憶装置５１０も本明細書における記憶手段の範疇に含まれる。かかる外部記憶装置５１０は、たとえばハードディスクドライブ（ＨＤＤ）のような記憶装置で構成することができる。この装置内には上述したプログラムやデータが記録され、実行時に、必要に応じてそこからメモリ５０２のＲＡＭにロードされる。

　外部記録媒体駆動装置５１１は、ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）、ＭＯ（Ｍａｇｎｅｔ－Ｏｐｔｉｃａｌ　Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）などの可搬型の外部記録媒体５３０の記録面にアクセスして、そこに記録されているデータを読み取る装置である。

　本実施の形態にかかる枝豆選別システムは、上記のように構成されるコンピュータを用いて形成され、以下の図３～２３に示す処理を実行する。

≪基本処理≫
　図３は撮影手段から取得した撮影画像について実行する基本処理の内容を示すフローチャートであり、図４はこの基本処理の内容を示す処理内容図である。基本処理を実行すると、最初に枝豆選別システムは、複数の枝豆が写っている撮影画像を撮影手段から取得して、メモリに記録する（S11）。そして、図４（B）に示す様に、複数の枝豆が写っている画像に対し、枝豆ごとにラベリング処理を行い（S12）、枝豆ごとの画像を抽出する。そして抽出した枝豆ごとの画像について角度補正処理を行う（S13）。この角度補正処理では、各枝豆の画像において、長尺な向き（長さ方向）が横を向くように、画像処理を行う。そして図４（C）に示す様に、角度補正を行った画像に対して二値化処理を行い（S15）、その後における各検査で、必要な数値や場所の特定や取得を迅速に行えるようにしている。

≪粒数検査≫
　図５は、粒数検査を行う処理内容を示すフローチャートであり、図６はこの粒数検査を行う処理内容図である。この粒数検査では、最初に前記基本処理を行った画像（二値化処理後の画像）を検査画像として取得する。この検査画像は、搬送手段を搬送される枝豆ごとに作成されることから、この粒数検査はすべての枝豆について実行される。

　検査画像を取得すると、コンピュータで構成されている枝豆選別システムのＣＰＵは、図６（Ａ）に示す様に、検査画像において枝豆が写し出されている領域における長さ方向のピクセル数を判読し、これに基づいて当該枝豆の長さを演算する（Ｓ52）。この演算は、撮影画像を実測値にする為の係数を乗算することによって算出する事ができる。そして、この演算により算出した枝豆の長さを取得すると、この長さに基づいて粒数を算出する（Ｓ54）。この粒数の算出は、図６に示す様に、長さとの関係で粒数を規定したファイル41を検索して抽出する他、ファイルシステムを検索するまでもなく、長さの値によって粒数を特定する値を返すようにプログラムを作成しておくこともできる。

　この演算の結果として得られる粒数に対しては、１粒か否かが判断される（Ｓ56）。これは枝豆の場合、１粒のものは商品価値が低い事もあることから、商品価値を高める為に種子が１粒の枝豆を選別して取り除くためである。この莢に収容される種子が１粒か否かの判断では、先ず前記粒数判断において、１粒と判断されたものが除かれる。よって、当該莢内の種子が１粒と判断された枝豆は、規格外品と判断され、排出手段により排出対象として特定される。

　そして、前記粒数判断において、莢内に収容された種子が２粒以上と判断された枝豆は、その粒数に応じて、領域が分割される（Ｓ58）。図６では、特に２粒と判断された例を示している。この為、検査画像は、図６（Ｂ）に示す様に、長さ方向に２つの領域（Ａ1及びＡ2）に分割されている。次にそれぞれの領域において、最も幅の値が大きい地点を凸部として設定する。図６（Ｃ）では、第一の領域Ａ1において最も幅が広い地点を第一の凸部Ｃ1として設定し、第二の領域Ａ２において最も幅が広い地点を第二の凸部Ｃ２として設定している。そして夫々の凸部における値（幅）を算出する（Ｓ59）。

　次に、図６（Ｄ）に示す様に、夫々の凸部（Ｃ1及びＣ2）の間ＳＡの幅を演算し、図６（Ｅ）に示す様に、各凸部の幅よりも小さい値で、且つ幅が最小値となる地点を凹部として設定し、その幅を算出する（Ｓ60）。そして凹部の有無を判断し（Ｓ61）、凹部を算出できる場合には、莢内に２粒以上の種子が入っており、規格に合った枝豆として、この粒数検査では規格内と判断する（Ｓ62）。一方、凹部が算出できない場合には、莢内の種子が１粒の枝豆と判断し、規格外であると判断して、排出手段により排出対象として特定する。即ち枝豆選別システムは、莢の長さから、莢内の種子の数を２粒と判断した結果（図７（Ａ））、前記同様に凸部及び凹部を特定する処理を実行する。具体的には、当該枝豆の画像を２つの領域（Ａ1及びＡ2）に分割し（図７（Ｂ））、それぞれの領域において最も幅が広い領域を、それぞれの凸部（Ｃ1及びＣ2）に設定する（図７（Ｃ））。そして、この凸部同士の間であって、それぞれの凸部よりも狭く、且つ最も狭い幅の位置を凹部に設定する（図７（Ｄ））。しかし莢内の種子が１粒の場合には、この凹部の幅は、何れかの凸部と同じ幅になってしまうことから、当該凹部を設定する事ができない（図７（Ｅ））。よって、この場合には、莢内の種子が１粒と判断し、規格外の枝豆として特定する。

　以上の様な処理によって粒数検査を実行することにより、処理の高速化を達成する事ができる。即ち、莢の長さによって、莢内の種子が１粒の枝豆を一次的に排除していることから、検査対象を減じる事ができ、これによって処理の高速化を図る事ができる。更に、長さでは規格内の枝豆について、更に凸部及び凹部を検査する事により、長さの規格は充たしながらも、実際には莢内の種子が１粒の枝豆を抽出する事ができ、選別の精度を大幅に向上させることができる。よって、上記の処理によって粒数検査を実行する事により、高速かつ正確に枝豆（莢内の種子が１粒の枝豆）を選別する事ができる。

≪欠け検査≫
　また、前記枝豆選別システムは、基本処理を行って作成した検査画像を取得する事により、更に欠け検査を実行する事ができる。この欠け検査では、枝豆における莢に欠けが有るか否かを検査するものであり、本実施の形態では、検査画像における枝豆の幅の変化量からこの欠けの有無を判断している。

　図８は、この欠け検査における処理内容を示すフローチャートであり、図９はこの欠け検査を行う処理内容図である。図８に示す様に、この欠け検査の実行により、基本処理で作成した検査画像を読み込む（Ｓ81）。そしてこの検査画像における幅の変化が大きい領域、即ち、長さ方向における両端側の所定の領域を除いた範囲を検査領域に指定する（Ｓ82）。但し、この検査領域の指定に際しては、莢の幅を読み取るほか、全体の長さにおける割合で指定する事もでき、例えば枝豆の画像における全体長さの左右５％を除いた範囲を検査領域に指定する事もできる。

　検査領域を指定した後は、その検査範囲内において検査の基準となる任意の位置を指定し（Ｓ83）、当該基準位置の幅を演算して、これを基準幅に設定する（Ｓ84）。そして、この基準位置から、任意に定めた方向に所定量移動した地点における幅を比較幅として設定し、この比較幅の値を順次取得する。本実施の形態では、基準位置から左側に向かって所定量（例えば２ピクセル）ずつ移動した位置における幅を比較幅として順次取得している（Ｓ85）。そして、取得した基準幅と夫々の比較幅との差分を算出し（Ｓ86）、これを予め設定した許容値と比較する（Ｓ87）。この基準幅と夫々の比較幅との差分を算出に際しては、単純に、基準幅と夫々の比較幅の差分を算出する他、それぞれの比較値で算出した差分の変化量を算出する事もできる。この場合、差分の変化量についての許容値を予め設定し、変化量が許容値を超える場合に規格外の判定を行う事もできる。

　上記の差分と許容値の比較の結果、当該差分が許容値を超える場合には、基準値に比べて急激に幅が狭くなっていることを示している為、当該比較値の箇所に欠けが存在すると判断している。よって、この差分が許容値（あらかじめ設定している許容値）を超える場合には、規格外の判定を行う（Ｓ89）。一方、当該検査領域における任意の基準位置に基づいて算出した比較幅の差分が許容値以下である場合には、当該検査領域において次の基準位置を設定する（Ｓ90）。即ち、まだ検査していない範囲に新たに基準位置を設定する。新たに設定する基準位置は、その前に設定した基準位置に、任意の数を加算した分だけ長さ方向に移動した位置であり、当該位置を新たな基準位置として、再び比較幅との差分を算出し、その値を許容値と対比して、規格内か規格外かを判断する。莢果の内、特に枝豆は、莢内に種子が存在するか否かによって幅が大きく変化する。よって、何れか一つの地点を基準位置としたのでは、比較値との差分も大幅に変化する事になる。その結果、前記凸部と凹部における正常な形状変化なのか、或いは欠けが存在するのかを判断するのが困難になる。そこで、本実施の形態では、１つの枝豆の検査に際して、欠けの有無を検査する際に設定する検査領域内に複数の基準位置を設定し、それぞれの基準位置ごとの幅と比較幅との差分を算出し、欠けの存在を検査するように構成している。

　そして、上記のように長さ方向に位置をずらしながら設定した基準位置ごとに、比較幅との差分を許容値と対比する。そして検査領域のすべてについて当該対比が完了した時点で、全ての基準位置において、比較幅との差分が許容値以下であれば規格内と判断して、検査している枝豆の欠け検査を終了する。

　以上の処理内容によって枝豆における欠けの有無を判断することにより、幅の変化量が大きい枝豆であっても、正確に欠けを検出する事ができる。また、基準位置を定めて、比較幅との差分を算出するだけである事から、その処理速度を高速化する事ができ、単位時間当たりの枝豆の選別量を多くする事ができる。

≪ヒゲ検査≫
　また、前記枝豆選別システムは、基本処理を行って作成した検査画像を取得し、更にヒゲ検査を実行する事ができる。このヒゲ検査では、枝豆の莢から線状に飛び出たヒゲ部が有るか否かを検査するものである。本実施の形態では、検査画像における枝豆の幅方向のエッジの数によって、このヒゲ部の有無を判断している。なお、このエッジとは、幅方向における輪郭の境界点のことであり、検査画像においては枝豆画像と背景とで色値が変化している地点として特定する事ができる。

　図１０は、このヒゲ検査における処理内容を示すフローチャートであり、図１１はこのヒゲ検査を行う処理内容図である。図１０に示す様に、このヒゲ検査の実行指令により、基本処理で作成した検査画像を読み込む（Ｓ101）。そして取得した検査画像について、図１１（Ｂ）に示す様に、長さ方向にエッジの数を検出する（Ｓ102）。具体的には、検査画像における枝豆の画像において、幅方向の輪郭に存在するポイント（以下「エッジ」とする）の数を検出する。そして、検出したエッジの数を判断する（Ｓ103）。このエッジの数の判断に際して、図１１（Ｃ）の符号Ｅ２で示す様に、エッジが２個であれば、枝豆における正常な莢の輪郭を示している事になる。そこで、このヒゲ部が存在しない枝豆については規格内の判断をする（Ｓ105）。一方で、符号Ｅ１で示す様に、エッジの数が３個以上、具体的には４個である場合には、莢の輪郭の他に飛び出ている部分が存在する事になる。この飛び出ている部分が枝豆におけるヒゲ部に相当する事から、エッジの数が４個になっている地点をヒゲ部が存在する地点として特定し、当該ヒゲ部の有無を判断する（Ｓ104）。

　そしてヒゲ部が存在すると判断した枝豆については、次に当該ヒゲ部の長さを算出する（Ｓ106）。このヒゲ部の長さの算出は、図１１（Ｃ）に示す様に、エッジの数が４個算出された地点からエッジの数が２個又は３個に収束する地点までの長さとして算出する。そして、この算出したヒゲ部の長さを、あらかじめ設定している許容値と比較し（Ｓ108）、ヒゲ部の長さが許容値以下である場合には、規格内と判断する。一方で、ヒゲ部の長さが許容値を超える場合には、規格外と判断して、前記排出手段における排出対象として記録する。

　以上の処理によって、単純にヒゲ部が有るか否かだけでなく、当該ヒゲ部の長さまでも検査する事ができることから、より正確な選別を実現する事ができる。なお、本発明にかかる莢果選別システム及び莢果選別装置は、上記実施の形態に示した態様に制限されることなく、種々変更を加える事ができる。例えば、粒数検査、欠け検査、及びヒゲ検査の少なくとも何れかを選択して実行するように構成したり、或いは各処理を実行するプログラムを別のロジックで構成して製造する事もできる。

≪植生指数算出処理≫
　図１２は撮影手段から取得した撮影画像について実行する植生指数算出処理の内容を示すフローチャートであり、図１３はこの植生指数算出処理の内容を示す処理内容図である。かかる植生指数算出処理を実行すると、最初に枝豆選別システムは、複数の枝豆が写っている撮影画像、具体的には赤色波長領域の反射光からなる赤色画像(図１３では『R画像』と表示)と、近赤外波長領域の反射光からなる近赤外画像(図１３では『IR画像』と表示)とを撮影手段から取得して、メモリに記録する（S111,S121）。そして、図１３（B）に示す様に、この複数の枝豆が写っている画像に対し、各枝豆ごとにラベリング処理を行い（S112,S122）、枝豆ごとの画像を抽出し、この抽出した枝豆ごとの画像について角度補正処理を行う（S113,S123）。この角度補正処理では、各枝豆の画像において、長尺な向き（長さ方向）が縦に向くように画像処理を行う。そして図１３（C）に示す様に、角度補正を行った画像に対して二値化処理を行い（S114,S124）、その後における各検査で、必要な数値や場所の特定や取得を迅速に行えるようにしている。即ち、上記二値化処理した赤色画像及び近赤外画像を使用して、図１３(D)に示す様に植生指数を算出して(S115)、検査画像として出力する(S116)。なお、本実施の形態では、上記ラベリング処理、角度補正処理、２値化処理を実施しているが、上記処理は必ずしも実施しなくとも植生指数を算出できる。

≪黒点・変色・割れ検査≫
　図１４は、黒点・変色・割れ検査を行う処理内容を示すフローチャートであり、図１５は黒点・変色・割れ検査におけるさや領域/黒点領域を指定する様態を示す正面図である。かかる黒点・変色・割れ検査では、まずカメラ等の撮影手段によって、対象となる枝豆の検査画像を取得し(S151)、取得した画像における莢領域、及び不良領域を指定する(S152)。なお図１５では、枝豆の莢領域61と、黒点の領域62を指定する様態を示しており、黒点検査を実施する場合の処理内容を示している。

　上記のように、莢領域および不良領域を指定した後、領域ごとの植生指数を算出する (S153)。なお、黒点・変色・割れ検査を実施する場合、必ずしも植生指数を算出せずとも黒点・変色・割れを検出する事は可能であるが、植生指数を利用する事によって肉眼で認識し易くなり、その後の処理を容易にすることができる。

　そして、莢全体に占める不良領域の比率を算出し(S154)、不良領域の比率を判断(S155)する事で、対象となる枝豆が規格内か否かを判断する事ができる。即ち、上記による不良領域の比率を算出する事によって、不良領域の比率が設定した許容値の範囲内か否かを判断する(S156)。対象となる枝豆の不良領域の比率が許容値内の場合には、規格内品としてその後の工程に搬送される(S158)。一方で、対象となる枝豆の不良領域の比率が許容値を超える場合には、規格外品として判断され、排出手段により排出対象として特定される(S157)。

≪活性度検査≫
　次に、対象となる枝豆の活性度検査を実施する場合について、図１６で示すフローチャートに基づいて説明する。かかる活性度検査では、まずカメラ等の撮影手段によって対象となる枝豆の検査画像を取得し(S171)、取得した画像における検査領域を指定する(S172)。そして、指定した領域ごとの植生指数を算出し(S173)、その領域ごとの植生指数の平均値を算出する(S174)。ここでは、領域ごとの植生指数の平均値をとる事で、１又は複数個の枝豆を、撮影した領域全体における１つのグループとして認識している。領域ごとの植生指数の平均値を算出する事で、当該グループの植生指数を認識でき、当該グループ内の枝豆の活性度を認識する事ができる。よって、対象となる枝豆の活性度を認識出来る為、活性度による選別が可能となる。

　そして、上記によって算出された活性度、即ち領域ごとの植生指数の平均値が、予め設定した許容値の範囲内か否かを判断する(S175)。その結果、対象となる枝豆の活性度が許容値内の場合には、規格内品としてその後の工程に搬送される(S177)。一方で、対象となる枝豆の活性度が許容値を超える場合には、規格外品として判断され、排出手段により排出対象として特定される(S176)。

≪可視光画像を利用した割れ検査≫
　次に、第２の実施の形態にかかる割れ検査の処理内容について、図１７で示すフローチャートに基づいて説明する。かかる第２の実施形態の割れ検査では、可視光領域の反射光からなる可視光画像を利用して、割れ検査を実施する。まず、撮影手段から複数の枝豆が写っている撮影画像、具体的には可視光波長領域の反射光を撮影した可視光画像(以下、『RGB画像』とも言う)と、近赤外波長領域の反射光を撮影した近赤外画像(以下、『IR画像』とも言う)とを取得する(S181,S191)。なお、上記画像を取得する際、撮影手段が撮影した枝豆の反射画像から、それぞれの波長領域のスペクトルを抽出して取得する他、撮影手段にカラーフィルターを設置して、前記の波長領域内の反射画像を撮影して使用する事もできる

　そして各々の画像において、対象となる検査領域を指定する(S182,S192)。検査領域を指定した後、カメラ視差によるピクセルのズレを修正する為に、取得したRGB画像及びIR画像について、画像合成処理（又はピクセルマッチング）を実施するのが望ましい(S183)。

　上記によって合成した画像において、植生指数を算出(S184)し、２値化処理を行う(S185)。一方で、合成した画像において可視光領域の反射率から赤色領域の反射率を減算する工程も同時に行う(S193)。そして、可視光領域の反射率から赤色領域の反射率を減算した値に、植生指数を２値化した値を加算(S186)する事によって、肉眼で認識できる割れの抽出が可能となる。

　そして、上記によって抽出された枝豆の割れの有無を判断する(S187)。その結果、対象となる枝豆に割れが無い場合には、規格内品としてその後の工程に搬送される(S189)。一方で、対象となる枝豆に割れが有る場合には、規格外品として判断され、排出手段により排出対象として特定される(S188)。

　実施例１では、上記枝豆の割れ検査が、肉眼で認識できる有効手法であるか否かを検証した。
＜使用機械＞
　本実施例では、枝豆のさやの４バンド画像を得る為、約1,470万画素のデジタルカメラ(CANON PowerShot G10)に、赤外線カットフィルタ（以下、『IRカットフィルタ』とも言う）を除去し、赤外線透過フィルター（以下、単に『IRフィルター』とも言う）を取り付けて赤外線画像（以下、単に『IR』画像とも言う）を取得した。なお、使用したIRフィルターはFUJIFILM製のIR-76,78,80,82,84,86,88,90,92,94であり、各々の透過率を図１８のグラフに示す。なお、このIRフィルターは700nm以下の短波長側の可視光を吸収し、赤外を通過するフィルムである。

　次に、無改造のデジタルカメラ(CANON PowerShot G10)でRGBの３バンド画像（以下、単に『RGB』画像とも言う）を取得した。この両画像は光軸がずれないように試料から高さ30cmの箇所に固定した条件で撮影した。

　なお、撮影したIR画像とRGB画像の４バンド画像処理では、両カメラのレンズ光軸が3次元空間で厳密に平行となることが困難であるため、画面上で異なった形で結像し、カメラ視差によるピクセルのずれも生じる。その為、処理を行うには画像の変形補正とRGB画像とIR画像の合成処理(ピクセルマッチング)が必要不可欠になる。そこで、取得画像のピクセルマッチングを行い、NDVI（植生指数）の算出と可視化を行った。このNDVI（植生指数）の算出と可視化の処理は次の手順で行った。即ち、まず1)処理・合成するRGB・IR画像を読み込み、2)RGB・IR画像から測定区画を指定する。次に、3)画像を合成し、4)合成した画像の歪みを補正する。そして、5)植生指数を算出・可視化・グラフ化を行った。

＜検証方法＞
　供試試料としては、枝豆（品種『秘伝』）を使用し、良品莢、肉眼で認識することのできる割れが有る莢、肉眼で認識することの難しい割れが有る莢、の３種類を用意した。本実験では、まず1)10cm四方の正方形を書いた白色画用紙の枠内に収まるように上記３種類の供試試料を置き（図10参照）、次に、2)ライトを設置し十分な光量を確保しつつ、IRフィルターを取り付けたデジタルカメラを三脚で固定し、撮影を行った。なお、枝豆莢からデジタルカメラまでの高さ、シャッタースピード、絞り(F値)は同条件で行った。そして、3)上記撮影をIRフィルター76～94にてそれぞれ行い、4)得られた画像について、NDVI（植生指数）の算出と可視化の処理を行い、枝豆の割れ判別の可否を検証した。

＜結果と考察＞
　図２０は本実験における撮影で得られた枝豆莢のIR画像及びRGB画像であり、図２１は画像処理ソフトで得られたNDVI(植生指数)画像である。また、図２２はNDVI(植生指数)を基にした２値化処理画像であり、図２３ではRGB画像から赤色の値を減らしたものに、２値化処理したNDVI画像を被せた画像を示している。

　図２１に示すように、撮影した画像を画像処理ソフトにかけたNDVI画像では、肉眼で認識することのできる割れは全ての画像で認識することができた。

　また、NDVI画像に対し２値化処理を施して肉眼で認識することのできない割れの認識の可否を検討した。その結果を図２２に示す。２値化処理では、単なるNDVI画像よりも肉眼で認識することのできる割れの認識が容易になった。なお、ライトの光量による影響を軽減する為にも、IR-86以下のフィルターを使用するのが望ましく、IR-86以下のフィルターを使用する事で莢の割れの認識が容易になることが確認できた。

　また、NDVI画像では、緑色部の赤色反射量が少なく、非緑色部での赤色反射量が多いという性質がある。この性質を利用して、RGB画像から赤色の値を大きく減らしたものに、２値化処理したNDVI画像を被せることで、非緑色である割れの認識の可否を検討したものを図２３に示している。結果、肉眼で認識することのできる割れは黒点の発生が無く、NDVI画像を２値化処理したものよりも容易に確認することができた。

　以上のことより、上記検証ではRGB画像から赤色の値を大きく減らしたものに、２値化処理したNDVI画像を被せる処理は、単なるNDVI画像、及びそれを２値化処理したものよりも、肉眼で認識できる割れの確認が容易であることが確認できた。即ち、上記処理によって枝豆を選別する事で、正確に且つ迅速に検査・選別する事が可能になる。

10　　ホッパー部
20　　第一搬送手段
21，31　　撮影手段
22，32　　搬送検出手段
23，33　　排出手段
30　　第二搬送手段
31　　撮影手段
32　　搬送検出手段
33　　排出手段
40　　枝豆選別システム
W　　枝豆

Claims (12)

1. 　莢付きの莢果を撮影した画像を解析する事で、当該莢果を検査又は選別する為の莢果選
   別システムであって、
   　撮影手段が撮影した画像を取得する画像取得手段と、画像取得手段が取得した画像を解析する画像解析手段とを備えており、
   　前記画像解析手段は、
   　　撮影画像に基づいて個々の莢果の長さと、個々の莢果の幅を計測するサイズ検査と、
   　　計測した莢果の長さに基づいて、莢の中に収容されている種子の数を算出する粒数検査と
   　を実行することを特徴とする莢果選別システム。
   
2. 　前記画像解析手段における粒数検査は、
   　当該粒数の数だけ個々の莢果の画像を長さ方向に分割して、当該分割した夫々の領域において幅が最大となる位置を凸部として設定すると共に、当該凸部間において幅が凹部より狭く且つ最小となる位置を凹部として設定し、当該凸部と凹部の幅を算出する、請求項１に記載の莢果選別システム。
   
3. 　前記画像解析手段は、撮影手段から取得した撮影画像についてラベリング処理を行い、それぞれの莢果ごとの画像を作成すると共に、各画像について角度補正を行い、角度補正を行った補正画像について、長軸方向となる長さと、短軸方向となる幅とを計測する、請求項１又は２に記載の莢果選別システム。
   
4. 　更に、前記画像解析手段は、
   　前記撮影手段から取得した撮影画像について、幅の変化量が所定の範囲である領域を検査領域として設定し、当該検査領域における任意の基準位置の幅を基準幅として取得すると共に、当該基準位置から一定方向に移動した位置における幅を比較幅として取得し、基準幅と比較幅との差分を算出した値を許容値と比較する欠け検査を行う、請求項１又は２に記載の莢果選別システム。
   
5. 　更に、前記画像解析手段は、
   　前記撮影手段から取得した撮影画像について二値化処理を行い、
   　莢の長さ方向に設定した任意の複数地点において、幅方向において色が変わるエッジ部分の数を検出し、当該エッジ部分の数が３個以上の地点をヒゲ部存在箇所として特定すると共に、且つ当該ヒゲ部存在箇所の始点と終点から、当該ヒゲ部の長さを算出する、請求項１又は２に記載の莢果選別システム。
   
6. 　前記画像取得手段は、
    赤色波長領域の反射光からなる赤色画像と、近赤外波長領域の反射光からなる近赤外画像とを抽出又は取得し、
   　前記画像解析手段は、前記サイズ検査及び粒数検査と共に、又は当該サイズ検査及び粒数検査に変えて、以下の数式１によって植生指数を算出し、当該植生指数の値により莢果を検査又は選別することを特徴とする、請求項１又は２に記載の莢果選別システム。
   

   

   ［式中、
   　　Ｒ:赤色画像における赤色波長領域の反射率
   　ＩＲ:近赤外画像における近赤外波長領域の反射率］
   
7. 　更に、前記画像解析手段は、画像取得手段が取得した赤色画像及び近赤外画像の夫々について二値化処理を行い、二値化処理した赤色画像及び近赤外画像を使用して、前記植生指数を算出する請求項６に記載の莢果選別システム。
   
8. 　前記赤色画像及び近赤外画像は、それぞれが複数の領域に区画されており、
   　前記画像解析手段は、当該区画した領域ごとに植生指数を算出し、前記莢果を撮影した領域全体について、領域ごとに算出した植生指数の平均値を算出し、莢果を検査又は選別する、請求項６に記載の莢果選別システム。
   
9. 　前記画像取得手段は、更に可視光領域の反射光からなる可視光画像を取得し、
   　前記画像解析手段は、当該可視光画像における可視光領域の反射率から、赤色画像における赤色波長領域の反射率を減算し、その値を前記植生指数の値に加算した値によって、当該莢果における割れの有無を検査・判断する、請求項６に記載の莢果選別システム。
   
10. 　検査対象物を搬送する搬送手段と、
    　当該搬送手段で搬送される検査対象物を撮影する撮影手段と、
    　当該撮影手段が撮影した画像を取得すると共に、当該画像を解析する莢果選別手段とを具備しており、
    　当該莢果選別手段として、請求項１、２、又は６に記載の莢果選別システムが使用されている、莢果選別装置。
    
11. 　更に、搬送手段で搬送される検査対象物の内、莢果選別手段において指定された検査対
    象物に対してエアーを吹き付け、当該検査対象をエアーで吹き飛ばす排出手段を具備しており、
    　前記莢果選別手段における画像解析手段は、撮影画像から個々の莢果の長さと、個々の莢果の幅を計測するサイズ検査の結果から、長さと幅の中心を特定しており、
    　前記排出手段は、莢果選別手段において指定された検査対象物の長さと幅の中心に向かってエアーを吹き付ける、請求項６に記載の莢果選別装置。
    
12. 　莢付きの莢果を撮影した画像を解析する事で、当該莢果を検査又は選別する為の莢果選別方法であって、
    　撮影手段が撮影した莢果の反射画像を取得し、取得した画像を解析することにより選別する処理を実行し、
    　前記取得する莢果の反射画像として、赤色波長領域の反射光からなる赤色画像と、近赤外波長領域の反射光からなる近赤外画像とを抽出又は取得し、
    　前記以下の数式１によって植生指数を算出し、当該植生指数の値により莢果を検査又は選別することを特徴とする、莢果選別方法。
    

    

    ［式中、
    　　Ｒ:赤色画像における赤色波長領域の反射率
    　ＩＲ:近赤外画像における近赤外波長領域の反射率］

Images