JPH0962839A - 農水産物の外観検査装置 - Google Patents

Abstract

(57)【要約】 【課題】 表面色の明度が低い対象物は、背景との明度
差が小さくなるため、撮像した画像からの形状抽出の精
度が低下し、検査結果が不正確になる場合があった。 【解決手段】 検査対象物２を搬送するコンベア１上に
照明器３を配設し、その上方であって検査対象物２の反
射光の光路上にハーフミラー４２を設置して、反射光を
２系統に分光して、それぞれをＣＣＤカメラ４３,４４
により撮像する。カメラ４３は可視光画像を、カメラ４
４は赤外光画像をそれぞれ画像処理部５へ送る。画像処
理部５は、２値化した赤外光画像から形状特徴量を計測
するとともに、赤外光画像を用いて可視光画像をマスキ
ングして、検査対象領域のみを取り出してから表面特徴
量を計測する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、農水産物を撮像し
た画像にもとづいて、形状、大きさ、色等から外観検査
や等級分けをする農水産物の外観検査装置に関する。

【０００２】

【従来の技術】従来の農水産物の外観検査装置として、
福田和彦，仁藤正夫，渡辺亮，“農水産物の色と形状に
よる加工選別システム”，富士時報,VOL.67 , No.9 ,19
94がある。これは、自動的に送られてくる検査対象の農
水産物をカメラにより撮像して得られた画像を処理し、
形状認識、色認識、表面検査を行うものである。これら
の装置では、検査対象物を搬送するために一般にコンベ
アが用いられており、検査対象物はコンベア上を搬送さ
れている状態で撮像される。検査対象物を撮像する際の
背景となるコンベアの表面は、通常、黒色または黒色に
近い色をしている。そのため、表面色の明度が高い一般
的な農水産物については、背景との明度差が大きくな
り、撮像画像の処理が容易である。

【０００３】

【発明が解決しようとする課題】しかしながら、このよ
うにコンベアの表面を黒色または黒色に近い色にした場
合、表面色の明度が低い検査対象物、例えば茄子やフ
ジ、スターキング等のリンゴを検査する場合、検査対象
物の表面色と背景となるコンベアの表面色との明度差が
少ないため、背景と検査対象領域との区分が不明確にな
って、撮像した画像から検査対象物の形状特徴量を計測
するのが不正確になったり、色、キズ、模様等の表面状
態量を計測するのが不充分になることがあった。そのた
め、検査結果の精度が低下して、後工程の選別や等級分
けに支障をきたすことがあった。本発明は上記課題を解
決するためになされたもので、その目的とするところ
は、表面色の明度が低い検査対象物に対しても、常に一
定精度の検査結果を得ることのできる農水産物の外観検
査装置を提供することにある。

【０００４】

【課題を解決するための手段】上記目的を達成するため
に、請求項１の発明は、農水産物をカメラにより撮像し
て得られた画像を処理して外観検査をする農水産物の外
観検査装置において、検査対象物からの反射光を２系統
の光路に分光するハーフミラーと、一方の光路上に設置
されて近赤外光領域のみを通過させる近赤外光フィルタ
と、他方の光路上に設置されて可視光領域のみを通過さ
せる可視光フィルタと、両光路の端部にそれぞれ設置さ
れたカメラと、一方のカメラにより撮像された近赤外光
画像の形状から検査対象の形状特徴量を計測する手段
と、他方のカメラにより撮像された可視光画像に２値化
した近赤外光画像を用いたマスク処理を施して検査対象
領域の画像のみを抽出する手段と、検査対象領域のみか
らなる可視光画像から検査対象物の表面特徴量を計測す
る手段とを備えて円形の検査対象物の外観検査をするこ
とを特徴とする。

【０００５】請求項２の発明は、請求項１の発明におい
て、ハーフミラーにより分光された光路のいずれか一方
にミラーを配置して両カメラによりそれぞれ撮像された
画像の位相を互いに一致させることにより非円形の検査
対象物の外観検査を可能にしたことを特徴とする。

【０００６】請求項３の発明は、請求項１または請求項
２の発明において、マスク処理前に、予め測定されてい
る両撮像画像の倍率の差異に応じ一方の画像を収縮処理
または膨張処理を施して倍率を一致させる手段を備えた
ことを特徴とする。

【０００７】請求項４の発明は、請求項１または請求項
２または請求項３の発明において、マスク処理前に、予
め測定されている両撮像画像の位置ずれに応じ一方の画
像を移動させて両画像を一致させる手段を備えたことを
特徴とする。

【０００８】

【作用】請求項１の発明においては、外観形状が円形を
した検査対象物に適用され、検査対象物からの反射光が
ハーフミラーにより透過光と反射光との２系統の光路に
分光される。分光された一方の光は近赤外光フィルタを
通過してからカメラにより撮像され、他方の光は可視光
フィルタを通過してからカメラにより撮像される。撮像
された近赤外光画像の形状から検査対象の形状特徴が計
測される。撮像された可視光画像に２値化した近赤外光
画像を用いたマスク処理が施されて検査対象領域の画像
のみが抽出される。抽出された検査対象領域のみからな
る可視光画像から検査対象物の表面特徴量が計測され
る。

【０００９】請求項２の発明においては、第１の発明で
ハーフミラーにより分光された２系統の光路は互いの位
相が反転するが、いずれか一方の光路にミラーが配置さ
れてさらに反転されることにより、両カメラの撮像画像
の位相が互いに一致する。それにより、非円形をした検
査対象物についてのマスク処理が可能になる。

【００１０】請求項３の発明においては、マスク処理前
に、予め測定されている両撮像画像の倍率の差異に応じ
て、一方の画像に収縮処理または膨張処理が施されて両
画像の倍率が一致する。

【００１１】請求項４の発明においては、マスク処理前
に、予め測定されている両撮像画像の位置ずれに応じ
て、一方の画像が移動されて両画像が一致する。

【００１２】

【発明の実施の形態】以下、図に沿って本発明の実施形
態を説明する。図１は請求項１の発明に係る第１の実施
形態の構成を示す説明図である。この実施形態は、リン
ゴ等の外観形状が円形をした農水産物を検査対象とした
ものである。図において、１はコンベアであり、検査対
象物２を連続搬送する。通常、コンベア１は、検査対象
物２の背景となるため、黒色系の明度の低い色が選ばれ
る。コンベア２の上方には、複数の照明器３が同心円上
に配設されて、検査対象物２を均等にかつハレーション
が起きないように照射する。この実施形態では、照明器
３として、可視光および近赤外光の領域を有する白熱ラ
ンプを用いている。

【００１３】さらに上方には、撮像部４が設置されてい
る。撮像部４は全体が暗箱４１により構成され、暗箱４
１の下部に形成された開口部に検査対象物２からの反射
光が入射される。暗箱４１内には入射光の光軸と４５度
の角度でハーフミラー４２が設置されて、入射光の一部
を水平方向に分光する。この実施形態では、ハーフミラ
ー４２として、ガラス板に金属を蒸着したものを用い、
可視光から近赤外光までを透過５０％、反射５０％に設
定しているが、プリズムを用いて分光することも可能で
ある。

【００１４】ハーフミラー４２により２方向に分離され
た両光路上にはＣＣＤカメラ４３,４４が配設されてい
る。ここで、ＣＣＤカメラ４３,４４の設置に際して、
両カメラが撮像して得られる検査対象物２の画像が、同
一大きさであるとともに同一位置となるように、倍率お
よび光軸位置が微調整される。ＣＣＤカメラ４３のレン
ズ４５の前部には近赤外光をカットするフィルター４７
が取り付けられており、ＣＣＤカメラ４３は可視光によ
り検査対象物２を撮像し、その画像信号ａを画像処理部
５へ送る。このＣＣＤカメラ４３は、カラーカメラまた
はモノクロカメラのいずれでも良い。

【００１５】ＣＣＤカメラ４４のレンズ４６の前部には
可視光をカットするフィルター４８が取り付けられてお
り、ＣＣＤカメラ４４は近赤外光により検査対象物２を
撮像し、その画像信号ｂを画像処理部５へ送る。このＣ
ＣＤカメラ４４には、モノクロカメラが用いられる。ま
た、暗箱４１内には両光路に直交する面に外乱光をカッ
トする遮光板４９が設置されている。なお、カメラ４
３,４４に取り付けられフィルター４７,４８を光路上の
他の位置に配設したり、ハーフミラー４２上に形成させ
ることも可能である。

【００１６】また、コンベア１には、検査対象物２が撮
像部４の真下の撮像位置に達したことを検知するセンサ
６が設置されて、検査対象物２を検知した信号ｃを画像
処理部５へ送る。画像処理部５は、信号ｃが入力された
タイミングで、画像信号ａ、ｂを取り込み、後述する画
像処理を行い検査対象物２に対する仕分け信号ｄを生成
して出力する。出力された仕分け信号ｄは、図示しない
選別装置等へ送られる。

【００１７】図２は、カメラ４３において撮像された可
視光画像を示し、その下方に、中心の走査線上の画像信
号のレベル分布を示す。レベル分布からも分かるよう
に、可視光画像は、背景部画像と検査対象物部画像との
レベル差が小さい。特に、検査対象物２の表面色が明度
の低い茄子やフジ等のリンゴであって、しかも背景のコ
ンベア１が黒色である場合はその傾向が著しい。なお、
従来装置では、この画像のみにより、検査対象物の形状
特徴量や表面特徴量を計測していた。

【００１８】図３は、カメラ４４において撮像された近
赤外光画像を示し、その下方に、中心の走査線上の画像
信号のレベル分布を示す。レベル分布からも分かるよう
に、近赤外光画像は、背景部画像と検査対象物部画像と
のレベル差が大きいため２値化が容易である。これは、
植物生体そのものの特性として表面からの近赤外光の反
射率が特に大きいことによる。つまり、人間の視覚でと
らえられる可視光では明度が低い検査対象物であって
も、近赤外光の領域では充分なレベルの反射光が得られ
る。もちろん、近赤外光では、表面の色から特徴量を検
出することは不可能であるが、背景画像中から検査対象
物の形状を抽出するには充分に利用可能である。

【００１９】すなわち、図３に示される近赤外光画像を
閾値Ｌにより２値化して検査対象物の形状を抽出してか
ら、検査対象物２の形状特徴量を計測することが可能で
あるとともに、２値化した画像をマスクパターンとし
て、図２の可視光画像をマスキングして背景画像部を除
去し、検査対象領域のみを抽出することが可能になる。
なお、マスク処理に際しては両画像の位置および倍率の
一致が必要がある。

【００２０】図４は、画像処理部５の構成を示すブロッ
ク図である。図において、５０１Ａ、５０１Ｂは、それ
ぞれカメラ４３,４４から送られた画像信号ａ、ｂをデ
ィジタル化するＡＤ変換器であり、ともに計測単位大き
さの画素に量子化して、画像メモリ５０２Ａ、５０２Ｂ
へ送る。画像メモリ５０２Ａ、５０２Ｂは、後述するコ
ンピュータ５０９の指示に従い、ディジタル化された画
像信号の書き込み、読み取りが行われる。切換器５０３
は、コンピュータ５０９の指示に従い、画像メモリ５０
２Ａ、５０２Ｂから読み取られた画像信号のいずれか一
方を選択して、後段の切出し部５０４へ送る。切出し部
５０４は、入力された画像信号を２値化して収縮・膨張
処理部５０５へ送る。

【００２１】収縮・膨張処理部５０５は、コンピュータ
５０９の指示に従い、近赤外光画像上の画素値が１であ
る検査対象物領域について、予め定められた収縮または
膨張処理を実行して、形状特徴抽出部５０６、マスク処
理部５０７へ送る。すなわち、撮像部４に設置されたカ
メラ４３,４４は、互いの倍率を機構的に微調整して
も、画素単位までは一致させることが困難である。そこ
で、一方の画像に収縮また膨張処理をすることにより、
両画像の大きさを一致させる。この収縮・膨張処理の画
素数については、後述する校正パターンを用いて予め算
出しておく。また、この収縮または膨張処理により、画
像周辺部の削除やスムージングをして計測の安定化をは
かることができる。

【００２２】形状特徴抽出部５０６は、入力された赤外
光の画像信号から画素値が１の検査対象物領域の形状を
抽出し、面積、長さ、幅、位置等の形状特徴量を計測し
て、コンピュータ５０９へ入力する。なお、形状特徴量
を計測する具体的な手順については既に公知となってい
るため、説明を省略する。マスク処理部５０７は、入力
された近赤外光画像信号の画素値が１である検査対象物
領域をマスクパターンとして、可視光画像をマスキング
することにより可視光画像中の検査対象物領域のみを取
り出して、表面特徴抽出部５０８へ送る。表面特徴抽出
部５０８は、入力された可視光画像から検査対象物の
色、キズ、模様等の表面特徴量を計測して、コンピュー
タ５０９へ入力する。なお、表面特徴量を計測する具体
的な手順については既に公知となっているため、説明を
省略する。

【００２３】コンピュータ５０９は、センサ６からの信
号ｃが入力されたタイミングにもとづき、画像メモリ５
０２Ａ、５０２Ｂへの画像信号の書き込みおよび読み出
し、切換器５０３の切り換え、収縮・膨張処理部５０５
の作動を指示するとともに、形状特徴抽出部５０６、表
面特徴抽出部５０８から入力された計測値にもとづき、
検査対象物の等級を判別して仕分け信号へ送る。なお、
ここで実行される検査対象物の等級判別についての具体
的な検査手順は既に公知となっているため、説明を省略
する。また、コンピュータ５０９にはＨＣＩ部５１０が
接続されており、このＨＣＩ部５１０によりオペレータ
とのインターフェースがとられる。

【００２４】図５は、撮像部４に設置されたカメラ４
３,４４が、それぞれ撮像した画像の倍率と位置を調整
するために用いられる校正パターンである。この校正パ
ターンは、可視光から近赤外光までの領域を一様かつ高
率に反射する白色の円形パターンを組み合わせて形成さ
れている。この校正パターンは、検査装置の設置時に、
カメラ４３,４４によりそれぞれ撮像されて、コンピュ
ータ５０９に入力される。コンピュータ５０９では、両
画像ごとに各円形の重心Ｇ₁〜Ｇ₄を算出してから全体重
心Ｇ₀を算出する。次に、両画像の全体重心Ｇ₀の位置座
標を比較して両画像の位置ずれ量Ｓを求める。

【００２５】こうして得られた位置ずれ量Ｓを、コンピ
ュータ５０９に記憶しておき、運用時に、画像メモリ５
０２Ａまたは５０２Ｂのアドレスのオフセット値とする
ことで、画像の位置ずれの補正が行われる。また、倍率
差を求める場合は、先ず、可視光画像用のカメラ４３に
より校正パターンを撮像し、各円形の重心Ｇ₁〜Ｇ₄の相
互間の距離Ｌａ₁〜Ｌａ₄を算出する。同様に、近赤外光
画像用のカメラ４４により校正パターンを撮像し、各円
形の重心Ｇ₁〜Ｇ₄の相互間の距離Ｌｂ₁〜Ｌｂ₄を算出す
る。次いで、次式により、両画像の倍率差Ｋを求める。

【００２６】

【数１】Ｋ＝｛（Ｌａ₁−Ｌｂ₁）／Ｌｂ₁＋（Ｌａ₂−Ｌ
ｂ₂）／Ｌｂ₂＋（Ｌａ₃−Ｌｂ₃）／Ｌｂ₃＋（Ｌａ₄−Ｌ
ｂ₄）／Ｌｂ₄｝／４

【００２７】次に、得られた両画像の倍率差Ｋを用い
て、収縮・膨張処理部５０５における収縮・膨張処理の
画素数を求める。具体的には、撮像された被計測対象領
域を円形と想定し、２値化された被計測対象領域の面積
を求めて等価円の半径Ｒを求める。この半径Ｒに倍率差
Ｋを乗算して、収縮・膨張処理量Ｚとする。Ｚが負の場
合は収縮処理、正の場合は膨張処理となる。なお、被計
測対象領域が円形でない場合は、その形状に応じて実験
的に求められる係数を、等価円の半径Ｒに乗じて補正し
てから収縮・膨張処理量Ｚを求める。

【００２８】この実施形態によると、検査対象物が撮像
時の背景となるコンベアの黒色と明度の差が余りない、
赤みの濃いリンゴであっても、可視光による撮像と同時
に近赤外光により検査対象物を撮像して背景との識別が
明確な近赤外光画像から形状特徴量を計測するととも
に、近赤外光画像をマスクパターンとして可視光画像を
マスキングして検査対象物領域のみを取り出し、背景画
像の影響を受けることなく表面特徴量の計測が可能にな
る。

【００２９】また、表面色の明度が高い検査対象物につ
いても、全く同様に、可視光と近赤外光により撮像して
両特徴量を計測することができる。その結果、この実施
形態の検査装置は、コンベアの色と検査対象物の色の明
度差の大小にかかわらず、種々の農水産物を常に安定し
た精度で検査して等級を判別し、仕分けすることができ
る。

【００３０】図６は請求項２の発明に係る第２の実施形
態の構成を示す説明図である。第１の実施形態では、外
観形状が円形をしたリンゴ等の農水産物を検査対象とし
たのに対し、この実施形態では、外観形状が非円形をし
た茄子等の農水産物を検査対象としたものである。各部
の構成は図１の実施形態と共通する部分があるので、共
通部分は図１と同一の符号を付して説明を省略し、異な
る部分についてのみ説明する。

【００３１】この実施形態は、図示されるように、撮像
部４内のハーフミラー４２により反射・分光された水平
方向の光路上に、ハーフミラー４２と平行にミラー４０
を配置し、その上方にカメラ４４をカメラ４３と平行に
配設したもである。このミラー４０を配置したことで、
ハーフミラー４２により反射された光がさらに反転され
るため、カメラ４４により撮像された画像はカメラ４３
に撮像された画像と位相が一致する。

【００３２】図７はカメラ４３において撮像された可視
光画像を示し、図８はカメラ４４において撮像された近
赤外光画像を示す。なお、図８中に破線で示した図形
は、ミラー４０が設置されない場合の画像を参考として
示したものである。これら両図に示されるように、第２
の実施形態においては、非円形の検査対象物を撮像した
場合であっても、両画像が一致することになる。すなわ
ち、図１に示され第１の実施形態の場合は、検査対象物
が円形に限定されていたが、この実施形態では、円形、
非円形を問わずに検査が可能になる。

【００３３】特に、円形の検査対象物の場合は、第１の
実施形態では、撮像時に検査対象物２の重心を光軸に一
致させる必要があるため検査対象物２の位置合わせの制
御が煩わしかったが、この実施形態では、重心が光軸か
ら多少ずれても、両画像がともに同方向にずれるため、
検査の支障になることはない。なお、第２の実施形態で
は、ミラー４０により一方の光路の画像を反転させてい
るが、撮像後にソフトウエアの処理により一方の画像を
反転させることもできる。また、カメラ４３,４４の取
り付け時に光軸まわりの回転位相が互いにずれた場合
も、校正パターンを用いて回転位相のずれを算出してお
くことにより補正することができる。

【００３４】

【発明の効果】以上述べたように本発明によれば、検査
対象物からの反射光をハーフミラーにより分光してフィ
ルタを透過させてから可視光画像および近赤外画像とし
て撮像する。この近赤外画像は、表面色の明度の低い検
査対象物からも充分に反射されるため、茄子や赤みの濃
いリンゴ等を検査する場合に、背景画像と検査対象画像
を明確に区分して、充分な精度で形状特徴量を計測する
ことが可能になる。

【００３５】同じく、可視光画像に２値化した近赤外光
画像を用いたマスク処理を施して検査対象物領域の画像
のみを抽出することにより、背景画像の影響を受けるこ
となく検査対象物の表面特徴量を計測することが可能に
なる。すなわち、表面からの反射光の明度が低い検査対
象物に対しても、本発明を用いることにより、正確に検
査対象物の画像のみを抽出して特徴量を計測することが
可能となり、検査対象物の表面色の明度に高低にかかわ
らず常に一定精度の検査結果を得ることができる。

【図面の簡単な説明】

【図１】請求項１の発明に係る第１の実施形態の構成を
示す説明図である。

【図２】図１において撮像された可視光画像を示す図で
ある。

【図３】図１において撮像された近赤外光画像を示す図
である。

【図４】図１の画像処理部の構成を示すブロック図であ
る。

【図５】図１の両カメラの倍率と位置を調整するための
校正パターンである。

【図６】請求項２の発明に係る第２の実施形態の構成を
示す説明図である。

【図７】図６において撮像された可視光画像を示す図で
ある。

【図８】図６において撮像された近赤外光画像を示す図
である。

【符号の説明】

１ コンベア ２ 検査対象物 ３ 照明器 ４ 撮像部 ５ 画像処理部 ６ センサ ４０ ミラー ４１ 暗箱 ４２ ハーフミラー ４３,４４ ＣＣＤカメラ ４５,４６ レンズ ４７,４８ フィルター ４９ 遮光板 ５０１Ａ,５０１Ｂ ＡＤ変換器 ５０２Ａ,５０２Ｂ 画像メモリ ５０３ 切換器 ５０４ 切出し部 ５０５ 収縮・膨張処理部 ５０６ 形状特徴抽出部 ５０７ マスク処理部 ５０８ 表面特徴抽出部 ５０９ コンピュータ ５１０ ＨＣＩ部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 円子 雄 神奈川県川崎市川崎区田辺新田１番１号 富士電機株式会社内

Claims (4)

【特許請求の範囲】
1. 【請求項１】 農水産物をカメラにより撮像して得られ
   た画像を処理して外観検査をする農水産物の外観検査装
   置において、 検査対象物からの反射光を２系統の光路に分光するハー
   フミラーと、 一方の光路上に設置されて近赤外光領域のみを通過させ
   る近赤外光フィルタと、 他方の光路上に設置されて可視光領域のみを通過させる
   可視光フィルタと、 両光路の端部にそれぞれ設置されたカメラと、 一方のカメラにより撮像された近赤外光画像の形状から
   検査対象の形状特徴量を計測する手段と、 他方のカメラにより撮像された可視光画像に２値化した
   近赤外光画像を用いたマスク処理を施して検査対象領域
   の画像のみを抽出する手段と、 検査対象領域のみからなる可視光画像から検査対象物の
   表面特徴量を計測する手段と、 を備えて円形の検査対象物の外観検査をすることを特徴
   とする農水産物の外観検査装置。
2. 【請求項２】 請求項１記載の農水産物の外観検査装置
   において、 ハーフミラーにより分光された光路のいずれか一方にミ
   ラーを配置して両カメラによりそれぞれ撮像された画像
   の位相を互いに一致させることにより非円形の検査対象
   物の外観検査を可能にしたことを特徴とする農水産物の
   外観検査装置。
3. 【請求項３】 請求項１または請求項２記載の農水産物
   の外観検査装置において、 マスク処理前に、予め測定されている両撮像画像の倍率
   の差異に応じ一方の画像を収縮処理または膨張処理を施
   して倍率を一致させる手段を備えたことを特徴とする農
   水産物の外観検査装置。
4. 【請求項４】 請求項１または請求項２または請求項３
   記載の農水産物の外観検査装置において、 マスク処理前に、予め測定されている両撮像画像の位置
   ずれに応じ一方の画像を移動させて両画像を一致させる
   手段を備えたことを特徴とする農水産物の外観検査装
   置。