JP5607156B2 - パターン認識を利用した検査装置及び方法 - Google Patents

Description

本発明は、光学式選別装置に関するものであり、特に穀物、米、木の実、豆類、果物や野菜等のバルク状の食品を選別するためのものである。

そのような装置の例は、国際特許明細書ＷＯ９８／０１８５７４及び欧州特許明細書０８３８２７４号に記載されており、それらの開示内容は参照によりここに組み込まれている。このタイプの装置では、選別される粒の流れが選別ゾーンに自由飛行状態で送られ、その選別ゾーンでは、除去すべき物品が飛行通路に隣接して配置されたエジェクターからのガス（通常は空気）の噴射によって排除される。そのような装置においては、要求される処理量は、通常加工工場のその他の場所での生産速度によって決定される。通常要求される処理量は高く、毎時トンで計測される。
また、英国出願９０１２３８８．６に基づいて我々が本出願と同日に行った国際特許出願「選別装置用欠陥ビューア」も参照の対象とし、その開示内容は参照によりここに組み込まれている。

食品の生産者は、総産出量を最大にしつつ選別後の生産物が合意等級或いは品質基準に適合するように、光学式選別装置を使用して生産物の流れから欠陥を除去する。品質基準は、通常様々なタイプの欠陥ごとに最大汚損レベルを規定している。例えば米の選別では、欠陥は、虫害により穴が空いた粒、白変した粒、黄色の粒であり、これら３種類の汚損物の最大レベルは、穴空きが＜０．１％、白変が＜１％、黄色が＜０．２％である。従って、最適な総産出量を得るために、オペレーターは選別後の米のこれら汚損物の濃度が上記最大許容レベルの直下となるように選別装置を設定しようとする。本明細書中で使用されているように、“欠陥”という用語は、選別中の物品の欠点、この理由或いはその他の理由によって不満足な物品全体、及び異物や異質な生産物を含むものとして理解されるべきである。

光学式選別装置は、流れている生産物のイメージをイメージ化ゾーンで連続的に生成する公知の技術を用いて、選別中の生産物の欠陥を識別し、そのイメージ中で識別された欠陥に従ってエジェクターに指示を出す。通例各選別基準は、異なるタイプの欠陥を対象にしている。しかしながら、ある特定の選別基準が別のタイプの欠陥を検出する可能性があり、それは物品が複数のタイプの欠陥を有しているためか、又は選別基準が完全には独立していないためである。例えば、穴の空いた粒の検出を意図した米の選別基準は、一部の白変した粒や黄色の粒を除去すべきものと識別する可能性がある。さらに、ある特定の基準が、典型的には１つのタイプの欠陥の大部分を識別するとしても、同時に一部の良好な生産物も誤って欠陥として分類するだろう。選別基準の感度が上がれば上がる程、除去される欠陥は増える。しかし、これによって、除去される良好な生産物の割合も増えるであろう。

生産物の流れから良好な生産物が意図せず除去される結果となる別の要因は、流れている生産物の密度である。処理量が適度な場合には、欠陥のある品は一般的に良好な生産物に囲まれており、エジェクターの動作によって完璧に分離することはできない。換言すれば、欠陥を狙うと、受容可能な物品が欠陥のある物品とともに取り除かれてしまう。このようなことは、エジェクターのノズルのサイズが、選別中の物品のサイズより小さい場合にさえも起こり得る。欠陥のある物品を確実に排除するために、ガス噴射のサイズ、つまりガス噴射が生産物の流れと交差するエリアを拡大して、欠陥のある物品の位置及び速度の双方における不確実性が考慮される。このエリアは、複数のエジェクターを同時に発射させること、及び／又はガス噴射の持続時間を延長することにより拡大される。エジェクターは、通常、生産物の流れの片側を横切って横方向に延びるように配列されるため、そのような配置においてガスが流れと交差するエリアは、複数のエジェクターを発射させることにより横方向に延ばされ、ガス噴射の持続時間を延長することにより縦方向に延ばされる。

上記問題は、オペレーターが個々の選別装置の設定を最適化するのを困難にしている。１つ或いは複数のどの選別基準を調整すべきか、その場合どのパラメーターをどの程度変更すべきか、或いはガス噴射が生産物の流れと交差するエリアのサイズを調整すべきか否かが、必ずしも明確であるとは限らない。本発明は、このような操作を容易にすることを目的とするものである。

コンピュータービジョンの分野では、パターン認識システムの出力をオリジナルのイメージデータに「逆投影」する技術がよく知られている。例えば、参照によりここに組み込まれている欧州特許明細書０６４５７２７Ａ２には、コンピューター支援診断システムにより、異常が疑われると識別されたＸ線イメージ内のエリアを強調表示する（逆投影する）装置が記載されている。

また、コンピュータービジョンの分野では、パターン認識システムを微調整する単純だが効果的な技術は、パターン認識システムの１つ或いは複数のパラメーターを調整する間に、オペレーターにこの逆投影されたデータの視覚的なフィードバックを提供することであるということがよく知られている。例えば、コンピュータービジョンとパターン認識に関するＩＥＥＥコンピューターソサイエティカンファレンスにおける、１９９９年のＭ．ジョーンズとＪ．レーグの論文第１巻、１〜２８０ページに記載された「スキンツール」であり、それは参照によりここに組み込まれている。

パターン認識システムは、典型的には、情報を抽出するための特徴抽出器と、所定の基準に従ってその情報を処理するための分類器とを含んでいる。そのようなシステムは、米国特許３，６３６，５１３及び３，６３８，１８８に記載されており、それらは参照によりここに組み込まれている。

産業上の多くの検査や選別作業においては、１つよりも多いタイプの欠陥がしばしば存在する。そのような場合にオペレーターが欠陥の識別を微調整するのを援助するのによく知られている方法は、検出された欠陥がそのタイプに従ってグループ配置されたイメージを表示することである。例えば、参照によりここに組み込まれているＵＳ７，４２４，１４６には、オペレーターが１つ或いは複数のパラメーターを変更することを可能とし、そして、その結果生じた様々なグループの構成への変化を表示するグラフィカルユーザーインターフェースが記載されている。

多くの選別の適用例において、必要処理量は既定の事項であり、その妥協点は品質と産出量との間におけるものである。参照によりここに組み込まれている米国特許２００５／０２７３７２０Ａ１には、一群の生産物のイメージデータを記憶し、パターン認識システムの１つ或いは複数のパラメーターを変更した場合、識別された欠陥の特徴（つまり品質管理）と排除された物品の数（つまり産出量）の点でどのような効果があるかを、オペレーターが見ることを可能にするユーティリティーが記載されている。

食品選別機械の分野において、参照によりここに組み込まれている英国特許明細書２，４５２，１６４Ａ及び米国特許７，２９８，８７０には、オペレーターが記憶イメージの表示を見ながら、１つ或いは複数の基準のしきい値を調整すると共に、検出された欠陥の位置を、欠陥を有する粒の輪郭と組み合わせて強調表示し、その粒にどのエジェクターが噴出するかを強調表示するためのグラフィカルユーザーインターフェースが記載されている。

本発明は、上述した種類の選別装置の一部となり得る、或いは生産物の流れの分析において個別に使用し得る検査装置を対象としている。本発明に係る装置は、物品の流れをイメージ化ゾーンへと送る供給システムと、イメージ化ゾーンで該流れからイメージデータを生成するカメラを備えている。コンピューターが、上記カメラからのイメージデータを処理する。本発明によると、上記のコンピューターは、上記イメージデータからエリア内における欠陥を識別して、識別された欠陥をランク付けするためのパターン認識システムを有しており、該システムは、複数の欠陥基準に従って動作するようにプログラムされている。上記コンピューターは、グラフィカルユーザーインターフェースに接続されていて、該インターフェース上に、上記イメージデータからのエリアをサブイメージつまりサムネイルとして表示する。そのとき、該サムネイルは、少なくとも２つの欠陥基準のそれぞれにおいて、上記エリア内で識別された欠陥のランクに従って配置されている。生成されたイメージデータからの上記エリアは、通常は識別された各欠陥の周りに、その欠陥を中心として定められている。これらのエリアつまりサムネイルは、オーバーラップしていても良い。

本発明の１つの実施形態においては、このパターン認識システムは、上記イメージデータから情報を抽出する特徴抽出器と、その情報を解釈する分類器を備えている。このようなシステムは、上記選別基準の１つが形状またはサイズである場合に使用され、形状による欠陥を有するサムネイルは、各欠陥又は各物品の輪郭を含んでいる。

本発明に係る装置のコンピューターには、通常、各基準における適格ランクを規定する感度レベルがプログラムされており、上記表示内において、上記イメージが適格ランクと同様のレベルに順に表示されるようにプログラムされている。通常、複数の基準において欠陥を示した物品から抽出されたサムネイルは、上記適格ランクに対して、その欠陥のランクが、少なくとも１つの他の基準におけるものよりも下位である場合にのみ表示される。上記感度レベルの少なくとも１つが変更可能であることが好ましい。

本発明に係る装置は、グラフィカルユーザーインターフェース上における表示が、欠陥を示していないサムネイルを含むように操作されても良い。これは、流れ内の全ての物品が効果的に欠陥を構成する或いは有するように、感度レベルを調整することにより実現可能である。適格ランクを規定する感度レベルがコンピューターにプログラムされている装置は、インターフェース上における表示が、適格ランクよりも下位にランク付けされた欠陥を有するサムネイルのみを表示するように操作されても良い。

本発明はまた、ウェブ材料を、カメラによって発見できる傷やその他の特徴について検査するよう構成された上述の装置の改良をも含んでいる。上記供給システムは勿論異なっており、上記ウェブの欠陥を識別するために、グラフィカルユーザーインターフェース上におけるサムネイルの表示にパターン認識システムが適用されている。

本発明に係る装置においては、通常、上記コンピューターは、可視イメージを形成せずに、物品の流れからイメージデータを生成し処理する。しかしながら、上記コンピューターは、そのような可視イメージを形成するために、上記の或いは別のもう１つのグラフィカルユーザーインターフェースに接続されていても良い。

本発明に係る装置は、選別機として機能させるため、イメージ化ゾーンの下流に選別ゾーンを設けたり、典型的にはガス（通常は空気）をパルス状に発射することにより、流れから選択的に物品を排除するエジェクターを、上記選別ゾーンに設けるたりすることができる。上記欠陥基準は選別基準であり、上記コンピューターはカメラからのイメージデータを処理し、選別基準に従ってエジェクターに指示するよう構成されている。好ましくは、上記選別基準は、汚点（ｓｐｏｔ）選別、色選別、サイズ選別、形状選別の内の少なくとも２つから成っている。

本発明を用いた選別装置においては、上記パターン認識システムは、典型的には、上記物品の流れにおける潜在的な欠陥に対応する画素を識別する色分類器と、識別された上記の潜在的な欠陥の画素が、各物品を排除する正当な理由となるか否かを決定する空間フィルターとから成っている。各物品の排除の理由となる潜在的な欠陥と潜在的な欠陥画素は、表示イメージ上において別々に強調表示することができる。

同日に出願した我々の同時係属している上述の出願に記載された装置と同様に、本発明に係る装置もまた、流れ内における物品の総数に対する排除された物品の割合を推定することを可能としている。上記イメージデータはコンピューターによって分析されて、欠陥があるか無いかに関わらず、生産物の流れ中の物品に対応する流れのイメージ内の画素が識別される。上記のコンピューターは、流れの中の排除される物品の割合の推定値として、そのような画素の総数に対する、排除される物品のイメージデータにおけるそのような画素数を算出するように構成されている。任意の流れのイメージからのそのような計算は勿論そのイメージに特有のものだが、そのような計算を連続することにより、生産物の流れ全体から排除される生産物の割合の有用な指針を得ることができる。こういった割合は、パーセンテージとして、インターフェース上に、１つの基準または組み合わせた基準毎の各感度設定に隣接するランク付けされたサムネイルの列に隣接させて表示することができる。

我々の国際特許明細書番号：ＷＯ２００４/０２４３５０に開示されたタイプの光学式選別機の側面図である。 コンピューター演算処理の詳細を示す図である。 特定のパターン認識システムの詳細を示す図である。 生産物の流れとパルス状のガスとの２つの交差エリアを示す上記グラフィカルユーザーインターフェースの部位を示す図である。 上記グラフィカルユーザーインターフェースによって表示される生産物の流れの表示イメージを示す図である。 図５の表示イメージから抽出された区画片のギャラリーを示す。 単一の選別基準に関する流れのイメージからのサムネイルの再配置を示す図である。 図７と同じ流れのイメージのサムネイルの再配置を示す図であるが、２つ目の選別基準を含むように拡張されている。 ２つの異なる選別基準に従って、流れのイメージのサムネイルの範囲内における欠陥をランク付けしたリストである。 感度の変更が、欠陥全体のランク付けをどのように変化させるかを示す図である。 感度の変更が、欠陥全体のランク付けをどのように変化させるかを示す図である。 サムネイル内の物品の形状に従って、サムネイルがどのようにランク付けられるかを示す図である。 ２つの重なったサムネイルを示す図である。 付加的な深刻な欠陥が示されたサムネイルを示す図である。

本発明の上述した特徴、その他の特徴及び利点は、添付の概略図を参照して単なる例示として示された下記の好適な実施形態の説明により明らかになるだろう。

図１に示すように、本発明が係る種類の光学装置は、送込みホッパー組立体２と、選別にかけられる物品の流れをイメージ化ゾーン６を通じて選別ゾーン８へと送るシュート４とを備えた供給機構を有する。ライン走査カメラ１０は、イメージ化ゾーンからのイメージデータを生成し、該イメージデータはグラフィカルユーザーインターフェース１４に接続されたコンピューター１２に伝達される。コンピューター１２はイメージデータを処理して生産物の流れの中の除去するべき物品を識別し、上記流れに対しパルス状の空気を発射して選択した物品を流れから排斥ホッパー１８へ偏向させるようエジェクターの列１６に指示する。流れに残った生産物は受入れホッパー２０内へと進む。生産物の流れから低品質の物品を排除するこの方法は、食品処理業界では公知である。ライン走査カメラは、可視光、赤外線、紫外線、Ｘ線、単色、多色の何れでも可能である。

特定の欠陥を有している生産物の流れ中の物品を取り除くべきか否かを決める１つ或いは複数の基準は、様々な選択肢の中から選ぶことができ、その選択肢のうちの４つは、サイズ、形状、汚点、色である。オペレーターは、選別基準の欠陥パラメーターを変更することで装置の性能を制御することができる。本発明の目的は、どのように調整ができるか又はすべきかについての有用な指針をオペレーターに提供することである。

図２は、図１のコンピューター１２の一部詳細を示す。コンピューター１２は、メモリー２２と、プロセッサー２４と、システムコントローラー２６とを含んでいる。プロセッサー２４はパターン認識システム２９を備え、欠陥の位置を検出するために、一式の選別基準をカメラ１０から受け取ったイメージデータに適用することができるように構成されている。プロセッサーはまた、適切なエジェクターデータを生成し、エジェクター１６に指示するためのセレクター２８を備える。パターン認識システム２９とセレクター２８は、それぞれ欠陥パラメーターと排除パラメーターに従って動作する。これらのパラメーターはシステムコントローラー２６によって設定される。プロセッサー２４の各ステージで生成されたデータは、システムコントローラー２６に伝達される。すると、システムコントローラー２６は、グラフィカルユーザーインターフェース１４との間でデータのやり取りをする。本装置のオペレーターは、欠陥パラメーターと排除パラメーターの調整をグラフィカルユーザーインターフェース１４で行うことができる。オペレーターは、グラフィカルユーザーインターフェース１４で提供された情報に応じてこれらの調整を行う。

選別基準は、２つの基本的なステージ、すなわち特徴抽出器と分類器に実装されている。各選別基準の性能は多数の欠陥パラメーターに左右されるが、通常そのうちの１つは感度パラメーターである。感度は典型的にはパーセンテージで表され、０％は欠陥を殆ど或いは全く検出しない場合に相当し、１００％は欠陥を多数或いは全て検出する場合に相当する。特徴抽出器も分類器も共に欠陥パラメーターを有していても良く、感度パラメーターは、特徴抽出器或いは分類器の何れかと関連していても良い。特徴抽出器はイメージデータの特徴に基づいた表示を計算する。分類器はその特徴データから欠陥を識別する。

図３は、色選別基準を用いたパターン認識システムを示している。イメージデータは色分類器３０に伝達され、該色分類器は最初の抽出工程を行い、イメージデータの各部分片つまり画素が規定された一式の欠陥色に属するか否かを識別する。分類データと呼ばれる色分類器からの出力は、どの画素が潜在的な欠陥に対応するかを識別する。単色のイメージデータの場合、画素強度に第１のしきい値を適用することにより好ましい色分類を行うことができる。このしきい値を設定する欠陥パラメーターは、この選別基準の感度である。多色のイメージデータの場合、好ましい色分類器は多次元色空間における決定境界である。この決定限界の位置を制御する欠陥パラメーターは、この選別基準の感度である。

分類されたデータは空間フィルター３２に伝達される。空間フィルターは、分類データをサイズに従って、すなわち、イメージ上の局所近傍内に分類された画素の数に従ってフィルター処理する。空間フィルターのサイズと局所近傍のサイズは、空間フィルターの欠陥パラメーターである。このステージからの出力信号は、どの画素が欠陥に対応するかを示す色欠陥データである。汚点選別基準は、空間フィルターのサイズが１画素に設定されることを除けば、色選別基準と近似している。

物品のサイズ選別において、抽出される特徴は典型的には物品のエリアであり、分類器はその物品のサイズのしきい値である。この場合、欠陥パラメーターは１つだけであり、すなわち、サイズしきい値を決定する感度調整である。物品のサイズ選別は、生産物の流れの処理量に依存しており、この処理量は各物品が互いに離れて見えるように充分に低くなっている。形状選別の際は、特徴抽出器は物品の形状或いは物品の一部の形状の特徴を抽出して、形状特徴ベクトルを形成する。分類器は各物品の形状或いは物品の一部を、その形状特徴ベクトルに基づき合格品或いは欠陥品として識別する。特徴抽出器と分類器は何れも多数の欠陥パラメーターを有していても良い。形状選別基準の感度によって、分類器の決定境界の位置が制御される。

プロセッサー２４のパターン認識システム２９は、セレクター２８に対して異なる欠陥データを生成する多くの別々の選別基準に従って動作しても良い。全ての上記欠陥データは組み合わされてエジェクター１６への指示を生成する。欠陥データを組み合わせる好ましい手段は、単純なＯＲデバイスである。言い換えれば、何れかの選別基準が欠陥に対応する画素を決定したら、エジェクター１６はその画素に関して指示を受けなければならない。

エジェクターへの指示を出すにあたり、欠陥データはフィルター処理され、横方向と生産物の流れの流れ方向の双方に拡大される。エジェクターからのガス噴射の交差エリアを拡大する好適なメカニズムは、隣接するエジェクターを作動させるオプションを提供する第１の排除パラメーターと、各エジェクターからのガス噴射の持続時間を定める第２の排除パラメーターを設けることである。この持続時間は通常、カメラから１走査線データを取り込むのにかかる時間の整数倍に定められる。

グラフィカルユーザーインターフェース１４はイメージ化ゾーンでの生産物の流れのイメージを表示する。そのようなイメージからのあるセクションが図４に示されており、便宜上、図４ではエジェクターの２倍の数の画素がある配置となっている。好ましいイメージの解像度は通常、例えば増倍率を１６とし、エジェクターの解像度よりも非常に高い。欠陥データはエジェクターの解像度に縮小される。図示の場合、結果として生じたエジェクターデータは、エジェクターの状態（図中“１”又は“０”で示されるようにオン又はオフ）を示す走査線毎、エジェクター毎のブール信号である。勿論これらは表示イメージには現れない。

通常の選別においては、生産物の流れ中の選択された物品がカメラ１０の視野のラインからエジェクター１６の噴射のラインまで流れるのにかかる時間と、ガス噴射がエジェクターから物品へと届くのにかかる時間とを考慮して、エジェクターへの指示を遅延させている。

本装置を微調整するために、オペレーターは診断用操作モードを選択する。イメージ化ゾーンにおける生産物の流れのセクションのスナップショットイメージはメモリー２２に取り込まれる。そのイメージは本装置の通常運転時にイメージデータと同様の方法で分析されるが、それぞれのハードウェアとソフトウェアを重複させることにより、オペレーターが装置の診断を見て、排除及び欠陥パラメーターの変更の結果として何が起こるかを考慮しながら、通常の選別を続行できるようにすることが好ましい。

グラフィカルユーザーインターフェース１４は４つの診断機能、すなわち、欠陥ビューア、不良品ギャラリー（Ｒｏｇｕｅｓ’ Ｇａｌｌｅｒｙ）、パーセンテージによる不合格品の推定、そして欠陥ブラウザである。欠陥ビューア機能を使用すると、図５に示されるように、上記インターフェースはイメージを表示し、表示されたイメージ上にエジェクターからのパルス状の空気と生産物の流れとの交差エリアを強調表示する。この強調表示は、図４中においては２つのゾーンに描かれている。ゾーン３４では、２画素の広がりを持つ１つのエジェクターが、２走査線から成る期間を通して噴射されている。ゾーン３６では、それぞれゾーン３４に類似した２つのゾーンが隣接しており、その１つのエジェクターは２走査線に相当する期間噴射し、同時に隣接するエジェクターが、先に噴射したエジェクターの持続時間の半ば途中から開始した同様の期間において作動している。

インターフェース上の欠陥ビューア機能は、分類データと欠陥データの両方に対応する画素を示すことができる。多数の異なる色選別基準が使用される場合には、これは各画素を明確に区別できる色で強調表示することにより達成される。好ましい色彩設計は、欠陥のある画素には飽和色、分類された画素には不飽和色（つまりより浅色）とするなど、選別基準毎に異なる色相を使用することである。また、欠陥ビューア機能は、各選別基準において識別された画素間で切り換えるオプションを提供している。この機能により、各欠陥パラメーターを調整すると、メモリーに記憶されたイメージデータが再分析され、表示イメージがそれに対応して変更される。このようにして、オペレーターは、単一のスナップショットイメージにおけるパラメーターの変更の全体的な影響を見ることができる。

欠陥ビューア機能は、オペレーターが、排除パラメーターを調整することにより、エジェクターの噴射と生産物の流れとの交差エリアのサイズを調整することを可能にする。オペレーターは、非常に迅速にどの選別基準がどのエジェクターの噴射のトリガーになったのかを見ることができ、また、オペレーターは、エリアの境界が表示イメージのうち良好な生産物に見える部分を取り囲んでいた場合、単数又は複数のどの基準が必要であり、どの基準の調整を必要とするかが分かる。同様に、欠陥の存在を示唆する強調表示され分類された画素が交差エリア内にない場合には、オペレーターは、各分類基準の感度を上げることにより、そのような欠陥のある物品を排除することができる。

以下で述べるように、欠陥は深刻度によってランク付けすることができる。本選別装置は、エジェクターの噴射が交差するエリアのサイズを、欠陥の深刻度に従って調整することが可能である。これは、深刻な欠陥を持った物品を生産物の流れから確実に排除することが望ましいからである。そのような変更は全て表示イメージ内で識別される。交差エリアのサイズは、欠陥の深刻度に直接関係しており、装置によって自動的に決定される。この関係も、装置オペレーターが調整することができる。

生産物の大量のサンプルでの正味の効果を見るために、オペレーターは複数のイメージの取り込みと分析を繰り返すことが可能である。メモリーは取り込まれた全てのイメージを記憶することができ、そして必要であれば、これらのイメージを生産物の流れにおける連続する複数のセクションのものとすることにより、その分析を実施する際に、オペレーターが上記流れのセクションに沿ってスクロールをすることが可能となる。

グラフィカルユーザーインターフェースに備えられた第２の分析機能は、「不良品ギャラリー」である。これは、インターフェース上の流れのイメージから複数の上記交差エリアを抽出し、検査のためにそれらを別のスクリーンに表示することにより作られる。識別と提示を簡単にするために、各エリアの境界は、正方形又は長方形の区画片に分解され、それから各区画片が表示される。区画片を定める方法は図６に示されており、図５の表示からの各エリアが、ギャラリー内の区画片の中に組み込まれていることを示している。図６に示すように、同種に分類されたデータの各連結領域の縁は、各区画片において強調表示される。図６のギャラリーは、生産物の流れにおける複数のセクションの異なった及び／又は連続したイメージからの区画片を含むよう拡張することが可能であり、各区画片には勿論、それが選択される結果となった選別基準を標示することができる。この区画片のギャラリーにより、識別されている欠陥の性質をすぐに示すことができ、さらに、選別工程を制御する際に、オペレーターに対し有用な情報を与えることができる。

集められている情報から、上述した種類の単一の或いは複数の流れのイメージに基づいて、生産物の流れ中の不合格物品の割合の推定値を算出できることが分かる。メモリー２２中のデータを再び分析し、イメージ内の全画素を、物品の存在又は不存在の何れかに対応するものとして識別することができる。これは、単色及び多色のイメージデータの両方から、公知の技術を用いて容易に実現することが可能である。不合格品のパーセンテージは、流れのイメージ中の物品の総数に相当する画素数に対する、排除ガスと生産物の流れとの交差エリア内にある物品に相当する画素数として推定することが可能である。この推定は勿論、オペレーターが欠陥或いは排除パラメーターを調整する度毎に再計算することが可能となっている。

グラフィカルユーザーインターフェースによって提供される第４の診断機能は、欠陥ブラウザである。欠陥ブラウザはメモリー２２に記憶されたイメージデータからサブイメージつまりサムネイルを抽出し、各サムネイルを各選別基準に従ってランク付けする。サムネイルのランクは、それが初めて排除されるその選別基準の最低感度である。この感度は、その他の全ての欠陥パラメーターを選別装置にセットされた値に維持した状態で、選別基準毎に感度の範囲を順々に調べることにより得られる。ただし、一部の基準ではそのような調査を必ずしも必要としない。そこでは次にサムネイルをランク順に配置する。このプロセスが最も簡単に理解できるのは、生産物の処理量が比較的低い場合にしか実現しないが、各抽出サムネイルが、生産物の流れからの１つで唯一の物品を取り囲んでいる場合である。このような状況では、サムネイルが必ずしも正方形でなくとも、各物品を識別することができ、サムネイルのイメージをイメージデータから抽出することが可能である。

ほとんどの光学式選別機では、処理量が高すぎて個々の目標物を正確に識別することができない。これを調節するため、上述の装置における欠陥ブラウザ機能では、表示されたイメージにおいて各関心領域の周囲にあるサムネイルを中心に置くことにより、全て同じサイズで同じ形状をしたサムネイルが抽出される。関心領域は、各選別基準の感度を順に上げて、結果として生じた全ての欠陥データを、関心領域を形成するように併合させることにより検出することができる。まずは、サムネイルが重ならない状況を考察したい。

図７は、欠陥ブラウザ機能を用いたグラフィカルユーザーインターフェース上の表示イメージであって、唯１つの選別基準（この場合汚点選別）に従ってサムネイルが配置された状態を示している。これは縦１列で表され、この基準のために設定された特定の感度に対応する横列に分割されている。図７では、サムネイルが、その選別基準によってそれらが初めて排除されるであろう感度に従って、複数のグループに表示されている。ディスプレーの中央を横切るのは、現在の感度設定を表す太い水平ラインである。このラインよりも下のサムネイルはすべて理論上排除され、このラインよりも上のサムネイルはすべて理論上受入れられる。欠陥ブラウザ機能は、この感度設定を調整するための制御手段を含んでいる。そのような調整により、上記のラインに対し横列が移動する。インターフェースは、利用可能な全ての感度設定に対応する全ての横列を表示できるほど大きくはないので、設定の拡張範囲又は全範囲をスクロールする対策が通常施されている。

図８は、第２の選別基準（この場合色選別）を追加した結果を示している。各サムネイルは、現在の感度設定（ここでも太い水平ラインで示されている。）に対するそのランクに従って表示されている。選別基準内におけるサムネイルの相対ランクは、その基準の現在の感度に対するランクである。サムネイルは、１つの選別基準、すなわち、該サムネイルが最低の相対ランクを有している選別基準の下においてのみ表示される。その結果、図７中において、汚点選別基準の下に示されるサムネイルの多くは表示されていない。この理由は、汚点選別基準の下である相対ランクにあるサムネイルは、色選別基準によるとより下位の相対ランクにあるからである。汚点選別の下で縦列に現れていたサムネイルは、相対ランクがより低いために色選別を対象とする縦列に移動されている。最低の相対ランクが２つの選別基準で共有されている特別なケースでは、優先ルールが適用される。つまり、一方の基準が他方に優先する。

本発明の装置は、色選別で欠陥の識別をするために画素の色を使用しているため、そのような欠陥の境界又は縁を表示するために、すぐに適用することができる。この情報には注目に値する価値がある。

図７及び図８から見て取れるように、“現在の”汚点選別の感度レベルは“４３”に設定されており、それに対し、色選別の感度レベルは“７０”に設定されている。また図示のように、汚点選別基準によるランクが４４で色選別基準によるランクが６８のサムネイルは、相対ランクがより低い色選別の縦列にしか現れていない。

図７及び図８に示すように、ディスプレーの右側には、パーセンテージによる不合格品推定値が、感度設定或いは指定された設定に応じて示されている。図示のように、色選別基準を追加した結果として、不合格品推定値は３％から７．７％へと上昇している。勿論、感度設定が調整された場合には該推定値が変化し、これによりオペレーターがどのような調整を行うべきか決めるのにさらに有用な情報が提供される。パーセンテージによる不合格品は横列毎に、ひいては、異なる装置構成の範囲毎に提供することが可能である。本装置はまた、オペレーターが、欠陥基準の内の１つ或いは複数の下での分析をできないようにする機能を有していても良い。これによりオペレーターは、１つの欠陥基準又は異なる基準の組み合わせに焦点を合わせることができ、これらの状況において感度レベルを変更した場合の事実上の効果を観察することができる。

オペレーターが上記感度レベルの片方又は両方を変更すると、これによってある縦列から他の縦列へのサムネイルの移動が引き起こされる。これは、その最低感度が図９の表に示されている１８個のサムネイルに基づいて図１０Ａと１０Ｂに示されている。図１０Ａにおける感度レベルは、図９で各サムネイルと共に汚点選別又は色選別の縦列に示されたものである。インターフェースのスクリーン上に見えるものは、点線で囲まれた部分である。図１０Ｂでは、汚点選別の感度レベルは４３から４５へと上昇している。汚点選別の縦列は下がり、そのため、汚点選別と色選別の現在の感度は依然として水平に並んでいるが、図１０Ａでは色選別の縦列にあるサムネイル“Ｊ”が、図１０Ｂでは汚点選別の縦列に在ることが分かる。この理由は、汚点選別基準の感度レベルを上げると、その相対ランクがそれに応じてより低くなるからである。

欠陥ブラウザ機能を用いた分類のためのサムネイルも、サイズと形状によって階級付けすることができる。このことは、選別すべき様々なタイプの生産物にとって異なる重要性を持つ。サイズによる選別の典型的な類型は、面積、長さ及び幅である。形状による選別の典型的な類型は、曲がり具合（鋭角や凹み等）や、縦横比、真円度である。サイズ又は形状による選別の場合には、物品はその輪郭によって表示されるため、サムネイルの境界は不要であり、グラフィカルユーザーインターフェース上には表示されない。図１１は、そのような２つの基準がグラフィカルユーザーインターフェース上にどのように表示されるかを示している。

説明の便宜上、上記の説明はコンピューターがイメージデータを各欠陥基準に従って連続的に処理することを仮定している。しかし、実際にはこの通りにはならないだろう。識別された各欠陥は、通常は各欠陥基準に基づいて個別に処理され、それに従ってランク付けされる。

上記の分析はサムネイルが重ならない状況に基づいている。しかしながら、図１２に示すように、サムネイルが一つ以上の関心領域を含んでいて、ひいては他のサムネイルと重なっている可能性もある。その場合、各サムネイルが個々の物品を表すという前提に基づいて、上述の通りに進めることができる。しかしながら、これにより同じ欠陥がインターフェース上に１回よりも多く表示される結果となる可能性がある。さらに、図１３に示されるように、最も深刻な欠陥がちょうどサムネイルの隅にあって、サムネイルの識別のトリガーとなるイメージのまさにその一部が、インターフェース上に明瞭に表示されていない結果となる可能性もある。そのような状況においては、深刻な欠陥がもう１つのサムネイルに現れるという前提に基づいて、そのサムネイルは表示されない。

重なったサムネイルを扱う好ましい方法は、各サムネイルを、それが中心に置かれる関心領域と関連付けることである。そのサムネイルの各選別基準の最低感度は、それに関連付けられた関心領域の欠陥としての検出に基づくものである。第１のサムネイルがもう１つの関心領域を含んでいた場合には、その第２の領域のサムネイル、すなわち隣接したサムネイルが、第１のサムネイルを表示する前に考慮される。その隣接するサムネイルが、第１のサムネイルの関心領域よりも深刻な欠陥である関心領域と関連付けられている場合には、第１のサムネイルはインターフェース上に表示されない。

グラフィカルユーザーインターフェースは勿論、分析可能な電子イメージを提供する。また個別のイメージや隣接するイメージのグループを拡大するために、“ズーム”機能を用いてディスプレー上の個々のイメージに焦点を当てることも考慮に入れている。

欠陥ブラウザによりオペレーターは、様々な感度設定に対しどの欠陥が検出されるかを一目で見ることができる。サムネイルのグループのランク付けにより、深刻な不合格品から軽微な不合格品、そして最低限の合格品から良好な生産物まで、欠陥の基礎をなすランクを簡単に見ることが可能となっている。このランクは容易に見ることが可能なため、感度レベルの如何なる変更の結果も見ることが可能である。また、パーセンテージによる不合格品推定値を同時に表示することにより、オペレーターに予想される産出量を知らせる。

また、欠陥ブラウザにより、オペレーターは感度設定ではない欠陥パラメーターを微調整することができる。選別基準の欠陥パラメーターを調整する間、グラフィカルユーザーインターフェース上における各縦列内のグループの構成が変化する。このようにして、縦列内におけるサムネイルのグループ配置が、欠陥の深刻度によってサムネイルを順序付けるオペレーターの直感と一致するまで、パラメーターを微調整することができる。

また、欠陥ブラウザにより、オペレーターは、不合格に分類され、欠陥の深刻度によってランク付けされた生産物のみに対し、ディスプレーの焦点を合わせることができる。これは、スクリーンをスクロールするか、或いは感度レベルを超える全てのイメージを単にブロックすることによって実現することが可能である。この利点は、排除される物品、及び、その物品がどの選別基準により排除されるかについて、オペレーターがより関心を持つようになることである。

上述の装置に設けられたこの診断機能を使用することにより、品質及び／又は産出量を制御するために、選別装置をどのように調整することができるかについての指針が提供される。事実上の調整が一度分析されて承認されると、それらを運転中の装置に適用することができる。勿論、如何なる変更も、これらの機能を用いて連続して監視することができる。

Claims (24)

1. 物品の流れをイメージ化ゾーンへと送る供給システムと、イメージ化ゾーンで上記流れからイメージデータを生成するカメラと、上記カメラからのイメージデータを処理するコンピューターとから成っていて、
   上記コンピューターは、上記イメージデータから複数のエリア内における欠陥を識別し、その識別された欠陥をランク付けするパターン認識システムを有していて、該システムは、複数の欠陥基準に従って作動するようにプログラムされており、
   さらに、上記コンピューターは、グラフィカルユーザーインターフェースに接続されていて、該インターフェース上に、上記エリアを、該エリア内で識別された欠陥のランクに従って配置されたサムネイルとして、少なくとも２つの欠陥基準のそれぞれにおいて表示する、
   ことを特徴とする検査装置。
2. 上記コンピューターが上記流れの可視イメージを生成するようにプログラムされている、
   ことを特徴とする請求項１に記載の検査装置。
3. 上記パターン認識システムが、上記イメージデータから情報を抽出する特徴抽出器と、その情報を解釈する分類器とを備えている、
   ことを特徴とする請求項１又は２に記載の検査装置。
4. 上記欠陥基準の１つが形状又はサイズであり、表示された上記サムネイルは各物品の輪郭を含む、
   ことを特徴とする請求項１〜３の何れかに記載の検査装置。
5. 上記コンピューターには、各基準における適格ランクを規定する感度レベルがプログラムされており、そして、上記表示内において、上記サムネイルが適格ランクと同様のレベルに順に表示されるようにプログラムされている、
   ことを特徴とする請求項１〜４の何れかに記載の検査装置。
6. 上記適格ランクが、表示されたイメージ内で確認されると共に見ることができる、
   ことを特徴とする請求項５に記載の検査装置。
7. 上記適格ランクよりも下位にランク付けされた欠陥を有するサムネイルのみが表示される、
   ことを特徴とする請求項５又は６に記載の検査装置。
8. 複数の基準において欠陥を有する上記サムネイルは、その適格ランクに対する欠陥のランクが、少なくとも１つの他の基準におけるものよりも下位である場合にのみ表示される、
   ことを特徴とする請求項５〜７の何れかに記載の検査装置。
9. 上記感度レベルの少なくとも１つが変更可能である、
   ことを特徴とする請求項５〜８の何れかに記載の検査装置。
10. 上記イメージデータからの上記エリアが、識別された各欠陥の周りに、該欠陥を中心として定められる、
    ことを特徴とする請求項１〜９の何れかに記載の検査装置。
11. 上記エリアが重なっている、
    ことを特徴とする請求項１０に記載の検査装置。
12. 欠陥がエリア内に中心に位置するものに加えて他にもあり、その付加的な欠陥が、中心の欠陥よりも低いレベルにランク付けされるとき、そのサムネイルは表示イメージに含まれない、
    ことを特徴とする請求項１０又は１１に記載の検査装置。
13. 上記コンピューターが、上記グラフィカルユーザーインターフェース上に、欠陥を示していない物品のイメージを表示するようプログラムされている、
    ことを特徴とする請求項１〜１２の何れかに記載の検査装置
14. 上記イメージ化ゾーンの下流の選別ゾーンと、該選別ゾーンにおいて、上記流れから物品を排除するために選択的に作動されるエジェクターとを有し、
    上記欠陥基準は選別基準であり、上記コンピューターは選別基準に従って、カメラからのイメージデータを処理すると共にエジェクターに指示をするように構成されている、
    ことを特徴とする請求項１〜１３の何れかに記載の検査装置。
15. 上記選別基準が、汚点選別、色選別、サイズ選別、及び形状選別の内の少なくとも２つから成る、
    ことを特徴とする請求項１４に記載の検査装置
16. 上記コンピューターが、イメージを分割して、上記流れのセクションにおける全ての物品に対応する画素と、上記選別基準に従って排除される物品に対応する画素とを識別すると共に、上記の画素数を比較して、流れの中の排除される物品の割合を推定するように構成されている、
    ことを特徴とする請求項１４又は１５に記載の検査装置。
17. 上記コンピューターが、上記物品の流れにおける潜在的な欠陥に対応する画素を識別する色分類器と、識別された上記の潜在的な欠陥の画素が、各物品を排除する正当な理由となるか否かを決定する空間フィルターとから成るパターン認識システムを含んでいる、
    ことを特徴とする請求項１４〜１６の何れかに記載の検査装置。
18. 上記色分類器によって識別された潜在的な欠陥が上記表示イメージ上で強調表示される、
    ことを特徴とする請求項１７に記載の検査装置。
19. 各物品の排除の理由となる潜在的な欠陥の画素が上記表示イメージ上で強調表示される、
    ことを特徴とする請求項１７又は１８に記載の検査装置。
20. 上記供給システムがイメージ化ゾーンにウェブ材料を送り、また上記パターン認識システムが、グラフィカルユーザーインターフェースに表示される上記ウェブにおける欠陥を識別するように構成されている、
    ことを特徴とする請求項１〜１２の何れかに記載の装置。
21. （ａ）物品の流れをイメージ化ゾーンへと送り、
    （ｂ）該イメージ化ゾーンの物品の流れからイメージデータを生成し、
    （ｃ）パターン認識システムを使用して上記イメージデータを処理することにより、上記イメージデータから複数のエリア内の欠陥を識別すると共に、複数の欠陥基準に従って識別された欠陥をランク付けし、
    （ｄ）上記エリアを、少なくとも２つの欠陥基準のそれぞれにおいて、上記エリア内で識別された欠陥のランクに従って配置されたサムネイルとして表示する、
    ことを特徴とする物品の流れを検査する方法。
22. 請求項１〜１９の何れかの装置を使用した請求項２１に記載の方法。
23. （ａ）ウェブ材料をイメージ化ゾーン区域へと送り、
    （ｂ）該イメージ化区域のウェブ材料からイメージデータを生成し、
    （ｃ）パターン認識システムを使用して上記イメージデータを処理することにより、上記イメージデータから複数のエリア内の欠陥を識別すると共に、複数の欠陥基準に従って識別された欠陥をランク付けし、
    （ｄ）上記エリアを、少なくとも２つの欠陥基準のそれぞれにおいて、上記エリア内で識別された欠陥のランクに従って配置されたサムネイルとして表示する、
    ことを特徴とするウェブ材料を検査する方法。
24. 請求項２０に記載の装置を使用した請求項２３に記載の方法。