JP6026854B2 - 画像処理システムおよび画像処理方法 - Google Patents

Description

本発明は、画像処理システムおよび画像処理方法に関する。

従来、撮像された画像データから画像処理によって欠陥や異常等を検査する画像処理システムが知られている。

特開２００７−３２７７８９号公報

この種の画像処理システムでは、より高速に異常等を特定することができれば好ましい。

そこで、本発明は、一例としては、異常等をより高速に特定しやすい画像処理システムおよび画像処理方法を得ることを目的の一つとする。

本発明の実施形態にかかる画像処理システムにあっては、画像データから所定の条件によって第一の画素と第二の画素とが分けられた区分データを得る第一の演算処理部と、前記区分データ中の前記第一の画素の周囲の一定の範囲の画素を前記第一の画素とする第二の演算処理部と、当該第二の演算処理部で処理された前記区分データから一定間隔の格子状の画素の前記区分データを抽出した間引きされた前記区分データを得る第三の演算処理部と、を有した第一の装置と、前記間引きされた区分データから前記第一の画素が集まった画素群を得る第四の演算処理部と、前記画素群の中から特定領域を決定する第五の演算処理部と、を有した第二の装置と、を備えた。

本発明によれば、一例としては、異常等をより高速に特定しやすい画像処理システムを得ることができる。

図１は、実施形態にかかる画像処理システムの一例のブロック図である。 図２は、実施形態にかかる画像処理システムでの処理手順の一例のフローチャートである。 図３は、実施形態にかかる画像処理システムで処理される前の画像データの一部の一例が示された図である。 図４は、実施形態にかかる画像処理システムの第一の演算処理部によって図３の画像データから得られた区分データの一例が示された図である。 図５は、実施形態にかかる画像処理システムの第二の演算処理部で図４の区分データの一つの第一の画素についてその周囲で第一の画素とされる範囲の一例が示された図である。 図６は、実施形態にかかる画像処理システムの第二の演算処理部で図４の区分データの二つの第一の画素についてその周囲で第一の画素とされる範囲の一例が示された図である。 図７は、実施形態にかかる画像処理システムの第二の演算処理部で図５中の全ての第一の画素についてその周囲で第一の画素とされる範囲の一例が示された図である。 図８は、実施形態にかかる画像処理システムの第三の演算処理部で図７の区分データから間引きされる画素の一例が示された図である。 図９は、実施形態にかかる画像処理システムの第三の演算処理部で図８の区分データから抽出された間引きされた区分データの一例が示された図である。 図１０は、実施形態にかかる画像処理システムの第一の装置から第二の装置に送られた区分データの一例が示された図である。 図１１は、実施形態にかかる画像処理システムの第五の演算処理部で決定された特定領域の一例が示された図である。 図１２は、実施形態にかかる画像処理システムの第七の演算処理部で間引きされた画像データと間引きされた区分データとが合成された一例が示された図である。

本実施形態では、一例として、図１に示される画像処理システム１は、撮像部２で撮像された検査対象物（図示されず）の二次元の画像データを画像処理することで、検査対象物の検査を行う。検査対象物は、一例としては、シート（紙、フィルム、膜、板等）であるが、撮像部２の撮像によって画像データが得られるものであれば、何でもよい。また、撮像部２は、例えば、二次元に配列された光電変換素子（光電変換部）を有したエリアセンサ（固体撮像素子、例えば、ＣＣＤ（charge coupled device）イメージセンサや、ＣＭＯＳ（complementary metal oxide semiconductor）イメージセンサ等）である。あるいは、画像処理システム１は、複数の一次元の画像データを組み合わせて構成された二次元の画像データや、複数の二次元の画像データを組み合わせて構成されたより広い二次元の画像データについて検査対象物の検査を行うことができる。すなわち、撮像部２は、一次元の画像データを取得するラインセンサ（ラインカメラ、イメージセンサ）であってもよいし、検査対象領域のうち一部を撮像するエリアセンサであってもよい。また、二次元の画像データには、二次元配列された複数の画素の輝度値のデータ（以下、画素データと称する）が含まれている。

また、本実施形態では、一例として、画像処理システム１は、第一の装置３と第二の装置４とを備えている。第一の装置３は、例えば、複数の論理回路が集積された集積回路、一例としては、プログラマブルロジックデバイス（ＰＬＤ：programmable logic device、例えば、ＦＰＧＡ（field-programmable gate array）や、ＣＰＬＤ（complex programmable logic device）等）や、ＡＳＩＣ（application specific integrated circuit）等を含むことができる。第一の装置３は、並列で比較的（第二の装置４より）高速な演算処理が可能である。第一の装置３がプログラマブルロジックデバイスを含む場合、第一の装置３の製造後に論理回路の書き換えが可能であるため、便利であるとともに、検査対象物や、撮像環境、装置スペック等に合わせて論理回路を変更することで、演算（検査）の精度や速度等がより向上されやすい。

また、第二の装置４は、例えば、コンピュータプログラム（ソフトウエアプログラム）にしたがって演算（逐次処理）を実行するデバイス（制御部４１、一例としては、ＣＰＵ（central processing unit）や、ＤＳＰ（digital signal processor）等）を含むことができる。第二の装置４は、記憶部４２（例えば、ＲＡＭ（random access memory）や、ＲＯＭ（read only memory）、フラッシュメモリ、ＨＤＤ（hard disk drive）、ＳＳＤ（solid state drive）等）を含み、所謂コンピュータとして構成されうる。コンピュータプログラムは、記憶部４２の一部（不揮発性の記憶部）にインストールされる（記憶される）。また、第二の装置４で演算された結果は、表示部５で表示される。表示部５は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electro-luminescent display）等である。

第一の装置３は、前処理部３１や、記憶部３２、第一の演算処理部３３、第二の演算処理部３４、第三の演算処理部３５、第六の演算処理部３６等を備える。また、第二の装置４は、制御部４１や、記憶部４２等を備える。制御部４１は、第四の演算処理部４３や、第五の演算処理部４４、第七の演算処理部４５、表示制御部４６等を有する。

以下、図１〜図１２を参照しながら、第一の装置３および第二の装置４の構成ならびに動作が示される。なお、図２の処理フローは、あるタイミングでの処理を示しており、タイムステップ（時間間隔）後の次のタイミングでは、当該次のタイミングに対応した画像データについて、図２と同じ処理フローが実行される。

まずは、撮像部２で撮像が行われる（ステップＳ１）。次に、前処理部３１で、必要に応じて、二次元の画像データについて、前処理が行われる（ステップＳ２）。このステップＳ２で実行される前処理としては、画像処理の一般的な前処理（フィルタリングや、平滑化等）の他、公知のベイヤ配列パターンにおける補間処理等がある。ベイヤ配列パターンとは、撮像部２の各画素に対応する素子（図示されず）がＲ（赤）、Ｇ（緑）、またはＢ（青）のうち一色の画素データ（輝度値）を取得する配列パターンである。撮像部２の素子がベイヤ配列パターンで配列されている場合、前処理部３１は、他の色の画素データを、他の複数の画素（周囲の画素）の画素データを用いて補間することができる。記憶部３２には、各画素の各色の画素データ（前処理されかつ間引きされていない画素データ）が記憶される。

第六の演算処理部３６は、記憶部３２から取得した画素データを間引きする（ステップＳ３）。このステップＳ３では、一例として、第六の演算処理部３６は、画素データを、互いに直交するｉ方向およびｊ方向の双方について、４画素おきに格子状に間引きし、１６分の１（１／１６）の画素が有効な画素データとし、残りの１６分の１５（１５／１６）の画素は無効な画素データとする。第六の演算処理部３６で間引きされた画素データは、第二の装置４に送られる。

第一の演算処理部３３は、記憶部３２から取得した画素データから区分データを生成する（ステップＳ４）。このステップＳ４では、第一の演算処理部３３は、一例として、二値化処理を行う。すなわち、第一の演算処理部３３は、設定された閾値に対する画素データ（輝度値）の値の大小に応じて、区分データを生成する。例えば、各画素の画素データの値が設定された閾値と同じかあるいは当該閾値より大きい場合には当該画素を第一の画素ｐ１（図４参照、例えば、値「２５５」）とし、各画素の画素データが設定された閾値より小さい場合には当該画素を第二の画素ｐ０（図４参照、例えば、値「０」）とする。各画素が、第一の画素ｐ１か第二の画素ｐ０かは、その値によって区分することができる。すなわち、このステップＳ４で各画素の区分データが得られ、このステップＳ４で各画素について与えられた値（一例としては、「２５５」か「０」）が区分データの一例である。第一の演算処理部３３の演算により、図３に例示された画素データから、図４に示された区分データが得られる。図３で濃い領域Ａ１に対応した部分の画素が、第一の画素ｐ１（ハッチングが施された部分）であり、それ以外の部分の画素が、第二の画素ｐ０（白抜きの部分）である。なお、第一の演算処理部３３は、Ｒ（赤）、Ｇ（緑）、またはＢ（青）の三色のうちいずれか一色の画素データについて区分データを生成することができるし、各画素についての複数または全ての色の画素データの合計値（輝度値の合計値）や所定の比率での重み付け加算値（重み付け平均値）等について、区分データを生成することができる。また、第一の演算処理部３３は、画像中の特定の領域についてのみ区分データを生成したり、特定の領域については区分データを生成しないようにしたりすることができる。その場合、第一の演算処理部３３は、区分データを生成しない領域の画素を、第二の画素とすることができる。

次に、第二の演算処理部３４は、区分データ中の第一の画素ｐ１の周囲の一定の範囲の画素を、第一の画素ｐ１とする（ステップＳ５）。このステップＳ５では、例えば、図５に示されるように、第一の画素ｐ１１（ｐ１）について、当該第一の画素ｐ１１を中心とした７×７の領域Ａｓ１（一定の範囲）を第一の画素とする。また、図６に示されるように、第一の画素ｐ１２（ｐ１）について、当該第一の画素ｐ１２を中心とした７×７の領域Ａｓ２を第一の画素とする（第二の画素ｐ０から第一の画素ｐ１に変更する）。これにより、図７に示されるように、領域Ａｓ内の画素が、第一の画素ｐ１となり、領域Ａｓ外の画素が、第二の画素ｐ０となって、ステップＳ４で第一の演算処理部３３が決定した第一の画素ｐ１の周囲に第一の画素ｐ１ｓ（ｐ１）が拡張された状態となる。

次に、第三の演算処理部３５は、第二の演算処理部３４で変更された区分データから一定間隔の格子状の画素ｐｔ（図８参照）の区分データを抽出した間引きされた区分データを得る（ステップＳ６）。このステップＳ６では、第三の演算処理部３５は、例えば、図８，９に示されるように、ステップＳ５で第二の演算処理部３４が決定した区分データ（第一の画素ｐ１ならびに第二の画素ｐ０）を、ｉ方向およびｊ方向の双方について、４画素おきに格子状に間引きし（４画素おきに画素データを残し）、１６分の１（１／１６）の画素が有効な画素データｐｔとし、残りの１６分の１５（１５／１６）の画素は無効な画素データとする。このステップＳ６での間引き率は、ステップＳ３での間引き率と同じである。これにより、図９に示されるように、領域Ａｓ（図８参照）内の画素であった第一の画素ｐｔ１と領域Ａｓ外の画素であった第二の画素ｐｔ０とを含む間引きされた区分データが得られる。

第一の装置３においてステップＳ６で得られた間引きされた区分データは、第二の装置４に送られる。第四の演算処理部４３は、間引きされた二次元の区分データについて、画像処理（演算処理）を実行する。なお、図９の領域Ａ２は、図１０の領域Ａ２に対応する。すなわち、図１０には、図９より広い領域の区分データが示されている。また、座標ｍは座標ｉと同方向であり、座標ｎは座標ｊと同方向である。

第四の演算処理部４３は、間引きされた区分データから第一の画素ｐｔ１が集まった画素群Ａ３，Ａ４（図１０参照）を得る（ステップＳ７）。画素群Ａ３，Ａ４は、それぞれ、互いに隣接した第一の画素ｐｔ１の集合（塊）である。このステップＳ７で、第四の演算処理部４３は、第一の画素ｐｔ１をサーチし、見つかった第一の画素ｐｔ１を基準として、隣接した第一の画素ｐｔ１をさらにサーチするアルゴリズムを実行する。このアルゴリズムは、隣接した第一の画素ｐｔ１が見つからなくなるまで実行される。このステップＳ７で、第四の演算処理部４３は、所謂グルーピングとラベリングとを実行する。また、このステップＳ７で、第四の演算処理部４３は、ラベリングされた画素群Ａ３，Ａ４毎に、画素数（大きさ）や形状等の特徴を取得する。

次に、第五の演算処理部４４は、画素群Ａ３，Ａ４の中から特定領域を決定する（ステップＳ８）。このステップＳ８で、第五の演算処理部４４は、画素群Ａ３，Ａ４毎の特徴から特定領域を決定する。一例として、第五の演算処理部４４は、各画素群Ａ３，Ａ４の画素数が所定の閾値と同じかあるいは当該閾値（一例として、画素数：３）より多い場合には当該画素群（図１０，１１の例では画素群Ａ３）を特定領域と決定し、所定の閾値より少ない場合には当該画素群（図１０の例では画素群Ａ４）を特定領域にはしない。これにより、サイズの小さい画素群が検出の対象外とされる。この場合、ステップＳ８によって、フィルタリングの効果が得られる。なお、例えば、ステップＳ７で得られた画素群の全てを特定領域と決定したり、画素数が所定値（上限値）と同じかより少ない画素群を特定領域と決定したりするなど、第五の演算処理部４４の判断基準は種々に設定することが可能である。

次に、第七の演算処理部４５は、ステップＳ３で第六の演算処理部３６が取得した間引きされた画像データとステップＳ８で第五の演算処理部４４で特定された特定領域（図１１の例では画素群Ａ３）を示すデータとを合成する（ステップＳ９）。このステップＳ９では、第七の演算処理部４５は、一例として、間引きされた画像データの輝度値と、特定領域の画素に設定された輝度値（例えば、所定の色の輝度値）とを加算合成する。特定領域の画素に設定された輝度値の設定は、適宜に変更することができる。そして、表示制御部４６は、第七の演算処理部４５で合成された画像データが表示されるよう、表示部５を制御する（ステップＳ１０）。これにより、表示部５には、一例として、図１２に示されるような画像Ｉｍが表示される。画像Ｉｍには、間引きされた画像データに含まれていた画像Ｉｍ２と、特定領域（画素群Ａ３）に対応した画像Ｉｍ１と、が含まれている。なお、画像Ｉｍ１の見え方は、ステップＳ９での輝度値の設定によって変化する。画像Ｉｍ１は、画像Ｉｍ２に透過された状態で重畳されることができるし、あるいは、塗りつぶされた状態で重畳されることができる。特定領域（画素群Ａ３）に対応した画像Ｉｍ１は、一例としては、検査対象物の検査対象領域における異常を示す。

以上の本実施形態では、第二の装置４の特に第四の演算処理部４３によるステップＳ７での演算処理は、バリエーションや場合分けが多くなるため、並列演算には向かない。一方、第一の装置３の各部によるステップＳ１〜Ｓ６では、複数の画素について論理ゲートによる並列演算が可能である。一例として、第二の演算処理部３４によるステップＳ５での第一の画素ｐ１の拡張については、一定の範囲内の複数の画素の区分データの論理和で算出することができる。すなわち、本実施形態では、第一の装置３で並列演算を実行するとともに、第二の装置４で並列演算に向かない演算を実行することで、本実施形態にかかる画像処理をより高速化することができる。これにより、一例としては、撮像部２によって撮像した結果に基づく欠陥や異常等の検出の周期をより短くすることができ、ひいては、検出効率の向上や、製品のスループットの向上等に資する。

また、本実施形態では、一例として、第一の装置３は、プログラマブルロジックデバイスを含むことができる。よって、本実施形態によれば、一例としては、検査対象物や、検査対象領域、検査環境、要求される精度や周期等に応じて第一の装置３のスペックを変更して、より不都合が少ない状態で演算処理（検査）が実行されやすい。

また、本実施形態では、一例として、第一の装置３では、第二の演算処理部３４で区分データの第一の画素ｐ１を拡張した後、第三の演算処理部３５で間引きを行う。したがって、第一の演算処理部３３がステップＳ４で特定した第一の画素ｐ１が間引きによって消失されにくくなる。

さらに、本実施形態では、一例として、一つの第一の画素ｐ１に対応した一定の範囲（Ａｓ１，Ａｓ２等）を、少なくとも一つの格子状の画素ｐｔが含まれる大きさに設定することができる。すなわち、ステップＳ６での間引き率（＝（抽出される画素数）／（一定の範囲の画素数））を１／ｔ（ｔ：２以上の整数）としたとき、ステップＳ５での拡張率ｓ（＝一つの画素に対して拡張される画素の数）をｔ以上とすることができる。こうすれば、ステップＳ４で特定された第一の画素ｐ１が間引きによって消失するのを回避できる。本実施形態によれば、一例としては、間引きにより表示の分解能や欠陥や異常等として特定されるべき領域の位置精度は低下するものの、欠陥や異常等として特定されるべき領域の大きさの分解能は高く維持される。すなわち、小さな欠陥や異常等でも検出できる能力は、間引きによっては低下され難い。

なお、間引き率１／ｔと拡張率ｓについては、ｔ＜ｓと設定する、すなわち、間引き率１／ｔの逆数を拡張率ｓより小さく設定することで、画素数の少ない画素群を演算処理の対象外とすることができる。すなわち、この場合は、第二の演算処理部３４および第三の演算処理部３５を、ノイズフィルタとして機能させることができる。また、一定の範囲（Ａｓ１，Ａｓ２等）のスペック（大きさ、形状）は、適宜に設定することができる。

また、本実施形態では、一例として、第五の演算処理部４４は、画素群（Ａ３，Ａ４等）に含まれる画素数が所定数と同じかあるいは超えている場合に、当該画素群を特定領域と決定する。よって、本実施形態によれば、一例としては、検出ノイズが減りやすい。

また、本実施形態では、一例として、第七の演算処理部４５は、間引きされた画像データと特定領域（画素群Ａ３）を示すデータとを合成する。よって、本実施形態によれば、一例としては、表示部５に表示された画像中で特定領域がどのように位置されているかがわかりやすい。

以上、本発明の実施形態を例示したが、上記実施形態はあくまで一例である。実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、実施形態の構成や形状は、部分的に他の構成や形状と入れ替えて実施することも可能である。また、各構成や形状等のスペック（構造や、種類、方向、角度、形状、大きさ、長さ、幅、厚さ、高さ、数、配置、位置、材質等）は、適宜に変更して実施することができる。

１…画像処理システム、３…第一の装置、４…第二の装置、３３…第一の演算処理部、３４…第二の演算処理部、３５…第三の演算処理部、４３…第四の演算処理部、４４…第五の演算処理部、４５…第七の演算処理部。

Claims (6)

1. 画像データから所定の条件によって第一の画素と第二の画素とが分けられた区分データを得る第一の演算処理部と、前記区分データ中の前記第一の画素の周囲の一定の範囲の画素を前記第一の画素とする第二の演算処理部と、当該第二の演算処理部で処理された前記区分データから一定間隔の格子状の画素の前記区分データを抽出した間引きされた前記区分データを得る第三の演算処理部と、を有した第一の装置と、
   前記間引きされた区分データから前記第一の画素が集まった画素群を得る第四の演算処理部と、前記画素群の中から特定領域を決定する第五の演算処理部と、を有した第二の装置と、
   を備えた、画像処理システム。
2. 一つの前記第一の画素に対応した前記一定の範囲が、少なくとも一つの前記格子状の画素が含まれる大きさに設定された、請求項１に記載の画像処理システム。
3. 前記第五の演算処理部は、前記画素群に含まれる画素数が所定数と同じかあるいは超えている場合に、当該画素群を特定領域と決定する、請求項１または２に記載の画像処理システム。
4. 前記第一の装置は、前記画像データから前記一定間隔の格子状の画素のデータを取得した間引きされた前記画像データを取得する第六の演算処理部を備え、
   前記第二の装置は、前記間引きされた画像データと前記第五の演算処理部で特定された前記特定領域を示すデータとを合成する第七の演算処理部を備えた、請求項１〜３のうちいずれか一つに記載の画像処理システム。
5. 前記第一の装置はプログラマブルロジックデバイスを含み、前記第二の装置はコンピュータプログラムにしたがって動作するデバイスを含む、請求項１〜４のうちいずれか一つに記載の画像処理システム。
6. 第一の装置と第二の装置とを有した画像処理システムによる画像処理方法であって、
   前記第一の装置が、画像データから所定の条件によって第一の画素と第二の画素とが分けられた区分データを得るステップと、前記区分データ中の前記第一の画素の周囲の一定の範囲の画素を前記第一の画素とするステップと、当該第二の演算処理部で処理された前記区分データから一定間隔の格子状の画素の前記区分データを抽出した間引きされた前記区分データを得るステップと、を実行し、
   前記第二の装置が、前記間引きされた区分データから前記第一の画素が集まった画素群を得るステップと、前記画素群の中から特定領域を決定するステップと、を実行する、画像処理方法。

Images