JP7034840B2

JP7034840B2 - 外観検査装置および方法

Info

Publication number: JP7034840B2
Application number: JP2018110041A
Authority: JP
Inventors: 寛典峯岸
Original assignee: Azbil Corp
Current assignee: Azbil Corp
Priority date: 2018-06-08
Filing date: 2018-06-08
Publication date: 2022-03-14
Anticipated expiration: 2038-06-08
Also published as: JP2019211415A

Description

本発明は、対象物の画像を基に対象物の良否を判定する外観検査装置および方法に関するものである。

例えば工場の生産ラインにおいて検査対象となる部品中の微小な傷を発見するために、部品を細かく区切った領域に分割し、それぞれの領域中に傷があるかどうか判定している。対象部品中の傷が微小である場合、部品全体の外観を画像検査しても傷の発見が難しいため、不具合の検出漏れを防ぐためにこのような手法が用いられることがある。

１つの部品に対し領域画像が数百枚、数千枚になると、正常であっても異常個所と判定される領域画像が発生する。例えば精度９９％で異常を検出できる画像判定モデルを用いて判定した場合、１００枚に１枚は誤判定が出ることになる。１箇所でも異常と判定されたときに対象部品を不良品と判断してしまうと、ほぼ全ての部品に対して不良の判定が出てしまうことになる。

このような問題を解決するために、特許文献１では、対象物の監視領域を、重要な領域を重複させて複数の部分領域に分割し、部分領域毎に良否判定した上で、重複している部分領域における各良否判定の結果の多数決によって重複している領域の良否判定を行うようにしている。しかし、特許文献１に開示された技術では、部分領域に対する異常の有無を０（異常無し）－１（異常有り）型で判定している。そのため、事前に部分領域が設定されることで決まる重複数に基づく多数決で最終判定する方式を採用したとしても、その重複数が少ない場合には不良品の過検出を抑制できないという問題があった。

特開平４－１０１７３号公報

本発明は、上記課題を解決するためになされたもので、不良品の過検出を抑制することができる外観検査装置および方法を提供することを目的とする。

本発明の外観検査装置は、対象物を撮影した検査画像を、重複する領域が存在する状態で複数の分割領域に分割するように構成された分割部と、前記分割領域毎に前記対象物の異常度を示すスコアを出力するように構成された画像判定モデルと、前記分割領域のうち前記スコアが第１の閾値を超えた分割領域を欠陥候補領域として抽出するように構成された欠陥候補領域抽出部と、１つの前記欠陥候補領域とこれと重複する他の１つの前記欠陥候補領域との重なり度合いを示す指標を算出するように構成された指標算出部と、前記指標が第２の閾値を超えた２つの重複する欠陥候補領域の和集合の領域を欠陥領域として抽出するように構成された欠陥領域抽出部と、前記欠陥領域の抽出結果に基づいて前記対象物の良否を判定するように構成された判定部とを備えることを特徴とするものである。
また、本発明の外観検査装置の１構成例において、前記指標算出部は、重複する領域も欠陥候補領域として抽出された前記欠陥候補領域のうち、１つの欠陥候補領域を対象領域とし、この対象領域とこれと重複する他の１つの欠陥候補領域との間の前記指標を算出し、前記欠陥領域抽出部は、前記指標が前記第２の閾値を超えた２つの重複する欠陥候補領域の和集合の領域を欠陥領域として抽出し、前記指標が前記第２の閾値を超えない対象領域を前記欠陥候補領域から削除し、前記指標算出部と前記欠陥領域抽出部とは、前記指標を算出していない対象領域がなくなるまで処理を繰り返すことを特徴とするものである。

また、本発明の外観検査方法は、対象物を撮影した検査画像を、重複する領域が存在する状態で複数の分割領域に分割する第１のステップと、画像判定モデルを用いて前記分割領域毎に前記対象物の異常度を示すスコアを出力する第２のステップと、前記分割領域のうち前記スコアが第１の閾値を超えた分割領域を欠陥候補領域として抽出する第３のステップと、１つの前記欠陥候補領域とこれと重複する他の１つの前記欠陥候補領域との重なり度合いを示す指標を算出する第４のステップと、前記指標が第２の閾値を超えた２つの重複する欠陥候補領域の和集合の領域を欠陥領域として抽出する第５のステップと、前記欠陥領域の抽出結果に基づいて前記対象物の良否を判定する第６のステップとを含むことを特徴とするものである。

本発明によれば、画像判定モデルによって分割領域毎に対象物の異常度を示すスコアを出力し、分割領域のうちスコアが第１の閾値を超えた分割領域を欠陥候補領域として抽出し、１つの欠陥候補領域とこれと重複する他の１つの欠陥候補領域との重なり度合いを示す指標を算出し、指標が第２の閾値を超えた２つの重複する欠陥候補領域の和集合の領域を欠陥領域として抽出することにより、微小な欠陥の漏れを防ぎつつ、不良品の過検出を抑制することができ、自動検査の精度を向上させることができる。

図１は、本発明の実施例に係る外観検査装置の構成を示すブロック図である。図２は、本発明の実施例に係る外観検査装置の動作を説明するフローチャートである。図３は、検査画像中の不良候補領域とスコアの例を示す図である。図４は、不良候補領域の重なり度合いを示す指標について説明する図である。図５は、欠陥領域の抽出結果を示す図である。図６は、本発明の実施例に係る外観検査装置の画像処理装置を実現するコンピュータの構成例を示すブロック図である。

［発明の原理］
本発明では、分割領域毎の連続的スコアによる判定結果を基に、最終的に対象物が不良品かどうかを決める最終的判定ロジックを設ける。ある分割領域に欠陥があるかどうか判定する場合に、各分割領域の判定スコアだけでなく、周辺領域の判定スコアとこの周辺領域の対象領域に対する重複度とを考慮する。

［実施例］
以下、本発明の実施例について図面を参照して説明する。図１は本発明の実施例に係る外観検査装置の構成を示すブロック図である。外観検査装置は、対象物１０を照らす照明１と、対象物１０を撮影するカメラ２と、カメラ２によって撮影された画像を基に対象物１０の良否を判定する画像処理装置３と、判定結果を表示する表示装置４とから構成される。

画像処理装置３は、Ａ／Ｄ変換器３０と、記憶部３１と、分割部３２と、画像判定モデル３３と、欠陥候補領域抽出部３４と、指標算出部３５と、欠陥領域抽出部３６と、判定部３７と、判定結果出力部３８とから構成される。

図２は本実施例の外観検査装置の動作を説明するフローチャートである。カメラ２は、照明１によって照らされた対象物１０を撮影する。画像処理装置３のＡ／Ｄ変換器３０は、カメラ２によって得られた画像信号を検査画像の画像データに変換する。この画像データは記憶部３１に格納される。こうして、検査画像が作成される（図２ステップＳ１）。
続いて、分割部３２は、例えばオペレータによって予め設定された領域指定に従って、検査画像を複数の分割領域に分割する（図２ステップＳ２）。このとき、各分割領域は、周辺の隣接する他の分割領域と一部が重複するように設定されている。

次に、画像処理装置３の画像判定モデル３３は、分割領域毎に対象物１０の異常度を示す０～１の範囲のスコアＳを出力する（図２ステップＳ３）。画像判定モデル３３は、例えば検査画像とスコアＳとの関係をモデル化したニューラルネットワークによって構築されている。良品および不良品の対象物１０の検査画像とこれら良品および不良品についてオペレータが評価したスコアとを分割領域毎に与えることにより、画像判定モデル３３の学習が予め実施されている。このような事前の学習により、画像判定モデル３３は、分割部３２によって分割された検査画像が入力されたときに分割領域毎にスコアＳを出力する。ここで、スコアＳは、０（正常）～１（異常）の範囲の連続値をとる。

続いて、画像処理装置３の欠陥候補領域抽出部３４は、画像判定モデル３３によってスコアＳが求められた各分割領域のうち、スコアＳが所定の欠陥候補判定閾値ＴＨ１を超えた分割領域を欠陥候補領域とする（図２ステップＳ４）。図３は検査画像１００中の抽出された欠陥候補領域１０１（１０１－１～１０１－８）とスコアＳの例を示している。ここでは、欠陥候補判定閾値ＴＨ１を０．５としている。

次に、画像処理装置３の指標算出部３５は、重複する領域も欠陥候補領域として抽出された１乃至複数の欠陥候補領域のうち、スコアＳが最も高い１つの対象領域とこれと重複する１つの欠陥候補領域との重なり度合いを示す指標ＩｏＵ（Intersection Over Union）を算出する（図２ステップＳ５）。ＩｏＵは、スコアＳが最も高い１つの欠陥候補領域１０１ａとこれと重複する１つの欠陥候補領域１０１ｂとの重複領域（図４（Ａ）の１０２）の面積をＡＯ（Area of Overlap）、欠陥候補領域１０１ａと１０１ｂとの和集合の領域（図４（Ｂ）の１０３）の面積をＡＵ（Area of Union）としたとき、次式によって計算することができる。
ＩｏＵ＝ＡＯ／ＡＵ・・・（１）

画像処理装置３の欠陥領域抽出部３６は、指標算出部３５によって算出された指標ＩｏＵが所定の欠陥判定閾値ＴＨ２を超える場合（図２ステップＳ６においてＹＥＳ）、この指標ＩｏＵが欠陥判定閾値ＴＨ２を超えた２つの重複する欠陥候補領域の和集合の領域（図４（Ｂ）の１０３）を欠陥領域とする（図２ステップＳ７）。また、欠陥領域抽出部３６は、指標ＩｏＵが欠陥判定閾値ＴＨ２を超えていない場合（ステップＳ６においてＮＯ）、ステップＳ５でスコアＳが最も高い領域として抽出された対象領域を欠陥候補領域の中から削除する（図２ステップＳ８）。

次に、指標算出部３５は、未処理の対象領域が残っているかどうかを判定し（図２ステップＳ９）、未処理の対象領域が残っている場合にはステップＳ５に戻る。
こうして、重複する領域も欠陥候補領域として抽出された欠陥候補領域について、スコアＳが高い順にステップＳ５～Ｓ８の処理を実施することにより、欠陥領域を抽出することができる。

図５は図３に示した検査画像１００から抽出した欠陥領域を示す図である。ここでは、欠陥判定閾値ＴＨ２を０．５としている。図５の例に示す欠陥領域１０４－１は、スコアＳ＝０．９１の欠陥候補領域１０１－２を対象領域として、これと重複する欠陥候補領域１０１－３との重なり度合いを示す指標ＩｏＵが算出され、欠陥候補領域１０１－２と１０１－３との和集合の領域が欠陥領域として抽出されたものである。

一方、欠陥領域１０４－２については、スコアＳ＝０．７４の欠陥候補領域１０１－４を対象領域として、これと重複する欠陥候補領域１０１－５との重なり度合いを示す指標ＩｏＵが算出され、欠陥候補領域１０１－４と１０１－５との和集合の領域が欠陥領域として抽出される。さらに、スコアＳ＝０．６８の欠陥候補領域１０１－５を対象領域として、これと重複する欠陥候補領域１０１－６との重なり度合いを示す指標ＩｏＵが算出され、欠陥候補領域１０１－５と１０１－６との和集合の領域が欠陥領域として抽出される。これにより、欠陥候補領域１０１－４と１０１－５と１０１－６の和集合の領域が欠陥領域１０４－２として抽出される。

指標ＩｏＵを算出していない対象領域が無くなった後に、画像処理装置３の判定部３７は、欠陥領域抽出部３６による欠陥領域の抽出結果を基に、対象物１０（検査画像）の良否を判定する（図２ステップＳ１０）。判定部３７は、抽出された欠陥領域の数が所定の欠陥領域個数閾値ＴＨ３以上の場合、対象物１０を不良品と判定し、欠陥領域の数が欠陥領域個数閾値ＴＨ３を下回る場合、対象物１０を良品と判定すればよい。欠陥領域個数閾値ＴＨ３を１とする場合には、１箇所でも欠陥領域が存在すれば、不良品と判定することになる。

画像処理装置３の判定結果出力部３８は、判定部３７の判定結果（良品／不良品）を表示装置４に表示させる（図２ステップＳ１１）。
こうして、本実施例では、微小な欠陥の漏れを防ぎつつ、不良品の過検出を抑制することができる。

本実施例で説明した画像処理装置３は、ＣＰＵ（Central Processing Unit）、記憶装置及びインタフェースを備えたコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。このコンピュータの構成例を図６に示す。コンピュータは、ＣＰＵ２００と、記憶装置２０１と、インターフェース装置（以下、Ｉ／Ｆと略する）２０２とを備えている。Ｉ／Ｆ２０２には、カメラ２と表示装置４とが接続される。このようなコンピュータにおいて、本発明の外観検査方法を実現させるためのプログラムは記憶装置２０１に格納される。ＣＰＵ２００は、記憶装置２０１に格納されたプログラムに従って本実施例で説明した処理を実行する。

本発明は、例えば工場の生産ラインにおける画像認識を用いた外観検査自動化技術に適用することができる。

１…照明、２…カメラ、３…画像処理装置、４…表示装置、３０…Ａ／Ｄ変換器、３１…記憶部、３２…分割部、３３…画像判定モデル、３４…欠陥候補領域抽出部、３５…指標算出部、３６…欠陥領域抽出部、３７…判定部、３８…判定結果出力部。

Claims

対象物を撮影した検査画像を、重複する領域が存在する状態で複数の分割領域に分割するように構成された分割部と、
前記分割領域毎に前記対象物の異常度を示すスコアを出力するように構成された画像判定モデルと、
前記分割領域のうち前記スコアが第１の閾値を超えた分割領域を欠陥候補領域として抽出するように構成された欠陥候補領域抽出部と、
１つの前記欠陥候補領域とこれと重複する他の１つの前記欠陥候補領域との重なり度合いを示す指標を算出するように構成された指標算出部と、
前記指標が第２の閾値を超えた２つの重複する欠陥候補領域の和集合の領域を欠陥領域として抽出するように構成された欠陥領域抽出部と、
前記欠陥領域の抽出結果に基づいて前記対象物の良否を判定するように構成された判定部とを備えることを特徴とする外観検査装置。
請求項１記載の外観検査装置において、
前記指標算出部は、重複する領域も欠陥候補領域として抽出された前記欠陥候補領域のうち、１つの欠陥候補領域を対象領域とし、この対象領域とこれと重複する他の１つの欠陥候補領域との間の前記指標を算出し、
前記欠陥領域抽出部は、前記指標が前記第２の閾値を超えた２つの重複する欠陥候補領域の和集合の領域を欠陥領域として抽出し、前記指標が前記第２の閾値を超えない対象領域を前記欠陥候補領域から削除し、
前記指標算出部と前記欠陥領域抽出部とは、前記指標を算出していない対象領域がなくなるまで処理を繰り返すことを特徴とする外観検査装置。
対象物を撮影した検査画像を、重複する領域が存在する状態で複数の分割領域に分割する第１のステップと、
画像判定モデルを用いて前記分割領域毎に前記対象物の異常度を示すスコアを出力する第２のステップと、
前記分割領域のうち前記スコアが第１の閾値を超えた分割領域を欠陥候補領域として抽出する第３のステップと、
１つの前記欠陥候補領域とこれと重複する他の１つの前記欠陥候補領域との重なり度合いを示す指標を算出する第４のステップと、
前記指標が第２の閾値を超えた２つの重複する欠陥候補領域の和集合の領域を欠陥領域として抽出する第５のステップと、
前記欠陥領域の抽出結果に基づいて前記対象物の良否を判定する第６のステップとを含むことを特徴とする外観検査方法。
請求項３記載の外観検査方法において、
前記第４のステップは、重複する領域も欠陥候補領域として抽出された前記欠陥候補領域のうち、１つの欠陥候補領域を対象領域とし、この対象領域とこれと重複する他の１つの欠陥候補領域との間の前記指標を算出するステップを含み、
前記第５のステップは、前記指標が前記第２の閾値を超えた２つの重複する欠陥候補領域の和集合の領域を欠陥領域として抽出し、前記指標が前記第２の閾値を超えない対象領域を前記欠陥候補領域から削除するステップを含み、
前記指標を算出していない対象領域がなくなるまで前記第４、第５のステップを繰り返すことを特徴とする外観検査方法。