JP7383722B2 - ターゲットコーティングの画像データにおける欠陥検出の方法とシステム - Google Patents

ターゲットコーティングの画像データにおける欠陥検出の方法とシステム Download PDF

Info

Publication number
JP7383722B2
JP7383722B2 JP2021556851A JP2021556851A JP7383722B2 JP 7383722 B2 JP7383722 B2 JP 7383722B2 JP 2021556851 A JP2021556851 A JP 2021556851A JP 2021556851 A JP2021556851 A JP 2021556851A JP 7383722 B2 JP7383722 B2 JP 7383722B2
Authority
JP
Japan
Prior art keywords
image
threshold
blob
analysis
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021556851A
Other languages
English (en)
Other versions
JP2022526146A (ja
Inventor
ビショフ,グイド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BASF Coatings GmbH
Original Assignee
BASF Coatings GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BASF Coatings GmbH filed Critical BASF Coatings GmbH
Publication of JP2022526146A publication Critical patent/JP2022526146A/ja
Application granted granted Critical
Publication of JP7383722B2 publication Critical patent/JP7383722B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、色検索および検索プロセスのためのターゲットコーティングの画像データにおける欠陥検出のための方法およびシステムに関する。
今日、色検索と検索プロセスでは、粗さ、スパークルエリア、スパークル強度、スパークルグレード、および/またはスパークルカラーバリエーション/分布などの追加の特徴は、与えられたターゲットカラー/ターゲットコーティングの最適なソリューションを見つけるために、カラー情報と比べてサイドコンディションとして使用される。これらの追加の特徴は、色のテクスチャ外観のさまざまな視覚的プロパティのメトリックである。
これらの追加の特徴は、通常、例えば、Xrite MA-T6(登録商標)、MA-T12(登録商標)またはByk mac i(登録商標)などの今日のフォトスペクトロメーター機器によってキャプチャされたターゲットコーティングの画像生データから導出される。画像の生データは、画像処理アルゴリズムによって処理される。これらのアルゴリズムの出力として、ターゲットコーティングのテクスチャの光学特性を表すと考えられるテクスチャ特徴が取得される。
既存の画像処理アルゴリズムとその派生したテクスチャ特徴は、特に暗い色や少量の効果顔料/成分を含む色のコーティングの表面の指紋や引っかき傷などの汚れに対して非常に敏感である。
測定における破損したテクスチャデータ、つまりターゲットコーティングの画像は、色検索および検索プロセスを壊し、ターゲットコーティングのターゲットカラーに一致する色を検索するときに、不正確または最適でない結果につながる。
したがって、ターゲットコーティングの画像データにおける欠陥検出に適したシステムおよび方法が必要とされている。
上記の目的は、それぞれの独立クレームの特徴を備えたシステムおよび方法によって解決される。さらなる実施形態は、以下の説明およびそれぞれの従属クレームによって提示される。
本発明は、コンピュータで実施される方法に関し、この方法は以下の工程、
- 画像キャプチャデバイスを使用して、ターゲットコーティングの少なくとも1つのデジタル画像を取得し、各々のデジタル画像は、ターゲットコーティングの表面に対して異なる角度で取得される工程、
- 少なくとも1つのフィルタリングユニットと操作可能に接続して、電子コンピュータプロセッサを使用して、取得された少なくとも1つのデジタル画像に対して第1の画像分析を実行し、前景画像データを画像背景データから分離することによって少なくとも1つのデジタル画像内の少なくとも1つの明るい領域を決定する工程、
- プロセッサを使用して、少なくとも1つの明るい領域内の少なくとも1つの破損領域を決定するブロブ(blob)分析を実行する工程、及び、
少なくとも1つの破損領域が見つかった場合、
- 少なくとも1つのデジタル画像をさらに分析するために、少なくとも1つの破損領域をマスクする工程、または、
- 少なくとも1つのデジタル画像を拒否する工程、および/または、
- 画像キャプチャの繰り返しを開始する工程、
を有する。
提案された画像処理方法は、ターゲットコーティングの画像の欠陥を検出することを可能にする。提案された方法の基本的な戦略は、(1)例えば、指紋や引っかき傷などの典型的な構造特性を検索することによって画像の欠陥を見つけること、および(2)画像を拒否するか、画像内で検出された破損/欠陥領域を無視して、さらに画像を処理するかを決定することである。
提案された方法の一実施形態によれば、提案された方法は、ターゲットコーティングの物理的特性属性を決定するために、少なくとも1つのマスクされたデジタル画像に対して第2の画像分析を実行することをさらに含む。
欠陥のある画像を含む測定は、拒否するか、画像内の欠陥/破損領域をマスクして、それぞれの画像のさらなるテクスチャ分析を行うことができる。この方法はまた、画像キャプチャデバイスのユーザが、ディスプレイおよび/または音響出力デバイスなどの出力デバイス上で、コンピュータプロセッサを介して、警告メッセージ/信号をスロー/出力することにより、測定(取得された少なくとも1つのデジタル画像)が有効でなかったことを通知されるように構成することができる。出力デバイスは、コンピュータプロセッサの一部であるか、またはコンピュータプロセッサと通信している。また、測定データ、すなわち得られた少なくとも1つの画像が有効になるまで、コーティングを再測定するようにユーザに依頼することもできる。画像キャプチャが、得られた少なくとも1つのデジタル画像が有効になるまで、すなわち検出可能な欠陥なしで、画像キャプチャデバイスによって自動的に繰り返されることも可能である。それにより、画像キャプチャデバイスは、画像キャプチャデバイスと電子コンピュータプロセッサとの間の通信接続を介して、少なくとも1つの画像内で検出された少なくとも1つの破損領域/欠陥について自動的に通知される。
したがって、より正確な結果と、色検索および検索プロセスにおけるエラーの削減に到達することができる。さらに、色の開発と顧客サービスのマッチングのための実験室の労力の削減が得られる。カラーマッチングプロセスは、運用単位のコスト削減を伴い、より信頼性が高く、より高速になる。
通信接続は、本発明の範囲内で、それぞれの接続された通信パートナー間で信号/データを転送するための有線接続、無線接続、または有線と無線の組み合わせ接続として理解されるべきである。
提案された方法の一実施形態によれば、第1の画像分析が画像セグメンテーションとして選択される。
コンピュータビジョンでは、画像のセグメンテーションは、デジタル画像を複数のセグメントに分割するプロセスである。セグメンテーションの目的は、画像の表現を単純化および/または変更して、より意味があり、分析しやすい画像の修正された表現にすることである。画像のセグメンテーションは通常、画像内のオブジェクトと境界の位置を見つけるために使用される。画像のセグメンテーションの結果は、画像全体を集合的にカバーするセグメントのセットであり、画像内のすべてのピクセルには、同じラベルを持つピクセルが色、強度、テクスチャなどの特定のプロパティ/特徴を共有するように、ラベルが割り当てられる。隣接するセグメントは、同じプロパティ/特徴に関して、大幅に異なる。
提案された方法によれば、画像のセグメンテーションは、画像キャプチャデバイスを使用して取得された生/ソース画像内のすべての明るい領域を見つけるために使用される。一般に、動的しきい値画像フィルタまたはハイパスフィルタが生/ソース画像に適用される。ハイパスフィルタを使用することにより、画像内のさまざまなピクセルの中で最も明るいスポット/領域を識別することができる。結果として得られる修正された画像、すなわち前景画像データは、明るい領域のみに関する情報を含み得る。ハイパスフィルタは、値の高い中心点と低い値の端点を持つ値の行列を、画像の行列強度情報と畳み込むことができる。これにより、高輝度ピクセルが分離される。明るい領域をさらに洗練させるために、フィルタリングのエッジ検出方法を、強度フィルタリングと組み合わせて適用することができる。
さらに、明るい領域にラベルを付けて、互いに区別することも可能である。したがって、破損した領域を分離できる可能性がある。提案された方法は、比較的大きな表面積または比較的大きなアスペクト比などの個々の基準に基づく基準をそれぞれ満たす、多くの識別された破損領域をもたらす可能性がある。
コーティングのテクスチャ画像の典型的な欠陥は、例えば、テクスチャ特徴データの破損につながる指紋のような引っかき傷や汚れである。これらの典型的な欠陥には、提案された画像処理方法によって画像内の破損領域を識別するために使用されるべき特定の特性がある。
指紋によって引き起こされる欠陥は、スパークルポイントのようなテクスチャ画像の一般的な構造よりもはるかに大きな表面積サイズを持っている。XriteMA-T6(登録商標)、MA-T12(登録商標)(480x360ピクセル)またはByk mac i(登録商標)(640x480ピクセル)などのような今日のフォトスペクトロメーター機器の解像度と視野でキャプチャされた画像に基づく、一般的なスパークルポイントのサイズは1~25ピクセルである。指紋によって引き起こされる典型的な欠陥は、25ピクセルを(はるかに)超えるサイズがある。したがって、ブロブ分析は、前景画像データにおいて、すなわち、最初の画像分析から得られた少なくとも1つの明るい領域において、前景画像データから得られた残留ブロブの大部分と比較して、大きな表面積を持つブロブを検索することが提案されている。
さらなる実施形態によれば、方法は、第1の閾値を定義し、前景画像データから得られた各々のブロブの表面積を第1の閾値と比較し、その表面積が第1の閾値と等しいかより大きい場合に、ブロブを破損領域として識別することをさらに含む。ブロブサイズの第1の閾値は、40ピクセルに設定できるが、大きくすること、および小さくすることも可能である。閾値が小さいほど、フィルタはより積極的に機能する。例えば、25ピクセルの低い閾値は、大きなスパークルの構造も欠陥として識別されるという効果につながる。はるかに大きな閾値の場合、フィルタは小さな欠陥に対して鈍感になる。
引っかき傷は通常、非常に薄い構造である。引っかき傷は髪の毛の形を有する。引っかき傷の幅は通常、高さよりもはるかに長いか、アスペクト比が比較的大きくなる。典型的なスパークルポイントは対称的な形状を有する。幅は高さに等しい(または近い)ため、アスペクト比は約1になる。一部のスパークルポイントでは、幅が高さよりも大きく、例えば、高さの2倍または3倍であり、アスペクト比は約2対3になる。
引っかき傷の典型的な欠陥は、アスペクト比が3を超える。したがって、クレームされた方法のさらなる実施形態によれば、ブロブ分析は、前景画像データ、つまり最初の画像分析から得られた少なくとも1つの明るい領域で、前景画像データから得られた残りのブロブの大部分と比較して大きなアスペクト比のブロブを検索することを含むことが提案される。
さらに別の実施形態によれば、方法は、第2の閾値を定義し、前景画像データから得られた各々のブロブのアスペクト比を第2の閾値と比較し、そのアスペクト比が第2の閾値と等しいかそれ以上の場合に、ブロブを破損領域として識別することをさらに含む。幾何学的形状のアスペクト比は、さまざまな次元でのサイズの比率である。したがって、長方形のアスペクト比は、長方形の長辺と短辺の比率である。ブロブのアスペクト比の2番目の閾値は4に設定できるが、大きくすること、および小さくすることも可能である。閾値が小さいほど、フィルタはより積極的に機能する。例えば、3の低い閾値は、長いまたは薄いスパークルの構造も欠陥として識別されるという効果につながる。
さらなる実施形態では、両方の閾値を、識別された構造がスパークルポイントであるかどうかをテストするために適用することができる。構造の表面積が第1の閾値よりも小さく、そのアスペクト比が第2の閾値よりも小さい場合、それはスパークルポイントである。それ以外の場合は欠陥である。一般に、表面の面積とアスペクト比に加えて、凸面、輪郭/形状、曲率などの幾何学的パラメータに関するあらゆる種類のフィルタ技術を適用することができる。
提案された方法は、自動車および自動車の補修塗料を考慮した画像処理に使用することができる。しかしながら、本発明で提案された方法および開示されたシステムは、工業用コーティングを含む他のタイプのコーティングにも適用されることを理解されたい。説明された実施形態は、限定的であると見なされるべきではない。本開示と一致する方法は、アパレルおよびファッション製品のマッチングおよび/またはコーディネーションなどの様々な分野で実施することができる。
本発明の実施形態は、スタンドアロンユニットであり得るか、または、例えば、クラウド内に、インターネットやイントラネットのようなネットワークを介して配置された中央コンピュータと通信する1つ以上の遠隔端末またはデバイスを含み得る、コンピュータシステムと共に使用または組み込まれ得る。そのような本明細書で説明されるプロセッサまたはコンピュータ、および関連するコンポーネントは、ローカルコンピュータシステムまたはリモートコンピュータまたはオンラインシステムまたはそれらの組み合わせの一部であり得る。本明細書に記載のデータベースおよびソフトウェアは、コンピュータの内部メモリまたは非一時的なコンピュータ可読媒体に格納することができる。
提案された方法およびシステムは、例えば、顔料の特性評価およびサンプル特性について改善され単純化された結果を生成することができるマルチアングルカラーまたはグレースケールカメラであり得る画像キャプチャデバイスを使用する。
拡散光またはコリメート光を使用する従来の光源を使用することができ、画像キャプチャデバイス、例えば、適切な解像度のカラーまたはグレースケールカメラを使用して、1つ、いくつか、または複数の視野角で画像を収集することができる。
本開示はまた、以下を有するシステムに言及する。システムは、
- データベース、および、
- データベースとの通信用にプログラムされたプロセッサ、を有し、プロセッサは、以下の工程を実行するようにプログラムされている。
- 画像キャプチャデバイスから、ターゲットコーティングの少なくとも1つのデジタル画像を受信し、各々のデジタル画像は、ターゲットコーティングの表面に対して異なる角度で取得される工程、
- 少なくとも1つのフィルタリングユニット、すなわちフィルタリング技術と操作可能に接続して、前景画像データを画像背景データから分離することによって、少なくとも1つの画像内の少なくとも1つの明るい領域を決定するために、取得された少なくとも1つの画像に対して第1の画像分析を実行する工程、
- 少なくとも1つの明るい領域内の少なくとも1つの破損領域を決定するためにブロブ分析を実行する工程、および、
少なくとも1つの破損領域が見つかった場合、
- 少なくとも1つの画像をさらに分析するために、少なくとも1つの破損領域をマスクする工程、または、
- 少なくとも1つの画像を拒否する工程、および/または、
- 画像キャプチャの繰り返しを開始する工程。
1つの実施形態によれば、システムは、ターゲットコーティングの物理的特性属性を識別するために、少なくとも1つのマスクされた画像に対して第2の画像分析を実行するようにプログラムされたプロセッサをさらに含む。
さらに別の実施形態では、システムは、画像キャプチャデバイスおよび/または少なくとも1つのフィルタリングユニットを含む。画像キャプチャデバイスは、適切な解像度のマルチアングルカラーまたはグレースケールカメラである場合がある。フィルタリングユニット、すなわちフィルタリング技術は、動的閾値画像フィルタまたはハイパスフィルタ、であり得る/を使用され得る。カラー画像を処理する場合、フィルタリング技術を各々のカラーチャネルに個別に適用するか、または最初にカラー画像をグレースケール画像に変換し、結果として得られるグレースケール画像にフィルタリング技術を適用することが可能である。
さらなる実施形態によれば、システムは、前景画像データ、すなわち、最初の画像分析から得られた少なくとも1つの明るい領域において、前景画像データから得られた残留ブロブの大部分と比較して大きな表面積を有するブロブを検索するようにプログラムされたプロセッサを含む。
プロセッサは、第1の閾値を定義し、前景画像データから得られた各々のブロブの表面積を第1の閾値と比較し、その表面積が第1の閾値以上であるときにブロブを破損領域として識別するようにプログラムされ得る。
提案されたシステムの別の実施形態によれば、システムは、前景画像データ、すなわち、最初の画像分析から得られた少なくとも1つの明るい領域において、前景画像データから得られた残留ブロブの大部分と比較して大きなアスペクト比を有するブロブを検索するようにプログラムされたプロセッサをさらに含む。
プロセッサは、第2の閾値を定義し、前景画像データから得られた各々のブロブのアスペクト比を第2の閾値と比較し、そのアスペクト比が第2の閾値以上であるときにブロブを破損領域として識別するようにプログラムされ得る。
本開示はまた、コンピュータによって実行可能な命令を有する非一時的なコンピュータプログラム製品に言及し、コンピュータプログラム製品は、以下の命令を含む。
- 画像キャプチャデバイスから少なくとも1つのデジタル画像を受信し、各々のデジタル画像は、ターゲットコーティングの表面に対して異なる角度で取得される命令、
- 少なくとも1つのフィルタリングユニット、すなわち少なくとも1つのフィルタリング技術と操作可能に接続して、取得された少なくとも1つの画像に対して第1の画像分析を実行し、前景画像データを画像背景データから分離することによって少なくとも1つの画像内の少なくとも1つの明るい領域を決定する命令、
- ブロブ分析を実行して、少なくとも1つの明るい領域内の少なくとも1つの破損領域を決定する命令、および、
少なくとも1つの破損領域が見つかった場合は、
- 少なくとも1つの画像をさらに分析するために、少なくとも1つの破損領域をマスクする命令、または、
- 少なくとも1つの画像を拒否する命令、および/または、
- 画像キャプチャの繰り返しを開始する命令。
図1aに、ターゲットコーティングの表面の生画像(ソース画像)を示し、図1bに、提案された方法の一実施形態による画像セグメンテーションの結果としてのターゲットコーティングの表面の修正画像を示す。 図1bの修正された画像から始めて、提案された方法の一実施形態によるブロブ分析の結果としてのターゲットコーティングの表面のさらなる修正された画像を示す。 図3aに、図2のターゲットコーティングの表面のさらに修正された画像を示し、図3bには、提案された方法の一実施形態による、識別された破損領域をマスキングした結果としてのターゲットコーティングの表面の最終画像を示す。
本発明は、以下の実施例においてさらに定義される。これらの例は、本発明の好ましい実施形態を示すことによって、例示としてのみ与えられていることを理解されたい。上記の議論および実施例から、当業者は、本発明の本質的な特徴を確認することができ、その精神および範囲から逸脱することなく、本発明を様々な用途および条件に適合させるために様々な変更および修正を行うことができる。
図1aは、適切な解像度のマルチアングルカラーカメラなどの画像キャプチャデバイスを使用して取得されたターゲットコーティングの表面の画像を示している。画像は、ターゲットコーティングの表面に対して事前に選択された角度で取得される。以下では、画像をソース画像または生画像として指定する。
図1bは、画像セグメンテーションなどの最初の画像分析の結果として修正された画像を示している。これにより、デジタルソース画像は複数のセグメントに分割される。セグメンテーションの目的は、画像の表現を単純化および/または変更して、より意味があり、分析しやすい画像の修正された表現にすることである。画像セグメンテーションの結果は、画像全体を集合的にカバーするセグメントのセットであり、画像内のすべてのピクセルは、同じセグメント内のピクセルが特定のプロパティ/特性(ここでは明るさ/強度)を共有するようにセグメントに割り当てられる。ここで隣接するセグメントは、明るさに関して大幅に異なる。前景データは白色で表示される。
提案された方法によれば、画像セグメンテーションは、生画像内のすべての明るい領域を見つけるために使用される。一般に、動的しきい値画像フィルタまたはハイパスフィルタが生画像に適用される。ハイパスフィルタを使用することにより、画像内のさまざまなピクセルの中で最も明るいスポット/領域を識別することができる。結果として得られる画像、すなわち図1bに表示される前景画像データは、明るい領域のみに関する情報を含み得る。ハイパスフィルタは、値の高い中心点と低い値の端点を持つ値の行列を、画像の行列強度情報と畳み込むことができる。これにより、高輝度ピクセルが分離される。明るい領域をさらに洗練するために、フィルタリングのエッジ検出方法を強度フィルタリングと組み合わせて適用することができる。
図2は、図1bの修正画像に適用されたブロブ分析の結果を示している。ブロブ分析は、画像セグメンテーションの結果としてすでに識別/可視化されている明るい領域の中から少なくとも1つの破損領域を決定するために実行された。
ブロブ分析は、画像セグメンテーションから得られた前景画像データで、前景画像データから得られた残留ブロブの大部分と比較して大きな表面積を有するブロブを検索することを含む。これにより、第1の閾値が定義され、前景画像データから得られた各々のブロブの表面積が第1の閾値と比較され、その表面積が第1の閾値以上である場合、ブロブは破損領域として識別される。
追加的または代替的に、ブロブ分析は、画像セグメンテーションから得られた前景画像データで、前景画像データから得られた残留ブロブの大部分と比較して大きなアスペクト比を有するブロブを検索することを含む。これにより、第2の閾値が定義され、前景画像データから得られた各々のブロブのアスペクト比が第2の閾値と比較され、そのアスペクト比が第2の閾値以上である場合、ブロブは破損領域として識別される。
図2に示す例では、最初の破損領域/ブロブB1が識別されている。これは、その表面積とアスペクト比が、前景画像データで特定された残留ブロブの大部分のそれぞれの表面積とアスペクト比に対して大きいためである。これは、B1の表面積が第1の閾値と等しいかそれ以上であり、B1のアスペクト比が第2の閾値と等しいかそれ以上であることを意味する。同じことが、第2の破損領域として識別される第2の領域/ブロブB2にも当てはまり、その表面積とアスペクト比もまた、前景画像データで識別される残留ブロブの大部分のそれぞれの表面積およびアスペクト比に関して大きい。B1とB2はどちらも引っかき傷の形をしている。
ブロブB3は、表面積とアスペクト比がそれぞれ第1の閾値と第2の閾値よりも小さいため、通常のブロブである。
図3は、図3aに図2の画像を示している。この画像から始めて、さらにフィルタリング手法を適用すると、図3bに示すように、識別されたすべての破損領域、つまりB1とB2がマスクされた、さらに修正された画像が得られる。このさらに修正された画像は、引っかき傷などの破損した領域が削除されるため、さらなる画像処理に使用できるようになる。識別された破損領域をマスクする代わりに、破損領域のある画像を拒否し、画像キャプチャを繰り返して、ターゲットコーティングの新しいデジタル画像を取得することもできる。

Claims (14)

  1. コンピュータで実施される方法であって、該方法は以下の工程、
    - 画像キャプチャデバイスを使用して、ターゲットコーティングの少なくとも1つのデジタル画像を取得し、各々の前記デジタル画像は、ターゲットコーティングの表面に対して異なる角度で取得される工程、
    - 少なくとも1つのフィルタリングユニットと操作可能に接続して、電子コンピュータプロセッサを使用して、取得された少なくとも1つの前記デジタル画像に対して第1の画像分析を実行し、前景画像データを画像背景データから分離することによって少なくとも1つの前記デジタル画像内の少なくとも1つの明るい領域を決定する工程、及び
    - 前記プロセッサを使用して、少なくとも1つの前記明るい領域内の少なくとも1つの破損領域を決定するブロブ分析を実行する工程
    を有し、
    前記ブロブ分析は、前記前景画像データから得られた残留ブロブの大部分と比較して、前記第1の画像分析から得られた前記前景画像データにおいて大きなアスペクト比を有するブロブを検索することを含み、第2の閾値が定義され、前記前景画像データから取得された各々の前記ブロブのアスペクト比が前記第2の閾値と比較され、前記アスペクト比が前記第2の閾値と等しいかそれ以上であって、前記ブロブのアスペクト比についての前記第2の閾値が3を超える場合、前記ブロブは破損領域として識別され、
    少なくとも1つの前記破損領域が見つかった場合、
    記デジタル画像をさらに分析するために、少なくとも1つの前記破損領域を削除されたものとしてマスクする工程、または、
    記デジタル画像を拒否する工程、および画像キャプチャの繰り返しを開始して、ターゲットコーティングの新しいデジタル画像を取得する工程、
    を有する方法。
  2. 少なくとも1つの前記マスクされた画像に対して、第2の画像分析を実行して、前記ターゲットコーティングの物理的特性属性を識別することをさらに含む、請求項1に記載の方法。
  3. 前記第1の画像分析が、画像セグメンテーションとして選択される、請求項1または2に記載の方法。
  4. 前記ブロブ分析は、前記第1の画像分析から得られた前記前景画像データにおいて特定の事前に定義された幾何学的特性を有するブロブを検索することを含む、請求項1から3のいずれか一項に記載の方法。
  5. 前記ブロブ分析は、前記前景画像データから得られた残留ブロブの大部分と比較して、前記第1の画像分析から得られた前記前景画像データにおいて大きな表面積を有するブロブを検索することを含み、第1の閾値が定義され、前記前景画像データから取得された各々の前記ブロブの表面積が前記第1の閾値と比較され、前記表面積が前記第1の閾値と等しいかそれ以上の場合、前記ブロブは破損領域として識別される、請求項4に記載の方法。
  6. 少なくとも1つの前記破損領域についての通知を発行すること、および/または出力デバイスを介して前記画像キャプチャデバイスのユーザを呼び出すこと、および/または通信接続を介して直接に前記キャプチャデバイスで前記画像キャプチャを繰り返すことをさらに含む、請求項1からの何れか1項に記載の方法。
  7. システムであって、該システムは、
    - データベース、および、
    - 前記データベースとの通信用にプログラムされたプロセッサ、を有し、
    前記プロセッサは
    像キャプチャデバイスから、ターゲットコーティングの少なくとも1つのデジタル画像を受信し、各々の前記デジタル画像は、前記ターゲットコーティングの表面に対して異なる角度で取得され、
    - 少なくとも1つのフィルタリングユニットと操作可能に接続して、前景画像データを画像背景データから分離することによって、少なくとも1つの画像内の少なくとも1つの明るい領域を決定するために、取得された少なくとも1つの前記画像に対して第1の画像分析を実行し、および
    - 少なくとも1つの前記明るい領域内の少なくとも1つの破損領域を決定するためにブロブ分析を実行し、
    記ブロブ分析は、前記前景画像データから得られた残留ブロブの大部分と比較して、前記第1の画像分析から得られた前記前景画像データにおいて大きなアスペクト比を有するブロブを検索することを含み、第2の閾値が定義され、前記前景画像データから取得された各々の前記ブロブのアスペクト比が前記第2の閾値と比較され、前記アスペクト比が前記第2の閾値と等しいかそれ以上であって、前記ブロブのアスペクト比についての前記第2の閾値が3を超える場合、前記ブロブは破損領域として識別され、
    少なくとも1つの前記破損領域が見つかった場合、
    - 前記デジタル画像をさらに分析するために、少なくとも1つの前記破損領域を削除されたものとしてマスク、または
    - 前記デジタル画像を拒否する工程、および画像キャプチャの繰り返しを開始して、ターゲットコーティングの新しいデジタル画像を取得するようにプログラムされているシステム

  8. 少なくとも1つの前記破損領域についての通知を出力するように、および/または少なくとも1つの前記破損領域が発見された場合に前記画像キャプチャの繰り返しをトリガーするように構成された出力デバイスをさらに備える、請求項に記載のシステム。
  9. 少なくとも1つのマスクされた前記画像に対して第2の画像分析を実行して、前記ターゲットコーティングの物理的特性属性を識別するようにプログラムされたプロセッサをさらに備える、請求項またはに記載のシステム。
  10. 前記画像キャプチャデバイスおよび/または少なくとも1つの前記フィルタリングユニットをさらに備える、請求項からの何れか1項に記載のシステム。
  11. 前記第1の画像分析から得られた前記前景画像データにおいて、特定の事前に定義された幾何学的特性を有するブロブを検索するようにプログラムされたプロセッサをさらに備える、請求項から10の何れか1項に記載のシステム。
  12. 前記第1の画像分析から得られた前記前景画像データにおいて、前記前景画像データから得られた残留ブロブの大部分と比較して、大きな表面積を有するブロブを検索するようにプログラムされたプロセッサをさらに備え、前記プロセッサは、第1の閾値を定義し、該第1の閾値を前記データベースに保存し、前記前景画像データから取得した各々の前記ブロブの表面積を前記第1の閾値と比較し、前記表面積が前記第1の閾値と等しいかそれ以上の場合に、前記ブロブを破損領域として識別するようにプログラムされている、請求項11に記載のシステム。
  13. 前記第1の画像分析から得られた前記前景画像データにおいて、前記前景画像データから得られた残留ブロブの大部分と比較して、大きなアスペクト比を有するブロブを検索するようにプログラムされたプロセッサをさらに備え、前記プロセッサは、第2の閾値を定義し、該第2の閾値を前記データベースに保存し、前記前景画像データから取得した各々の前記ブロブのアスペクト比を前記第2の閾値と比較し、前記アスペクト比が前記第2の閾値と等しいかそれ以上の場合に、前記ブロブを破損領域として識別するようにプログラムされている、請求項11または12に記載のシステム。
  14. コンピュータによって実行可能な命令を有する非一時的なコンピュータプログラム製品であって、該コンピュータプログラム製品は、以下の命令、
    - 画像キャプチャデバイスから少なくとも1つのデジタル画像を受信し、各々の前記デジタル画像は、ターゲットコーティングの表面に対して異なる角度で取得される命令、
    - 少なくとも1つのフィルタリングユニットと操作可能に接続して、取得された少なくとも1つの前記画像に対して第1の画像分析を実行し、前景画像データを画像背景データから分離することによって少なくとも1つの前記画像内の少なくとも1つの明るい領域を決定する命令、および、
    - ブロブ分析を実行して、少なくとも1つの前記明るい領域内の少なくとも1つの破損領域を決定する命令、
    を含み、
    前記ブロブ分析は、前記前景画像データから得られた残留ブロブの大部分と比較して、前記第1の画像分析から得られた前記前景画像データにおいて大きなアスペクト比を有するブロブを検索することを含み、第2の閾値が定義され、前記前景画像データから取得された各々の前記ブロブのアスペクト比が前記第2の閾値と比較され、前記アスペクト比が前記第2の閾値と等しいかそれ以上であって、前記ブロブのアスペクト比についての前記第2の閾値が3を超える場合、前記ブロブは破損領域として識別され、
    少なくとも1つの前記破損領域が見つかった場合は、
    デジタル画像をさらに分析するために、少なくとも1つの前記破損領域を削除されたものとして命令、または、
    - 前記デジタル画像を拒否する命令、および画像キャプチャの繰り返しを開始して、ターゲットコーティングの新しいデジタル画像を取得する命令、
    を含むコンピュータプログラム製品。
JP2021556851A 2019-03-22 2020-02-27 ターゲットコーティングの画像データにおける欠陥検出の方法とシステム Active JP7383722B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19164671.0 2019-03-22
EP19164671 2019-03-22
PCT/EP2020/055186 WO2020193056A1 (en) 2019-03-22 2020-02-27 Method and system for defect detection in image data of a target coating

Publications (2)

Publication Number Publication Date
JP2022526146A JP2022526146A (ja) 2022-05-23
JP7383722B2 true JP7383722B2 (ja) 2023-11-20

Family

ID=65910979

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021556851A Active JP7383722B2 (ja) 2019-03-22 2020-02-27 ターゲットコーティングの画像データにおける欠陥検出の方法とシステム

Country Status (7)

Country Link
US (1) US20220189030A1 (ja)
EP (1) EP3942520A1 (ja)
JP (1) JP7383722B2 (ja)
CN (1) CN113614774A (ja)
AU (1) AU2020246804B2 (ja)
CA (1) CA3132115C (ja)
WO (1) WO2020193056A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114660076B (zh) * 2022-05-19 2022-08-26 张家港市欧凯医疗器械有限公司 一种医疗用管涂层质量检测方法及系统
CN114882037B (zh) * 2022-07-11 2022-10-21 北京中科慧眼科技有限公司 基于动态印次掩膜的图像缺陷检测方法和系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002310917A (ja) 2001-04-13 2002-10-23 Mitsubishi Chemicals Corp 欠陥検出方法及び装置
JP2005291844A (ja) 2004-03-31 2005-10-20 Daihatsu Motor Co Ltd 表面欠陥検査装置
JP2007033236A (ja) 2005-07-27 2007-02-08 Hitachi Information & Control Solutions Ltd 表面欠陥検査装置および表面欠陥検査方法
JP2010117285A (ja) 2008-11-14 2010-05-27 Omron Corp 基板の欠陥検査装置
JP2012230005A (ja) 2011-04-26 2012-11-22 Fujitsu Ltd 欠陥検査装置及び欠陥検査方法
JP2013228232A (ja) 2012-04-24 2013-11-07 Asahi Glass Co Ltd 基板外観検査方法
JP2016109495A (ja) 2014-12-03 2016-06-20 タカノ株式会社 分類器生成装置、外観検査装置、分類器生成方法、及びプログラム
JP2016534329A (ja) 2013-10-24 2016-11-04 フィリップス ライティング ホールディング ビー ヴィ 欠陥検査システム及び方法
JP2018091771A (ja) 2016-12-06 2018-06-14 大日本印刷株式会社 検査方法、事前画像選別装置及び検査システム
JP6482710B1 (ja) 2018-09-06 2019-03-13 五洋商事株式会社 外観検査装置及び検査システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6154561A (en) * 1997-04-07 2000-11-28 Photon Dynamics, Inc. Method and apparatus for detecting Mura defects
US7162073B1 (en) * 2001-11-30 2007-01-09 Cognex Technology And Investment Corporation Methods and apparatuses for detecting classifying and measuring spot defects in an image of an object
US7068817B2 (en) * 2002-11-07 2006-06-27 Mcmaster University Method for on-line machine vision measurement, monitoring and control of product features during on-line manufacturing processes
EP2006804A1 (en) * 2007-06-22 2008-12-24 Siemens Aktiengesellschaft Method for optical inspection of a matt surface and apparatus for applying this method
DE102007036616A1 (de) * 2007-08-02 2009-02-05 Hauni Maschinenbau Ag Optische Kontrolle von Produkten der Tabak verarbeitenden Industrie
US8965103B2 (en) * 2009-07-16 2015-02-24 Olympus Corporation Image processing apparatus and image processing method
US8705839B2 (en) * 2011-11-18 2014-04-22 Sharp Laboratories Of America, Inc. Electronic devices for defect detection
CN104215639A (zh) * 2013-06-05 2014-12-17 江南大学 一种基于机器视觉的梨表面缺陷检测方法
US9607403B2 (en) * 2014-10-28 2017-03-28 Ppg Industries Ohio, Inc. Pigment identification of complex coating mixtures with sparkle color
BR112018009108B1 (pt) * 2015-11-08 2023-10-24 Agrowing Ltd Método para a aquisição e análise de imagens aéreas
US9846929B2 (en) * 2016-03-24 2017-12-19 Hong Kong Applied Science and Technology Research Institute Company Limited Fast density estimation method for defect inspection application
US10055669B2 (en) * 2016-08-12 2018-08-21 Qualcomm Incorporated Methods and systems of determining a minimum blob size in video analytics
WO2018231982A1 (en) * 2017-06-13 2018-12-20 X-Rite, Incorporated Hyperspectral imaging spectrophotometer and system
US10586316B2 (en) * 2017-08-07 2020-03-10 Morphotrust Usa, Llc Reduction of glare in imaging documents
CN109426770B (zh) * 2017-08-24 2022-02-18 合肥虹慧达科技有限公司 虹膜识别方法
CN108256521B (zh) * 2017-12-29 2021-06-22 济南中维世纪科技有限公司 用于车身颜色识别的有效区域定位方法
CN108144873B (zh) * 2017-12-29 2020-06-16 深圳市智能机器人研究院 一种视觉检测系统及方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002310917A (ja) 2001-04-13 2002-10-23 Mitsubishi Chemicals Corp 欠陥検出方法及び装置
JP2005291844A (ja) 2004-03-31 2005-10-20 Daihatsu Motor Co Ltd 表面欠陥検査装置
JP2007033236A (ja) 2005-07-27 2007-02-08 Hitachi Information & Control Solutions Ltd 表面欠陥検査装置および表面欠陥検査方法
JP2010117285A (ja) 2008-11-14 2010-05-27 Omron Corp 基板の欠陥検査装置
JP2012230005A (ja) 2011-04-26 2012-11-22 Fujitsu Ltd 欠陥検査装置及び欠陥検査方法
JP2013228232A (ja) 2012-04-24 2013-11-07 Asahi Glass Co Ltd 基板外観検査方法
JP2016534329A (ja) 2013-10-24 2016-11-04 フィリップス ライティング ホールディング ビー ヴィ 欠陥検査システム及び方法
JP2016109495A (ja) 2014-12-03 2016-06-20 タカノ株式会社 分類器生成装置、外観検査装置、分類器生成方法、及びプログラム
JP2018091771A (ja) 2016-12-06 2018-06-14 大日本印刷株式会社 検査方法、事前画像選別装置及び検査システム
JP6482710B1 (ja) 2018-09-06 2019-03-13 五洋商事株式会社 外観検査装置及び検査システム

Also Published As

Publication number Publication date
CA3132115A1 (en) 2020-10-01
EP3942520A1 (en) 2022-01-26
CN113614774A (zh) 2021-11-05
AU2020246804A1 (en) 2021-10-14
US20220189030A1 (en) 2022-06-16
WO2020193056A1 (en) 2020-10-01
JP2022526146A (ja) 2022-05-23
AU2020246804B2 (en) 2023-02-23
CA3132115C (en) 2023-12-19

Similar Documents

Publication Publication Date Title
JP4997252B2 (ja) 画像内の照明域を識別する方法
TWI399534B (zh) And a defect inspection device for performing defect inspection using image analysis
US20180204315A1 (en) System, method for training and applying defect classifiers in wafers having deeply stacked layers
CN108520514B (zh) 基于计算机视觉的印刷电路板电子元器一致性检测方法
JP7412556B2 (ja) 目標コーティング中の効果顔料を識別する方法及び装置
KR20080108116A (ko) 디지털 이미지에서의 눈 검출을 위한 방법 및 장치
JP7383722B2 (ja) ターゲットコーティングの画像データにおける欠陥検出の方法とシステム
AU2020215098B2 (en) Method and device for detecting and adjusting decorative colour formulations in alignment with the visual perception of texture characteristics
CN116152242A (zh) 一种篮球用天然皮革缺陷可视化检测系统
Park et al. Automated defect inspection systems by pattern recognition
CN117237747A (zh) 基于人工智能的五金件缺陷分类识别方法
US6845178B1 (en) Automatic separation of subject pixels using segmentation based on multiple planes of measurement data
CN116908185A (zh) 物品的外观缺陷检测方法、装置、电子设备及存储介质
Prabha et al. Defect detection of industrial products using image segmentation and saliency
Mishra et al. Surface defects detection for ceramic tiles using image processing and morphological techniques
KR101024598B1 (ko) 표면 밝기 분포의 분산 산출 알고리즘을 이용한 대상물 표면의 영상 검사방법
CN109087290B (zh) 基于光谱估计与电子分光技术的光学元件表面疵病检测方法
CN111523605A (zh) 一种图像识别方法、装置、电子设备及介质
JP2016045142A (ja) 架橋ゴムのクラックの評価方法
Park et al. Pattern recognition from segmented images in automated inspection systems
Mosca et al. Qualitative comparison of methodologies for detecting surface defects in aircraft interiors
Wang et al. A real-time computer vision system for biscuit defect inspection
CN117911368A (zh) 基于神经网络模型的涂装表面缺陷检测方法和系统
Okabe et al. Development of support system for defect detection based on human visual mechanism in visual inspection process
TWI679611B (zh) 薄膜檢查方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230117

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230531

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231108

R150 Certificate of patent or registration of utility model

Ref document number: 7383722

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150