JP7274885B2 - 表示装置の欠陥識別システム及び方法 - Google Patents

表示装置の欠陥識別システム及び方法 Download PDF

Info

Publication number
JP7274885B2
JP7274885B2 JP2019028647A JP2019028647A JP7274885B2 JP 7274885 B2 JP7274885 B2 JP 7274885B2 JP 2019028647 A JP2019028647 A JP 2019028647A JP 2019028647 A JP2019028647 A JP 2019028647A JP 7274885 B2 JP7274885 B2 JP 7274885B2
Authority
JP
Japan
Prior art keywords
image
binary
filtered
candidate
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019028647A
Other languages
English (en)
Other versions
JP2019144245A (ja
Inventor
ジャンファン リ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Display Co Ltd
Original Assignee
Samsung Display Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Display Co Ltd filed Critical Samsung Display Co Ltd
Publication of JP2019144245A publication Critical patent/JP2019144245A/ja
Application granted granted Critical
Publication of JP7274885B2 publication Critical patent/JP7274885B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/10Pre-processing; Data cleansing
    • G06F18/15Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06T5/92
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026Control of mixing and/or overlay of colours in general
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30121CRT, LCD or plasma display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02Recognising information on displays, dials, clocks
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/029Improving the quality of display appearance by monitoring one or more pixels in the display panel, e.g. by monitoring a fixed reference pixel
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/10Dealing with defective pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen

Description

本発明は、表示装置の欠陥検出システム及び方法に関する。
本出願は、2018年2月22日付にて米国特許庁に出願した米国特許出願番号第62/634,125号に対する優先権を主張し、ここに引用することによってこの出願の全体内容を本願に含む。
表示装置の解像度及び画素密度が増加するにつれ、欠陥検出の難易度が高まっている。現代の製造装備において手動欠陥検出を適用するには相当な時間がかかり、自動検査技術は効率的でない側面がある。例えば、表面自動検査を行う場合、均一な(例えば、テクスチャがない)表面に局地的異常があり、その局地的異常が規則的な周辺と明確な差異がある場合、欠陥を簡単に識別できる。しかし、欠陥と周辺との境界が明確でなく、かつ背景の明るさが均一でない場合、低解像度画像の欠陥を検出することは困難である。
一般的な表示欠陥のタイプとして「ムラ(Mura)」がある。ムラは、局地的に明るさが不均一性な欠陥を示す大きなカテゴリである。ムラは、その大きさと大体の形状によって線ムラ、点ムラ、領域ムラに大別することができる。各タイプのムラは、明確な縁がない場合もあり、画像では明瞭に現れない場合もある。したがって、自動検査システムを用いてムラを識別することは困難であることが知られている。したがって、ムラ欠陥を識別する新たな方法が必要である。
前述した内容は、本発明の実施形態の背景を理解するための説明であり、従来技術をなす情報を含み得る。
本発明は、表示装置上のムラ欠陥を検出するシステム及び方法を提供する。
本発明の実施形態による表示装置上の欠陥検出システムは、メモリと前記メモリに保存された命令を実行するプロセッサとを含む。実施形態によれば、前記命令は、前記プロセッサに、少なくとも一つのフィルタを用いて表示装置の入力画像を前処理することによって、フィルタリングされた画像を生成させ、線ムラ候補を識別させる。実施形態によれば、線ムラ候補の識別は、前記フィルタリングされた画像を二進画像に変換し、前記二進画像の傾斜に沿って線成分をカウントし、前記傾斜に沿う前記線成分が線閾値を超えた場合に、候補位置を表示することによって行われる。実施形態によれば、前記命令はまた、前記プロセッサに、中心に前記候補位置が位置した画像パッチを生成させ、マシン学習分類器を用いて前記画像パッチを分類させる。
本発明の実施形態によれば、前記少なくとも一つのフィルタは、ガボールフィルタ及びピラミッドフィルタのうち少なくとも一つを含む。
本発明の実施形態によれば、前記フィルタリングされた画像の二進画像への変換は、前記フィルタリングされた画像の画像平均強度と標準偏差とを決定し、前記画像平均強度と前記標準偏差とに基づいて二進閾値を計算し、前記二進閾値に応じて前記フィルタリングされた画像を前記二進画像に変換する。
本発明の実施形態によれば、前記線閾値は、前記傾斜に沿って存在する全体線成分の70%である。
本発明の実施形態によれば、前記画像パッチは、前記入力画像を用いて生成される。
本発明の実施形態によれば、前記マシン学習分類器は、サポートベクターマシンを含む。
本発明の実施形態によれば、前記命令は、前記プロセッサに、前記画像パッチから特徴ベクターを抽出させ、前記特徴ベクターは、少なくとも一つの画像モーメントを含む。
本発明の実施形態によれば、前記命令は、前記プロセッサに、前記入力画像を規格化させる。
本発明の実施形態による表示装置の欠陥識別方法は、少なくとも一つのフィルタを用いて表示装置の入力画像を前処理することによって、フィルタリングされた画像を生成する段階と線ムラ候補を識別する段階とを含む。本発明の実施形態によれば、線ムラ候補を識別する段階は、前記フィルタリングされた画像を二進画像に変換し、前記二進画像の傾斜に沿って線成分をカウントし、前記傾斜に沿う前記線成分が線閾値を超えた場合に、候補位置を表示する段階を含む。本発明の実施形態による方法は、前記候補位置が中心に位置した画像パッチを生成する段階と、マシン学習分類器を用いて前記画像パッチを分類する段階とをさらに含む。
本発明の実施形態によれば、前記少なくとも一つのフィルタは、ガボールフィルタ及びピラミッドフィルタを含む。
本発明の実施形態によれば、前記フィルタリングされた画像の二進画像への変換は、前記フィルタリングされた画像の画像平均強度と標準偏差とを決定し、前記画像平均強度と標準偏差とに基づいて二進閾値を計算し、前記二進閾値に応じて前記フィルタリングされた画像を前記二進画像に変換する。
本発明の実施形態によれば、前記線閾値は、前記傾斜に沿って存在する全体線成分の70%である。
本発明の実施形態によれば、前記画像パッチは、前記入力画像を用いて生成される。
本発明の実施形態によれば、前記マシン学習分類器は、サポートベクターマシンを含む。
本発明の実施形態によれば、前記命令は、前記プロセッサに、前記画像パッチから特徴ベクターを抽出させ、前記特徴ベクターは、少なくとも一つの画像モーメントを含む。
本発明の実施形態による表示装置の欠陥識別方法は、表示装置の入力画像を希望データ区間に規格化する段階と、ガボールフィルタ及びガウスピラミッドフィルタを用いて前記規格化された画像を前処理することによって、フィルタリングされた画像を生成する段階と、線ムラ候補を識別する段階とを含む。本発明の実施形態によれば、線ムラ候補を識別する段階は、前記フィルタリングされた画像を二進画像に変換し、前記二進画像の少なくとも一つの傾斜に沿って線成分をカウントし、前記傾斜に沿う前記線成分が線閾値を超えた場合に、候補位置を表示する段階を含む。本発明の実施形態による方法は、前記候補位置が中心に位置した一つ以上の画像パッチを生成する段階と、マシン学習分類器を用いて前記画像パッチを分類する段階とをさらに含む。
本発明の実施形態によれば、前記フィルタリングされた画像の二進画像への変換は、前記フィルタリングされた画像の画像平均強度と標準偏差とを決定し、前記画像平均強度と標準偏差とに基づいて二進閾値を計算し、前記二進閾値に応じて前記フィルタリングされた画像を前記二進画像に変換する。
本発明の実施形態によれば、前記二進閾値は、前記標準偏差を1.5で割った値を前記画像平均強度に足した値に等しい。
本発明の実施形態によれば、前記マシン学習分類器は、サポートベクターマシンを含む。
本発明の実施形態による方法は、前記画像パッチから特徴ベクターを抽出する段階をさらに含み、前記特徴ベクターは、少なくとも一つの画像モーメントを含む。
本発明の実施形態によれば、前処理と候補検出とを用いることによって、分類される候補画像パッチの数を減らし、それにより全体処理時間を減らすと同時に検出の正確度を高めることができる。
本発明の実施形態によるシステムの概略図である。 本発明の実施形態による分類器訓練システムの概略図である。 本発明の実施形態による画像分類方法を示す図である。 本発明の実施形態によるシステムの概略図である。 本発明の実施形態により図3Aのシステムを用いて画像を分類する方法を示す図である。 本発明の実施形態による前処理器を示す図である。 本発明の実施形態による候補検出器を示す図である。
本発明の概念及びこれを達成する方法の要旨は、詳細な説明及び添付の図面により容易に理解することができる。以下添付する図面を参照して本発明の実施形態について詳細に説明する。明細書全体にわたって同一または類似の構成要素は、同じ図面符号を付ける。本発明は様々な異なる形態で実現することができ、ここで説明する実施形態に限定されない。このような実施形態を提供することによって、発明の詳細な説明は完全かつ豊富になり、発明の多様な側面及び特徴を当業者に十分に示す。したがって、当業者が本発明の多様な側面及び特徴を完全に理解するために必要でない過程、装置、技術などの説明は省略する。特に説明しない限り、図面及び明細書全体をわたって同一の図面符号は、同一の構成要素を指し、重複する説明は省略する。図面において、部分、層、領域などは理解を明確にするために誇張されていてもよい。
詳細な説明において多様な実施形態に対する十分な説明を提供するために多様な条件を特定する。しかし、このような特定条件またはこれと等しい条件がなくても実施形態を実現できることは自明である。他の実施形態において、周知の構造及び装置は多様な実施形態が不要に曖昧になることを避けるためにブロック図で示す。
ここで使用された用語は、特定の実施形態を説明する目的にのみ使用し、本発明を制限しようとするものではない。ここで、数を特に言及しない限り、単数または複数の場合を全て含む。ある特徴、段階、動作、部分、成分などを「含む」という表現は、該当部分以外に他の特徴、段階、動作、部分、成分なども含み得ることを意味する。「及び/または」という表現は、羅列したものの一つまたはそれ以上のすべての組み合わせを含む。
ここで、本発明の実施形態を説明する時に使用する「し得る」という表現は、「本発明の一つ以上の実施形態」に適用可能であることを意味する。「使用」、「利用」などは、これと類似する他の表現と共に類似する意味で用い得る。
特定の実施形態を異なる方法で実現する場合、特定のプロセスの順序は説明した順序と異なってもよい。例えば、連続して実行する場合を説明した二つのプロセスを同時にまたは説明した順序と逆に実行することもできる。
本発明の実施形態により説明した電子、電気装置及び/または他の関連装置または構成要素は、適切なハードウェア、ファームウエア(例えば:特定用途向け集積回路)、ソフトウェアまたはこれらの組み合わせを用いて実現することができる。例えば、これら装置の多様な構成要素を一つの集積回路チップに形成することもでき、互いに異なる集積回路チップに実現することもできる。また、これら装置の多様な構成要素を可撓性印刷回路フィルム、テープキャリアパッケージ(TCP:tape carrier package)、印刷回路基板などに実現するか、一つの基板上に形成することができる。また、これらの装置の多様な構成要素は、ここで説明した多様な機能を遂行するためにコンピュータプログラム命令を実行し、他のシステム要素と相互作用する一つ以上のコンピュータ装置内にある一つ以上のプロセッサで実行できるプロセスまたはスレッド(thread)であり得る。コンピュータプログラム命令は、RAM(random access memory)などの標準メモリ装置を用いるコンピュータ装置に設けられたメモリに保存されることができる。コンピュータプログラム命令は、例えば、CD-ROM、フラッシュメモリなどのような、非一時的なコンピュータが読み出し可能な媒体に格納されてもよい。当業者は本発明の実施形態の概念と範囲を逸脱せず多様なコンピュータ装置の機能を一つのコンピュータ装置に結合または統合するか、特定のコンピュータ装置の機能を一つ以上の他のコンピュータ装置に分散することもできる。
特に言及しない限り、ここで使用する(技術的、科学的用語を含む)すべての用語は、本発明が属する技術分野の当業者に一般に理解されるものと同じ意味を有する。一般に使用される辞典に定義された用語などは、関連技術分野及び/または本明細書における意味と一致する意味を有すると解釈し、ここで明示しない限り、理想的なまたは過度に限定された意味に解釈してはならない。
本発明の実施形態は、表示装置のムラ検出システム及び方法を含む。実施形態によれば、このシステムは、水平線ムラのインスタンスを識別することができる。本発明の実施形態において、テスト画像を示す表示装置の入力画像を受信する。受信された入力画像を画像パッチに分割することができる。実施形態によれば、システムは、欠陥候補(例:水平線)を有する表示装置の領域を識別する候補検出器を用いて画像を前処理し、欠陥候補の位置に基づいて、画像パッチを生成することができる。システムは、マシン学習分類器を用いて水平線ムラのインスタンスを有するものと有さないものとに画像パッチを分類する。
図1Aは本発明の実施形態によるシステムの概略図である。図1Bは本発明の実施形態による分類器の学習システムの概略図である。図2は本発明の実施形態による画像分類方法を示す図である。
図1A、図1B及び図2を参照すると、本発明の実施形態によるムラ検出システムは、前処理器100で入力画像を受信する(200)。入力画像は、例えばテスト画像を示す表示装置の画像を含み得る。テスト画像を表示しているOLEDをカメラで撮影することによって、入力画像を生成し得る。本発明の実施形態において、テスト画像は、表示装置が水平線ムラ(horizontal line Mura)のインスタンスを表示するようにする画像を含み得る。例えば、テスト画像はコントラスト比が低い均一な画像であり得る。欠陥(例:線ムラ)が検出される表示装置の各画素が示すため、入力画像の解像度を十分に高くしてもよい。本発明の実施形態では、前処理器100が入力画像を受信し、画像内のノイズを減らす平滑化を行い得る。入力画像のノイズを減らした後に前処理器100は、画像を複数の画像パッチに分割し得る(210)。それぞれの画像パッチは、特徴抽出器110に提供され得る。
本発明の実施形態において、特徴抽出器110は、提供された画像パッチに対して多様な統計的な特徴を計算する(220)。例えば、統計的な特徴は、一つ以上の画像モーメント(例:画素強度の加重平均)、一つ以上のテクスチャの測定(例:グレーレベル同時生起行列(GLCM:Gray-Level Co-Occurrence Matrix)を用いたテクスチャ分析)または入力画像の他の統計的特徴を含み得る。本発明の実施形態では、例えばGLCMからのコントラスト(contrst)、相関(correlation)、エネルギー(energy)、均一性(homogeneity)、及び、mu03、mu10、hu1、hu5などのモーメントが、特徴抽出器110によって抽出され得る。
実施形態によれば、抽出された画像パッチのそれぞれの統計的特徴を分類器120に入力として供給する(230)。実施形態によれば、分類器120は、抽出された特徴(例:特徴ベクター)及びラベルクラス情報を用いて欠陥(例:ムラ)のインスタンスを識別する(240)マシン学習分類器であり得る。発明の実施形態によれば、クラス情報は、分類器に学習させることによって提供され得る。
発明の実施形態によれば、分類器120は、教師あり学習モデルを用いることができ、機能化される前に学習され得る。一実施形態によれば、分類器120に用いられた教師あり学習モデルはサポートベクターマシンである。教師あり学習モデル(例:サポートベクターマシン)は、学習期間の間に、分類器120に人的入力(human input、または人的検査)130を提供することによって学習され得る。例えば、それぞれの画像パッチに対して人間がパッチを視覚的に検査して白点ムラのあるインスタンスにマークを付け得る。この画像パッチを特徴抽出器110にも提供し得る。画像パッチに対して抽出された特徴ベクターと人間が検査して表示した対応パッチのすべてを分類器120に提供する。分類器120は、このようなパッチを用いて、後に分類に用いられるクラス情報(例:モデル形成)を生成する。
図3Aは本発明の実施形態によるシステムの概略図である。図3Bは本発明の実施形態により図3Aのシステムを用いて画像を分類する方法を示す図である。
図3A及び図3Bを参照すると、本発明の実施形態において、線ムラ分類システムは、前処理と線ムラの潜在的なインスタンスを識別する候補検出とを用い得る。前処理と候補検出器とを用いると、事前分類(pre-classification)の処理時間が長くなる代わりに、分類器が分析する画像パッチの総数を減らし得る。事前分類処理時間は増えるが、後続の分類時間が短縮されるため、総実行時間は非常に短くなる。例えば、スライディングウィンド(sliding window)画像パッチ生成法と比較すると、分類に必要な画像数が減るため、総処理時間を桁(order of magnitude)で小さくすることができる。また、前処理と候補検出とを用いると、分類器の学習を向上させ得る。本発明の実施形態によれば、例えば画像パッチの数が減ると、学習中の人的介入が減り、これにより分類器に提供される人的エラーが減る。
本発明の実施形態によれば、システムは、規格化モジュール300で入力画像を受信する。実施形態によれば、入力画像を希望データ区間(desired data range)に規格化する(350)。実施形態によれば、規格化は、例えば数式1で表される線形規格化であり得る。
Figure 0007274885000001
ここで、gMaxとgMinは、それぞれ全体画像データセットに対する全域(global)の最大値及び最小値であり、Iinputは入力画像、Inormは規格化した画像を意味する。この例では、規格化により画像強度が反転する。
実施形態によれば、規格化した画像は前処理器310に入力され、前処理器310は一つ以上のフィルタを用いて画像をフィルタリングしてノイズを減らし、欠陥(例:水平線ムラ)の各インスタンスがより明確になるようにする(360)。実施形態によれば、例えば一つ以上のフィルタは、画像にあるエネルギーを中央線側に収束させる。実施形態によれば、前処理した画像は、ムラ候補検出器320に入力され、ムラ候補検出器320は潜在的なムラ候補を識別し(370)、候補位置に画像パッチを生成する(380)。本発明の実施形態によれば、画像パッチは、各パッチの中央に潜在的なムラ候補が位置するように生成される。画像パッチは、それぞれの画像パッチに対して(例えば前述したとおり)特徴ベクターを生成する特徴抽出器330、及び各特徴ベクターを用いて各画像パッチを分類する分類器340に入力される(390)。
図4は本発明の実施形態による前処理器を示す図である。
図4を参照すると、本発明の実施形態による前処理器400は、規格化した画像をフィルタリングして、線ムラ特徴を強化することによって候補検出と分類とを補助する。本発明の実施形態によれば、例えば前処理器400は、ノイズを除去してエネルギーを中央線側に収束させる。本発明の実施形態によれば、前処理器400は、ガボールフィルタ(Gabor‐filter)410とピラミッドフィルタ420とを含む。ガボールフィルタ410は、特定方向(例:シータ角)における画像の周波数コンテンツ(frequency content)の分析に用いられる。本発明の実施形態によれば、ガボールフィルタ410を互いに異なるシータ値に合わせて互いに異なる角度の線ムラを検出し得る。例えば、線ムラは、完全な水平または垂直方向に限られない。したがって、ガボールフィルタ410は、一つの画像に対して二回以上用いることができ、互いに異なるパラメータを用い得る。例えば、水平線は、1度よりさらに傾いてもよい。本発明の実施形態によれば、ガボールフィルタ410は、シータ1度を含み得、この時シグマ4、ラムダ19、ガンマ0.5の値を有し得る。ガボールフィルタ410のパラメータ(例:シータ、シグマ、ラムダ、ガンマ)は、他の周波数または他の成分をフィルタリングできるように調整し得る。本発明の実施形態によれば、フィルタの大きさも調節できる。本発明の実施形態によれば、例えば、ガボールフィルタ410は、31x31の画素の大きさであり得る。フィルタパラメータの調整は、反復過程により自動で行われるか、ユーザによって変更され得る。
本発明の実施形態によれば、ピラミッドフィルタ420は、解像度を犠牲にして画像平滑度を高めることができる。本発明の実施形態によれば、ピラミッドフィルタ420は、ガウスピラミッド(Gaussian pyramid)フィルタ(例:多重解像度ガウスピラミッドフィルタ)である。本発明の実施形態によれば、例えば、ガウスピラミッドフィルタ420は、前処理した入力画像に対する4レベルガウスピラミッドの生成に用い得る。その後、各レベルに対して5x5ウィンドフィルタを適用することができ、レベルは一つのフィルタリングした画像に再び併合され得る。本発明の実施形態によれば、レベル数とウィンドフィルタの大きさは、入力画像の大きさに応じて変わり得る。本発明の実施形態によれば、他の類型のピラミッドフィルタを用い得る。本発明の実施形態によれば、例えば、ピラミッドフィルタ420は、ラプラシアン(Laplacian)ピラミッドフィルタ、ステアラブル(Steerable)ピラミッドフィルタまたは他の類型のピラミッドフィルタであり得る。本発明の実施形態によれば、ピラミッドフィルタ420は入力画像に対して類似の効果を有する一つ以上の他のフィルタに交替され得る。本発明の実施形態によれば、例えばピラミッドフィルタ420は、多重ガウス平滑化フィルタに交替され得る。各々のガウス平滑化フィルタは、互いに異なる分布を有し得、それぞれのフィルタの出力は、平均化され得る。
図5は本発明の実施形態による候補検出器を示す図である。
図5を参照すると、候補検出器500は、線ムラ(例:水平線ムラ)の潜在的なインスタンスの識別に用い得る。本発明の実施形態によれば、候補検出器500は一つの線に沿って二進画像成分を数え得る。線に沿って存在する成分の数が線閾値より大きい場合、線ムラの潜在的なインスタンスが識別される。本発明の実施形態によれば、候補検出器500は、画像平均強度と標準偏差とを決定する平均及び標準偏差モジュール510を含み得る。本発明の実施形態によれば、二進変換モジュール520は、入力画像を二進画像に変換する。二進変換モジュール520は、標準偏差によって修正された平均における二進閾値セットを用い得る。本発明の実施形態によれば、例えば、閾値は数式2のように定義され得る。
Figure 0007274885000002
本発明の実施形態によれば、候補検出器500は、二進画像を用いて線ムラの潜在的なインスタンスを識別し得る。例えば、線成分カウントモジュール530は、傾斜に沿って線分(line segment)の長さ(例:傾斜に沿って「1」で表す成分)をカウントし得る。本発明の実施形態によれば、例えば、線成分カウントモジュール530は、入力画像の各線に対して傾斜0(slope of zero)(例:水平線)に沿って二進画像で「1」で表す線分の数を数え得る。本発明の他の実施形態によれば、線成分カウントモジュール530は、傾斜±0.5、±1.0、±1.5などに沿ってカウントし得る。本発明の実施形態によれば、傾斜に沿ってカウントした線分の数が線閾値を超えると、候補が検出され得る。本発明の実施形態によれば、閾値比較モジュール540は、カウントしたそれぞれの線成分の数を該当傾斜に対する線閾値と比較し得る。例えば、線閾値は、傾斜に沿って存在する全体線成分の70%に設定され得る。QHD表示装置は、2560x1440の解像度を有する。したがって、本実施形態では、水平線(例:傾斜0)に対して線閾値が1000個の成分に設定され得る。本発明の実施形態によれば、候補表示器(candidate marker)550は、識別したそれぞれの候補の位置と方向とを表示する。識別した候補それぞれに対して原本画像を用いて一つの画像パッチを生成して、前述したとおり、特徴抽出器110,330と分類器120,340とに提供する。本発明の実施形態によれば、画像パッチの大きさは、表示装置の大きさに応じて決定される。本発明の実施形態によれば、例えば、表示装置が2560x1440の解像度のQHD表示装置であってもよく、この時、画像パッチは43x1408の画素サイズであり得る。本発明の他の実施形態によれば、表示装置が1480x720の解像度であってもよく、この時の画像パッチは、21x704の画素サイズであり得る。
このように前述した本発明の実施形態は、表示パネル上の線ムラインスタンスを識別するシステム及び方法を提示する。本発明の実施形態によれば、前処理と候補検出とを用いることによって、分類する候補画像パッチの数を減らし、これにより全体処理時間を減らすと同時に検出の正確度を高めることができる。画像パッチは、ムラ候補がその中心にくるように生成され、線を中心に置くようにパッチを形成することによって、システムは、学習と分類両方のための鮮明なデータセットを提供できる。
以上の説明は実施形態であり、これに限定されない。いくつかの実施形態について説明したが、当業者であれば実施形態で提示する新たな内容及び効果から実質的に逸脱せず、実施形態を変化させ得る。したがって、このような全ての変形または変化は、請求範囲で定義する実施形態の範囲に含まれる。請求範囲の機能的な表現は、ここで言及した機能を行う構造及びその構造的等価物及び等価構造物を含むためである。したがって、以上の説明は、実施形態に関するものであり、特定の実施形態に限定されず、この実施形態の変形及び他の実施形態もまた、請求範囲の権利範囲に属する。発明概念は、次の請求範囲によって定義され、請求範囲の等価物もまた、ここに含まれる。
100、310、400:前処理器
110、330:特徴抽出器
120、340:分類器
130:人的検査
300:規格化モジュール
320:ムラ候補検出器
410:ガボールフィルタ
420:ピラミッドフィルタ
500:候補検出器
510:平均及び標準偏差モジュール
520:二進変換モジュール
530:線成分カウントモジュール
540:閾値比較モジュール
550:候補表示器

Claims (20)

  1. メモリと、
    前記メモリに保存された命令を実行するプロセッサと、を含み、
    前記命令は、前記プロセッサによって実行されると、前記プロセッサに、
    少なくとも一つのフィルタを用いて表示装置の入力画像を前処理することによってフィルタリングされた画像を生成させ、
    前記フィルタリングされた画像を二進画像に変換させ、前記二進画像の水平線方向に対して傾斜する方向に沿って線成分をカウントさせ、前記傾斜する方向に沿って存在する前記カウントされた線成分が線閾値を超えた場合に候補位置を表示させることによって、線ムラ候補を識別させ、
    前記候補位置を中心に置いた画像パッチを生成させ、
    マシン学習分類器を用いて、前記候補位置を中心に置いた前記画像パッチを分類させる、表示装置の欠陥識別システム。
  2. 前記少なくとも一つのフィルタは、ガボールフィルタ及びピラミッドフィルタのうち少なくとも一つを含む請求項1に記載のシステム。
  3. 前記フィルタリングされた画像の二進画像への変換は、
    前記フィルタリングされた画像の画像平均強度と標準偏差とを決定し、
    前記画像平均強度と前記標準偏差とに基づいて二進閾値を計算し、
    前記二進閾値に応じて前記フィルタリングされた画像を前記二進画像に変換する請求項1に記載のシステム。
  4. 前記線閾値は、前記傾斜する方向に沿って存在する全体線成分の70%である請求項1に記載のシステム。
  5. 前記画像パッチは、前記入力画像を用いて生成される請求項1に記載のシステム。
  6. 前記マシン学習分類器は、サポートベクターマシンを含む請求項1に記載のシステム。
  7. 前記命令は、前記プロセッサに、前記画像パッチから特徴ベクターを抽出させ、
    前記特徴ベクターは、少なくとも一つの画像モーメントを含む請求項1に記載のシステム。
  8. 前記命令は、前記プロセッサに、前記入力画像を規格化させる請求項1に記載のシステム。
  9. 少なくとも一つのフィルタを用いて表示装置の入力画像を前処理することによってフィルタリングされた画像を生成する段階と、
    前記フィルタリングされた画像を二進画像に変換し、前記二進画像の水平線方向に対して傾斜する方向に沿って線成分をカウントし、前記傾斜する方向に沿う前記線成分が線閾値を超えた場合に候補位置を表示することによって、線ムラ候補を識別する段階と、
    前記候補位置が中心に位置した画像パッチを生成する段階と、
    マシン学習分類器を用いて、前記候補位置が中心に位置した前記画像パッチを分類する段階と、を含む表示装置の欠陥識別方法。
  10. 前記少なくとも一つのフィルタは、ガボールフィルタ及びピラミッドフィルタを含む請求項9に記載の方法。
  11. 前記フィルタリングされた画像の二進画像への変換は、
    前記フィルタリングされた画像の画像平均強度と標準偏差とを決定し、
    前記画像平均強度と標準偏差とに基づいて二進閾値を計算し、
    前記二進閾値に応じて前記フィルタリングされた画像を前記二進画像に変換する請求項9に記載の方法。
  12. 前記線閾値は、前記傾斜する方向に沿って存在する全体線成分の70%である請求項9に記載の方法。
  13. 前記画像パッチは、前記入力画像を用いて生成される請求項9に記載の方法。
  14. 前記マシン学習分類器は、サポートベクターマシンを含む請求項9に記載の方法。
  15. 前記画像パッチから特徴ベクターを抽出する段階をさらに含み、
    前記特徴ベクターは、少なくとも一つの画像モーメントを含む請求項9に記載の方法。
  16. 表示装置の入力画像を希望データ区間に規格化する段階と、
    ガボールフィルタ及びガウスピラミッドフィルタを用いて前記規格化された画像を前処理することによってフィルタリングされた画像を生成する段階と、
    前記フィルタリングされた画像を二進画像に変換し、前記二進画像の水平線方向に対して一つ以上の傾斜する方向に沿って線成分をカウントし、前記傾斜する方向に沿う前記線成分が線閾値を超えた場合に候補位置を表示することによって、線ムラ候補を識別する段階と、
    前記候補位置が中心に位置した一つ以上の画像パッチを生成する段階と、
    マシン学習分類器を用いて、前記候補位置が中心に位置した前記画像パッチを分類する段階と、を含む表示装置の欠陥識別方法。
  17. 前記フィルタリングされた画像の二進画像への変換は、
    前記フィルタリングされた画像の画像平均強度と標準偏差とを決定し、
    前記画像平均強度と標準偏差とに基づいて二進閾値を計算し、
    前記二進閾値に応じて前記フィルタリングされた画像を前記二進画像に変換する請求項16に記載の方法。
  18. 前記二進閾値は、前記標準偏差を1.5で割った値を前記画像平均強度に足した値に等しい請求項17に記載の方法。
  19. 前記マシン学習分類器は、サポートベクターマシンを含む請求項16に記載の方法。
  20. 前記画像パッチから特徴ベクターを抽出する段階をさらに含み、
    前記特徴ベクターは、少なくとも一つの画像モーメントを含む請求項16に記載の方法。
JP2019028647A 2018-02-22 2019-02-20 表示装置の欠陥識別システム及び方法 Active JP7274885B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862634125P 2018-02-22 2018-02-22
US62/634,125 2018-02-22
US15/956,667 US10755133B2 (en) 2018-02-22 2018-04-18 System and method for line Mura detection with preprocessing
US15/956,667 2018-04-18

Publications (2)

Publication Number Publication Date
JP2019144245A JP2019144245A (ja) 2019-08-29
JP7274885B2 true JP7274885B2 (ja) 2023-05-17

Family

ID=65365888

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019028647A Active JP7274885B2 (ja) 2018-02-22 2019-02-20 表示装置の欠陥識別システム及び方法

Country Status (6)

Country Link
US (1) US10755133B2 (ja)
EP (1) EP3531407A1 (ja)
JP (1) JP7274885B2 (ja)
KR (1) KR102611224B1 (ja)
CN (1) CN110189289A (ja)
TW (1) TWI797262B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3489892B1 (en) * 2017-11-24 2022-01-05 Ficosa Adas, S.L.U. Determining clean or dirty captured images
KR102528980B1 (ko) * 2018-07-18 2023-05-09 삼성디스플레이 주식회사 표시 장치 및 이의 얼룩 보정 방법
WO2020091810A1 (en) * 2018-11-02 2020-05-07 Hewlett-Packard Development Company, L.P. Print quality assessments
US11948292B2 (en) 2019-07-02 2024-04-02 MakinaRocks Co., Ltd. Systems and methods for detecting flaws on panels using images of the panels
CN111340752A (zh) * 2019-12-04 2020-06-26 京东方科技集团股份有限公司 屏幕的检测方法、装置、电子设备及计算机可读存储介质
TWI748344B (zh) * 2020-02-14 2021-12-01 聚積科技股份有限公司 發光二極體調屏標準判定模型建立方法
US11244548B2 (en) * 2020-03-03 2022-02-08 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for anti-shoplifting in self-checkout

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000113188A (ja) 1998-10-06 2000-04-21 Toppan Printing Co Ltd ムラ欠陥検査装置及び方法並びにムラ欠陥検査プログラムを記録した記録媒体
JP2003066398A (ja) 2001-08-27 2003-03-05 Japan Science & Technology Corp 液晶ディスプレイパネルムラの分類処理方法、その装置及びプログラム
JP2005331929A (ja) 2004-04-19 2005-12-02 Semiconductor Energy Lab Co Ltd 画像解析方法、画像解析プログラム、及びそれらを有する画素評価システム
US20140168451A1 (en) 2012-12-13 2014-06-19 Lg Display Co., Ltd. Mura detection apparatus and method of display device
JP2018005639A (ja) 2016-07-04 2018-01-11 タカノ株式会社 画像分類装置、画像検査装置、及び、プログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5917935A (en) * 1995-06-13 1999-06-29 Photon Dynamics, Inc. Mura detection apparatus and method
US6154561A (en) * 1997-04-07 2000-11-28 Photon Dynamics, Inc. Method and apparatus for detecting Mura defects
FR2841423A1 (fr) * 2002-06-25 2003-12-26 Koninkl Philips Electronics Nv Procede de detection d'artefacts de bloc
US7308157B2 (en) * 2003-02-03 2007-12-11 Photon Dynamics, Inc. Method and apparatus for optical inspection of a display
JP2005140655A (ja) 2003-11-07 2005-06-02 Seiko Epson Corp シミ欠陥の検出方法及びその検出装置
KR100554578B1 (ko) 2003-11-29 2006-03-03 주식회사 쓰리비 시스템 플랫패널용 광관련판요소의 정형성 얼룩 검출방법
US8184923B2 (en) * 2004-04-19 2012-05-22 Semiconductor Energy Laboratory Co., Ltd. Image analysis method, image analysis program, pixel evaluation system having the image analysis method, and pixel evaluation system having the image analysis program
JP4583155B2 (ja) * 2004-12-13 2010-11-17 Hoya株式会社 欠陥検査方法及びシステム、並びにフォトマスクの製造方法
TWI354100B (en) 2006-06-01 2011-12-11 Dainippon Screen Mfg Unevenness inspecting method, unevenness inspectin
US8026927B2 (en) * 2007-03-29 2011-09-27 Sharp Laboratories Of America, Inc. Reduction of mura effects
KR101587176B1 (ko) * 2007-04-18 2016-01-20 마이크로닉 마이데이타 에이비 무라 검출 및 계측을 위한 방법 및 장치
US8780097B2 (en) 2011-10-20 2014-07-15 Sharp Laboratories Of America, Inc. Newton ring mura detection system
KR101977647B1 (ko) 2012-11-15 2019-05-14 엘지디스플레이 주식회사 표시장치의 얼룩 검출 장치 및 방법
WO2014140047A2 (en) * 2013-03-12 2014-09-18 Micronic Mydata AB Method and device for writing photomasks with reduced mura errors
US9607403B2 (en) * 2014-10-28 2017-03-28 Ppg Industries Ohio, Inc. Pigment identification of complex coating mixtures with sparkle color
TW201711634A (zh) * 2015-09-17 2017-04-01 國立中央大學 腦功能成像辨識的方法及系統

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000113188A (ja) 1998-10-06 2000-04-21 Toppan Printing Co Ltd ムラ欠陥検査装置及び方法並びにムラ欠陥検査プログラムを記録した記録媒体
JP2003066398A (ja) 2001-08-27 2003-03-05 Japan Science & Technology Corp 液晶ディスプレイパネルムラの分類処理方法、その装置及びプログラム
JP2005331929A (ja) 2004-04-19 2005-12-02 Semiconductor Energy Lab Co Ltd 画像解析方法、画像解析プログラム、及びそれらを有する画素評価システム
US20140168451A1 (en) 2012-12-13 2014-06-19 Lg Display Co., Ltd. Mura detection apparatus and method of display device
JP2018005639A (ja) 2016-07-04 2018-01-11 タカノ株式会社 画像分類装置、画像検査装置、及び、プログラム

Also Published As

Publication number Publication date
EP3531407A1 (en) 2019-08-28
US10755133B2 (en) 2020-08-25
CN110189289A (zh) 2019-08-30
TW201945719A (zh) 2019-12-01
TWI797262B (zh) 2023-04-01
US20190258890A1 (en) 2019-08-22
KR20190101874A (ko) 2019-09-02
JP2019144245A (ja) 2019-08-29
KR102611224B1 (ko) 2023-12-07

Similar Documents

Publication Publication Date Title
JP7274885B2 (ja) 表示装置の欠陥識別システム及び方法
TWI786238B (zh) 顯示器上的缺陷偵測系統及方法
US9846932B2 (en) Defect detection method for display panel based on histogram of oriented gradient
US8331650B2 (en) Methods, systems and apparatus for defect detection
US10643576B2 (en) System and method for white spot Mura detection with improved preprocessing
EP3176751B1 (en) Information processing device, information processing method, computer-readable recording medium, and inspection system
CN110930390B (zh) 基于半监督深度学习的芯片管脚缺失检测方法
Rong et al. Embedded vision detection of defective orange by fast adaptive lightness correction algorithm
Mushtaq et al. Nuts&bolts: YOLO-v5 and image processing based component identification system
TW201512649A (zh) 偵測晶片影像瑕疵方法及其系統與電腦程式產品
Ahmad et al. A geometric-based method for recognizing overlapping polygonal-shaped and semi-transparent particles in gray tone images
Zhang et al. Rethinking unsupervised texture defect detection using PCA
Lee 16‐4: Invited Paper: Region‐Based Machine Learning for OLED Mura Defects Detection
Song et al. Robustness of point feature detection
Kuo et al. Automated inspection of micro-defect recognition system for color filter
CN106846366B (zh) 使用gpu硬件的tld视频运动目标跟踪方法
CN111583225A (zh) 缺陷检测方法、装置及存储介质
Yang et al. A method of steel strip image segmentation based on local gray information
US11690569B2 (en) Blood vessel detecting apparatus and image-based blood vessel detecting method
Kubota et al. ROI Detection with Machine Learning for Glottis Images Captured from High-speed Video-endoscopy
Gulati et al. Locating ROI in Iris Using Randomized Hough Transform
CN116596855A (zh) 基于深度学习的无人机对绝缘子故障检测系统及检测方法
CN116416165A (zh) 边缘增强方法、装置、可读存储介质及电子设备
Yan et al. Image Smoothing and Anomaly Detection Via Smooth-Sparse Decomposition

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230502

R150 Certificate of patent or registration of utility model

Ref document number: 7274885

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150