JP2024021487A - 検査方法、検査装置及びプログラム - Google Patents

検査方法、検査装置及びプログラム Download PDF

Info

Publication number
JP2024021487A
JP2024021487A JP2022124338A JP2022124338A JP2024021487A JP 2024021487 A JP2024021487 A JP 2024021487A JP 2022124338 A JP2022124338 A JP 2022124338A JP 2022124338 A JP2022124338 A JP 2022124338A JP 2024021487 A JP2024021487 A JP 2024021487A
Authority
JP
Japan
Prior art keywords
image
defect
abnormal part
abnormal
inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022124338A
Other languages
English (en)
Inventor
伸一郎 橋本
Shinichiro Hashimoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jdi Design And Development
Jdi Design And Development LLC
Original Assignee
Jdi Design And Development
Jdi Design And Development LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jdi Design And Development, Jdi Design And Development LLC filed Critical Jdi Design And Development
Priority to JP2022124338A priority Critical patent/JP2024021487A/ja
Priority to PCT/JP2023/028231 priority patent/WO2024029552A1/ja
Publication of JP2024021487A publication Critical patent/JP2024021487A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】表示パネルの画素領域における欠陥モードの判定を自動的に行うことができる検査方法等を提供する。【解決手段】コンピュータが行う表示パネルの検査方法であって、表示パネルのの画素領域の検査用画像に、背景差分法を用いた画像処理を施すことにより得た当該画素領域の異常部分を含む画像である異常部画像を取得する取得ステップ（Ｓ１１）と、学習済みの生成モデルを用いて、異常部画像から、異常部分を示す領域を異常部分の欠陥モードに対応する色に変換したラベル画像を生成する生成ステップ（Ｓ１２）と、ラベル画像における当該領域の色に基づき、異常部分の欠陥モードが当該画素領域の機能層が劣化していることにより発光しない染み出し不良の可能性があるかを判定する判定ステップ（Ｓ１３）と、を含み、欠陥モードには、滅点不良と、染み出し不良とが含まれる。【選択図】図１４

Description

本開示は、検査方法、検査装置及びプログラムに関する。
有機ＥＬ表示パネルの生産工程では、製品の品質を保つために様々な検査が行われる。
様々な検査工程のうち、画素領域の表示不良を検査する検査工程では、水分バリア層の欠陥による黒シミ状の表示不良（以下、染み出し不良と称する）があるかどうかを検査するＤＳ（Dark Spot）検査が行われている。
ＤＳ検査では、オペレータが画素領域の拡大画像を確認し、当該画素領域の発光層に水分が染み出ている領域（以下、染み出し領域と称する）が映っている場合、染み出し領域のサイズによって染み出し不良であるかどうかを判定する。
しかしながら、画素領域の表示不良には、染み出し不良以外に、滅点などによる表示不良があるため、オペレータには、不良モード（以下、欠陥モードと称する）の判定も必要になる。このような欠陥モードの判定と染み出し領域のサイズの計測とは共にオペレータの判断に委ねられている。このため、オペレータごとに判定基準の差異が生じたり、同一オペレータであっても判断基準の経時的なゆれが生じたりしてしまう。この結果、良品であるのに不良品と判定しまうオーバーキル、不良品であるのに良品と判定しまうアンダーキルが生じてしまうという問題がある。
これに対して、例えば特許文献１では、外観検査において、検出された欠陥の画像を自動的に分類する画像分類方法が提案されている。
特開２０１７―０５４２３９号公報
しかしながら、特許文献１では、欠陥の種類として有機ＥＬ表示パネルの画素領域における染み出し不良についての考慮がない。すなわち、特許文献１の画像分類方法を用いても、欠陥の種類として、異物、不良、気泡のいずれかを分類できるに過ぎず、有機ＥＬ表示パネルの画素領域における染み出し不良を分類することはできない。
本開示は、上述の事情を鑑みてなされたもので、表示パネルの画素領域における欠陥モードの判定を自動的に行うことができる検査方法などを提供することを目的とする。
上記目的を達成するために、本開示の一形態に係る検査方法は、コンピュータが行う表示パネルの検査方法であって、前記表示パネルの画素領域の検査用画像に、背景差分法を用いた画像処理を施すことにより得た前記画素領域の異常部分を含む画像である異常部画像を取得する取得ステップと、学習済みの生成モデルを用いて、前記異常部画像から、前記異常部分を示す領域を前記異常部分の欠陥モードに対応する色に変換したラベル画像を生成する生成ステップと、前記ラベル画像における前記領域の色に基づき、前記異常部分の欠陥モードが前記画素領域の機能層が劣化していることにより発光しない染み出し不良である可能性があるかを判定する判定ステップと、を含み、前記欠陥モードには、画素領域の電気的短絡または電気的開放により発光しない滅点不良と、染み出し不良とが含まれる。
これにより、表示パネルの画素領域における欠陥モードの判定を自動的に行うことができる。
また、さらに、前記判定ステップの前に、学習済みのCNN（Convolutional Neural Network）モデルを用いて、前記異常部画像から、前記異常部分の欠陥モードを示す分類結果を取得するCNN判定ステップを含み、前記判定ステップでは、前記CNN判定ステップにおいて取得した分類結果と、前記ラベル画像における前記領域の色とに基づき、前記異常部分の欠陥モードが染み出し不良である可能性があるかを判定してもよい。
また、例えば、前記判定ステップでは、前記CNN判定ステップにおいて取得した分類結果が示す欠陥モードと、前記ラベル画像における前記領域の色に示される欠陥モードとが一致する場合に、前記コンピュータが前記異常部分の欠陥モードが染み出し不良である可能性があるかを判定し、前記一致しない場合、前記一致しない旨を通知し、オペレータに前記異常部分の欠陥モードが染み出し不良である可能性があるかを判定させ、前記検査方法では、さらに、前記判定ステップにおいて、前記異常部分の欠陥モードが染み出し不良の可能性があると判定された場合、前記ラベル画像における前記領域のサイズが所定値以上か否かを計測する計測ステップと、前記計測ステップにおいて、前記領域のサイズが前記所定値以上である場合、前記異常部分は、染み出し不良であると判定する染み出し不良判定ステップとを含んでもよい。
また、例えば、前記判定ステップにおいて、前記異常部分の欠陥モードが染み出し不良の可能性があると判定された場合、前記ラベル画像における前記領域のサイズが所定値以上か否かを計測する計測ステップと、前記計測ステップにおいて、前記領域のサイズが前記所定値以上である場合、前記異常部分は、染み出し不良であると判定する染み出し不良判定ステップとを含んでてもよい。
また、例えば、前記学習済みの生成モデルは、教師データとして準備された、前記表示パネルの画素領域の検査用画像に背景差分法を用いた画像処理を施すことにより得た学習用異常部画像と、当該異常部画像に映る異常部分を示す領域を前記異常部分の欠陥モードに対応する色に変換した学習用ラベル画像とにより学習されており、前記異常部分の欠陥モードは、滅点不良、染み出し不良、または、正常を示す。
ここで、例えば、前記学習済みの生成モデルは、GAN（Generative Adversarial Networks）をベースにしたニューラルネットワークモデルであってもよい。また、例えば、前記学習済みの生成モデルは、Pix2Pixのニューラルネットワークモデルであってもよい。
また、例えば、前記学習用異常部画像は、前記異常部分を示す領域を除く背景領域が均一な白色となるようにヒストグラム調整されていてもよい。
なお、これらの全般的または具体的な態様は、装置、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
本開示により、表示パネルの画素領域における欠陥モードの判定を自動的に行うことができる検査方法などを提供できる。
図１は、実施の形態に係る検査装置を含む検査システムの概略構成を示す図である。 図２Ａは、実施の形態に係るＤＳ検査に用いられる検査用画像の拡大画像の一例である。 図２Ｂは、実施の形態に係るＤＳ検査に用いられる検査用画像の拡大画像の一例である。 図３は、染み出し不良の発生メカニズムを説明するための概略図である。 図４Ａは、実施の形態に係るＤＳ検査に用いられる検査用画像の拡大画像に映る染み出し領域のサイズの一例である。 図４Ｂは、実施の形態に係るＤＳ検査に用いられる検査用画像の拡大画像に映る染み出し領域のサイズの一例である。 図５は、実施の形態に係る検査装置の機能をソフトウェアにより実現するコンピュータのハードウェア構成の一例を示す図である。 図６は、実施の形態に係る検査装置の機能構成の一例を示すブロック図である。 図７は、実施の形態に係るＤＳ検査に用いられる有機ＥＬ表示パネルの検査用画像の拡大画像の別の一例である。 図８は、図７に示す検査用画像の拡大画像から得た異常部画像の一例を示す図である。 図９は、実施の形態に係るラベル画像の一例を示す図である。 図１０は、実施の形態に係る教師データとして準備された画像ペアの一例を示す図である。 図１１Ａは、実施の形態に係る教師データとして準備された画像ペアの他の例を示す図である。 図１１Ｂは、実施の形態に係る教師データとして準備された画像ペアの他の一例を示す図である。 図１１Ｃは、実施の形態に係る教師データとして準備された画像ペアの他の一例を示す図である。 図１１Ｄは、実施の形態に係る教師データとして準備された画像ペアの他の一例を示す図である。 図１２は、図１０～図１１Ｄに示すような画像ペアを教師データとして用いて生成モデルを学習させる方法を概念的に示す図である。 図１３は、実施の形態に係るラベル画像の色ラベル部分のサイズ計測を概念的に説明するための図である。 図１４は、実施の形態に係る検査装置の動作を示すフローチャートである。 図１５は、実施の形態の変形例に係る検査装置の機能構成の一例を示すブロック図である。 図１６は、実施の形態の変形例に係る検査装置の動作の一部を示すフローチャートである。
以下、本開示の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示す。以下の実施の形態で示される数値、形状、材料、規格、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本開示の独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する場合がある。
（実施の形態）
以下、本実施の形態に係る検査装置等について説明する。
［１．検査システム］
以下、図を用いて、本実施の形態に係る検査装置１０について説明する。
図１は、本実施の形態に係る検査装置１０を含む検査システムの概略構成を示す図である。本実施の形態では、検査装置１０の検査対象が有機ＥＬ表示パネル３０である場合を例に挙げて説明する。検査装置１０の検査対象は、量子ドット発光素子（ＱＬＥＤ：Quantum dot Light Emitting Diode）を用いた表示パネルであってもよい。
図１に示される検査システムは、検査装置１０と、撮像装置２０と、ステージ２１と、ステージ駆動部２２とを備える。
検査装置１０は、有機ＥＬ表示パネル３０の画素領域において染み出し不良があるかどうかを検査するＤＳ検査を自動的に行うための装置である。染み出し不良は、上述したように、水分バリア層の欠陥による黒シミ状の表示不良である。より具体的には、本実施の形態に係る染み出し不良は、画素領域の発光層を含む機能層が劣化していることにより発光しない表示不良であり、欠陥モードの一つである。典型的には水分により発光層を含む機能層が劣化する。また、染み出し不良は、画素領域の発光層に水分が染み出ている表示不良として現れる場合が多い。換言すると、染み出し不良は、画素領域の拡大画像において、有機ＥＬ表示パネル３０の発光層に水分が染み出ている領域（染み出し領域）が映り、かつ、その染み出し領域のサイズが所定値以上である不良として現れる。染み出し不良の発生メカニズムについては後述する。
撮像装置２０は、有機ＥＬ表示パネル３０上の検査対象領域を撮像し、例えばＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）で構成される。より具体的には、撮像装置２０は、有機ＥＬ表示パネル３０上の検査対象領域である画素領域を撮像することにより有機ＥＬ表示パネル３０の検査用画像を取得する。なお、撮像装置２０は、検査装置１０により制御されるが、他のコンピュータにより制御されてもよい。
ステージ２１は、有機ＥＬ表示パネル３０を保持する。
ステージ駆動部２２は、ボールねじ、ガイドレール及びモータにより構成され、撮像装置２０に対してステージ２１を相対的に移動させる。なお、ステージ駆動部２２は、検査装置１０により制御されるが、他のコンピュータにより制御されてもよい。
図２Ａ及び図２Ｂは、本実施の形態に係るＤＳ検査に用いられる検査用画像の拡大画像の一例である。図２Ａには、有機ＥＬ表示パネル３０の画素領域の拡大画像９１に、染み出し不良となる染み出し領域が映っている場合の一例が示されている。また、図２Ｂには、有機ＥＬ表示パネル３０の画素領域の拡大画像９２に、滅点不良となる滅点（滅点領域）が映っている場合の一例が示されている。なお、滅点は、画素領域の電気的短絡または電気的開放により発光（点灯）しない発光画素であるが、発光輝度が低い発光画素も含み得る。
なお、オペレータが自身でＤＳ検査を行う場合、画素領域の拡大画像に染み出し領域または滅点が映っているか否かを輪郭形状で識別することになる。染み出し領域は、画素領域の発光層に水分が染み出ている領域であり、水分が染み出る領域が時間等により成長し大きくなる領域であるため、輪郭がなめらかという特徴があり、輪郭がなめらかでない滅点領域と区別することができる。しかしながら、輪郭が識別しにくく、オペレータによっては、染み出し領域を滅点領域と誤った判定をしてしまうこともある。
図３は、染み出し不良の発生メカニズムを説明するための概略図である。図３には、有機ＥＬ表示パネル３０の画素領域の断面図の一例が模式的に示されている。有機ＥＬ表示パネル３０は、例えば図３に示すように、ガラス基板３１１と、ガラス基板３１１上に形成された薄膜トランジスタ層３１２と、薄膜トランジスタ層３１２上に形成された発光層３１３と、発光層３１３上に形成される保護膜３１４とを備えている。保護膜３１４は、水を遮断するための水分バリア層として機能する。また、有機ＥＬ表示パネル３０は、保護膜３１４に接着剤などの充填材３１５を介して、上部基板が形成される。図３に示す例では、上部基板は、カラーフィルタ層３１６と、ガラス基板３１７とで形成される。また、カラーフィルタ層３１６は、画素領域を区切るブラックマトリクス（ＢＭ）と、画素領域とを備える。なお、上部基板はフレキシブルな偏光板などで構成された基板であってもよい。
図３に示すように、有機ＥＬ表示パネル３０の保護膜３１４を形成する際に異物３２０が含まれ、保護膜３１４に隙間ができてしまっているとする。つまり、有機ＥＬ表示パネル３０において水分バリア層の欠陥が発生しているとする。すると、図３においてＨ２Ｏと示される水分がカラーフィルタ層３１６等から保護膜３１４に降下してくる。なお、水分は、カラーフィルタ層３１６に含まれる水分の他、充填材３１５に含まれる水分も含まれ得る。次に、保護膜３１４に降下してきた水分は、保護膜３１４の隙間に侵入し、発光層３１３に吸着する。このように、保護膜３１４に降下してきた水分は、侵入パス３２１により、保護膜３１４に侵入し、発光層３１３に吸着する。さらに、例えば矢印３２２の方向すなわち発光層３１３に沿って、水分の吸着領域が進行する。このようにして、画素領域の発光層に水分が染み出る領域が拡がっていく。なお、進行を促進する要因としては熱が支配的であるため、温度と時間により染み出る領域が拡がる。このため、有機ＥＬ表示パネルの製品寿命時間を終える時に製品が良品として扱える染み出し領域の大きさに基づいて、ＤＳ検査時で不良品となる染み出し領域のサイズが決められる。ここで、ＤＳ検査時で不良品となる染み出し領域のサイズは、例えば数十ミクロンオーダである。
図４Ａ及び図４Ｂは、本実施の形態に係るＤＳ検査に用いられる検査用画像の拡大画像に映る染み出し領域のサイズの一例である。図４Ａ及び図４Ｂには、有機ＥＬ表示パネル３０の画素領域の拡大画像に映る染み出し領域のサイズが示されている。
なお、オペレータが自身でＤＳ検査を行う場合、画素領域の拡大画像に映る染み出し領域のサイズを計測することになる。しかしながら、図４Ａ及び図４Ｂに示すように、染み出し領域は、画素間の区切りすなわちＢＭにより一部遮蔽されているため、オペレータは、染み出し領域の端を認識しにくい。この結果、オペレータによっては、染み出し領域のサイズの計測にばらつきが生じてしまうことになる。
［１－１．検査装置１０のハードウェア構成］
本実施の形態に係る検査装置１０の機能構成を説明する前に、図５を用いて、本実施の形態に係る検査装置１０のハードウェア構成の一例について説明する。
図５は、本実施の形態に係る検査装置１０の機能をソフトウェアにより実現するコンピュータ１０００のハードウェア構成の一例を示す図である。
コンピュータ１０００は、図５に示すように、入力装置１００１、出力装置１００２、ＣＰＵ１００３、内蔵ストレージ１００４、ＲＡＭ１００５、ＧＰＵ１００６、読取装置１００７、送受信装置１００８及びバス１００９を備えるコンピュータである。入力装置１００１、出力装置１００２、ＣＰＵ１００３、内蔵ストレージ１００４、ＲＡＭ１００５、ＧＰＵ１００６、読取装置１００７及び送受信装置１００８は、バス１００９により接続される。
入力装置１００１は、入力ボタン、タッチパッド、タッチパネルディスプレイなどといったユーザインタフェースとなる装置であり、ユーザの操作を受け付ける。なお、入力装置１００１は、ユーザの接触操作を受け付ける他、音声での操作、リモコン等での遠隔操作を受け付ける構成であってもよい。
出力装置１００２は、入力装置１００１と兼用されており、タッチパッドまたはタッチパネルディスプレイなどによって構成され、ユーザに知らすべき情報を通知する。
内蔵ストレージ１００４は、フラッシュメモリなどである。また、内蔵ストレージ１００４は、検査装置１０の機能を実現するためのプログラム、及び、検査装置１０の機能構成を利用したアプリケーションの少なくとも一方が、予め記憶されていてもよい。また、内蔵ストレージ１００４は、ニューラルネットワークのモデル（生成モデル等）、取得された学習用データ、モデルの中間層等のパラメータ、背景差分法などの画像処理を行う手順、後述する非滅点判定及びＤＳ判定などの判定を行うための手順などが記憶されるとしてもよい。
ＲＡＭ１００５は、ランダムアクセスメモリ（Random Access Memory）であり、プログラム又はアプリケーションの実行に際してデータ等の記憶に利用される。
ＧＰＵ１００６は、画像演算処理装置（Graphics Processing Unit）であり、内蔵ストレージ１００４に記憶されたプログラム、アプリケーション、データをＧＰＵに内蔵された専用ＲＡＭにコピーし、そのプログラムやアプリケーションに含まれる命令に従って画像演算処理を実行する。
読取装置１００７は、ＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る。読取装置１００７は、上記のようなプログラムやアプリケーションが記録された記録媒体からそのプログラム、アプリケーションを読み取り、内蔵ストレージ１００４に記憶させる。
送受信装置１００８は、無線又は有線で通信を行うための通信回路である。送受信装置１００８は、例えばネットワークに接続されたサーバ装置と通信を行い、サーバ装置から上記のようなプログラム、アプリケーションをダウンロードして内蔵ストレージ１００４に記憶させてもよい。
ＣＰＵ１００３は、中央演算処理装置（Central Processing Unit）であり、内蔵ストレージ１００４に記憶されたプログラム、アプリケーションをＲＡＭ１００５にコピーし、そのプログラムやアプリケーションに含まれる命令をＲＡＭ１００５から順次読み出して実行する。
［１－２．検査装置１０の機能構成］
続いて、図６を用いて本実施の形態に係る検査装置１０の各機能構成について説明する。
図６は、本実施の形態に係る検査装置１０の機能構成の一例を示すブロック図である。
検査装置１０は、図６に示されるように、画像取得部１０１と、ラベル画像生成部１０２と、非滅点判定部１０３と、サイズ計測部１０４と、ＤＳ判定部１０５とを備える。なお、検査装置１０において、サイズ計測部１０４及びＤＳ判定部１０５は必須ではなく、外部に備えられてもよい。
［１－２－１．画像取得部１０１］
画像取得部１０１は、有機ＥＬ表示パネル３０の画素領域の検査用画像に、背景差分法を用いた画像処理を施すことにより得た画素領域の異常部分を含む画像である異常部画像を取得する。
本実施の形態では、画像取得部１０１は、撮像装置２０から、ＤＳ検査に用いられる有機ＥＬ表示パネル３０の画素領域の検査用画像を取得する。また、画像取得部１０１は、取得した検査用画像に背景差分法を用いた画像処理を施して、有機ＥＬ表示パネル３０の画素領域の異常部分を含む背景差分画像である異常部画像を生成する。なお、画像取得部１０１は、検査装置１０の機能を実現するコンピュータにおいてメモリに格納された制御プログラムをプロセッサが実行することにより、検査用画像の取得機能、画像処理機能、異常部画像生成機能などの各種機能を実現することができる。
ここで、背景差分法とは、観測画像と背景画像とを比較することで、背景画像には存在しない観測画像に存在する物を抽出する画像処理である。本実施の形態では、異常画素画像と正常画素画像との差分を取ることで、異常画素画像から正常な輝度分布情報を除去し、異常部分のみを抽出する画像処理である。異常画素画像は、染み出し領域、滅点などを含む異常画素を含む画像、かつ、有機ＥＬ表示パネル３０の画素領域の検査用画像の拡大画像である。正常画素画像は、染み出し領域、滅点などを含まない正常画素を含む画像、かつ、有機ＥＬ表示パネル３０の画素領域の検査用画像の拡大画像である。
また、正常画素画像は、有機ＥＬ表示パネル３０の画素領域の検査用画像の異常部分と異なる位置で、異常部分を含まない画像である。換言すると、正常画素画像は、検査用画像のうち異常部分を含む領域の画像と同一スケールの画像である。なお、正常画素画像は、検査用画像から得た画像であってもよいし、検査用画像と同一スケールの画像であり、あらかじめ用意されたものであってもよい。
以下、図７及び図８を用いて、背景差分法により異常部画像を生成する場合の一例について説明する。図７は、本実施の形態に係るＤＳ検査に用いられる有機ＥＬ表示パネル３０の検査用画像の拡大画像の別の一例である。図７の（ａ）には、染み出し領域である異常部分３１ａを含む異常画素画像４１が示され、図７の（ｂ）には、正常画素画像４２が示されている。図８は、図７に示す検査用画像の拡大画像から得た異常部画像４３の一例を示す図である。
すなわち、画像取得部１０１は、背景差分法を用いた画像処理を行い、図７の（ａ）に示される異常画素画像４１と図７の（ｂ）に示される正常画素画像４２との差分を取ることで、異常画素画像から正常な輝度分布情報を除去し、異常部分のみを抽出する。これにより、画像取得部１０１は、図８に示すような異常部分３１ｂを含む異常部画像４３を生成することができる。図８に示す異常部画像４３は、図７の（ａ）に示される異常部分３１ａのみが抜き出された画像になっている。
このようにして、画像取得部１０１は、異常部画像を取得することができる。
［１－２－２．ラベル画像生成部１０２］
ラベル画像生成部１０２は、学習済みの生成モデルを用いて、画像取得部１０１により取得された異常部画像から、異常部分を示す領域を異常部分の欠陥モードに対応する色に変換したラベル画像を生成する。なお、ラベル画像生成部１０２は、検査装置１０の機能を実現するコンピュータにおいて、メモリに格納された制御プログラムをプロセッサが実行することにより、学習済みの生成モデルを用いたラベル画像の生成機能を実現することができる。学習済みの生成モデルは、教師データとして準備された学習用異常部画像と学習用ラベル画像とにより学習、生成される。学習用異常部画像は、有機ＥＬ表示パネル３０の画素領域の検査用画像に背景差分法を用いた画像処理を施すことにより得た画像である。学習用ラベル画像は、当該異常部画像に映る異常部分を示す領域を異常部分の欠陥モードに対応する色に変換した画像である。異常部分の欠陥モードは、滅点不良、染み出し不良、または、正常を示す。
図９は、本実施の形態に係るラベル画像４４の一例を示す図である。図９に示すラベル画像４４は、図８に示す異常部画像４３の異常部分３１ｂの領域が、異常部分３１ｂの欠陥モードに応じた色領域（色ラベル）に変換された色ラベル部分３１ｃを含む画像である。
本実施の形態では、ラベル画像生成部１０２は、例えば図８に示す異常部画像４３から、異常部画像４３に含まれる異常部分３１ｂの領域を、異常部分３１ｂの欠陥モードに応じた色ラベルに変換した色ラベル部分３１ｃを含む図９に示すラベル画像４４を生成する。なお、異常部分３１ｂの欠陥モードは、上述したように、例えば染み出し不良、滅点不良、正常などである。また、色ラベル部分３１ｃは、異常部分３１ｂの領域のうち画素間の区切りすなわちＢＭにより遮蔽されている欠損部分が欠陥モードに応じた色で補完されている。
本実施の形態では、ラベル画像４４の生成を行うために、学習用ペア画像の一方から他方を補完するニューラルネットワークモデルである生成モデルを使用する。ここで、本実施の形態に係る生成モデルは、例えばPix2Pixのニューラルネットワークモデルである。Pix2Pixは、ニューラルネットワークを用いて学習用ペア画像間に潜む関係性を自動抽出し、抽出した関係性を用いてペア画像の片割れからもう一方を補完する生成モデルである。なお、本実施の形態に係る生成モデルは、画像ペアの敵対生成学習を行うGAN（Generative Adversarial Networks）のようなニューラルネットワークモデルで構成されていれば、どのような構成であってもよい。つまり、本実施の形態に係る生成モデルは、GANをベースにしたニューラルネットワークモデルであれば、どのような構成であってもよい。
続いて、異常部画像からラベル画像を生成させる生成モデルの学習方法の一例について説明する。
図１０は、本実施の形態に係る教師データとして準備された画像ペアの一例を示す図である。図１０に示される異常部画像６１とそのラベル画像６２は、教師データとして準備された画像ペアの一例である。図１０の（ａ）には、染み出し領域である異常部分６１ａを含む異常部画像６１が示されている。図１０の（ｂ）には、当該異常部画像６１の異常部分６１ａの欠陥モードが染み出し不良である場合に応じた色（図ではハッチング）に、異常部分６１ａの領域を変換（置換）させた色ラベル部分６２ｂを含むラベル画像６２が示されている。なお、色ラベル部分６２ｂでは、異常部分６１ａの画素間の区切りすなわちＢＭにより遮蔽されている欠損部分が、異常部分６１ａの欠陥モードが染み出し不良である場合に応じた色に変換される。
図１１Ａ～図１１Ｄは、本実施の形態に係る教師データとして準備された画像ペアの他の例を示す図である。
図１１Ａの（ａ）には、正常画像すなわち異常部分のない異常部画像の例が示されている。図１１Ａの（ｂ）には、当該異常部画像の欠陥モードが正常である場合のラベル画像が示されている。図１１Ａの（ａ）に示す異常部画像には異常部分がないため、図１１Ａの（ｂ）のラベル画像では、正常を示す白色の色ラベル部分を含む画像となっている。
図１１Ｂの（ａ）には、染み出し領域である異常部分を含む異常部画像の例が示されている。図１１Ｂの（ｂ）には、当該異常部画像の欠陥モードが染み出し不良である場合に応じたハッチングで描き分けられた色ラベル部分を含むラベル画像が示されている。
図１１Ｃの（ａ）には、滅点である異常部分を含む異常部画像の例が示されている。図１１Ｃの（ｂ）には、当該異常部画像の欠陥モードが滅点不良である場合に応じたハッチングで描き分けられた色ラベル部分を含むラベル画像が示されている。
図１１Ｄの（ａ）には、染み出し領域と滅点とが混在する異常部分を含む異常部画像の例が示されている。図１１Ｄの（ｂ）には、当該異常部画像の異常部分のそれぞれの欠陥モードに応じたハッチングで描き分けられた色ラベル部分を含むラベル画像が示されている。
図１２は、図１０～図１１Ｄに示すような画像ペアを教師データとして用いて生成モデルを学習させる方法を概念的に示す図である。なお、図１２において入力される異常部画像の例では、異常部画像を概念的に表すために、画素は白枠で示され、かつ、異常部分はＢＭにより遮蔽される部分を除いてハッチングが付されて示されている。
異常部画像からラベル画像を生成させる生成モデルを学習させる際、まず、図１０～図１１Ｄに示すような、異常部画像とラベル画像とからなる画像ペアを複数準備する。次に、図１２に示すように、入力が異常部画像となり、出力が対応するラベル画像となるように、当該生成モデルを構成するGANをベースにしたニューラルネットワークを教師あり学習させる。これにより、異常部画像が入力されるとラベル画像を生成させる生成モデルを得ることができる。
なお、図１２には、本実施の形態に係る生成モデルを構成するニューラルネットワークを概念的に示しているが、上述したように、pix2pixなど画像ペアの敵対生成学習を行うGANのようなニューラルネットワークで構成されればよい。また、本実施の形態に係る生成モデルを構成するニューラルネットワークは、異常部画像が入力されるとラベル画像を生成させる生成モデルを得ることができるニューラルネットワークの構成であれば、どのような構成であってもよい。
このようにして、ラベル画像生成部１０２は、画像取得部１０１により取得された異常部画像から、当該異常部画像の異常部分のそれぞれの欠陥モードに応じた色で描き分けられた色ラベル部分を含むラベル画像を生成することができる。
なお、生成モデルを学習させる際に準備する画像ペアのうちの学習用異常部画像は、異常部分を示す領域を除く背景領域が均一に白飛びするように、すなわち均一に階調２５５の値で示される均一な白色に変換されるようにヒストグラム調整されていてもよい。これにより、生成モデルがラベル画像を生成するために必要な情報のみを予め抽出することができるので、より高精度にラベル画像を生成することができる生成モデルとなるように生成モデルを学習させることができる。なお、ヒストグラム調整した画像である学習用異常部画像を学習に用いる場合、検査に用いる検査用画像もヒストグラム調整した画像を用いればよい。
［１－２－３．非滅点判定部１０３］
非滅点判定部１０３は、ラベル画像における領域の色に基づき、異常部分の欠陥モードが画素領域の発光層に水分が染み出ている染み出し不良の可能性があるかを判定する。なお、非滅点判定部１０３は、例えば検査装置１０の機能を実現するコンピュータにおいて、メモリに格納された制御プログラムをプロセッサが実行することにより、判定機能を実現することができる。
本実施の形態では、非滅点判定部１０３は、ラベル画像生成部１０２により生成されたラベル画像を取得し、取得したラベル画像に含まれる色ラベル部分の色により、当該色ラベル部分に対応する異常部分の欠陥モードが滅点不良でないかどうかを判定する。例えば、非滅点判定部１０３は、ラベル画像生成部１０２により生成された図９に示すラベル画像４４を取得したとする。この場合、非滅点判定部１０３は、取得したラベル画像４４の色ラベル部分３１ｃの色により、色ラベル部分３１ｃに対応する異常部分３１ｂの欠陥モードが滅点不良でないことを判定する。
このようにして、非滅点判定部１０３は、取得したラベル画像４４の色ラベル部分３１ｃに対応する異常部分３１ｂの欠陥モードが染み出し不良の可能性があることを判定することができる。
なお、非滅点判定部１０３は、色ラベル部分３１ｃに対応する異常部分３１ｂの欠陥モードが正常の場合には、ＤＳ検査での検査結果はＯＫ（良品）となるため、当該異常部画像に対する処理は終了することになる。
［１－２－４．サイズ計測部１０４］
サイズ計測部１０４は、非滅点判定部１０３において、異常部分の欠陥モードが染み出し不良である可能性があると判定された場合、ラベル画像における色ラベル部分の領域のサイズが所定値以上か否かを計測する。なお、サイズ計測部１０４は、検査装置１０の機能を実現するコンピュータにおいて、例えばメモリに格納された制御プログラムをプロセッサが実行することにより、計測機能を画像処理により実現することができる。
図１３は、本実施の形態に係るラベル画像４４の色ラベル部分３１ｃのサイズ計測を概念的に説明するための図である。
本実施の形態では、サイズ計測部１０４は、非滅点判定部１０３により、欠陥モードが滅点不良でないことを判定された例えば図９に示すラベル画像４４を取得し、例えば図１３に示すようにラベル画像４４における色ラベル部分３１ｃの領域のサイズを画像処理により計測する。図１３に示す例では、サイズ計測部１０４は、ラベル画像４４における色ラベル部分３１ｃの領域のサイズとして、Ｘμｍ及びＹμｍすなわち縦方向（垂直方向）のサイズ及び横方向（水平方向）のサイズを計測する。図１３に示すＸμｍ及びＹμｍは例えば５７μｍ及び８３μｍである。
このようにして、サイズ計測部１０４は、ラベル画像４４の色ラベル部分３１ｃの領域のサイズを自動的に計測することができ、染み出し領域のサイズが所定値以上であるかを計測することができる。
［１－２－５．ＤＳ判定部１０５］
ＤＳ判定部１０５は、サイズ計測部１０４において、ラベル画像における色ラベル部分の領域のサイズが所定値以上である場合、当該異常部分は、染み出し不良であると判定する。なお、ＤＳ判定部１０５は、検査装置１０の機能を実現するコンピュータにおいて、メモリに格納された制御プログラムをプロセッサが実行することにより、上記判定機能を実現することができる。
本実施の形態では、ＤＳ判定部１０５は、例えば図１３に示すラベル画像４４における色ラベル部分３１ｃの領域のサイズが所定値以上である場合、色ラベル部分３１ｃに対応する異常部分３１ａの欠陥モードが染み出し不良であると判定する。
このようにして、ＤＳ判定部１０５は、ラベル画像の色ラベル部分の色と領域のサイズとに基づき、色ラベル部分に対応する異常部分の欠陥モードが染み出し不良であるか否かを自動的に判定することができる。
［１－３．検査装置１０の動作］
以上のように構成された検査装置１０の動作の一例について以下説明する。
図１４は、本実施の形態に係る検査装置１０の動作を示すフローチャートである。
まず、検査装置１０は、異常部画像を取得する（Ｓ１１）。より具体的には、画像取得部１０１は、有機ＥＬ表示パネル３０の画素領域の検査用画像に、背景差分法を用いた画像処理を施すことにより得た画素領域の異常部分を含む背景差分画像である異常部画像を取得する。例えば、画像取得部１０１は、図８に示すような、異常部分３１ｂを含む画像である異常部画像４３を取得する。
次に、検査装置１０は、学習済みの生成モデルを用いて、ラベル画像を生成する（Ｓ１２）。より具体的には、ラベル画像生成部１０２は、学習済みの生成モデルを用いて、ステップＳ１１で取得した異常部画像から、異常部分を示す領域を異常部分の欠陥モードに対応する色に変換したラベル画像を生成する。例えば、ラベル画像生成部１０２は、学習済みの生成モデルを用いて、図８に示す異常部画像４３から、異常部分３１ｂの欠陥モードに応じた色ラベルに異常部分３１ｂの領域を変換することで、図９に示すような、色ラベル部分３１ｃを含むラベル画像４４を生成する。
次に、検査装置１０は、異常部分の欠陥モードが、染み出し不良である可能性があるか否かを判定する（Ｓ１３）。より具体的には、非滅点判定部１０３は、ステップＳ１２で生成したラベル画像における領域の色に基づき、異常部分の欠陥モードが、画素領域の発光層に水分が染み出ている染み出し不良である可能性があるかを判定する。例えば、非滅点判定部１０３は、例えば図９に示すラベル画像４４の色ラベル部分３１ｃの色により、色ラベル部分３１ｃに対応する異常部分３１ｂの欠陥モードが滅点不良でないことを判定すればよい。
ステップＳ１３において、異常部分の欠陥モードが、染み出し不良である可能性がある場合（Ｓ１３でＹｅｓ）、検査装置１０は、ステップＳ１２で生成したラベル画像における異常部分を示す領域のサイズを計測する（Ｓ１４）。より具体的には、サイズ計測部１０４は、ステップＳ１３において、異常部分の欠陥モードが染み出し不良である可能性があると判定された場合、ラベル画像における色ラベル部分の領域のサイズが所定値以上か否かを計測する。例えば図９に示すラベル画像４４から、欠陥モードが滅点不良かつ正常でないことを判定された場合、サイズ計測部１０４は、図１３に示すようにラベル画像４４における色ラベル部分３１ｃの領域のサイズを画像処理により計測する。なお、ステップＳ１３において、異常部分の欠陥モードが、染み出し不良である可能性がない場合（Ｓ１３でＮｏ）、検査装置１０は、本処理すなわちＤＳ検査を終了する。
次に、検査装置１０は、ステップＳ１４で計測された当該領域のサイズが所定値以上であるかを判定する（Ｓ１５）。より具体的には、ＤＳ判定部１０５は、ステップＳ１４において、ステップＳ１３において計測された、ラベル画像における色ラベル部分の領域のサイズが所定値以上であるかを判定する。本実施の形態では、所定値は数十ミクロンオーダの値である。
ステップＳ１５において、当該領域のサイズが所定値以上である場合（Ｓ１５でＹｅｓ）、検査装置１０は、ステップＳ１１で取得した異常部画像の異常部分は染み出し不良であると判定する（Ｓ１６）。より具体的には、ＤＳ判定部１０５は、ステップＳ１５において、ラベル画像における色ラベル部分の領域のサイズが所定値以上であると判定された場合、当該異常部分は、染み出し不良であると判定する。例えばＤＳ判定部１０５は、図１３に示すラベル画像４４における色ラベル部分３１ｃの領域のサイズが所定値以上である場合、色ラベル部分３１ｃに対応する異常部分３１ａの欠陥モードが染み出し不良であると判定する。
一方、ステップＳ１５において、当該領域のサイズが所定値以上でない場合（Ｓ１５でＮｏ）、検査装置１０は、ステップＳ１１で取得した異常部画像の異常部分は染み出し不良ではないと判定する（Ｓ１７）。より具体的には、ＤＳ判定部１０５は、ステップＳ１５において、ラベル画像における色ラベル部分の領域のサイズが所定値より小さいと判定された場合、当該異常部分は、染み出し不良でないと判定する。例えばＤＳ判定部１０５は、図１３に示すラベル画像４４における色ラベル部分３１ｃの領域のサイズが所定値より小さい場合、色ラベル部分３１ｃに対応する異常部分３１ａの欠陥モードは染み出し不良ではないと判定する。そして、ＤＳ判定部１０５は、異常部分３１ａを含む異常部画像を有する有機ＥＬ表示パネル３０の画素領域は良品であると判定する。
［１－４．効果等］
本実施の形態の検査装置１０等は、有機ＥＬ表示パネル３０の画素領域の検査用画像に、背景差分法を用いた画像処理を施すことにより画素領域の異常部分を含む画像である異常部画像を取得する。また、本実施の形態の検査装置１０等は、学習済みの生成モデルを用いて、取得した異常部画像から異常部分を示す領域を異常部分の欠陥モードに対応する色に変換したラベル画像を生成する。そして、生成したラベル画像における当該領域の色に基づき、異常部分の欠陥モードが染み出し不良の可能性があるかを判定する。
このように、本実施の形態の検査装置１０等は、学習済みの生成モデルを用いることで画素領域の異常部分を含む背景差分画像である異常部画像から、異常部分においてＢＭにより一部遮蔽された欠損部分が補完され、かつ欠陥モードごとに色分けされたラベル画像を生成することができる。つまり、本実施の形態の検査装置１０等によれば、有機ＥＬ表示パネル３０の画素領域における欠陥モードの判定を自動的に行うことができる。
ここで、本実施の形態の検査装置１０等は、異常部分の欠陥モードが染み出し不良である可能性があると判定した場合、ラベル画像における色ラベル部分の領域のサイズが所定値以上か否かを計測する。
このようなサイズ、すなわち欠損部分が補完された染み出し不良の可能性がある染み出し領域を示す色ラベルのサイズは容易に計測することができるので、画素領域の異常部分が染み出し不良であるか否かを精度よく簡易に自動判定することができる。つまり、本実施の形態の検査装置１０等によれば、有機ＥＬ表示パネル３０の画素領域における欠陥モードの判定を自動的に行うことができる。
よって、ＤＳ検査においてオペレータ判断にゆだねられていた欠陥モードの判定と染み出し領域のサイズの計測とを自動化できるため、オペレータごとに判定基準の差異が生じたり、同一オペレータであっても判断基準の経時的なゆれが生じていたりした問題を解消できる。この結果、同一基準で安定したＤＳ検査を行うことができるようになるので、検査効率も大幅に向上するだけでなく、オーバーキル及びアンダーキルの問題を解消できる。
なお、本実施の形態の検査装置１０等によれば、ラベル画像を生成する方法として、ニューラルネットワークで構成される生成モデルなどの学習済の生成モデルを用いる方法が利用される。
すなわち、学習済みの生成モデルは、教師データとして準備された学習用異常部画像と学習用ラベル画像とにより学習される。学習用異常部画像は、有機ＥＬ表示パネル３０の画素領域の検査用画像に背景差分法を用いた画像処理を施すことにより得た背景差分画像である。学習用ラベル画像は、当該異常部画像に映る異常部分を示す領域を異常部分の欠陥モードに対応する色に変換した画像である。異常部分の欠陥モードは、滅点不良、染み出し不良、または、正常を示す。ここで、学習済みの生成モデルは、GANをベースにしたニューラルネットワークモデルであり、例えばPix2Pixのニューラルネットワークモデルであってもよい。
これにより、生成モデルに、染み出し不良、滅点不良など様々な欠陥モードを示す学習用の背景差分画像（学習用異常部画像）と学習用ラベル画像（欠損部分が補完され欠陥モードごとに色分けされている）とのペア画像を用意しておき、あらかじめ学習させておくことができる。よって、認識と補完とが得意なニューラルネットワークのモデルである生成モデルを用いて、背景差分法を用いた画像処理を施すことにより得た異常部画像から、欠損部分が補完され欠陥モードごとに色分けされた色ラベル部分を有するラベル画像を高精度に自動生成させることができる。したがって、ラベル画像を用いて、欠陥モードの判定と染み出し領域のサイズの計測とを精度よく自動的に行うことができるので、画素領域の異常部分が染み出し不良であるか否かを精度よく自動判定することができる。
なお、学習用異常部画像は、異常部分を示す領域を除く背景領域が均一に白飛びするように、すなわち階調２５５の値で示される均一な白色に変換されるようにヒストグラム調整されていてもよい。これにより、生成モデルがラベル画像を生成するために必要な情報のみを予め抽出することができるので、より高精度にラベル画像を生成することができる生成モデルとなるように学習させることができる。
（変形例）
なお、上記の実施の形態では、学習済みの生成モデルを用いて背景差分画像の異常部画像からラベル画像を生成し、生成したラベル画像を利用して異常部分の欠陥モードが染み出し不良であるかを判定した。異常部分の欠陥モードが染み出し不良であるかを判定する判定精度をさらに向上させるために、生成モデルとは異なるモデルすなわちCNN（Convolutional Neural Network）モデルを用いて異常部分の欠陥モードを判定させ、判定結果をダブルチェックさせてもよい。以下、この場合について上記実施の形態と異なる点を中心に説明する。
［２－１．検査装置１０Ａ］
図１５は、本実施の形態の変形例に係る検査装置１０Ａの機能構成の一例を示すブロック図である。本変形例に係る検査装置１０Ａは、図６に示す検査装置１０に対して、CNN判定部１０６Ａが追加され、非滅点判定部１０３Ａの機能が異なる。
［２－１－１．CNN判定部１０６Ａ］
CNN判定部１０６Ａは、生成モデルとは異なるモデルを用いて異常部分の欠陥モードを判定することができる。より具体的には、CNN判定部１０６Ａは、学習済みのCNNモデルを用いて、異常部画像から、異常部分の欠陥モードを示す分類結果を取得する。なお、CNN判定部１０６Ａは、検査装置１０Ａの機能を実現するコンピュータにおいてメモリに格納された制御プログラムをプロセッサが実行することにより、上記判定機能を実現することができる。
学習済みのCNNモデルは、次のように学習される。すなわち、まず、教師データとして、欠陥モードに対応したクラス番号ごとに背景差分画像である学習用異常部画像を複数枚準備する。なお、学習用異常部画像は、上記実施の形態での学習用異常部画像であり、有機ＥＬ表示パネル３０の画素領域の検査用画像に背景差分法を用いた画像処理を施すことにより得た背景差分画像である。また、クラス番号は、例えば正常なら０、染み出し不良なら１、滅点不良なら２、染み出し不良と滅点不良が混在する場合なら４といったように決めることができる。染み出し不良と滅点不良が混在する場合には１及び２であるとしてもよい。そして、CNNモデルは、入力が学習用異常部画像、出力がクラス番号となるように学習される。CNN判定部１０６Ａは、このように学習されることで得た学習済みのCNNモデルを用いることで、異常部画像から、異常部分の欠陥モードを示す分類結果を取得することができる。
［２－１－２．非滅点判定部１０３Ａ］
非滅点判定部１０３Ａは、上記実施の形態で説明した機能に加えて、判定結果をダブルチェックする機能を有する。換言すると、非滅点判定部１０３Ａは、さらに、CNN判定部１０６Ａにおいて取得した分類結果と、ラベル画像における領域の色とに基づき、異常部分の欠陥モードが染み出し不良である可能性があるかを判定する。このようにして、自動判定結果をダブルチェックすることができるので染み出し不良の判定精度をより高めることができる。なお、非滅点判定部１０３Ａは、例えば検査装置１０Ａの機能を実現するコンピュータにおいて、メモリに格納された制御プログラムをプロセッサが実行することにより、判定機能を実現することができる。
より具体的には、非滅点判定部１０３Ａは、CNN判定部１０６Ａにおいて取得した分類結果が示す欠陥モードと、ラベル画像における領域の色に示される欠陥モードとが一致する場合に、異常部分の欠陥モードが染み出し不良である可能性があるかを判定する。一方、非滅点判定部１０３Ａは、CNN判定部１０６Ａにおいて取得した分類結果が示す欠陥モードと、ラベル画像における領域の色に示される欠陥モードとが一致しない場合、当該一致しない旨を通知する。これにより、非滅点判定部１０３Ａは、オペレータに異常部分の欠陥モードが染み出し不良である可能性があるかを判定させることができる。オペレータは、異常部分の欠陥モードが染み出し不良の可能性があるかを判定すなわち異常部画像に染み出し領域が存在しているかを判定すればよい。そして、異常部分の欠陥モードが染み出し不良の可能性がある場合すなわち異常部画像に染み出し領域が存在する場合、染み出し領域のサイズを計測し、所定値以上かどうかを判定すればよい。
［２－２．検査装置１０Ａの動作］
以上のように構成された検査装置１０Ａの動作の一例について以下説明する。
図１６は、本実施の形態の変形例に係る検査装置１０Ａの動作の一部を示すフローチャートである。本変形例に係る検査装置１０Ａの動作は、図１４に示す検査装置１０の動作と比較して、ステップＳ１２の処理内容が異なる。より具体的には、本変形例では、図１６に示すステップＳ１２Ａの処理が、図１４に示すステップＳ１２の処理に代えて行われる。
まず、検査装置１０Ａは、異常部画像を取得する（Ｓ１１）。より具体的には、画像取得部１０１は、有機ＥＬ表示パネル３０の画素領域の検査用画像に、背景差分法を用いた画像処理を施すことにより得た画素領域の異常部分を含む背景差分画像である異常部画像を取得する。
次に、検査装置１０Ａは、ステップＳ１２Ａにおいて、学習済みの生成モデルを用いて、ラベル画像を生成する（Ｓ１２１）。より具体的には、ラベル画像生成部１０２は、学習済みの生成モデルを用いて、ステップＳ１１で取得した異常部画像から、異常部分を示す領域を異常部分の欠陥モードに対応する色に変換したラベル画像を生成する。
また、検査装置１０Ａは、ステップＳ１２Ａにおいて、学習済みのCNNモデルを用いて、ステップＳ１１で取得した異常部画像から、異常部分の欠陥モードを示す分類結果を取得する（Ｓ１２２）。より具体的には、CNN判定部１０６Ａは、学習済みのCNNモデルを用いて、ステップＳ１１で取得した異常部画像から、異常部分の欠陥モードを示す分類結果を取得する。
次に、検査装置１０Ａは、ステップＳ１２Ａにおいて、ステップＳ１２２で取得した分類結果が示す欠陥モードと、ステップＳ１２１で生成したラベル画像における異常部分を示す色に示される欠陥モードとが一致するかを判定する（Ｓ１２３）。
ステップＳ１２３において、欠陥モードが一致する場合（Ｓ１２３でＹｅｓ）、図１４に示すステップＳ１３に進む。このように、異常部分の欠陥モードの判定をダブルチェックすることで、染み出し不良の判定精度をより高めることができる。
一方、ステップＳ１２３において、欠陥モードが一致しない場合（Ｓ１２３でＮｏ）、欠陥モードが一致しない旨をオペレータに通知する（Ｓ１２４）。このように、異常部分の欠陥モードの判定をダブルチェックすることで、一致しない場合にはオペレータ判断をさせることで、染み出し不良をより誤りなく判定することができる。
［２－３．効果等］
本変形例では、実施の形態の検査装置１０の判定精度をさらに向上させるため、生成モデルとは別にCNNモデルを用意し、予め欠陥モードごとにクラス分けされた背景差分画像である学習用異常部画像を用いて学習させておく。これにより、学習済みのCNNは、背景差分画像である異常部画像が入力されると、欠陥モードに対応したクラス番号を出力することができる。
また、本変形例の検査装置１０Ａ等は、学習済みの生成モデルを用いて、異常部画像からラベル画像を生成し、学習済みのCNNを用いて、異常部画像の異常部分の欠陥モードに対応した分類番号を取得する。本変形例の検査装置１０Ａ等は、学習済みの生成モデルを用いて生成したラベル画像を用いて判定した欠陥モードと、学習済みのCNNモデルを用いて取得した欠陥モードを示す分類結果とを照らし合わせることで、自動判定結果をダブルチェックすることができる。これにより、染み出し不良の判定精度をより高めることができる。なお、ダブルチェックした結果、生成モデルを用いて判定した欠陥モードと欠陥モードを示す分類結果とが一致しない場合にはオペレータ判断をさせればよい。一致しない場合にオペレータが判断することで染み出し不良をより誤りなく判定することができる。
（その他の実施の形態）
以上、本開示に係る検査装置及び検査方法などについて、実施の形態及び変形例に基づいて説明したが、本開示は、これらの実施の形態及び変形例に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態及び変形例に施したものや、実施の形態及び変形例における一部の構成要素を組み合わせて構築される別の形態も、本開示の範囲内に含まれる。
また、以下に示す形態も、本開示の一つ又は複数の態様の範囲内に含まれてもよい。
（１）上記の検査装置を構成する構成要素の一部は、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ＧＰＵ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムであってもよい。前記ＲＡＭ又はハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
（２）上記の検査装置を構成する構成要素の一部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ＧＰＵなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサまたは前記ＧＰＵが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
（３）上記の検査装置を構成する構成要素の一部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ＧＰＵなどから構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサまたは前記ＧＰＵが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。
（４）また、上記の検査装置を構成する構成要素の一部は、前記コンピュータプログラム又は前記デジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Blu-ray（登録商標） Disc）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
また、上記の判定装置を構成する構成要素の一部は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
（５）本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
（６）また、本開示は、マイクロプロセッサとＧＰＵとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサまたは前記ＧＰＵは、前記コンピュータプログラムにしたがって動作するとしてもよい。
（７）また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
（８）また、上記の検査装置を構成する構成要素の一部をクラウドまたはサーバ装置でおこなってもよい。
（９）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
本開示は有機ＥＬ表示パネルまたは量子ドット発光素子を用いた表示パネルの画素領域の表示不良を検査する検査工程において水分バリア層の欠陥による黒シミ状の表示不良があるかどうかを自動判定することができる検査方法、検査装置及びプログラムなどに利用できる。
１０、１０Ａ 検査装置
２０ 撮像装置
２１ ステージ
２２ ステージ駆動部
３０ 有機ＥＬ表示パネル
３１ａ、３１ｂ、６１ａ 異常部分
３１ｃ、６２ｂ 色ラベル部分
４１ 異常画素画像
４２ 正常画素画像
４３、６１ 異常部画像
４４、６２ ラベル画像
９１、９２ 拡大画像
１０１ 画像取得部
１０２ ラベル画像生成部
１０３、１０３Ａ 非滅点判定部
１０４ サイズ計測部
１０５ ＤＳ判定部
１０６Ａ CNN判定部
３１１、３１７ ガラス基板
３１２ 薄膜トランジスタ層
３１３ 発光層
３１４ 保護膜
３１５ 充填材
３１６ カラーフィルタ層
３２０ 異物
３２１ 侵入パス
３２２ 矢印
１０００ コンピュータ
１００１ 入力装置
１００２ 出力装置
１００３ ＣＰＵ
１００４ 内蔵ストレージ
１００５ ＲＡＭ
１００６ ＧＰＵ
１００７ 読取装置
１００８ 送受信装置
１００９ バス

Claims (10)

  1. コンピュータが行う表示パネルの検査方法であって、
    前記表示パネルの画素領域の検査用画像に、背景差分法を用いた画像処理を施すことにより得た前記画素領域の異常部分を含む画像である異常部画像を取得する取得ステップと、
    学習済みの生成モデルを用いて、前記異常部画像から、前記異常部分を示す領域を前記異常部分の欠陥モードに対応する色に変換したラベル画像を生成する生成ステップと、
    前記ラベル画像における前記領域の色に基づき、前記異常部分の欠陥モードが前記画素領域の機能層が劣化していることにより発光しない染み出し不良である可能性があるかを判定する判定ステップと、を含み、
    前記欠陥モードには、画素領域の電気的短絡または電気的開放により発光しない滅点不良と、染み出し不良とが含まれる、
    検査方法。
  2. さらに、前記判定ステップの前に、学習済みのCNN（Convolutional Neural Network）モデルを用いて、前記異常部画像から、前記異常部分の欠陥モードを示す分類結果を取得するCNN判定ステップを含み、
    前記判定ステップでは、前記CNN判定ステップにおいて取得した分類結果と、前記ラベル画像における前記領域の色とに基づき、前記異常部分の欠陥モードが染み出し不良である可能性があるかを判定する、
    請求項１に記載の検査方法。
  3. 前記判定ステップでは、前記CNN判定ステップにおいて取得した分類結果が示す欠陥モードと、前記ラベル画像における前記領域の色に示される欠陥モードとが一致する場合に、前記コンピュータが前記異常部分の欠陥モードが染み出し不良である可能性があるかを判定し、
    前記一致しない場合、前記一致しない旨を通知し、オペレータに前記異常部分の欠陥モードが染み出し不良である可能性があるかを判定させ、
    前記検査方法では、さらに、
    前記判定ステップにおいて、前記異常部分の欠陥モードが染み出し不良の可能性があると判定された場合、前記ラベル画像における前記領域のサイズが所定値以上か否かを計測する計測ステップと、
    前記計測ステップにおいて、前記領域のサイズが前記所定値以上である場合、前記異常部分は、染み出し不良であると判定する染み出し不良判定ステップとを含む、
    請求項２に記載の検査方法。
  4. 前記判定ステップにおいて、前記異常部分の欠陥モードが染み出し不良の可能性があると判定された場合、前記ラベル画像における前記領域のサイズが所定値以上か否かを計測する計測ステップと、
    前記計測ステップにおいて、前記領域のサイズが前記所定値以上である場合、前記異常部分は、染み出し不良であると判定する染み出し不良判定ステップとを含む、
    請求項１に記載の検査方法。
  5. 前記学習済みの生成モデルは、教師データとして準備された、前記表示パネルの画素領域の検査用画像に背景差分法を用いた画像処理を施すことにより得た学習用異常部画像と、当該異常部画像に映る異常部分を示す領域を前記異常部分の欠陥モードに対応する色に変換した学習用ラベル画像とにより学習されており、
    前記異常部分の欠陥モードは、滅点不良、染み出し不良、または、正常を示す、
    請求項１～４のいずれか１項に記載の検査方法。
  6. 前記学習済みの生成モデルは、GAN（Generative Adversarial Networks）をベースにしたニューラルネットワークモデルである、
    請求項５に記載の検査方法。
  7. 前記学習済みの生成モデルは、Pix2Pixのニューラルネットワークモデルである、
    請求項５に記載の検査方法。
  8. 前記学習用異常部画像は、前記異常部分を示す領域を除く背景領域が均一な白色となるようにヒストグラム調整されている、
    請求項５に記載の検査方法。
  9. コンピュータが行う表示パネルの検査装置であって、
    前記表示パネルの画素領域の検査用画像に、背景差分法を用いた画像処理を施すことにより得た前記画素領域の異常部分を含む画像である異常部画像を取得する画像取得部と、
    学習済みの生成モデルを用いて、前記異常部画像から、前記異常部分を示す領域を前記異常部分の欠陥モードに対応する色に変換したラベル画像を生成するラベル画像生成部と、
    前記ラベル画像における前記領域の色に基づき、前記異常部分の欠陥モードが前記画素領域の機能層が劣化していることにより発光しない染み出し不良である可能性があるかを判定する非滅点判定部と、を備え、
    前記欠陥モードには、画素領域の電気的短絡または電気的開放により発光しない滅点不良と、染み出し不良とが含まれる、
    検査装置。
  10. 表示パネルの検査方法をコンピュータに実行させるためのプログラムであって、
    前記表示パネルの画素領域の検査用画像に、背景差分法を用いた画像処理を施すことにより得た前記画素領域の異常部分を含む画像である異常部画像を取得する取得ステップと、
    学習済みの生成モデルを用いて、前記異常部画像から、前記異常部分を示す領域を前記異常部分の欠陥モードに対応する色に変換したラベル画像を生成する生成ステップと、
    前記ラベル画像における前記領域の色に基づき、前記異常部分の欠陥モードが前記画素領域の機能層が劣化していることにより発光しない染み出し不良である可能性があるかを判定する判定ステップと、を、コンピュータに実行させ、
    前記欠陥モードには、画素領域の電気的短絡または電気的開放により発光しない滅点不良と、染み出し不良とが含まれる、
    プログラム。
JP2022124338A 2022-08-03 2022-08-03 検査方法、検査装置及びプログラム Pending JP2024021487A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022124338A JP2024021487A (ja) 2022-08-03 2022-08-03 検査方法、検査装置及びプログラム
PCT/JP2023/028231 WO2024029552A1 (ja) 2022-08-03 2023-08-02 検査方法、検査装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022124338A JP2024021487A (ja) 2022-08-03 2022-08-03 検査方法、検査装置及びプログラム

Publications (1)

Publication Number Publication Date
JP2024021487A true JP2024021487A (ja) 2024-02-16

Family

ID=89849413

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022124338A Pending JP2024021487A (ja) 2022-08-03 2022-08-03 検査方法、検査装置及びプログラム

Country Status (2)

Country Link
JP (1) JP2024021487A (ja)
WO (1) WO2024029552A1 (ja)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3476913B2 (ja) * 1994-07-08 2003-12-10 オリンパス株式会社 欠陥種別判定装置及びプロセス管理システム
JP2004294202A (ja) * 2003-03-26 2004-10-21 Seiko Epson Corp 画面の欠陥検出方法及び装置
JP2006234501A (ja) * 2005-02-23 2006-09-07 Seiko Epson Corp シミ欠陥検出用閾値設定方法、シミ欠陥検査方法、シミ欠陥検査装置
JP2011085821A (ja) * 2009-10-16 2011-04-28 Sony Corp 欠陥修正装置および欠陥修正方法
WO2012040183A1 (en) * 2010-09-24 2012-03-29 Ethicon Endo-Surgery, Inc. Laparoscopic instrument with attachable end effector
CN104392432A (zh) * 2014-11-03 2015-03-04 深圳市华星光电技术有限公司 基于方向梯度直方图的显示面板缺陷检测方法
US10650508B2 (en) * 2014-12-03 2020-05-12 Kla-Tencor Corporation Automatic defect classification without sampling and feature selection
US10346740B2 (en) * 2016-06-01 2019-07-09 Kla-Tencor Corp. Systems and methods incorporating a neural network and a forward physical model for semiconductor applications
CN111742214B (zh) * 2019-01-22 2023-10-20 株式会社高迎科技 基板检查装置及丝网印刷机的缺陷类型确定方法
JP7404817B2 (ja) * 2019-11-27 2023-12-26 オムロン株式会社 学習装置、検出装置、学習方法、及び学習プログラム
US11256967B2 (en) * 2020-01-27 2022-02-22 Kla Corporation Characterization system and method with guided defect discovery
JP7444439B2 (ja) * 2020-03-05 2024-03-06 国立大学法人 筑波大学 欠陥検出分類システム及び欠陥判定トレーニングシステム
JP2023076064A (ja) * 2021-11-22 2023-06-01 株式会社Joled 検査方法、検査装置及びプログラム

Also Published As

Publication number Publication date
WO2024029552A1 (ja) 2024-02-08

Similar Documents

Publication Publication Date Title
TWI787296B (zh) 光學檢測方法、光學檢測裝置及光學檢測系統
TWI502189B (zh) 指導資料驗證裝置、指導資料製作裝置、圖像分類裝置、指導資料驗證方法、指導資料製作方法及圖像分類方法
CN111213045B (zh) 自动缺陷分类
KR101692115B1 (ko) 검사 장치 및 검사 방법
JP2004012360A (ja) パターン検査装置、パターン検査方法およびプログラム
JP2013134666A (ja) 二値画像生成装置、分類装置、二値画像生成方法および分類方法
JP2014095711A (ja) ソルダージョイントの検査方法
JP2010071826A (ja) 教師データ作成方法、並びに、画像分類方法および画像分類装置
JP2000180374A (ja) 欠陥検出方法
WO2024029552A1 (ja) 検査方法、検査装置及びプログラム
JP2020112483A (ja) 外観検査システム、計算モデル構築方法及び計算モデル構築プログラム
JP4131804B2 (ja) 実装部品検査方法
JP2008076151A (ja) 検査装置および検査方法
JP2009042093A (ja) 電子部品検査装置および電子部品検査方法
TWI775140B (zh) 學習裝置、檢查裝置、學習方法以及檢查方法
KR102390058B1 (ko) Led 패널 결함 검출을 위한 데이터 생성 장치 및 방법
JP2006266845A (ja) 画像判定装置及び画像判定方法
WO2020158630A1 (ja) 検出装置、学習器、コンピュータプログラム、検出方法及び学習器の生成方法
JP6173088B2 (ja) 検査装置、検査方法、プログラム及び記録媒体
JP2004125434A (ja) 電子回路用部品の外観検査方法及び外観検査装置並びに電子回路用部品の製造方法。
JP2021174194A (ja) 学習用データ処理装置、学習装置、学習用データ処理方法、およびプログラム
JP3047168B2 (ja) 鶏卵の検査方法
KR101053779B1 (ko) 디스플레이 수단의 메탈 마스크 검사 방법
JP2004286708A (ja) 欠陥検出装置、方法及びプログラム
WO2024062854A1 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20230926