JP7451857B2 - 検査プログラム、検査装置及び検査方法 - Google Patents

検査プログラム、検査装置及び検査方法 Download PDF

Info

Publication number
JP7451857B2
JP7451857B2 JP2020022553A JP2020022553A JP7451857B2 JP 7451857 B2 JP7451857 B2 JP 7451857B2 JP 2020022553 A JP2020022553 A JP 2020022553A JP 2020022553 A JP2020022553 A JP 2020022553A JP 7451857 B2 JP7451857 B2 JP 7451857B2
Authority
JP
Japan
Prior art keywords
cell
cells
inspection
neighboring cells
neighboring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020022553A
Other languages
English (en)
Other versions
JP2021128053A (ja
Inventor
強福 趙
エムディ インティサル チョウドリ
実 古林
芳行 宍戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Aizu
Original Assignee
University of Aizu
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Aizu filed Critical University of Aizu
Priority to JP2020022553A priority Critical patent/JP7451857B2/ja
Publication of JP2021128053A publication Critical patent/JP2021128053A/ja
Application granted granted Critical
Publication of JP7451857B2 publication Critical patent/JP7451857B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、検査プログラム、検査装置及び検査方法に関する。
一般的に、ものづくりの現場では、製造された全ての完成品に対して品質検査が行われる。具体的に、例えば、完成品が多数のセルからなるアレイである場合、品質検査を行う作業者(以下、単に作業者とも呼ぶ)は、例えば、目視によって各セルにおける欠陥の検知を行う(特許文献1乃至2及び非特許文献1を参照)。
特開2003-167520号公報 特開2006-170841号公報
「Computer Vision-based Fabric Defect Detection:A Survey」,Ajay Kumar
ここで、上記のような品質検査が目視によって行われる場合、製造された完成品の数等によっては、作業者の作業負担が膨大になる場合がある。
そこで、作業者は、例えば、必要な学習データを予め学習させた学習モデルを用いることにより、完成品に対する品質検査を自動的に行う場合がある。これにより、作業者は、品質検査に伴う作業負担を抑制することが可能になる。
しかしながら、上記のように生成された学習モデルは、汎用性が低い場合があり、幅広い種類の完成品に対する品質検査に適用することができない場合がある。
そこで、幅広い種類の完成品に対する品質検査を作業者の作業負担を抑制しながら行うことを可能とする検査プログラム、検査装置及び検査方法を提供することにある。
上記目的を達成するための本発明における検査プログラムは、検査対象に含まれる複数のセルごとに、各セルの特性を示すセル情報を算出し、前記複数のセルごとに、前記検査対象において各セルと近接する所定数の近接セルを特定し、前記複数のセルごとに、各セルと各セルに対応する前記所定数の近接セルのそれぞれとの前記セル情報についての類似度(例えば、相互相関の最大値)をそれぞれ算出し、前記複数のセルごとに、前記所定数の近接セルのうち、算出した前記類似度が第1条件を満たさない近接セルの数を特定し、前記複数のセルのうち、特定した前記数が第2条件を満たさないセルを特定し、特定した前記セルを示す情報を出力する、処理をコンピュータに実行させることを特徴とする。
また、上記目的を達成するための本発明における検査プログラムは、一つの態様では、所定時間内(例えば、1秒間)の動的データ(例えば、動画データ)を構成するフレームごとであって各フレームに含まれる前記複数のセルごとに、前記セル情報を算出する、ことを特徴とする。
また、上記目的を達成するための本発明における検査プログラムは、一つの態様では、前記複数のセルごとに、各セルの前記セル情報についての正規化因子(例えば、自己相関の最大値、ノルムまたはエネルギー等)を算出し、前記複数のセルごとに、各セルの前記セル情報についての前記正規化因子を用いることによって、各セルに対応する前記類似度のそれぞれを正規化し、前記近接セルの数を特定する処理では、前記複数のセルごとに、前記所定数の近接セルのうち、正規化した前記類似度が前記第1条件を満たさない近接セルの数を特定する。
また、上記目的を達成するための本発明における検査プログラムは、一つの態様では、前記類似度は、相互相関であり、前記正規化因子は、自己相関であり、前記複数のセルごとであって前記所定数の近接セルごとに、各セルと各近接セルとに対応する前記相互相関を、各セルの前記自己相関の最大値と各近接セルの前記自己相関の最大値とのうちの大きい方の値を用いて正規化する、ことを特徴とする。
また、上記目的を達成するための本発明における検査プログラムは、一つの態様では、前記複数のセルごとであって前記所定数の近接セルごとに、各セルと各近接セルとに対応する前記相互相関を、各セルの前記自己相関の最大値と各近接セルの前記自己相関の最大値とのうちの大きい方の値で除算する、ことを特徴とする。
また、上記目的を達成するための本発明における検査プログラムは、一つの態様では、前記複数のセルごとに、前記所定数の近接セルのうち、前記相互相関の最大値が閾値以下である近接セルの数を特定する、ことを特徴とする。
また、上記目的を達成するための本発明における検査プログラムは、一つの態様では、前記セル情報を算出する処理と、前記類似度を算出する処理と、前記正規化因子を算出する処理と、前記正規化する処理と、前記近接セルの数を特定する処理とを、互いに異なる複数の前記所定時間の動的データごとに行い、さらに、前記複数のセルのうち、前記セルを特定する処理において特定された回数が閾値以上であるセルを特定し、前記回数が閾値以上であるセルを特定する処理で特定した前記セルを示す情報を出力する、ことを特徴とする。
また、上記目的を達成するための本発明における検査装置は、検査対象に含まれる複数のセルごとに、各セルの特性を示すセル情報を算出する検査情報算出部と、前記複数のセルごとに、前記検査対象において各セルと近接する所定数の近接セルを特定し、前記複数のセルごとに、各セルと前記所定数の近接セルのそれぞれとの前記セル情報についての類似度を算出し、前記複数のセルごとに、前記所定数の近接セルのうち、算出した前記類似度が第1条件を満たさない近接セルの数を特定し、前記複数のセルのうち、特定した前記数が第2条件を満たさないセルを特定する欠陥判定部と、特定した前記セルを示す情報を出力する検査結果出力部と、を有する、ことを特徴とする。
また、上記目的を達成するための本発明における検査方法は、検査対象に含まれる複数のセルごとに、各セルの特性を示すセル情報を算出し、前記複数のセルごとに、前記検査対象において各セルと近接する所定数の近接セルを特定し、前記複数のセルごとに、各セルと前記所定数の近接セルのそれぞれとの前記セル情報についての類似度を算出し、前記複数のセルごとに、前記所定数の近接セルのうち、算出した前記類似度が第1条件を満たさない近接セルの数を特定し、前記複数のセルのうち、特定した前記数が第2条件を満たさないセルを特定し、特定した前記セルを示す情報を出力する、処理をコンピュータに実行させることを特徴とする。
本発明における検査プログラム、検査装置及び検査方法によれば、幅広い種類の完成品に対する品質検査を作業者の作業負担を抑制しながら行うことが可能になる。
図1は、本発明の実施の形態における検査装置1の構成例を示す図である。 図2は、アレイ2の具体例について説明する図である。 図3は、LEDパターンの変化についての具体例を説明する図である。 図4は、LEDパターンの変化についての具体例を説明する図である。 図5は、LEDパターンの変化についての具体例を説明する図である。 図6は、第1の実施の形態の概略における検査処理を説明する図である。 図7は、第1の実施の形態における検査処理の詳細を説明するフローチャート図である。 図8は、第1の実施の形態における検査処理の詳細を説明するフローチャート図である。 図9は、第1の実施の形態における検査処理の詳細を説明するフローチャート図である。 図10は、セル情報CIの具体例について説明する図である。 図11は、S21の処理の具体例を説明する図である。 図12は、S23及びS24の処理の具体例を説明する図である。 図13は、S23及びS24の処理の具体例を説明する図である。 図14は、S23及びS24の処理の具体例を説明する図である。
以下、図面を参照して本発明の実施の形態について説明する。しかしながら、かかる実施の形態例が、本発明の技術的範囲を限定するものではない。
図1は、本発明の実施の形態における検査装置1の構成例を示す図である。検査装置1は、コンピュータ装置であって、例えば、汎用的なPC(Personal Computer)であってよい。また、検査装置1は、据置型、ノードブック型、タブレット型等の形態を問わない。
検査装置1は、汎用的なコンピュータ装置のハードウエア構成を有し、例えば、図1に示すように、プロセッサであるCPU101と、メモリ102と、インタフェース103と、記憶媒体104とを有する。各部は、バス105を介して互いに接続される。
記憶媒体104は、例えば、アレイに含まれるセルの欠陥有無を検査する処理(以下、検査処理とも呼ぶ)を行うためのプログラム(図示しない)を記憶するプログラム格納領域(図示しない)を有する。また、記憶媒体104は、例えば、検査処理を行う際に用いられる情報を記憶する記憶領域110を有する。なお、記憶媒体104は、例えば、HDD(Hard Disk Drive)やSSD(Sokid State Drive)であってよい。
CPU101は、記憶媒体104(記憶領域110)からメモリ102にロードされたプログラムを実行して検査処理を行う。
また、インタフェース103は、例えば、作業者が操作を行う操作端末5と通信を行う。また、インタフェース103は、例えば、検査装置1に対して入力された検査対象(例えば、動画データ)を受け付ける。
[アレイの具体例]
次に、アレイ2の具体例について説明を行う。図2は、アレイ2の具体例について説明する図である。なお、以下、アレイ2がLED(Light Emitting Diode)の電光掲示板として機能する場合について説明を行う。
図2に示す例において、アレイ2には、横に32個のセルCEが配置され、縦に16個のセルCEが配置されている。すなわち、図2に示すアレイ2は、512個のセルCE(LED)を有している。なお、図2に示す例は、全てのセルCEが第1の色(例えば、緑)であるLEDパターンがアレイ2上に表示されている状態を示している。
そして、図2示すアレイ2上に表示されているLEDパターンは、時間の経過とともに流動的に変化する。以下、LEDパターンの変化についての具体例を説明する。
[LEDパターンの変化についての具体例]
図3から図5は、LEDパターンの変化についての具体例を説明する図である。
アレイ2に含まれる各セルCEは、例えば、第1の色、第2の色(例えば、赤)及び第3の色(例えば、青)を含む模様が左側から流れてくるように、各フレームに対応するLEDパターンを連続的に表示する。そして、例えば、図2に示す状態から10フレームが経過した場合、各セルCEは、図3に示すLEDパターンを表示する。さらに、例えば、図2に示す状態から20フレームが経過した場合(図3に示す状態から10フレームが経過した場合)、各セルCEは、図4に示すLEDパターンを表示する。
その後、各セルCEは、例えば、第1の色、第2の色及び第3の色を含む模様が上側から流れてくるように、各フレームに対応するLEDパターンを連続的に表示する。そして、例えば、図2に示す状態から30フレームが経過した場合(図4に示す状態から10フレームが経過した場合)、各セルCEは、図5に示すLEDパターンを表示する。
そして、検査装置1は、例えば、図2等に示すアレイ2が表示したLEDパターンをカメラ等の撮像装置(図示しない)を用いることによって撮像することで、品質検査の検査対象となる動画データを取得する。その後、検査装置1は、取得した動画データの解析を行うことによって、アレイ2についての品質検査を行う。
[第1の実施の形態の概略]
次に、第1の実施の形態の概略について説明する。図6は、第1の実施の形態の概略における検査処理を説明する図である。
初めに、検査装置1の検査対象入力部11が被検査体(アレイ2)を撮影した動画データの入力を受け付けた場合、検査装置1の検査対象特定部12は、入力を受け付けた動画データに映るアレイ2を特定する。
そして、検査装置1のセル情報算出部13は、アレイ2に含まれるセルCEごとに、各セルの特性を示すセル情報を算出する。続いて、検査装置1の欠陥判定部14は、アレイ2に含まれるセルCEごとに、各セルCEと各セルCEに近接するセルCE(以下、近接セルCEとも呼ぶ)のそれぞれとのセル情報の類似度を用いることにより、各セルCEが欠陥を有するセル(以下、単に欠陥セルとも呼ぶ)であるか否かを判定する。その後、検査装置1の検査結果出力部15は、欠陥セルであると判定されたセルCEを示す情報を出力する。
すなわち、検査装置1は、各セルCEと各セルCEに対応する近接セルCEとの対応関係に基づいて欠陥セルの特定を行う。
これにより、検査装置1は、機械学習等の手法を用いることなく、完成品の品質検査を行うことが可能になる。そのため、検査装置1は、完成品の種類の依らずに品質検査を行うことが可能になる。また、検査装置1は、品質検査の実施に伴う作業者の作業負担を抑制することが可能になる。
[第1の実施の形態の詳細]
次に、第1の実施の形態の詳細について説明する。図7から図9は、第1の実施の形態における検査処理の詳細を説明するフローチャート図である。また、図10から図15は、第1の実施の形態における検査処理の詳細を説明する図である。
検査装置1(検査対象入力部11)は、検査処理の開始タイミングになった場合、図7に示すように、アレイ2を撮影した動画データの入力を受け付ける(S11)。具体的に、検査装置1は、例えば、作業者が操作端末5を介して入力した動画データの入力を受け付ける。なお、入力を受け付ける動画データは、例えば、10秒間(300フレーム)の動画データであってよい。
そして、検査装置1(検査対象特定部12)は、S11の処理で入力を受け付けた動画データに映るアレイ2を特定する(S12)。
具体的に、検査装置1は、例えば、アレイ2の外側四隅の座標を示す座標情報(図示しない)を記憶した記憶媒体104を参照し、アレイ2の外側四隅の座標(以下、第1の座標とも呼ぶ)を特定する。座標情報は、例えば、作業者によって予め記憶媒体104に記憶される情報であってよい。そして、記憶媒体104は、S11の処理で入力を受け付けた動画データの各フレームに映るアレイ2の外側四隅の座標が第1の座標に対応するように、各フレームに対応する画像データに対して射影変換等の補正を行う。その後、検査装置1は、補正した画像データごとに、アレイ2に含まれる各セルCEの中心位置を算出する。
なお、検査装置1は、アレイ2に含まれる各セルCEの中心位置を含む複数の学習データを学習した学習モデルを用いることによって、各セルCEの中心位置の算出を行うものであってもよい。
続いて、検査装置1(セル情報算出部13)は、S11の処理で入力を受け付けた動画データのフレームを1つ特定する(S13)。
そして、検査装置1(セル情報算出部13)は、S13の処理で特定したフレームにおけるアレイ2に含まれるセルCEごとに、各セルの特性を示すセル情報CIを算出する(S14)。
具体的に、検査装置1は、例えば、S13の処理で特定したフレームに映るアレイ2に含まれるセルCEごとに、各セルCEの中心位置を中心とするn(ピクセル)×m(ピクセル)の四角形の画像データを特定する。すなわち、検査装置1は、各セルCEの大きさに対応する画像データの特定を行う。そして、検査装置1は、各セルCEに対応する画像データの含まれるピクセルの平均画素値(例えば、赤、青及び緑のそれぞれの成分の平均値)をセル情報CIとして算出する。
その後、S13の処理において全てのフレームが特定済でない場合(S15のNO)、検査装置1は、S13以降の処理を再度行う。
一方、S13の処理において全てのフレームが特定済である場合(S15のYES)、検査装置1は、S21以降の処理を行う。以下、セル情報CIの具体例について説明を行う。
[セル情報の具体例]
図10は、セル情報CIの具体例について説明する図である。具体的に、図10は、アレイ2に含まれる1つのセルCEに対応するセル情報CIの具体例について説明する図である。なお、図10示すグラフでは、横軸が時間(フレーム)を示しており、縦軸がセル情報CIの値(平均画素値)を示している。また、図10に示すグラフでは、セル情報CI1が赤に対応するセル情報CIを示し、セル情報CI2が青に対応するセル情報CIを示し、セル情報CI3が緑に対応するセル情報CIを示している。
具体的、図10に示すグラフでは、例えば、いずれの時間(フレーム)においてもセル情報CI1に対応する値がセル情報CI2に対応する値よりも高いことを示している。また、図10に示すグラフでは、例えば、セル情報CI3に対応する値が時間の経過に伴ってセル情報CI2に対応する値及びセル情報CI3に対応する値よりも高くなることを示している。
図8に戻り、検査装置1(欠陥判定部14)は、アレイ2に含まれるセルCEごとに、アレイ2において各セルCEと近接する所定数の近接セルCEを特定する(S21)。具体的に、検査装置1は、例えば、各セルCEに対応する8つの近接セルCEを特定する。以下、S21の処理の具体例について説明を行う。
[S21の処理の具体例]
図11は、S21の処理の具体例を説明する図である。
図11に示すアレイ2では、図2等で説明した場合と同様に、横に32個のセルCEが配置され、かつ、縦に16個のセルCEが配置されている。具体的に、図11に示すアレイ2において、例えば、1段目には、セルCE1からセルCE32までの32個のセルCEが配置され、2段目には、セルCE33からセルCE64までの32個のセルCEが配置されている。
そして、図11に示す例において、例えば、セルCE66の周りには、セルCE33、セルCE34、セルCE35、セルCE65、セルCE67、セルCE97、セルCE98及びセルCE99の8個のセルCEが配置されている。そのため、検査装置1は、S21の処理において、セルCE66の近接セルCEとして、例えば、セルCE33、セルCE34、セルCE35、セルCE65、セルCE67、セルCE97、セルCE98及びセルCE99を特定する。
同様に、図11に示す例において、例えば、セルCE35の周りには、セルCE2、セルCE3、セルCE4、セルCE34、セルCE36、セルCE66、セルCE67及びセルCE68の8個のセルCEが配置されている。そのため、検査装置1は、S21の処理において、セルCE35の近接セルCEとして、例えば、セルCE2、セルCE3、セルCE4、セルCE34、セルCE36、セルCE66、セルCE67及びセルCE68を特定する。
なお、図11に示す例において、例えば、セルCE1(アレイ2における端部に配置されたセルCE)の周りには、セルCE2、セルCE33及びセルCE34の3個のセルCEのみが配置されている。そのため、検査装置1は、この場合、セルCE1の近接セルとして、例えば、セルCE2、セルCE33及びセルCE34に加えて、セルCE3、セルCE35、セルCE65、セルCE66及びセルCE67(すなわち、セルCE2、セルCE33及びセルCE34の周りに配置されているセルCE)を特定するものであってよい。
図8に戻り、検査装置1(欠陥判定部14)は、S14の処理で算出したセル情報CIのうちの1つの種別に対応するセル情報CIを特定する(S22)。
具体的に、検査装置1は、例えば、図10で説明したセル情報CI1、セル情報CI2及びセル情報CI3のうちの1つを特定する。
そして、検査装置1(欠陥判定部14)は、アレイ2に含まれるセルCEごとに、各セルCEと各近接セルCEとのセル情報CIについての相互相関の値をそれぞれ算出する(S23)。すなわち、検査装置1は、アレイ2に含まれるセルCEごとであって各セルCEに対応する近接セルCEごとに、相互相関の値の算出をそれぞれ行う。
具体的に、検査装置1は、例えば、以下の式(1)に従うことによって、各セルCEと各近接セルCEとの相互関数の値を算出する。
Figure 0007451857000001
上記の式(1)において、tは、S11の処理で入力を受け付けた動画データを構成するフレームのいずれかに対応する時間を示す。また、式(1)において、δは、所定の時間を示し、例えば、30(フレーム)に対応する時間を示す。また、式(1)において、X(τ)は、時間τにおけるセルCEのセル情報CIを示し、X(τ+t)は、時間τ+tにおける近接セルCEのセル情報CIを示す。さらに、S(X(t),X(t))は、時間tからδが経過するまでの時間帯におけるセルCEと近接セルCEとの相互関数の最大値を示す。
すなわち、検査装置1は、S23の処理において、比較的短時間(時間tからδが経過するまでの時間帯)における各セルCEのセル情報CIと各近接セルCEのセル情報CIとの相互相関関数の最大値を算出する。
続いて、検査装置1(欠陥判定部14)は、アレイ2に含まれるセルCEごとに、各セルCEのセル情報CIについての自己相関の値を算出する(S24)。
具体的に、検査装置1は、例えば、上記の式(1)に従うことによって、各セルCEの自己相関を算出する。以下、S23及びS24の処理の具体例について説明を行う。
[S23及びS24の処理の具体例]
図12から図14は、S23及びS24の処理の具体例を説明する図である。具体的に、図12から図14は、S23の処理で算出される相互相関の値及びS24の処理で算出される自己相関の値が設定されるテーブルの具体例である。以下、各セルCEに対応するS23及びS24の処理が同じタイミングで行われるものとして説明を行う。
図12等に示すテーブルは、横方向及び縦方向においてアレイ2に含まれるセルCEのそれぞれに対応する欄を有する。そして、図12等に示すテーブルにおいて、横方向に対応する数字と縦方向に対応する数字とが同じ欄には、各セルCEの自己相関の値が設定され、横方向に対応する数字と縦方向に対応する数字とが異なる欄には、各セルCEと各近接セルCEとの相互相関の値が設定される。具体的に、セルCE66の自己相関の値は、横方向が「66」であって縦方向が「66」である欄に設定され、セルCE66とセルCE33との相互相関の値は、横方向が「66」であって縦方向が「33」である欄と、横方向が「33」であって縦方向が「66」である欄との両方に設定される。以下、セルCE66、セルCE35及びセルCE67の順でS23及びS24の処理が行われる場合について説明を行う。
例えば、セルCE66の自己相関の値が「40」である場合、検査装置1は、図12に示すように、横方向が「66」であって縦方向が「66」である欄に、「40」を設定する。また、例えば、セルCE66と近接セルCEのそれぞれ(セルCE33、セルCE34、セルCE35、セルCE65、セルCE67、セルCE97、セルCE98及びセルCE99)との相互相関の値が「15」、「9」、「19」、「12」、「7」、「5」、「21」及び「18」である場合、検査装置1は、図12に示すように、横方向が「66」であって縦方向が「33」、「34」、「35」、「65」、「67」、「97」、「98」及び「99」である欄のそれぞれに、「15」、「9」、「19」、「12」、「7」、「5」、「21」及び「18」を設定し、さらに、横方向が「33」、「34」、「35」、「65」、「67」、「97」、「98」及び「99」であって縦方向が「66」である欄のそれぞれに、「15」、「9」、「19」、「12」、「7」、「5」、「21」及び「18」を設定する。
続いて、セルCE35の自己相関の値が「47」である場合、検査装置1は、図13に示すように、横方向が「35」であって縦方向が「35」である欄に、「47」を設定する。また、例えば、セルCE35と近接セルCEのそれぞれ(セルCE2、セルCE3、セルCE4、セルCE34、セルCE36、セルCE66、セルCE67及びセルCE68)との相互相関の値が「6」、「24」、「21」、「14」、「15」、「19」、「5」及び「9」である場合、検査装置1は、図13に示すように、横方向が「35」であって縦方向が「2」、「3」、「4」、「34」、「36」、「66」、「67」及び「68」である欄のそれぞれに、「6」、「24」、「21」、「14」、「15」、「19」、「5」及び「9」を設定し、さらに、横方向が「2」、「3」、「4」、「34」、「36」、「66」、「67」及び「68」であって縦方向が「35」である欄のそれぞれに、「6」、「24」、「21」、「14」、「15」、「19」、「5」及び「9」を設定する。
ここで、図13の下線部分に示すように、横方向が「35」であって縦方向が「66」である欄及び横方向が「66」であって縦方向が「35」である欄のそれぞれには、図12に示す段階において既に相互相関の値が設定されている。そのため、検査装置1は、この場合、横方向が「35」であって縦方向が「66」である欄及び横方向が「66」であって縦方向が「35」である欄のそれぞれに設定される相互相関の値の算出を省略することが可能になる。
さらに、セルCE67の自己相関の値が「52」である場合、検査装置1は、図14に示すように、横方向が「67」であって縦方向が「67」である欄に、「52」を設定する。また、例えば、セルCE67と近接セルCEのそれぞれ(セルCE34、セルCE35、セルCE36、セルCE66、セルCE68、セルCE98、セルCE99及びセルCE100)との相互相関の値が「21」、「5」、「15」、「7」、「11」、「17」、「11」及び「9」である場合、検査装置1は、図14に示すように、横方向が「67」であって縦方向が「34」、「35」、「36」、「66」、「68」、「98」、「99」及び「100」である欄のそれぞれに、「21」、「5」、「15」、「7」、「11」、「17」、「11」及び「9」を設定し、さらに、横方向が「34」、「35」、「36」、「66」、「68」、「98」、「99」及び「100」であって縦方向が「67」である欄のそれぞれに、「21」、「5」、「15」、「7」、「11」、「17」、「11」及び「9」を設定する。
ここで、図14の下線部分に示すように、横方向が「35」であって縦方向が「67」である欄、横方向が「66」であって縦方向が「67」である欄、横方向が「67」であって縦方向が「35」である欄及び横方向が「67」であって縦方向が「66」である欄のそれぞれには、図13に示す段階において既に相互相関の値が設定されている。そのため、検査装置1は、この場合、横方向が「35」であって縦方向が「67」である欄、横方向が「66」であって縦方向が「67」である欄、横方向が「67」であって縦方向が「35」である欄及び横方向が「67」であって縦方向が「66」である欄のそれぞれに設定される相互相関の値の算出を省略することが可能になる。
すなわち、検査装置1は、順次算出される自己相関の値及び相互相関の値を図12等に示すテーブルによって管理することで、同一の自己相関の値や相互相関の値の算出が重複して行われることを防止することが可能になる。そのため、検査装置1は、S23及びS24の処理の実行に伴う処理負担及び処理時間を短縮させることが可能になる。
図9に戻り、検査装置1(欠陥判定部14)は、アレイ2に含まれるセルCEごとに、各セルCEの自己相関の値を用いて各セルCEに対応する相互相関の値を正規化する(S31)。すなわち、検査装置1は、各セルCEの自己相関の値を正規化因子として用いることにより、各セルCEに対応する相互相関の値を正規化する。
具体的に、検査装置1は、S23の処理で算出した相互相関の値ごとに、各相互相関の値を、各相互相関の値の算出に用いられた2つのセルCEに対応する自己相関の値のうちの大きい方で除算することによって正規化を行う。
なお、検査装置1は、S23の処理で算出した相互相関の値ごとに、各相互相関の値の2乗を、各相互相関の値の算出に用いられた2つのセルに対応する自己相関の値の積で除算することによって正規化を行うものであってもよい。
そして、検査装置1(欠陥判定部14)は、アレイ2に含まれるセルCEごとに、S23の処理で算出した相互相関の値が第1条件を満たさない近接セルCEの数を特定する(S32)。
具体的に、検査装置1は、例えば、アレイ2に含まれるセルCEごとに、S23の処理で算出した相互相関の値が閾値(例えば、0.6)以下である近接セルCEの数を特定する。
続いて、検査装置(欠陥判定部14)は、アレイ2に含まれる複数のセルのうち、S31の処理で特定した数が第2条件を満たさないセルCEを特定する(S33)。
具体的に、検査装置1は、例えば、アレイ2に含まれる複数のセルCEのうち、S31の処理で特定した数が閾値(例えば、5)以上であるセルCEを特定する。
その後、S22の処理において全てのセル情報CIの特定が行われていない場合(S34のNO)、検査装置1は、S22以降の処理を再度行う。
一方、S22の処理において全てのセル情報CIの特定が行われている場合(S34のYES)、検査装置1は、S33の処理で特定したセルCEを示す情報を出力する(S35)。
具体的に、検査装置1は、この場合、S22の処理で特定した種別に対応するセル情報CIごとに、S33の処理で特定したセルCEを示す情報を出力する。
すなわち、あるセルCEが欠陥セルでない場合であっても、そのセルCEと近接セルCEとの相互相関の値に、第1条件を満たさないものが含まれている可能性がある。そのため、検査装置1は、第1条件を満たさない近接セルCEの数をセルCEごとに特定し、さらに、特定した近接セルCEの数が第2条件を満たさないセルCEを欠陥セルとして特定する。
これにより、検査装置1は、異常を有するセルCE(欠陥セル)の検知を精度良く行うことが可能になる。
なお、検査装置1は、例えば、S11の処理で入力を受け付けた動画データから、互いに異なる時間帯の複数の動画データ(例えば、含まれるフレームが1フレームずつ異なる複数の動画データ)をそれぞれ取得し、取得した複数の動画データごとに、S12からS24までの処理をそれぞれ実行するものであってもよい。そして、検査装置1は、アレイ2に含まれるセルCEごとに、複数の動画データごとに行われたS33の処理において特定された回数を集計し、S35の処理において、アレイ2に含まれるセルCEのうち、S33の処理において特定された回数が閾値(例えば、10回)を超えたセルCEを示す情報を出力するものであってもよい。
これにより、検査装置1は、アレイ2に含まれる各セルCEの品質検査の精度をより高めることが可能になる。
また、アレイ2は、例えば、センサーアレイやソーラーパネルであってもよい。そして、アレイ2がセンサーアレイである場合、検査装置1は、例えば、センサーアレイの感知強度をセル情報CIとして用いるものであってもよい。また、アレイ2がソーラーパネルである場合、検査装置1は、例えば、ソーラーパネルの生成電力量をセル情報CIとして用いるものであってもよい。
これにより、検査装置1は、アレイ2がセンサーアレイやソーラーパネルである場合であっても、本実施の形態における検査処理を行うことが可能になる。
1:検査装置
2:アレイ
5:操作端末
101:CPU
102:メモリ
103:インタフェース
104:記憶媒体
105:バス
CE:セル
CI:センサ情報

Claims (9)

  1. 検査対象に含まれる複数のセルごとに、各セルの特性を示すセル情報を算出し、
    前記複数のセルごとに、前記検査対象において各セルと近接する所定数の近接セルを特定し、
    前記複数のセルごとに、各セルと各セルに対応する前記所定数の近接セルのそれぞれとの前記セル情報についての類似度をそれぞれ算出し、
    前記複数のセルごとに、前記所定数の近接セルのうち、算出した前記類似度が第1の閾値以下である近接セルの数を特定し、
    前記複数のセルのうち、特定した前記数が第2の閾値以上であるセルを特定し、
    特定した前記セルが欠陥セルであることを示す情報を出力する、
    処理をコンピュータに実行させることを特徴とする検査プログラム。
  2. 請求項1において、
    前記類似度を算出する処理では、所定時間内の動的データを構成するフレームごとであって各フレームに含まれる前記複数のセルごとに、前記セル情報を算出する、
    ことを特徴とする検査プログラム。
  3. 請求項2において、さらに、
    前記複数のセルごとに、各セルの前記セル情報についての正規化因子を算出し、
    前記複数のセルごとに、各セルの前記セル情報についての前記正規化因子を用いることによって、各セルに対応する前記類似度のそれぞれを正規化する、
    処理をコンピュータに実行させ、
    前記近接セルの数を特定する処理では、前記複数のセルごとに、前記所定数の近接セルのうち、正規化した前記類似度が前記第1の閾値以下である近接セルの数を特定する、
    ことを特徴とする検査プログラム。
  4. 請求項3において、
    前記類似度は、相互相関であり、
    前記正規化因子は、自己相関であり、
    前記正規化する処理では、前記複数のセルごとであって前記所定数の近接セルごとに、各セルと各近接セルとに対応する前記相互相関を、各セルの前記自己相関の最大値と各近接セルの前記自己相関の最大値とのうちの大きい方の値を用いて正規化する、
    ことを特徴とする検査プログラム。
  5. 請求項4において、
    前記正規化する処理では、前記複数のセルごとであって前記所定数の近接セルごとに、各セルと各近接セルとに対応する前記相互相関を、各セルの前記自己相関の最大値と各近接セルの前記自己相関の最大値とのうちの大きい方の値で除算する、
    ことを特徴とする検査プログラム。
  6. 請求項4において、
    前記近接セルの数を特定する処理では、前記複数のセルごとに、前記所定数の近接セルのうち、前記相互相関の最大値が閾値以下である近接セルの数を特定する、
    ことを特徴とする検査プログラム。
  7. 請求項3において、
    前記セル情報を算出する処理と、前記類似度を算出する処理と、前記正規化因子を算出する処理と、前記正規化する処理と、前記近接セルの数を特定する処理とを、互いに異なる複数の前記所定時間の動的データごとに行い、さらに、
    前記複数のセルのうち、前記セルを特定する処理において特定された回数が閾値以上であるセルを特定する、
    処理をコンピュータに実行させ、
    前記出力する処理では、前記回数が閾値以上であるセルを特定する処理で特定した前記セルを示す情報を出力する、
    ことを特徴とする検査プログラム。
  8. 検査対象に含まれる複数のセルごとに、各セルの特性を示すセル情報を算出する検査情報算出部と、
    前記複数のセルごとに、前記検査対象において各セルと近接する所定数の近接セルを特定し、前記複数のセルごとに、各セルと前記所定数の近接セルのそれぞれとの前記セル情報についての類似度を算出し、前記複数のセルごとに、前記所定数の近接セルのうち、算出した前記類似度が第1の閾値以下である近接セルの数を特定し、前記複数のセルのうち、特定した前記数が第2の閾値以上であるセルを特定する欠陥判定部と、
    特定した前記セルが欠陥セルであることを示す情報を出力する検査結果出力部と、を有する、
    ことを特徴とする検査装置。
  9. 検査対象に含まれる複数のセルごとに、各セルの特性を示すセル情報を算出し、
    前記複数のセルごとに、前記検査対象において各セルと近接する所定数の近接セルを特定し、
    前記複数のセルごとに、各セルと前記所定数の近接セルのそれぞれとの前記セル情報についての類似度を算出し、
    前記複数のセルごとに、前記所定数の近接セルのうち、算出した前記類似度が第1の閾値以下である近接セルの数を特定し、
    前記複数のセルのうち、特定した前記数が第2の閾値以上であるセルを特定し、
    特定した前記セルが欠陥セルであることを示す情報を出力する、
    処理をコンピュータに実行させることを特徴とする検査方法。
JP2020022553A 2020-02-13 2020-02-13 検査プログラム、検査装置及び検査方法 Active JP7451857B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020022553A JP7451857B2 (ja) 2020-02-13 2020-02-13 検査プログラム、検査装置及び検査方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020022553A JP7451857B2 (ja) 2020-02-13 2020-02-13 検査プログラム、検査装置及び検査方法

Publications (2)

Publication Number Publication Date
JP2021128053A JP2021128053A (ja) 2021-09-02
JP7451857B2 true JP7451857B2 (ja) 2024-03-19

Family

ID=77488373

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020022553A Active JP7451857B2 (ja) 2020-02-13 2020-02-13 検査プログラム、検査装置及び検査方法

Country Status (1)

Country Link
JP (1) JP7451857B2 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244700A (ja) 2004-02-27 2005-09-08 Olympus Corp 画素欠陥検出装置と方法および撮像装置
JP2006133196A (ja) 2004-11-09 2006-05-25 Seiko Epson Corp 画素ムラ欠陥検出方法、画素ムラ欠陥検出装置、画素ムラ欠陥検出プログラムおよびこのプログラムを記録した記録媒体。
JP2006145232A (ja) 2004-11-16 2006-06-08 Seiko Epson Corp 表示画素検査方法、および、表示画素検査装置
JP2006275812A (ja) 2005-03-29 2006-10-12 Seiko Epson Corp エッジ欠陥検出方法、エッジ欠陥検出装置、エッジ欠陥検出プログラム、記録媒体
JP2008017448A (ja) 2006-06-06 2008-01-24 Sony Corp 映像信号処理方法、映像信号処理方法のプログラム、映像信号処理方法のプログラムを記録した記録媒体及び映像信号処理装置
US20080100844A1 (en) 2006-10-31 2008-05-01 Negevtech, Ltd. Defect detection through image comparison using relative measures
JP2008232837A (ja) 2007-03-20 2008-10-02 Seiko Epson Corp 欠陥強調・欠陥検出の方法および装置、プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244700A (ja) 2004-02-27 2005-09-08 Olympus Corp 画素欠陥検出装置と方法および撮像装置
JP2006133196A (ja) 2004-11-09 2006-05-25 Seiko Epson Corp 画素ムラ欠陥検出方法、画素ムラ欠陥検出装置、画素ムラ欠陥検出プログラムおよびこのプログラムを記録した記録媒体。
JP2006145232A (ja) 2004-11-16 2006-06-08 Seiko Epson Corp 表示画素検査方法、および、表示画素検査装置
JP2006275812A (ja) 2005-03-29 2006-10-12 Seiko Epson Corp エッジ欠陥検出方法、エッジ欠陥検出装置、エッジ欠陥検出プログラム、記録媒体
JP2008017448A (ja) 2006-06-06 2008-01-24 Sony Corp 映像信号処理方法、映像信号処理方法のプログラム、映像信号処理方法のプログラムを記録した記録媒体及び映像信号処理装置
US20080100844A1 (en) 2006-10-31 2008-05-01 Negevtech, Ltd. Defect detection through image comparison using relative measures
JP2008232837A (ja) 2007-03-20 2008-10-02 Seiko Epson Corp 欠陥強調・欠陥検出の方法および装置、プログラム

Also Published As

Publication number Publication date
JP2021128053A (ja) 2021-09-02

Similar Documents

Publication Publication Date Title
US20230419472A1 (en) Defect detection method, device and system
US10311559B2 (en) Information processing apparatus, information processing method, and storage medium
US20170069075A1 (en) Classifier generation apparatus, defective/non-defective determination method, and program
US9916666B2 (en) Image processing apparatus for identifying whether or not microstructure in set examination region is abnormal, image processing method, and computer-readable recording device
TW202001798A (zh) 光學檢測方法、光學檢測裝置及光學檢測系統
JP5956814B2 (ja) 外観検査装置、外観検査方法及びコンピュータプログラム
CA2843892A1 (en) System and method for remote full field three-dimensional displacement and strain measurements
TW201317904A (zh) 標籤檢測系統、裝置及其檢測標籤的方法
JP5786622B2 (ja) 画質検査方法、画質検査装置及び画質検査プログラム
JP7173763B2 (ja) 画像生成装置および画像生成方法
JP2018152081A (ja) 取得された画像内のクラッタを決定するためのシステム及び方法
US20170061209A1 (en) Object processing method, reference image generating method, reference image generating apparatus, object processing apparatus, and recording medium
US9342883B2 (en) Omnibus resolution assessment target for sensors
CN113284113B (zh) 溢胶瑕疵检测方法、装置、计算机设备和可读存储介质
JP7451857B2 (ja) 検査プログラム、検査装置及び検査方法
Singh et al. Vision-based system for automated image dataset labelling and dimension measurements on shop floor
TW201445458A (zh) 一種攝像設備的檢測裝置及方法
JP2020134424A (ja) 分光検査方法、画像処理装置、及びロボットシステム
JP7427856B2 (ja) 学習プログラム、学習装置及び学習方法
CN112508925B (zh) 电子锁面板质量检测方法、系统、计算机装置和存储介质
JP7305509B2 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
WO2016092779A1 (en) Information processing apparatus, information processing method, and program
JP7414629B2 (ja) 学習用データ処理装置、学習装置、学習用データ処理方法、およびプログラム
TWI748184B (zh) 瑕疵檢測方法、電子裝置及電腦可讀存儲介質
WO2022027816A1 (zh) 一种用于图像获取装置的检测方法及相关装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221226

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20230104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20230104

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240214

R150 Certificate of patent or registration of utility model

Ref document number: 7451857

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150