JP7489523B2 - 画像検査装置及び画像検査装置の設定方法 - Google Patents

画像検査装置及び画像検査装置の設定方法 Download PDF

Info

Publication number
JP7489523B2
JP7489523B2 JP2023068728A JP2023068728A JP7489523B2 JP 7489523 B2 JP7489523 B2 JP 7489523B2 JP 2023068728 A JP2023068728 A JP 2023068728A JP 2023068728 A JP2023068728 A JP 2023068728A JP 7489523 B2 JP7489523 B2 JP 7489523B2
Authority
JP
Japan
Prior art keywords
image
learning
images
inspection
classifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023068728A
Other languages
English (en)
Other versions
JP2023090768A (ja
Inventor
大輔 木田
迪 何
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyence Corp
Original Assignee
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keyence Corp filed Critical Keyence Corp
Priority to JP2023068728A priority Critical patent/JP7489523B2/ja
Publication of JP2023090768A publication Critical patent/JP2023090768A/ja
Application granted granted Critical
Publication of JP7489523B2 publication Critical patent/JP7489523B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、検査対象物を撮像した画像に基づいて検査対象物の良否判定を行う画像検査装置及び画像検査装置の設定方法に関する。
例えば特許文献1に開示されているように、検査対象物を撮像した画像を用いた一般的な画像検査は、まずマスター画像を登録し、登録したマスター画像上で各種の画像検査ツールを設定することにより行われる。具体的には、まず、使用者はマスター画像を取得するための各種撮像設定を行い、設定された撮像設定にてマスター画像を取得する。次いで画像検査ツールを選択し、取得されたマスター画像上で選択された画像検査ツールを適用する範囲を規定するウィンドウを設定し、各画像検査ツールの個別設定を行う。その後、検査対象物を撮像して画像検査を実行し、所望の良否判定結果が得られているかどうかを確認する。所望の結果が得られている場合は、設定を完了するが、所望の結果が得られていない場合は、必要に応じてマスター画像を取得するための撮像設定を調整する。撮像設定が調整されるとマスター画像が変化するため、使用者は必要に応じて各画像検査ツールの個別設定を調整する。上記したような一般的な検査処理は、使用者が画像に含まれるどの特徴量に基づいて検査を行うかを設定するルールベースの画像検査である。ルールベースの画像検査では、画像検査装置が使用者の設定にしたがって良否判定を行うものであるため、使用者が良否判定基準を制御できる。
上述したルールベースの画像検査では、運用時に画像内の検査対象物の様々な特徴量(色、エッジ、位置等)に基づいて検査対象物の良否の判定を行うことになる。色やエッジなどの特徴量がはっきりしている画像に対しては良否判定が容易であるが、例えば色ムラが多い検査対象物や、金属部品のように周囲の環境によってエッジの出方が変わりやすい検査対象物などでは、特徴量が撮像条件などによって変化しやすく、人間の目による検査では良否判定が容易であっても、画像検査装置では判定が難しく、ひいては、判定結果が安定しないことがある。
このような難しい検査に対応が可能な検査処理技術として、良品が撮像された良品画像と不良品が撮像された不良品画像の特徴をそれぞれニューラルネットワークなどの公知の学習手段に学習させて識別器を生成し、運用時に新たに入力された検査対象物の画像が良品であるか、不良品であるかを識別器によって識別可能にする技術が知られている(例えば特許文献2参照)。
特開2013-120550号公報 特開2018-5640号公報
ところで、様々なパターンの良品画像及び不良品画像を入力することで識別器による識別性能を向上できるので、使用者は、運転モード時に蓄積された画像や別の撮像装置で撮像された画像(以下、履歴画像という。)の中から、学習効果のある履歴画像を探して大量の良品画像及び不良品画像を入力し、識別性能の要求を満足できるようにすることが行われている。
しかしながら、履歴画像は膨大な数にのぼる場合があり、この膨大な数の履歴画像の中から学習効果のある履歴画像を探し出す作業には時間がかかり、ひいては設定モードに要する時間が長時間化してしまう。また、初めて画像検査装置を扱う者にとっては、そもそも、どの履歴画像が学習効果のある画像であるのか判断が難しいという問題もあった。
本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、複数の履歴画像の中から学習効果のある画像を使用者に提示可能にして効率の良い学習が行えるようにすることにある。
上記目的を達成するために、第1の発明は、撮像手段により撮像された検査対象物の画像に基づいて当該検査対象物の良否判定を行う画像検査装置において、使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像をそれぞれ登録する学習画像登録手段と、前記学習画像登録手段で登録された良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する識別器生成手段と、前記撮像手段により新たに撮像された検査対象画像を前記識別器に入力し、良否判定を行う良否判定手段と、前記良否判定手段により良否判定を行った複数の検査対象画像を良否判定結果とともに履歴画像として記憶する記憶手段と、前記記憶手段に記憶された複数の履歴画像の良否判定の安定性を示す安定性評価値を算出する安定性評価値算出手段と、前記安定性評価値算出手段が算出した安定性評価値に基づいて、前記識別器に追加学習させる候補画像を使用者に提示する表示手段と、前記表示手段により提示された候補画像の中から、使用者による追加学習画像としての指定を受け付ける追加学習画像指定手段とを備え、前記識別器生成手段は、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習し、前記識別器を更新するように構成されていることを特徴とする。
この構成によれば、使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像を学習し、良品画像と不良品画像を識別する識別器が生成される。運転モード時には、撮像手段により新たに撮像された検査対象画像が識別器に入力され、良否判定手段によって良否判定が行われる。良否判定手段により良否判定を行った複数の検査対象画像は良否判定結果とともに履歴画像として記憶手段に記憶される。記憶手段に記憶された複数の履歴画像の良否判定の安定性を示す安定性評価値が安定性評価値算出手段により算出されると、その安定性評価値に基づいて、識別器に追加学習させる候補画像が表示手段によって使用者に提示される。
ここで、安定性評価値は、履歴画像の良否判定の安定性を示すものであり、既に生成されている識別器による良否判定の安定性が高いか低いかを把握可能な値とすることができる。安定性評価値は、表示手段に表示してもよいし、表示しなくてもよい。良否判定の安定性が高い場合には、その履歴画像は既に生成されている識別器によって安定的に識別できているので、追加学習の必要性が低い画像であると判断される。一方、良否判定の安定性が低い場合には、その履歴画像は既に生成されている識別器では識別が不安定であるので、識別器を更新するべく、追加学習の必要性が高い画像であると判断される。
したがって、記憶手段に記憶されている履歴画像の数が膨大であっても、使用者は良否判定の安定性に基づいて提示された候補画像の中から追加学習画像を選択することが可能になる。使用者による追加学習画像としての指定は、追加学習画像指定手段で受け付けられ、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習することで識別器が更新される。
第2の発明は、前記安定性評価値算出手段は、良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度を算出し、当該近接度を前記安定性評価値とするように構成され、前記表示手段は、前記近接度が所定以上の履歴画像を候補画像として使用者に提示するように構成されていることを特徴とする。
この構成によれば、良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値とが近いということは、既に生成されている識別器による識別が不安定であるということである。したがって、安定性評価値を近接度に基づいたものにすることで、学習効果のより高い候補画像を提示することができる。
第3の発明は、前記表示手段は、複数の候補画像を使用者に提示する場合、前記安定性評価値の順に並べて提示するように構成されていることを特徴とする。
この構成によれば、複数の候補画像を安定性評価値が大きい順または小さい順に並べて使用者に提示することができるので、学習効果のより高い候補画像を容易に把握することができる。
第4の発明は、前記表示手段は、複数の履歴画像を時系列で表示する第1表示形態と、前記識別器に追加学習させる候補画像を使用者に提示する第2表示形態とに切り替え可能に構成されていることを特徴とする。
この構成によれば、第1表示形態では、複数の履歴画像が時系列で表示されるので、使用者は検査対象画像を検査した順に確認することができる。一方、第2表示形態では、識別器に追加学習させる候補画像を使用者に提示することができる。検査対象画像を検査した順で確認したい場合と、識別器に追加学習させる候補画像を確認したい場合とで、必要に応じて表示形態を切り替えることで対応することができる。
第5の発明は、前記表示手段は、前記安定性評価値が所定値以上の履歴画像を前記記憶手段から削除する削除候補画像として使用者に提示するように構成されていることを特徴とする。
この構成によれば、学習効果のより高い候補画像を提示することができる。
第6の発明は、前記表示手段は、前記識別器による良品画像と不良品画像との識別境界から所定以上離れた履歴画像を前記記憶手段から削除する削除候補画像として使用者に提示するように構成されていることを特徴とする。
すなわち、履歴画像のうち、安定性評価値が低い画像は学習効果の低い画像であるため、記憶手段に保存していても殆ど役に立たない画像であり、記憶手段のメモリを圧迫するだけであると考えられる。このような画像を削除候補画像として使用者に提示して削除を促すことで記憶手段のメモリを節約できる。
第7の発明は、前記識別器生成手段は、前記学習画像登録手段で登録された良品画像群と不良品画像群を特徴量空間上にプロットするとともに、前記特徴量空間上にプロットされた良品画像群と不良品画像群との間に識別境界を設定することにより、前記識別器を生成するように構成され、前記表示手段は、追加学習により前記識別器が更新された場合に、前記特徴量空間上において、更新された前記識別器による前記識別境界から所定以上離れた履歴画像を前記記憶手段から削除する削除候補画像として使用者に提示するように構成されていることを特徴とする。
すなわち、履歴画像のうち、識別器による識別境界から所定以上離れた画像は学習効果の低い画像であるため、記憶手段に保存していても殆ど役に立たない画像であり、記憶手段のメモリを圧迫するだけであると考えられる。このような画像を削除候補画像として使用者に提示して削除を促すことで記憶手段のメモリを節約できる。
第8の発明は、前記表示手段は、前記特徴量空間上において、前記識別境界から所定以上離れた履歴画像と、当該履歴画像の近隣にプロットされた近隣画像との相対関係に基づいて前記識別境界の設定に寄与していないと判定される画像を削除候補画像として使用者に提示するように構成されていることを特徴とする。
例えば、追加学習により識別器が更新されると、それまでの識別器による識別境界とは異なる識別境界が設定されることになる。この場合、更新された識別器による識別境界に基づいて、削除しても識別境界の設定に殆ど影響を及ばさない画像を削除候補画像として使用者に提示することができる。
第9の発明は、撮像手段により撮像された検査対象物の画像に基づいて当該検査対象物の良否判定を行う画像検査装置において、使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像をそれぞれ登録する学習画像登録手段と、前記学習画像登録手段で登録された良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する識別器生成手段と、前記撮像手段により新たに撮像された検査対象画像を前記識別器に入力し、良否判定を行う良否判定手段と、前記良否判定手段により良否判定を行った検査対象画像の良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度を算出し、当該近接度を、当該検査対象画像の良否判定の安定性を示す安定性評価値とする安定性評価値算出手段と、前記安定性評価値算出手段が算出した安定性評価値に基づいて、前記識別器に追加学習させる候補画像を使用者に提示する表示手段と、前記表示手段により提示された候補画像の中から、使用者による追加学習画像としての指定を受け付ける追加学習画像指定手段とを備え、前記識別器生成手段は、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習し、前記識別器を更新するように構成されていることを特徴とする。
すなわち、特徴量空間上において、識別境界から所定以上離れた履歴画像は識別境界の設定に殆ど影響を及ばさない画像であると推定されるが、その履歴画像の近隣にプロットされた近隣画像との相対関係においては識別境界の設定に若干の影響を及ぼすことも想定される。このような場合には、当該履歴画像は削除候補画像とはせずに、識別境界の設定に寄与していないと判定される画像を削除候補画像として使用者に提示する。これにより、識別境界の設定に影響の及ぼす画像が削除されてしまうのを回避できる。
第10の発明は、撮像手段により撮像された検査対象物の画像に基づいて当該検査対象物の良否判定を行う画像検査装置の設定方法において、使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像をそれぞれ登録する学習画像登録ステップと、前記学習画像登録ステップで登録された良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する識別器生成ステップと、前記撮像手段により新たに撮像された検査対象画像を前記識別器に入力し、良否判定を行う良否判定ステップと、前記良否判定ステップにより良否判定を行った複数の検査対象画像を良否判定結果とともに履歴画像として記憶する記憶ステップと、前記記憶ステップで記憶された複数の履歴画像の良否判定の安定性を示す安定性評価値を算出する安定性評価値算出ステップと、前記安定性評価値算出ステップで算出した安定性評価値に基づいて、前記識別器に追加学習させる候補画像を使用者に提示する表示ステップと、前記表示ステップで提示された候補画像の中から、使用者による追加学習画像としての指定を受け付ける追加学習画像指定ステップとを備え、前記識別器生成ステップでは、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習し、前記識別器を更新することを特徴とする。
この構成によれば、使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像を学習し、良品画像と不良品画像を識別する識別器が生成される。運転モード時には、撮像手段により新たに撮像された検査対象画像が識別器に入力され、良否判定手段によって良否判定が行われる。良否判定を行った検査対象画像の判定値と閾値との近接度が算出され、この近接度が、検査対象画像の良否判定の安定性を示す安定性評価値とされる。その安定性評価値に基づいて、識別器に追加学習させる候補画像が表示手段によって使用者に提示される。したがって、検査対象画像の数が膨大であっても、使用者は良否判定の安定性に基づいて提示された候補画像の中から追加学習画像を選択することが可能になる。
第11の発明は、撮像手段により撮像された検査対象物の画像に基づいて当該検査対象物の良否判定を行う画像検査装置の設定方法において、使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像をそれぞれ登録する学習画像登録ステップと、前記学習画像登録ステップで登録された良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する識別器生成ステップと、前記撮像手段により新たに撮像された検査対象画像を前記識別器に入力し、良否判定を行う良否判定ステップと、前記良否判定ステップで良否判定を行った検査対象画像の良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度を算出し、当該近接度を、当該検査対象画像の良否判定の安定性を示す安定性評価値とする安定性評価値算出ステップと、前記安定性評価値算出ステップで算出した安定性評価値に基づいて、前記識別器に追加学習させる候補画像を使用者に提示する表示ステップと、前記表示ステップで提示された候補画像の中から、使用者による追加学習画像としての指定を受け付ける追加学習画像指定ステップとを備え、前記識別器生成ステップでは、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習し、前記識別器を更新することを特徴とする。
本発明によれば、複数の画像の良否判定の安定性を示す安定性評価値に基づいて、追加学習に適した候補画像を使用者に提示し、提示された候補画像の中から、使用者による追加学習画像としての指定を受け付け、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習し、識別器を更新できるので、膨大な数の画像の中から学習効果のある画像を追加学習画像として効率の良い学習を行うことができる。
本発明の実施形態に係る画像検査装置の構成を示す模式図である。 画像検査装置のハードウエア構成を示す図である。 画像検査装置のブロック図である。 起動時ユーザーインターフェースを示す図である。 検査種別選択ユーザーインターフェースを示す図である。 撮像条件設定ユーザーインターフェースを示す図である。 マスター画像登録ユーザーインターフェースを示す図である。 学習設定ユーザーインターフェースを示す図である。 検査ウィンドウ設定ユーザーインターフェースを示す図である。 学習用ユーザーインターフェースを示す図である。 学習完了後の学習設定ユーザーインターフェースを示す図である。 画像処理ツールユーザーインターフェースを示す図である。 基本ツールタブが選択されている場合の画像処理ツール選択用ユーザーインターフェースを示す図である。 拡張タブが選択されている場合の画像処理ツール選択用ユーザーインターフェースを示す図である。 出力割り当てユーザーインターフェースを示す図である。 画像検査装置の設定手順を示すフローチャートである。 運転モードユーザーインターフェースを示す図である。 追加学習を行う場合の割り込み画面を示す図17相当図である。 追加学習ユーザーインターフェースを示す図である。 メニューを表示した運転モードユーザーインターフェースを示す図である。 履歴種別選択を行う場合の割り込み画面を示す図20相当図である。 良否判定後の検査対象画像を表示する運転画像履歴表示ユーザーインターフェースを示す図である。 選択画像表示ユーザーインターフェースを示す図である。 学習に用いられた画像を表示する学習画像履歴表示ユーザーインターフェースを示す図である。 追加学習画像が異なる場合の図19相当図である。 学習候補画像を表示する場合の割り込み画面を示す図22相当図である。 標準検査モードの運転時のフローチャートである。 良品らしい部分と不良品らしい部分とが含まれている検査対象画像の例を示す図であり、(A)は良品画像である確率が高い場合、(B)は良品画像の確率が半分程度の場合、(C)は不良品画像である確率が高い場合である。 文字を含む検査対象画像の例を示す図であり、(A)は良品画像、(B)は領域が選択的に強調された検査対象画像である。 (A)は良品画像、(B)は不良品画像、(C)は運転モード時に良品が撮像された場合の検査対象画像、(D)は運転モード時に不良品が撮像された場合の検査対象画像を示す図である。 (A)は追加学習する不良品画像、(B)は追加学習後の運転モード時に不良品が撮像された場合の検査対象画像を示す図である。 学習検査モードの運転時のフローチャートである。 学習候補画像を提示する場合のフローチャートである。 履歴画像のソート手順を示すフローチャートである。 良品画像群と不良品画像群がプロットされて識別境界が生成された特徴量空間を模式的に示す図である。 削除候補画像の提示手順を示すフローチャートである。 追加学習によって識別境界が変化した場合における削除候補画像の提示手順を示すフローチャートである。 追加学習によって識別境界が変化した場合を示す図35相当図である。 削除候補画像と近隣画像との相対関係に基づいて削除候補画像を提示する手順を示すフローチャートである。 削除候補画像と近隣画像との相対関係の判別方法を説明する図35相当図である。
以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。
図1は、本発明の実施形態に係る画像検査装置1の構成を示す模式図である。画像検査装置1は、例えば各種部品や製品等の検査対象物を撮像した画像に基づいて検査対象物の良否判定を行うための装置であり、工場等の生産現場等で使用することができる。検査対象物は、それ全体が検査対象であってもよいし、一部のみが検査対象であってもよい。また、1つの検査対象物に複数の検査対象が含まれていてもよい。また、画像には、複数の検査対象物が含まれていてもよい。
画像検査装置1は、装置本体となる制御ユニット2と、撮像ユニット3と、表示装置(表示手段)4と、パーソナルコンピュータ5とを備えている。パーソナルコンピュータ5は、必須なものではなく、省略することもできる。表示装置4の代わりにパーソナルコンピュータ(表示手段)5を使用することもできる。図1では、画像検査装置1の構成例の一例として、制御ユニット2、撮像ユニット3、表示装置4及びパーソナルコンピュータ5を別々のものとして記載しているが、これらのうち、任意の複数を組み合わせて一体化することもできる。例えば、制御ユニット2と撮像ユニット3を一体化することや、制御ユニット2と表示装置4を一体化することもできる。また、制御ユニット2を複数のユニットに分割して一部を撮像ユニット3や表示装置4に組み込むことや、撮像ユニット3を複数のユニットに分割して一部を他のユニットに組み込むこともできる。
(撮像ユニット3の構成)
図2に示すように、撮像ユニット3は、カメラモジュール(撮像手段)14と、照明モジュール15とを備えている。カメラモジュール14は、撮像光学系を駆動するAF用モータ141と、撮像基板142とを備えている。AF用モータ141は、撮像光学系のレンズを駆動することにより、自動でピント調整を実行する部分であり、従来から周知のコントラストオートフォーカス等の手法によってピント調整を行うことができる。撮像基板142は、撮像光学系から入射した光を受光する受光素子としてCMOSセンサ143と、FPGA144と、DSP145とを備えている。CMOSセンサ143は、カラー画像を取得することができるように構成された撮像センサである。CMOSセンサ143の代わりに、例えばCCDセンサ等の受光素子を用いることもできる。FPGA144及びDSP145は、撮像ユニット3の内部において画像処理を実行するためのものであり、CMOSセンサ143から出力された信号はFPGA144及びDSP145にも入力されるようになっている。
照明モジュール15は、検査対象物を含む撮像領域を照明する発光体としてのLED(発光ダイオード)151と、LED151を制御するLEDドライバ152とを備えている。LED151による発光タイミング、発光時間、発光量は、LEDドライバ152によって任意に設定することができる。LED151は、撮像ユニット3に一体に設けてもよいし、撮像ユニット3とは別体として外部照明ユニットとして設けてもよい。図示しないが、照明モジュール15には、LED151から照射された光を反射するリフレクターや、LED151から照射された光が通過するレンズ等が設けられている。LED151から照射された光が検査対象物と、検査対象物の周辺領域に照射されるように、LED151の照射範囲が設定されている。発光ダイオード以外の発光体を使用することもできる。
(制御ユニット2の構成)
制御ユニット2は、メイン基板13と、コネクタ基板16と、通信基盤17と、電源基板18とを備えている。メイン基板13には、FPGA131と、DSP132と、メモリ133とが搭載されている。FPGA131とDSP132は制御部13Aを構成するものであり、これらが一体化された主制御部を設けることもできる。
メイン基板13の制御部13Aは、接続されている各基板及びモジュールの動作を制御する。例えば、制御部13Aは、照明モジュール15のLEDドライバ152に対してLED151の点灯/消灯を制御する照明制御信号を出力する。LEDドライバ152は、制御部13Aからの照明制御信号に応じて、LED151の点灯/消灯の切替及び点灯時間の調整を行うとともに、LED151の光量等を調整する。
また、制御部13Aは、カメラモジュール14の撮像基板142に、CMOSセンサ143を制御する撮像制御信号を出力する。CMOSセンサ143は、制御部13Aからの撮像制御信号に応じて、撮像を開始するとともに、露光時間を任意の時間に調整して撮像を行う。すなわち、撮像ユニット3は、制御部13Aから出力される撮像制御信号に応じてCMOSセンサ143の視野範囲内を撮像し、視野範囲内に検査対象物があれば、検査対象物を撮像することになるが、検査対象物以外の物が視野範囲内にあれば、それも撮像することができる。例えば、画像検査装置1の設定時には、使用者により良品としての属性を付与された良品画像と、不良品としての属性を付与された不良品画像とを撮像することができる。画像検査装置1の運用時には、検査対象物を撮像することができる。また、CMOSセンサ143は、ライブ画像、即ち現在の撮像された画像を短いフレームレートで随時出力することができるように構成されている。
CMOSセンサ143による撮像が終わると、撮像ユニット3から出力された画像信号は、メイン基板13のFPGA131に入力され、FPGA131及びDSP132によって処理されるとともに、メモリ133に記憶されるようになっている。メイン基板13の制御部13Aによる具体的な処理内容の詳細については後述する。
コネクタ基板16は、電源インターフェース161に設けてある電源コネクタ(図示せず)を介して外部から電力の供給を受ける部分である。電源基板18は、コネクタ基板16で受けた電力を各基板及びモジュール等に分配する部分であり、具体的には、照明モジュール15、カメラモジュール14、メイン基板13、及び通信基板17に電力を分配する。電源基板18は、AF用モータドライバ181を備えている。AF用モータドライバ181は、カメラモジュール14のAF用モータ141に駆動電力を供給し、オートフォーカスを実現している。AF用モータドライバ181は、メイン基板13の制御部13AからのAF制御信号に応じて、AF用モータ141に供給する電力を調整する。
通信基板17は、メイン基板13の制御部13Aから出力された検査対象物の良否判定信号、画像データ、ユーザーインターフェース等を表示装置4やパーソナルコンピュータ5、外部制御機器(図示せず)等に出力する。表示装置4やパーソナルコンピュータ5は、例えば液晶パネル等からなる表示パネルを有しており、画像データやユーザーインターフェース等は表示パネルに表示される。
また、通信基板17は、表示装置4が有するタッチパネル41やパーソナルコンピュータ5のキーボード51等から入力された使用者の各種操作を受け付けることができるように構成されている。表示装置4のタッチパネル41は、例えば感圧センサを搭載した従来から周知のタッチ式操作パネルであり、使用者によるタッチ操作を検出して通信基板17へ出力する。パーソナルコンピュータ5は、キーボード51の他に、図示しないがマウスやタッチパネルを備えており、これら操作デバイスから入力された使用者の各種操作を受け付けることができるように構成されている。通信は、有線であってもよいし、無線であってもよく、いずれの通信形態も、従来から周知の通信モジュールによって実現することができる。
制御ユニット2には、例えばハードディスクドライブ等の記憶装置(記憶手段)19が設けられている。記憶装置19には、後述する各制御及び処理を上記ハードウエアによって実行可能にするためのプログラムファイル80や設定ファイル等(ソフトウエア)、マスター画像、履歴画像、良否判定結果等が記憶されている。プログラムファイル80や設定ファイルは、例えば光ディスク等の記憶媒体90に格納しておき、この記憶媒体90に格納されたプログラムファイル80や設定ファイルを制御ユニット2にインストールすることができる。
(画像検査装置1の具体的な構成)
図3は、画像検査装置1のブロック図であり、プログラムファイル80や設定ファイルがインストールされた制御ユニット2により、図3に示す各部及び手段が構成される。すなわち、画像検査装置1は、撮像設定部21と、マスター画像登録部23と、学習画像登録部24と、画像処理ツール選択部25と、パラメータ調整部26と、検査ウィンドウ設定部27と、検査種別選択部28と、モード切替部29と、識別器生成部30と、良否判定部31と、追加学習画像指定部32と、安定性評価値算出部33と、判定軸抽出部34とを備えている。これら各部(手段)は、ハードウエアのみで構成されていてもよいし、ハードウエアとソフトウエアとの組み合わせによって構成されていてもよい。また、図3に示す各部及び手段は、それぞれが独立したものであってもよいし、1つのハードウエアまたはソフトウエアによって複数の機能が実現されるように構成されたものであってもよい。また、図3に示す各部及び手段の機能は、メイン基板13の制御部13Aによる制御で実現することもできる。
また、画像検査装置1は、撮像設定等の各種パラメータ設定、マスター画像の登録、良品画像と不良品画像とを内部で識別できるようにする識別器の生成(学習)等を行う設定モードと、実際の現場において検査対象物を撮像した画像に基づいて検査対象物の良否判定を行う運転モード(Runモード)とに切り替えられるようになっている。設定モードでは、使用者が所望の製品検査で良品と不良品とを分けることができるようにするための事前の作業を行う。設定モードと運転モードとの切替は、後述するユーザーインターフェース上で行うことができる他、設定モードの完了と同時に運転モードに自動で移行するように構成することもできる。運転モードにおいて、識別器による識別境界の修正や変更を行うこと、いわゆる追加学習を行うこともできる。
また、画像検査装置1は、画像内の検査対象物の様々な特徴量(色、エッジ、位置等)に基づいて検査対象物の良否の判定を行うルールベースの検査モード(標準検査モード)と、識別器を生成し、生成した識別器によって検査対象物の良否の判定を行う学習ベースの検査モード(学習検査モード)とに切り替えられるようになっている。標準検査モードでは、使用者が画像に含まれるどの特徴量に基づいて検査を行うか、及び閾値等を設定し、その設定に従って良否判定を行う。標準検査モードと学習検査モードとの切替は、後述するユーザーインターフェース上で行うことができる。
(起動時制御)
画像検査装置1が起動すると、制御ユニット2は図4に示すような起動時ユーザーインターフェース100を生成して表示装置4に表示させる。起動時ユーザーインターフェース100は、図示しないUI生成部等で生成することもできる。以下に述べる他のユーザーインターフェースもUI生成部等で生成することができる。
起動時ユーザーインターフェース100には、センサ設定ボタン100aと、運転開始ボタン100bと、画像表示領域100cとが設けられている。センサ設定ボタン100aは、画像検査装置1の設定を行う際に操作するボタンである。運転開始ボタン100bは、検査を実行する運転モードとする際に操作するボタンである。画像表示領域100cには、撮像ユニット3で撮像された画像、記憶装置19に記憶されている画像、外部から読み込んだ画像等を表示することができるようになっている。
図3に示すモード切替部29は、図4に示す起動時ユーザーインターフェース100のセンサ設定ボタン100aが押されたことを検出すると、画像検査装置1の設定を行う設定モードに切り替える。一方、モード切替部29は、起動時ユーザーインターフェース100の運転開始ボタン100bが押されたことを検出すると、運転モードに切り替える。つまり、モード切替部29は、画像検査装置1のモードを、当該画像検査装置1の設定を行う設定モードと、検査を実行する運転モードとに切り替える部分である。画像検査装置1のモード切替方法は上述したボタン操作以外の方法、例えば外部から入力された信号による切り替え等であってもよい。尚、「ボタンを押す」とは、表示装置4のタッチパネル41による操作、パーソナルコンピュータ5のキーボード51やマウス等による操作によって実行される。以下、ボタン操作については同様である。
(検査種別選択部28の構成)
図3に示す検査種別選択部28は、標準検査モードと学習検査モードのいずれかの選択を受け付ける部分である。検査種別選択部28は、図5に示す検査種別選択ユーザーインターフェース101を生成して表示装置4に表示させる。検査種別選択ユーザーインターフェース101には、学習検査モード選択ボタン101aと、標準検査モード選択ボタン101bと、キャンセルボタン101cと、OKボタン101dとが設けられている。検査種別選択部28は、学習検査モード選択ボタン101aが押されたことを検出すると、学習検査モードに切り替える一方、標準検査モード選択ボタン101bが押されたことを検出すると、標準検査モードに切り替えるように構成されている。その後、OKボタン101dが押されると、受け付けられた検査モードが確定する。キャンセルボタン101cが押されると、図4に示す起動時ユーザーインターフェース100が表示装置4に表示される。
使用者による標準検査モードと学習検査モードの選択を受け付ける部分は、上述した検査種別選択部28に限られるものではなく、例えば外部から入力された信号によって受け付けるように構成されていてもよい。
図5に示す検査種別選択ユーザーインターフェース101には、学習検査モードの概略を説明する説明文や標準検査モードの概略を説明する説明文が表示される説明文表示領域101eが設けられている。学習検査モード選択ボタン101aが押されると、学習検査モードの概略を説明する説明文が説明文表示領域101eに表示され、また、標準検査モード選択ボタン101bが押されると、標準検査モードの概略を説明する説明文が説明文表示領域101eに表示されるようになっている。
(撮像設定部21の構成)
図3に示す撮像設定部21は、設定モード時に撮像ユニット3の撮像条件の設定を受け付ける部分である。撮像条件には、例えば、露光時間、照明モジュール15から照射される光量、ゲイン、フォーカス調整、撮像を行うトリガ条件等が含まれているが、これらに限られるものではなく、撮像に関する条件設定が可能なものを含むことができる。
撮像設定部21は、図6に示す撮像条件設定ユーザーインターフェース102を生成して表示装置4に表示させる。撮像条件設定ユーザーインターフェース102には、画像表示領域102aと、トリガ条件設定ボタン102bと、明るさ調整ボタン102cと、フォーカス調整ボタン102dと、次ステップボタン102eとが設けられている。画像表示領域102aには、CMOSセンサ143で撮像されたライブ画像が表示されるようになっている。ライブ画像とは、CMOSセンサ143で撮像されている現在の画像のことであり、撮像対象や明るさが変化すればほぼリアルタイムで画像表示領域102aの画像も変化する。符号Wは、検査対象物を示している。
トリガ条件設定ボタン102bは、撮像ユニット3に撮像を開始させるための撮像トリガ信号を設定するためのボタンである。撮像設定部21は、トリガ条件設定ボタン102bが操作されたことを検出すると、撮像トリガ信号を設定可能なユーザーインターフェース(図示せず)を生成して表示装置4に表示させる。使用者は、例えば外部から入力される撮像トリガ信号を選択することで、CMOSセンサ143の視野範囲に検査対象物Wが入った状態で、撮像ユニット3による撮像を行うことが可能になる。撮像トリガ信号は、外部のPLC等から入力してもよいし、所定のタイミングで内部的に生成してもよい。
明るさ調整ボタン102cは、露光時間、照明モジュール15から照射される光量、ゲイン等を調整するためのボタンであり、得られる画像の明るさを調整することができる。撮像設定部21は、明るさ調整ボタン102cが操作されたことを検出すると、露光時間等を調整可能なユーザーインターフェース(図示せず)を生成して表示装置4に表示させる。使用者は、画像表示領域102aの画像を見ながら当該画像の明るさ調整を行うことができる。画像の明るさについては、画像検査装置1が、検査の精度が高くなるように自動で調整することができ、使用者による調整は必須なものではない。
フォーカス調整ボタン102dは、ピントを調整する際に操作されるボタンである。撮像設定部21は、フォーカス調整ボタン102dが操作されたことを検出すると、ピント調整が可能なユーザーインターフェース(図示せず)を生成して表示装置4に表示させる。基本的には、上述したオートフォーカス機能によって検査対象物Wにピントが合うように自動調整されるが、使用者がマニュアルフォーカスでピント合わせを行いたい場合に、この機能を使用することができる。
次ステップボタン102eは、撮像条件の設定が終了した際に操作されるボタンである。撮像設定部21は、次ステップボタン102eが押されたことを検出すると、トリガ条件、明るさ、フォーカス等を確定させて次の工程であるマスター画像登録に移行する。
(マスター画像登録部23の構成)
図3に示すマスター画像登録部23は、設定モード時に撮像設定部21で設定された撮像条件で撮像された画像をマスター画像として登録する部分である。マスター画像とは、画像検査枠、即ち検査ウィンドウを設定するための基準となる画像であり、良品の検査対象物Wが含まれる画像である。マスター画像は、記憶装置19に記憶させておくことができる。
マスター画像登録部23は、図7に示すマスター画像登録ユーザーインターフェース103を生成して表示装置4に表示させる。マスター画像登録ユーザーインターフェース103には、マスター画像の候補となる画像を表示させるためのマスター候補画像表示領域103aと、ライブ画像登録ボタン103bと、履歴登録ボタン103cと、ファイル登録ボタン103dと、次ステップボタン103eとが設けられている。
マスター画像登録部23は、マスター候補画像表示領域103aにライブ画像が表示されている状態で、ライブ画像登録ボタン103bが押されたことを検出すると、マスター候補画像表示領域103aに表示されているライブ画像をマスター画像として登録する。また、履歴登録ボタン103cは、画像履歴に残っている画像をマスター画像とする際に操作するボタンである。マスター画像登録部23は、履歴登録ボタン103cが押されたことを検出すると、過去に撮像された画像がマスター候補画像表示領域103aに表示される。マスター候補画像表示領域103aに表示された画像の中から所望の画像をマスター画像として選択し、登録することができる。過去に撮像された画像は自動的に記憶装置19に記憶させるようにしてもよいし、使用者が記憶操作を行うことによって記憶させるようにしてもよい。
ファイル登録ボタン103dは、記憶装置19に記憶されている画像をマスター画像とする際に操作するボタンである。マスター画像登録部23は、ファイル登録ボタン103dが押されたことを検出すると、記憶装置19の特定のフォルダに記憶されている画像を読み込んでマスター候補画像表示領域103aに表示させ、この中から所望の画像をマスター画像として選択し、登録することができる。
次ステップボタン103eは、マスター画像の登録が終了した際に操作されるボタンである。マスター画像登録部23は、次ステップボタン103eが押されたことを検出すると次の工程に移行する。
(学習設定ユーザーインターフェース)
図8は、学習設定ユーザーインターフェース104を示すものである。マスター画像登録が終了して図7に示す次ステップボタン103eが押されると、制御ユニット2は、学習設定ユーザーインターフェース104を生成して表示装置4に表示させる。学習設定ユーザーインターフェース104には、マスター画像を表示するマスター画像表示領域104aと、検査ウィンドウ設定ボタン104bと、学習ボタン104cと、次ステップボタン104dとが設けられている。次ステップボタン104dは、次の工程に進む際に操作されるボタンである。
(検査ウィンドウ設定部27の構成)
図3に示す検査ウィンドウ設定部27は、学習検査モードの設定モード時に、マスター画像登録部23で登録されたマスター画像上で、差分検出の範囲を規定するための学習検査用ウィンドウ(学習ベース検査用ウィンドウ)200A、200Bの設定を受け付けるように構成されている。検査ウィンドウ設定部27は、図8に示す検査ウィンドウ設定ボタン104bが押されたことを検出すると、図9に示す検査ウィンドウ設定ユーザーインターフェース105を生成して表示装置4に表示させる。学習検査用ウィンドウ200A、200Bの設定は必須ではない。学習検査用ウィンドウ200Aが第1学習ベース検査用ウィンドウであり、学習検査用ウィンドウ200Bが第2学習ベース検査用ウィンドウである。
検査ウィンドウ設定ユーザーインターフェース105には、マスター画像が表示されるマスター画像表示領域105aと、検査ウィンドウ追加ボタン105bと、位置補正追加ボタン105cと、位置補正表示部105dと、第1検査ウィンドウ表示部105eと、第2検査ウィンドウ表示部105fと、OKボタン105gとが設けられている。検査ウィンドウ設定部27は、検査ウィンドウ追加ボタン105bが押されたことを検出すると、学習検査用ウィンドウ200A、200Bを設定可能な状態にする。学習検査用ウィンドウ200A、200Bは、マスター画像の検査対象物Wの全体を囲むように設定してもよいし、検査対象物Wの特徴となる一部のみ囲むように設定してもよい。学習検査用ウィンドウ200A、200Bは、例えば矩形状にすることができ、学習検査用ウィンドウ200A、200Bを描こうとする矩形の範囲を想定したとき、その上の角部から斜め下の角部までタッチ操作によってドラッグすることで学習検査用ウィンドウ200A、200Bがマスター画像表示領域105aに、マスター画像と重畳表示される。学習検査用ウィンドウ200A、200Bの位置や大きさ、形状は修正することができる。
この例では、第1学習検査用ウィンドウ200Aと、第2学習検査用ウィンドウ200Bとを設定しているが、一方のみであってもよいし、3つ以上の学習検査用ウィンドウを設定してもよい。検査ウィンドウ追加ボタン105bを押すことで学習検査用ウィンドウの追加が可能になっている。第1検査ウィンドウ表示部105eは、学習検査用ウィンドウ200Aに対応しており、第2検査ウィンドウ表示部105fは、第2学習検査用ウィンドウ200Bに対応している。
また、位置補正追加ボタン105cを押すと、位置補正処理を行う部分を特定する位置補正ウィンドウ201を設定することができる。位置補正ウィンドウ201の設定方法は、学習検査用ウィンドウ200A、200Bの設定方法と同様にすることができる。位置補正ウィンドウ201内の画像が位置補正処理の対象となり、従来から周知の手法により、位置補正ウィンドウ201内の画像を所定の位置に補正するとともに、所定の姿勢となるように補正する。
図9に示す検査ウィンドウ設定ユーザーインターフェース105のOKボタン105gが押されると、図8に示す学習設定ユーザーインターフェース104が表示装置4に表示される。学習設定ユーザーインターフェース104の学習ボタン104cが押されると、学習画像登録に進む。
(学習画像登録部24の構成)
図3に示す学習画像登録部24は、学習検査モードの設定モード時に、使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像をそれぞれ登録する部分である。良品画像は、良品の検査対象物Wを撮像した画像であり、不良品画像はそれ以外の画像である。良品画像及び不良品画像は、マスター画像とは別に登録する。
学習画像登録部24は、図8に示す学習設定ユーザーインターフェース104の学習ボタン104cが押されたことを検出すると、図10に示す学習用ユーザーインターフェース106を表示装置4に表示させる。学習用ユーザーインターフェース106には、学習用の画像としての良品画像及び不良品画像を表示可能な画像表示領域106aと、良品画像取得操作部106bと、不良品画像取得操作部106cと、学習開始ボタン106dと、ファイル読込ボタン106eと、履歴読込ボタン106fとが設けられている。
画像表示領域106aには、ライブ画像を表示させることができるようになっている。画像表示領域106aにライブ画像として良品画像を表示させた状態で、良品画像取得操作部106bを操作すると、当該ライブ画像が良品画像として登録される。同様に、画像表示領域106aにライブ画像として不良品画像を表示させた状態で、不良品画像取得操作部106cを操作すると、当該ライブ画像が不良品画像として登録される。これを繰り返すことで複数の良品画像及び不良品画像を登録することができる。
ファイル読込ボタン106eを押すと、記憶装置19の特定のフォルダに記憶されている画像が画像表示領域106aに表示される。画像表示領域106aに表示された画像が良品画像であるときに良品画像取得操作部106bを操作すると、当該画像が良品画像として登録される。同様に、画像表示領域106aに、記憶装置19から読み込んだ不良品画像を表示させた状態で、不良品画像取得操作部106cを操作すると、当該画像が不良品画像として登録される。
履歴読込ボタン106fを押すと、過去に撮像された画像が画像表示領域106aに表示される。画像表示領域106aに表示された画像が良品画像であるときに良品画像取得操作部106bを操作すると、当該画像が良品画像として登録される。同様に、画像表示領域106aに、過去に撮像された不良品画像を表示させた状態で、不良品画像取得操作部106cを操作すると、当該画像が不良品画像として登録される。
良品画像を登録する方法は上記した方法に限られるものではない。例えば、学習画像登録部24は、学習検査モードかつ設定モードが選択された場合に、撮像ユニット3により撮像条件を変化させて検査対象物Wを複数回撮像させることによって得られた複数の画像を良品画像として登録するように構成することができる。撮像条件には、例えば照明条件と露光時間を含むことができ、これらのうち、一方のみまたは両方を変化させ、変化させた都度、撮像ユニット3により検査対象物Wを撮像して得られた良品画像を学習画像とすることができる。照明条件は、例えば、照明モジュール15から照射される光量等を挙げることができる。
また、学習画像登録部24は、学習検査モードかつ設定モードが選択された場合に、撮像ユニット3に検査対象物Wを撮像させることによって得られた画像に基づいて複数の良品画像を自動生成して登録するように構成することもできる。自動生成される画像は、新たに良品画像として判定される画像(自動生成良品画像)であり、1枚であっても2枚以上であってもよい。例えば、良品画像と不良品画像の識別に寄与している特徴量の良品範囲(具体的には明るさ範囲)を読み込み、良品範囲内となる明るさの画像を自動的に生成することで自動生成良品画像を得ることができる。具体的には、予め入力されている良品画像の明るさを画像処理によって変更させることで、良品範囲内で最も暗い画像と、最も明るい画像を生成することができ、また、良品範囲内の中間の明るさの画像も生成することができる。これにより、使用者が良品を複数用意することなく、良品画像を複数生成することができる。以上のようにして生成された自動生成良品画像は登録しておき、後述する学習時に使用することができる。撮像ユニット3によって撮像した良品画像と、自動生成良品画像とを学習に使用することができる。
(識別器生成部30の構成)
図3に示す識別器生成部30は、学習検査モードの設定モード時に、学習画像登録部24で登録された良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する部分である。識別器生成部30は、図10に示す学習用ユーザーインターフェース106の学習開始ボタン106dが押されたことを検出すると、学習画像登録部24で登録された良品画像と不良品画像を読み込む。識別器生成部30は、読み込んだ良品画像と不良品画像を複数層で構成された機械学習器に入力する。
具体的には、識別器生成部30はニューラルネットワークを有しており、そのニューラルネットワークのパラメータの初期値をランダムに決定しておき、ニューラルネットワークから出力される画像認識の誤差をフィードバックしながらパラメータを調整していく、いわゆるディープラーニングの手法の他、周知の遺伝的アルゴリズム(GA)、強化学習、ニューロファジィなどの手法を採用してもよい。パラメータが調整されたニューラルネットワーク、即ち学習済みのニューラルネットワークが使用者に提供される形態であってもよいし、使用者がパラメータを調整する形態であってもよい。ニューラルネットワークは、事前に学習済みの複数層で構成されたニューラルネットワークであってもよい。
識別器による良品画像と不良品画像の識別に寄与している特徴量は、例えば、明るさ、角度、色、形状、位置等があるが、これら以外の特徴量が良品画像と不良品画像の識別に寄与している場合もあるので、特徴量の種類は特に限定されない。
識別器生成部30による学習が完了すると、図11に示すように、学習設定ユーザーインターフェース104には学習済み表示104eがなされる。
また、識別器生成部30は、ニューラルネットワークに良品画像及び不良品画像を入力することで、例えば図35に示すように、特徴量空間における良品画像と不良品画像の識別境界を生成する。
(画像処理ツール選択部25の構成)
以上が学習検査モードの設定手順である。標準検査モードの場合は以下の設定を行う。はじめに、図3に示す画像処理ツール選択部25について説明する。画像処理ツール選択部25は、モード切替部29により設定モードに切り替えられ、かつ、検査種別選択部28により標準検査モードの選択が受け付けられている場合に機能する部分であり、画像処理ツールの選択を受け付けることができるように構成されている。画像処理ツール選択部25は、設定モードかつ標準検査モードの場合に、図12に示す画像処理ツールユーザーインターフェース107を生成して表示装置4に表示させる。
画像処理ツールユーザーインターフェース107には、マスター画像を表示するためのマスター画像表示領域107aと、ツール表示領域107bと、次ステップボタン107cとが設けられている。ツール表示領域107bには、選択された画像処理ツールが表示されるようになっており、表示されるツールの数は1つであってもよいし、複数であってもよい。本実施形態では、ツール表示領域107bに、輪郭ツール107d、色面積ツール107e、幅ツール107fが表示されている場合を示している。
画像処理ツールユーザーインターフェース107には、ツール追加ボタン107gが設けられている。画像処理ツール選択部25は、ツール追加ボタン107gが押されたことを検出すると、図13に示す画像処理ツール選択用ユーザーインターフェース108を生成して表示装置4に表示させる。画像処理ツール選択用ユーザーインターフェース108には、基本ツールタブ108aと、拡張1タブ108bと、拡張2タブ108cと、キャンセルボタン108dと、OKボタン108eとが設けられている。使用者が基本ツールタブ108aを選択すると、図13に示すように基本ツールタブ108aに分類されている画像処理ツールが一覧形式で表示される。一方、使用者が拡張1タブ108bを選択すると、図14に示すように拡張1タブ108bに分類されている画像処理ツールが一覧形式で表示される。図示しないが、拡張2タブ108cを選択した場合も同様に表示できる。画像処理ツールは、従来から周知のものであり、例えば、エッジ抽出機能によって画像における検査対象物Wのエッジを抽出する処理を行い、特定のエッジのX軸に対する傾斜角度や長さ等を特徴量として用いることができる。
基本ツールタブ108a、拡張1タブ108b及び拡張2タブ108cに分類されている画像処理ツールのうち、任意の画像処理ツールを選択することができる。選択後、OKボタン108eが押されたことを検出すると、選択された画像処理ツールが有効になり、図12に示すように、画像処理ツールユーザーインターフェース107のツール表示領域107bに表示される。一方、図13及び図14に示す画像処理ツール選択用ユーザーインターフェース108のキャンセルボタン108dが押されたことを検出すると、画像処理ツールの選択操作がキャセルされる。
(標準検査モード時の検査ウィンドウ設定部27)
図3に示す検査ウィンドウ設定部27は、標準検査モードの設定モード時に、マスター画像登録部23で登録されたマスター画像上で、画像処理ツール選択部25で選択された画像処理ツールを適用する範囲を規定するための標準検査用ウィンドウ(ルールベース検査用ウィンドウ)の設定を受け付ける部分である。図12に示すように、標準検査用ウィンドウ202をマスター画像と重畳表示することができる。標準検査用ウィンドウ202の設定手法は、学習検査モード時の検査用ウィンドウの設定手法と同じにすることができる。また、標準検査用ウィンドウ202は複数設定することができる。さらに、学習検査モード時と同様に、位置補正ウィンドウ203を設定することもできる。
(パラメータ調整部26の構成)
図3に示すパラメータ調整部26は、標準検査モードの設定モード時に、画像処理ツール選択部25で選択された画像処理ツールのパラメータの調整を受け付ける部分である。図12に示す画像処理ツールユーザーインターフェース107のツール表示領域107bには、画像処理ツール選択部25で選択された画像処理ツールが表示されており、輪郭ツール107d、色面積ツール107e、エッジピクセルツール107fのそれぞれについてパラメータの一つである閾値を調整可能なスライドバーが設けられている。スライドバーによって閾値を調整することができる他、例えば数値の入力によって閾値を調整することもできる。閾値以外のパラメータを画像処理ツール毎に調整することができ、パラメータ調整部26で調整可能なパラメータは特に限定されるものではない。
(出力割り当て操作)
図8及び図11に示す学習設定ユーザーインターフェース104の次ステップボタン104、図12に示す画像処理ツールユーザーインターフェース107の次ステップボタン107cが押されたことを制御ユニット2が検出すると、出力割り当て工程に進む。制御ユニット2は、次ステップボタン104または次ステップボタン107cが押されたことを検出すると、図15に示す出力割り当てユーザーインターフェース109を生成して表示装置4に表示させる。
出力割り当てユーザーインターフェース109には、出力関連の設定を行うための設定領域109aと、完了ボタン109bとが設けられている。設定領域109aでは、複数の出力関連の設定を行うことができるようになっており、例えば総合判定、ビジー、エラー等の設定が可能になっている。完了ボタン109bは出力関連の設定が完了した際に操作されるボタンである。完了ボタン109bが押されたことを制御ユニット2が検出すると、設定モードが終了し、例えば、図4に示す起動時ユーザーインターフェース100を表示装置4に表示させる。
(画像検査装置1の設定方法)
上述したように、起動後、設定モードが選択されると、学習検査モードと標準検査モードのどちらの設定を行うのか選択を受け付け、受け付けられた検査モードの設定を行うことができる。学習検査モードと標準検査モードのいずれのモードが選択されても、撮像条件設定及びマスター画像登録を行うので、撮像条件設定及びマスター画像登録は、学習検査モードと標準検査モードに共通する設定事項である。
学習検査モードの設定の場合、撮像条件設定及びマスター画像登録が完了すると、検出ウィンドウ設定及び学習用画像の入力・登録を行い、識別器を生成する。一方、標準検査モードの場合、撮像条件設定及びマスター画像登録が完了すると、画像処理ツール選択及び画像処理ツールのパラメータ調整を行う。その後、学習検査モードと標準検査モードのいずれのモードであっても同様な出力割り当てを行う。したがって、出力割り当ても、学習検査モードと標準検査モードに共通する設定事項である。
以下、画像検査装置1の設定方法の例について図16に示すフローチャートに基づいて説明する。スタート後のステップSA1は起動操作であり、例えば電源の投入等である。ステップSA1が行われると、図4に示す起動時ユーザーインターフェース100が表示装置4に表示される。ステップSA2は、起動時ユーザーインターフェース100のセンサ設定ボタン100aを押すステップである。センサ設定ボタン100aが押されると、ステップSA3に進み、図5に示す検査種別選択ユーザーインターフェース101が表示装置4に表示される。ステップSA4では、検査種別選択ユーザーインターフェース101で選択された検査モードが学習検査モードであるか否かを判定する。ステップSA1~ステップSA4までは学習検査モードと標準検査モードに共通するステップである。
図5に示す検査種別選択ユーザーインターフェース101の学習検査モード選択ボタン101aが押された場合には、ステップSA5に進む。ステップSA5では、図6に示す撮像条件設定ユーザーインターフェース102が表示装置4に表示されるので、使用者が撮像条件を設定する。これが撮像条件設定ステップである。ステップSA5が終了すると、ステップSA6に進み、図7に示すマスター画像登録ユーザーインターフェース103が表示装置4に表示される。このステップは、ステップSA5で設定した撮像条件で撮像した画像をマスター画像として登録するマスター画像登録ステップである。その後、ステップSA7に進むと、図8に示す学習設定ユーザーインターフェース104が表示装置4に表示されるので、検査ウィンドウ設定ボタン104bを押して検査ウィンドウを設定する。検査ウィンドウの設定が終わり、学習ボタン104cを押すと、ステップSA8に進む。ステップSA8では、図10に示す学習用ユーザーインターフェース106が表示装置4に表示される。これにより、学習用の画像としての良品画像を登録できる。また、ステップSA9では同じユーザーインターフェース106上で学習用の画像としての不良品画像を登録できる。ステップSA8とステップSA9とは入れ替わっていてもよい。ステップSA8及びステップSA9は学習画像登録ステップである。
次いでステップSA10に進む。ステップSA10は、図10に示す学習用ユーザーインターフェース106の学習開始ボタン106dが押されると開始される。ステップSA10は、良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する識別器生成ステップである。
必須ではないが、ステップSA11及びステップSA12において追加学習を行うこともできる。使用者が追加学習を行う必要があると判断した場合、ステップSA11からステップSA12に進み、別の良品画像や不良品画像を登録して識別器生成部30に学習させる。学習が完了すると、図11に示す学習設定ユーザーインターフェース104が表示装置4に表示される。
その後、ステップSA13に進む。ステップSA13では、図15に示す出力割り当てユーザーインターフェース109が表示装置4に表示され、これにより、出力関連の設定を行うことができる。
一方、ステップSA4でNOと判定され、標準検査モードが選択された場合には、ステップSA14に進む。ステップSA14はステップSA5と同じである。また、その後のステップSA15はステップSA6と同じである。このフローチャートでは、ステップSA5、ステップSA6を、ステップSA14、ステップSA15と分けて記載しているが、ステップSA5とステップSA14が同じなので共通化することもでき、また、ステップSA6とステップSA15が同じなので共通化することもできる。
その後、ステップSA16に進むと、図12に示す画像処理ツールユーザーインターフェース107が表示装置4に表示され、画像処理ツールを選択することができる。これが画像処理ツール選択ステップである。
画像処理ツールを選択した後、ステップSA17に進む。ステップSA17では、マスター画像登録ステップ(ステップSA15)で登録されたマスター画像上で、画像処理ツール選択ステップ(ステップSA16)で選択された画像処理ツールを適用する範囲を規定するための検査用ウィンドウを設定する。これが検査ウィンドウ設定ステップである。
検査用ウィンドウの設定が終了すると、ステップSA18に進む。ステップSA18では、画像処理ツール選択ステップ(ステップSA16)で選択された画像処理ツールのパラメータを調整する。これがパラメータ調整ステップである。その後、ステップSA13に進み、出力関連の設定を行う。以上のようにして、学習検査モードの設定と、標準検査モードの設定を行うことができる。
(良否判定部31の構成)
次に運転モードに関連する部分について説明する。図3に示す良否判定部31は、運転モード時に、検査種別選択部28により標準検査モードが選択されている場合は、撮像ユニット3により新たに撮像された画像に標準検査用ウィンドウを設定して当該標準検査用ウィンドウ内の画像に画像処理ツール選択部25で選択された画像処理ツールを適用することにより検査対象物Wの良否判定を行い、検査種別選択部28により学習検査モードが選択されている場合は、撮像ユニット3により新たに撮像された画像を識別器に入力することにより、検査対象物Wの良否判定を行うように構成されている。学習検査モードが選択されている場合には、学習検査用ウィンドウを設定して差分検出の範囲を規定するようにしてもよい。
良否判定部31は、図17に示すように学習検査用ウィンドウが複数設定されている場合には、学習検査用ウィンドウ毎に良否判定を行うように構成されている。すなわち、学習検査用ウィンドウ200A内の画像が良品画像であるか不良品画像であるかを判定するとともに、学習検査用ウィンドウ200B内の画像が良品画像であるか不良品画像であるかを判定し、個別に判定結果を出力する。良否判定部31は、複数の判定結果を考慮して総合判定結果を出力する。複数の判定結果が同じであれば、その結果を総合判定結果とし、相互に異なっていれば、総合判定結果を不良品画像であるとすることができる。
良否判定部31は、図17に示す運転モードユーザーインターフェース120を生成して表示装置4に表示させる。運転モードユーザーインターフェース120は、運転モード画面を構成するものである。運転モードユーザーインターフェース120には、検査対象画像を表示する画像表示領域120aと、総合判定結果表示領域120bと、位置補正結果表示領域120cと、第1検査ウィンドウ結果表示領域120dと、第2検査ウィンドウ結果表示領域120eと、追加学習ボタン120fと、閾値調整ボタン120gとが設けられている。
画像表示領域120aには、運転モード中に撮像ユニット3により新たに撮像された検査対象画像が表示される。総合判定結果表示領域120bには、画像表示領域120aに表示されている検査対象画像が良品画像であるか不良品画像であるかが表示される。具体的には、良品画像である場合には「OK」と表示され、不良品画像である場合には「NG」と表示されるようになっているが、これに限らず、良品画像であるか不良品画像であるかを使用者が判別できれば、どのような表示形態であってもよい。画像表示領域120aと、総合判定結果表示領域120bとを同一の運転モードユーザーインターフェース120に設けているので、運転モードにおいて、検査対象画像を良否判定結果とともに表示装置4に表示することができる。
位置補正結果表示領域120cには、検査対象画像に含まれる検査対象物Wを位置補正した結果が表示される。位置補正が良好に行われているか、位置補正に失敗したかが総合判定結果とは別に位置補正結果表示領域120cに表示される。第1検査ウィンドウ結果表示領域120dには、学習検査用ウィンドウ200A内の画像の良否判定結果が表示され、また、第2検査ウィンドウ結果表示領域120eには、学習検査用ウィンドウ200B内の画像の良否判定結果が表示される。また、閾値調整ボタン120gは、良否判定の閾値を調整するためのボタンであり、良否判定部31は、閾値が調整された場合、その閾値に基づいて良否判定を行う。
追加学習ボタン120fは、画像表示領域120aに表示されている検査対象画像を、後述するように追加で学習する場合に操作されるボタンである。
また、良否判定部31は、標準検査モードの運転モード時には、画像処理ツールを使用して検査対象物Wの良否判定を行う。例えば、画像内の検査対象物Wの色、エッジ、位置等と、使用者により設定された閾値とを比較して検査対象物Wの良否の判定を行うことができる。良否判定結果は、学習検査モードの場合と同様にユーザーインターフェースに表示させることができる。
(追加学習画像指定部32の構成)
図3に示す追加学習画像指定部32は、学習検査モード時の運転モード画面に表示された検査対象画像を良品画像又は不良品画像として追加学習させるか否かの指定を受け付ける部分である。追加学習画像指定部32は、図17に示す運転モードユーザーインターフェース120の追加学習ボタン120fが押されたことを検出すると、図18に示す割り込み画面121を生成し、運転モードユーザーインターフェース120の所定位置に表示する。追加学習ボタン120fが押されたということは、検査対象画像を良品画像又は不良品画像として追加学習させる指定操作が行われたということである。この指定操作が受け付けられると、良否判定部31は、良否判定処理、即ち運転モードを一時的に停止するように構成されている。
割り込み画面121には、追加学習の対象となる画像を表示する画像表示領域121aと、メッセージ表示領域121bと、キャンセルボタン121cと、OKボタン121dとが設けられている。画像表示領域121aに表示される画像は、図17に示す運転モードユーザーインターフェース120の画像表示領域120aに表示されている現在の検査対象画像である。メッセージ表示領域121bには、運転モードを一時的に停止することを使用者に報知するためのメッセージが表示される。つまり、追加学習画像の指定を受け付けると、表示装置4は、運転モードを一時的に停止することを使用者に報知可能に構成されている。上記報知の形態はメッセージに限られるものではなく、他の形態であってもよい。
キャンセルボタン121cは、追加学習をキャンセルするためのボタンである。追加学習画像指定部32は、キャンセルボタン121cが押されたことを検出すると、画像表示領域121aに表示されている画像の学習を行うことなく、割り込み画面121を消去して図17に示す運転モードユーザーインターフェース120を表示装置4に表示させる。
OKボタン121dは、追加学習を実行させるためのボタンである。追加学習画像指定部32は、OKボタン121dが押されたことを検出すると、画像表示領域121aに表示されている画像を識別器生成部30に学習するように指示する。
(追加学習処理)
図3に示す識別器生成部30は、追加学習画像指定部32により追加学習対象として指定された検査対象画像を良品画像又は不良品画像として追加学習し、識別器を更新するように構成されている。識別器生成部30は、追加学習画像指定部32により追加学習対象の画像が指定されたことを検出すると、図19に示す追加学習ユーザーインターフェース122を生成し、表示装置4に表示させる。追加学習ユーザーインターフェース122には、追加学習対象として指定された検査対象画像を表示する画像表示領域122aと、第1検査ウィンドウ学習指示領域122bと、第2検査ウィンドウ学習指示領域122cと、キャンセルボタン122dと、追加学習開始ボタン122eとが設けられている。第1検査ウィンドウ学習指示領域122bは、学習検査用ウィンドウ200Aで規定された範囲の画像を良品画像と不良品画像のどちらで追加学習させるかを入力するための領域であり、「NG」を選択すると、学習検査用ウィンドウ200Aで規定された範囲の画像を不良品画像として学習させ、「OK」を選択すると、学習検査用ウィンドウ200Aで規定された範囲の画像を良品画像として学習させる。また、第2検査ウィンドウ学習指示領域122cは、学習検査用ウィンドウ200Bで規定された範囲の画像を良品画像と不良品画像のどちらで追加学習させるかを入力するための領域であり、「NG」を選択すると、学習検査用ウィンドウ200Bで規定された範囲の画像を不良品画像として学習させ、「OK」を選択すると、学習検査用ウィンドウ200Bで規定された範囲の画像を良品画像として学習させる。このように、学習検査用ウィンドウ200Aで規定された範囲の画像と、学習検査用ウィンドウ200Bで規定された範囲の画像とを個別に学習させることができるようになっている。尚、学習検査用ウィンドウ200Aで規定された範囲の画像と、学習検査用ウィンドウ200Bで規定された範囲の画像の中から、一方のみを学習するような指示を受け付けるように構成することもできる。
識別器生成部30は、キャンセルボタン122dが押されたことを検出すると、追加学習を行うことなく、図19に示す追加学習ユーザーインターフェース122を消去して、図17に示す運転モードユーザーインターフェース120に戻るので、識別器は更新されない。一方、識別器生成部30は、追加学習開始ボタン122eが押されたこと(追加学習の開始操作)を検出すると、追加学習を開始し、識別器が更新される。追加学習を行うことで、例えば図35に示す特徴量空間における識別境界が更新されることになる。
(履歴画像の記憶)
図2に示す記憶装置19には、図3に示す良否判定部31により良否判定を行った複数の検査対象画像を良否判定結果とともに履歴画像として記憶するように構成されている。良否判定部31により良否判定を行った検査対象画像は、運転画像履歴フォルダに保存される。例えば、図17に示す運転モードユーザーインターフェース120の画像表示領域120aに表示されている検査対象画像と、総合判定結果表示領域120bに表示されている総合判定結果とを共通のID番号等に関連付けた状態で記憶装置19に記憶することができる。このとき、画像表示領域120aに表示されている検査対象画像と、位置補正結果表示領域120cに表示されている結果と、第1検査ウィンドウ結果表示領域120dに表示されている結果と、第2検査ウィンドウ結果表示領域120eに表示されている結果とを関連付けた状態で記憶装置19に記憶してもよい。
また、記憶装置19には、学習画像履歴フォルダを設けることができる。学習画像履歴フォルダには、識別器生成部30が学習に使用した良品画像及び不良品画像が記憶されている。
図20に示すように、運転モードユーザーインターフェース120の下部には、メニューを表示することができるようになっている。運転モードユーザーインターフェース120のメニューには、運転/学習画像履歴ボタン120hが設けられている。制御ユニット2は、運転/学習画像履歴ボタン120hが押されたことを検出すると、図21に示すように、履歴種別選択用割り込み画面123を生成し、運転モードユーザーインターフェース120の所定位置に表示する。履歴種別選択用割り込み画面123には、運転画像履歴ボタン123aと、学習画像履歴ボタン123bと、キャンセルボタン123cとが設けられている。運転画像履歴ボタン123aは、記憶装置19の運転画像履歴フォルダに保存されている良否判定後の検査対象画像を表示させる際に操作されるボタンである。制御ユニット2は、運転画像履歴ボタン123aが押されたことを検出すると、図22に示す運転画像履歴表示ユーザーインターフェース124を生成して表示装置4に表示させる。
運転画像履歴表示ユーザーインターフェース124には、良否判定がされた複数の検査対象画像を一覧形式で表示する画像表示領域124aと、追加学習指定ボタン124bと、戻るボタン124cと、画像詳細ボタン124dと、学習候補画像ボタン124eとが設けられている。画像表示領域124aには、検査対象画像と良否判定結果とが関連付けられた状態で表示される。画像表示領域124aに表示された画像を、例えば使用者による選択操作によって選択することができるようになっている。制御ユニット2は、画像表示領域124aに表示された画像のいずれかが選択された状態で、画像詳細ボタン124dが押されたことを検出すると、図23に示す選択画像表示ユーザーインターフェース125を生成して表示装置4に表示させる。選択画像表示ユーザーインターフェース125には、運転画像履歴表示ユーザーインターフェース124で選択した画像を表示する画像表示領域125aと、位置補正結果表示領域125cと、第1検査ウィンドウ結果表示領域125dと、第2検査ウィンドウ結果表示領域125eと、追加学習実行ボタン125fと、戻るボタン125gとが設けられている。制御ユニット2は、追加学習実行ボタン125fが押されたことを検出すると、画像表示領域125aに表示されている画像を識別器生成部30に追加学習するように指示する。制御ユニット2は、戻るボタン125gが押されたことを検出すると、図22に示す運転画像履歴表示ユーザーインターフェース124を表示装置4に表示させる。これを繰り返すことで、複数の履歴画像を識別器生成部30に追加学習させることができる。
制御ユニット2は、追加学習指定ボタン124bが押されたことを検出すると、図24に示す追加学習ユーザーインターフェース122を生成し、表示装置4に表示させる。図24に示す追加学習ユーザーインターフェース122は、図19に示すものと比べて追加学習画像が異なっている。
制御ユニット2は、図22に示す運転画像履歴表示ユーザーインターフェース124の戻るボタン124cが押されたことを検出すると、図21に示す運転モードユーザーインターフェース120を表示装置4に表示させる。履歴種別選択用割り込み画面123の学習画像履歴ボタン123bは、記憶装置19の学習画像履歴フォルダに保存されている学習に用いられた画像を表示させる際に操作されるボタンである。制御ユニット2は、履歴種別選択用割り込み画面123の学習画像履歴ボタン123bが押されたことを検出すると、図24に示す学習画像履歴表示ユーザーインターフェース126を生成して表示装置4に表示させる。学習画像履歴表示ユーザーインターフェース126には、学習に用いられた画像を一覧形式で表示する画像表示領域126aと、削除ボタン126bと、戻るボタン126cとが設けられている。画像表示領域126aに表示された画像を、例えば使用者による選択操作によって選択することができるようになっている。制御ユニット2は、画像表示領域126aに表示された画像のいずれかが選択された状態で、削除ボタン126bが押されたことを検出すると、選択された画像を削除する。制御ユニット2は、学習画像が削除されたことを検出すると、当該画像が学習結果に反映されないように、識別器生成部30に識別器を更新させる。制御ユニット2は、戻るボタン126cが押されたことを検出すると、図21に示す運転モードユーザーインターフェース120を表示装置4に表示させる。
(安定性評価値算出部33の構成)
図3に示す安定性評価値算出部33は、記憶装置19に記憶された複数の履歴画像の良否判定の安定性を示す安定性評価値を算出する部分である。安定性評価値算出部33は、良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度を算出し、当該近接度を安定性評価値とするように構成することができる。安定性評価値は、使用者が把握できるような形態、例えば数値等で表示装置4に表示させてもよいし、表示することなく、画像検査装置1に内部的に持たせておいてもよい。
安定性評価値は、履歴画像の良否判定の安定性を示すものであることから、既に生成されている識別器による良否判定の安定性が高いか低いかを把握可能な値である。良否判定の安定性が高い場合には、その履歴画像は既に生成されている識別器によって安定的に識別できているので、追加学習の必要性が低い画像であると判断される。一方、良否判定の安定性が低い場合には、その履歴画像は既に生成されている識別器では識別が不安定であるので、識別器を更新するべく、追加学習の必要性が高い画像であると判断される。
(追加学習候補の提示)
表示装置4は、安定性評価値算出部33が算出した安定性評価値に基づいて、識別器に追加学習させる候補画像を使用者に提示することが可能に構成されている。すなわち、制御ユニット2は、図22に示す運転画像履歴表示ユーザーインターフェース124の学習候補画像ボタン124eが押されたことを検出すると、図26に示すように、候補画像を使用者に提示する割り込み画面127を生成し、運転画像履歴表示ユーザーインターフェース124の所定位置に表示する。割り込み画面127には、候補画像を表示する画像表示領域127aと、キャンセルボタン127bと、OKボタン127cとが設けられている。画像表示領域127aに表示される画像は、安定性評価値に基づいて、既に生成されている識別器では識別が不安定であると判定される画像である。具体的には、良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度が高い画像とすることができ、この近接度が所定以上の履歴画像を候補画像として表示装置4によって使用者に提示することができる。
画像表示領域127aには、既に生成されている識別器での識別が最も不安定な画像を表示することができるが、これに限らず、既に生成されている識別器での識別が最も不安定な画像、その次に不安定な画像を含む複数の候補画像を表示することもできる。
また、表示装置4は、安定性評価値が第1の所定値未満の履歴画像を候補画像として使用者に提示するように構成されていてもよい。識別が安定している画像を候補画像としても識別器を更新させることができず、追加学習を行う意味が無いので、上記第1の所定値は、識別器生成部30に追加学習させることで識別器を更新させることができる程度の値とすることができる。
表示装置4は、複数の候補画像を使用者に一度に提示するような表示形態で表示することもできる。この場合、安定性評価値の高い順または低い順に候補画像を並べて提示するように構成することができる。具体的な手順については後述する。
複数の候補画像が表示装置4により提示された場合、使用者は、図3に示す追加学習画像指定部32によって追加学習画像としての指定を受け付けることができる。使用者が、複数の候補画像の中から1つの候補画像を選択すると、追加学習画像指定部32は、指定された候補画像を追加学習画像として受け付けるとともに、良品画像又は不良品画像の指定も受け付けた後、当該候補画像を識別器生成部30に追加学習させる。識別器生成部30は、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習し、識別器を更新するように構成されている。
表示装置4は、複数の履歴画像を時系列で表示する第1表示形態と、識別器に追加学習させる候補画像を使用者に提示する第2表示形態とに切り替え可能に構成されている。上記第1表示形態は、図22に示す運転画像履歴表示ユーザーインターフェース124の画像表示領域124aにおいて実現される。画像表示領域124aには、撮像した順、即ち良否判定がされた順に検査対象画像を表示することができる。また、上記第2表示形態は、図26に示す割り込み画面127で実現される。
(標準検査モード運転時)
次に、標準検査モードの運転モード時の手順について図27に示すフローチャートに基づいて説明する。スタート後のステップSB1では検査対象画像を入力する。この検査対象画像は、撮像ユニット3によって所定のタイミングで撮像された画像であり、撮像ユニット3から良否判定部31に入力される。
ステップSB2は、ステップSB1で撮像ユニット3により新たに撮像された検査対象画像を識別器に入力し、良否判定を行う良否判定ステップである。ステップSB2による判定結果に基づいて判定の閾値の調整が必要か否かを使用者が判定する。これがステップSB3であり、閾値の調整が必要であればステップSB4に進んで閾値を調整した後、ステップSB5に進む一方、閾値の調整が不要であればステップSB5に進む。ステップSB5では、判定が終わった検査対象画像と判定結果とを関連付けて記憶装置19に記憶する。
(判定軸抽出部34の構成)
次に、図3に示す判定軸抽出部34について説明する。判定軸抽出部34は、学習画像登録部24により登録された良品画像及び不良品画像に基づいて、良品らしさまたは不良品らしさを示す判定軸を抽出する部分である。判定軸には、良品画像における良品らしさを示す第1の判定軸と、不良品画像における不良品らしさを示す第2の判定軸とが含まれているが、いずれか一方のみを抽出するようにしてもよい。判定軸の具体例としては、例えば色、明るさ、面積等を挙げることができるが、これら以外が判定軸であってもよい。
ある判定軸で対象画像を測定して、予め設定された基準値と測定結果とを比較して対象画像の識別を行うことができる。例えば、色で判定する場合は判定軸として設定された色を表示装置4に表示するようにし、また、面積で判定する場合は判定軸として面積の算出に用いられた画素を表示装置4に表示する。これにより、学習検査モード時に画像検査装置1がどのような判定軸でもって画像識別を行っているのかを使用者が把握できる。
判定軸抽出部34は、識別器生成部30が追加学習等によって識別器を更新した場合に、判定軸を抽出し直すように構成されている。すなわち、識別器が更新されると、良品らしさまたは不良品らしさを示す判定軸が変更される場合があり、判定軸抽出部34は識別器生成部30が識別器を更新したことを検出すると、判定軸を抽出する処理を行う。これにより、更新後の識別器と判定軸とを対応させることができる。
制御ユニット2は、判定軸抽出部34で抽出した判定軸に基づいて良品らしさまたは不良品らしさを示す判定評価値を算出するように構成されている。例えば、良品の判定軸として設定された色に近いほど判定評価値が高くなるように判定評価値を算出し、一方、良品の判定軸として設定された色との相違が大きいほど判定評価値が低くなるように判定評価値を算出することができる。判定評価値には、第1の判定軸に基づいて算出された良品らしさを示す第1判定評価値と、第2の判定軸に基づいて算出された不良品らしさを示す第2判定評価値とが含まれているが、いずれか一方のみを算出するようにしてもよい。
制御ユニット2は、算出された判定評価値により、良品としての特徴または不良品としての特徴を有する領域を選択的に強調した検査対象画像を生成し、表示装置4に表示させるように構成されている。第1判定評価値及び第2判定評価値を算出した場合、第1判定評価値と第2判定評価値とにより、良品としての特徴を有する領域を選択的に強調した検査対象画像と、不良品としての特徴を有する領域を選択的に強調した検査対象画像とを表示装置4に表示可能に構成することができる。
また、第1判定評価値及び第2判定評価値を算出した場合、制御ユニット2は、第1判定評価値と第2判定評価値とを比較して、検査対象画像が良品としての特徴を多く有する場合は、良品としての特徴を有する領域を選択的に強調した検査対象画像を表示し、検査対象画像が不良品としての特徴を多く有する場合は、不良品としての特徴を有する領域を選択的に強調した検査対象画像を生成して表示装置4に表示させる。
ここで「強調」とは、画像の一部を他の部分と区別することができるようにすることであり、例えば、良品としての特徴または不良品としての特徴を有する特定の領域のみ着色することによって強調することができ、特定の領域のみ着色した画像を表示装置4に表示させることができる。特に、判定軸抽出部34が色を判定軸として抽出した場合、不良品としての特徴を有する領域を当該不良品の色で着色することによって強調するように構成することや、良品としての特徴を有する領域を当該良品の色で着色することによって強調するように構成することができる。また、不良品としての特徴を有する領域に着色する色と、良品としての特徴を有する領域に着色する色とは変えることができる。さらに、良品としての特徴または不良品としての特徴を有する領域の色を、判定評価値の大きさに応じて変化させることができる。判定評価値が大きければ大きいほど色を濃くする、または判定評価値が小さければ小さいほど色を薄くすることができる。
以下、表示例について説明する。図28は、良品らしい部分と不良品らしい部分とが含まれている検査対象画像の例を示す図であり、(A)は良品画像である確率が高い場合、(B)は良品画像の確率が半分程度の場合、(C)は不良品画像である確率が高い場合である。各図において符号400が付された灰色の部分が良品らしいと判定される部分であり、符号401が付された黒色の部分が不良品らしいと判定される部分である。
(A)~(C)の上側に位置する図は検査対象画像であり、下側に位置する図は、良品としての特徴を有する領域または不良品としての特徴を有する領域を選択的に強調した検査対象画像である。判定軸は色である。(A)の場合、枠(検査用ウィンドウ)402によって囲まれた領域が灰色の部分400であることから、良品らしいと判定される部分である。このため、良品画像の確率が90%以上の高い確率となっている。枠402によって囲まれた領域は、良品の色(灰色)で着色されており、強調表示されている。良品画像の確率は、良否判定部31で算出することができる。
(B)の場合、枠403によって囲まれた領域が灰色の部分400と黒色の部分401とを含んでおり、灰色の部分400の面積と、黒色の部分401の面積とが同程度であることから、良品らしいと判定することも、不良らしいと判定することも難しい。このため、良品画像の確率が5割に近い確率となっている。この場合、枠403によって囲まれた領域は、着色されていない。つまり、強調表示されていない。
(C)の場合、枠404によって囲まれた領域が黒色の部分401であることから、不良品らしいと判定される部分である。このため、良品画像の確率が数%程度の低い確率となっている。枠403によって囲まれた領域は、不良品の色(黒)で着色されており、強調表示されている。
図29は、文字を含む検査対象画像の例を示しており、(A)は良品画像、(B)は領域が選択的に強調された検査対象画像である。(B)に示すように、良品画像と同じ文字が検査対象画像にも存在する場合、その文字が記載された領域については良品らしいと判定することができる。枠405は、文字が記載された領域を囲むものであり、枠405によって囲まれた領域は強調するために着色されている。
図30は、検査対象物Wの別の例を示しており、(A)は良品画像、(B)は不良品画像、(C)は運転モード時に良品が撮像された場合の検査対象画像、(D)は運転モード時に不良品が撮像された場合の検査対象画像を示す図である。(A)の良品画像には、白丸と文字が含まれているが、(B)の不良品画像には、白丸と文字が無い。この場合、良品らしさの判定軸は、「白丸がある」、「文字がある」となり、不良品らしさの判定軸は、「白丸がない」、「文字がない」となる。(C)に示すように、運転モード時に良品が撮像された場合、良品を囲む枠406の内部が、当該領域を強調するために濃く着色されている。一方、(D)に示すように、運転モード時に不良品が撮像された場合、不良品を囲む枠407の内部が、当該領域を強調するために白く着色されている。
図31は、図30に示すケースにおいて追加学習した場合の図であり、(A)は追加学習に使用する不良品画像を示し、(B)は追加学習後の運転モード時に不良品が撮像された場合の検査対象画像を示している。(A)に示すように、追加学習に使用する不良品画像では、検査対象物Wの右側に白丸がある。つまり、不良品らしさの判定軸は「右側の白丸がある」となる。(B)に示すように、運転モード時に不良品が撮像された場合、不良品を囲む枠408の内部が、当該領域を強調するために白く着色されている。尚、強調領域を着色する色は特に限定されるものではない。
(学習検査モードの運転時)
次に、学習検査モードの運転モード時の手順について図32に示すフローチャートに基づいて説明する。スタート後のステップSC1では検査対象画像を入力する。この検査対象画像は、撮像ユニット3によって所定のタイミングで撮像された画像であり、撮像ユニット3から良否判定部31に入力される。
ステップSC2は、ステップSC1で撮像ユニット3により新たに撮像された検査対象画像を識別器に入力し、良否判定を行う良否判定ステップである。このステップでは、判定軸抽出部34により、良品らしさまたは不良品らしさを示す判定軸を抽出する。続くステップSC3は、良否判定ステップで良否判定された検査対象画像を、良否判定ステップによる良否判定結果とともに、図17に示す運転モードユーザーインターフェース120に表示する表示ステップである。
ステップSC4では、運転モードユーザーインターフェース120に表示された画像を追加学習すると指定されたか否かを判定する。ステップSC4は、表示ステップで運転モードユーザーインターフェース120に表示された検査対象画像を良品画像又は不良品画像として追加学習させるか否かの指定を受け付ける追加学習設定ステップである。
追加学習が指定されればステップSC5に進んで当該画像により追加学習を行う。つまり、ステップSC5は、追加学習設定ステップ(ステップSC4)により追加学習対象として指定された検査対象画像を良品画像又は不良品画像として追加学習し、識別器を更新するステップである。その後、ステップSC6において、画像を履歴画像として良否判定結果とともに記憶装置19に記憶させる。一方、ステップSC4で追加学習が指定されなければ、追加学習を行うことなくステップSC6に進む。ステップSC6は、記憶ステップである。
(学習候補画像の提示手順)
図33は、学習候補画像を提示する場合のフローチャートである。スタート後のステップSD1は、安定性評価値算出ステップである。具体的には、図32に示すフローチャートのステップSC2(良否判定ステップ)で良否判定を行った検査対象画像の良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度を算出する。そして、当該近接度を、当該検査対象画像の良否判定の安定性を示す安定性評価値とする。また、安定性評価値算出ステップでは、図32に示すフローチャートのステップSC6(記憶ステップ)で記憶された複数の履歴画像の良否判定の安定性を示す安定性評価値を算出することもできる。
ステップSD2では、ステップSD1で算出した安定性評価値に基づいて、識別器に追加学習させる候補画像を使用者に提示する。これが表示ステップである。例えば図26に示す運転画像履歴表示ユーザーインターフェース124を表示装置4に表示させる。
ステップSD3では、候補画像を追加学習させると指定されたか否かを判定する。ステップSD3は、表示ステップで運転画像履歴表示ユーザーインターフェース124に表示された検査対象画像を良品画像又は不良品画像として追加学習させるか否かの指定を受け付ける追加学習設定ステップである。
追加学習が指定されればステップSD4に進んで当該候補画像により追加学習を行う。つまり、ステップSD4は、追加学習設定ステップ(ステップSD3)により追加学習対象として指定された追加学習画像を良品画像又は不良品画像として追加学習し、識別器を更新するステップである。一方、ステップSD3で追加学習が指定されなければ、追加学習は行わない。
(履歴画像のソート)
追加学習候補として使用者に提示する履歴画像をソートすることができる。スタート後のステップSE1では、安定性評価値算出部33が、履歴画像毎に、良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との差分を計算する。これにより、判定値と閾値との近接度を得ることができる。記憶装置19が記憶している全ての履歴画像について差分計算を行ってもよいし、直近の複数の履歴画像のみについて差分計算を行ってもよい。
ステップSE2では、制御ユニット2が、ステップSE1で計算した差分の小さい順に履歴画像をソートする。このとき、差分計算した全ての履歴画像をソートしてもよいし、差分が所定未満の複数の履歴画像のみソートしてもよい。
ステップSE3では、制御ユニット2がステップSE2のソート結果を表示装置4に表示させる。制御ユニット2が、複数の履歴画像を差分の小さい順に並べて表示するユーザーインターフェースを生成するようにしてもよい。このユーザーインターフェースに表示する画像の数は、例えば5~10程度にすることができ、複数段に分けて表示してもよい。差分が小さいということは安定的に判定できていないということであるので、そのような画像は追加学習候補画像であり、この追加学習候補画像を使用者に複数提示することができる。
ステップSE4では、候補画像を追加学習させると指定されたか否かを判定する。ステップSE4は、表示ステップで運転画像履歴表示ユーザーインターフェース124に表示された検査対象画像を良品画像又は不良品画像として追加学習させるか否かの指定を受け付ける追加学習設定ステップである。追加学習が指定されればステップSE5に進んで当該候補画像により追加学習を行う。つまり、ステップSE5は、追加学習設定ステップ(ステップSE4)により追加学習対象として指定された追加学習画像を良品画像又は不良品画像として追加学習し、識別器を更新するステップである。一方、ステップSE4で追加学習が指定されなければ、追加学習は行わない。
(削除候補表示)
表示装置4は、安定性評価値が所定値以上の履歴画像を記憶装置19から削除する削除候補画像として使用者に提示するように構成されている。この所定値は、上記第1の所定値よりも高い第2の所定値としてもよいし、上記第1の所定値と同じにしてもよい。
すなわち、上述したように、既に生成されている識別器によって安定的に識別できる画像は、安定性評価値が高く、追加学習の必要性が低い画像であると判断されるので、記憶装置19に保存していても殆ど役に立たない画像であり、記憶装置19のメモリを圧迫するだけであると考えられる。そのような画像を記憶装置19から削除することで、記憶装置19のメモリを節約できる。
図35は、学習画像登録部24で登録された良品画像群と不良品画像群をある特徴量空間にプロットし、識別器生成部30で生成された識別器による良品画像と不良品画像との識別境界を示した模式図であり、図中、白色の領域は良品画像群がプロットされた領域であり、黒色の領域は不良品画像群がプロットされた領域である。
良品画像群の中で、囲み線300で囲まれた良品画像は、識別境界から離れているので、囲み線300で囲まれた良品画像を追加学習させても識別境界が更新されず、学習する意味が殆ど無い。この囲み線300で囲まれた良品画像を削除候補画像として表示装置4が使用者に提示する。また、不良品画像群の中で、囲み線301で囲まれた不良品画像も識別境界から離れているので、囲み線301で囲まれた不良品画像を追加学習させても識別境界が更新されず、学習する意味が殆ど無い。この囲み線301で囲まれた不良品画像を削除候補画像として表示装置4が使用者に提示する。つまり、識別器による良品画像と不良品画像との識別境界から所定以上離れた履歴画像を削除候補画像として使用者に提示することができる。
図36に示すフローチャートに基づいて削除候補画像の提示手順を説明する。スタート後のステップSF1では、識別器生成部30が、学習に用いた画像(履歴画像)の特徴量を算出する。特徴量を算出した後、ステップSF2に進み、履歴画像を図35に示すような特徴量空間上にプロットする。その後、ステップSF3に進み、制御ユニット2は、特徴量空間で履歴画像の位置を把握する。これにより、識別境界と、各履歴画像との位置関係を把握することができ、識別境界に近い履歴画像と、識別境界から所定以上離れた履歴画像とを分けることができる。
ステップSF4では、ステップSF3では、識別境界の設定に寄与していない履歴画像を削除候補画像として選出する。識別境界の設定に寄与していない履歴画像は、識別境界から所定以上離れた履歴画像である。ステップSF5では、ステップSF4で選出された削除候補画像を制御ユニット2が表示装置4に表示させる。これにより、削除候補画像を使用者に提示することができる。使用者に一度に提示する削除候補画像は1つであってもよいし、複数であってもよい。
ステップSF6では使用者による削除候補画像の削除操作が行われたか否かを判定する。削除操作が行われた場合にはステップSF7で削除候補画像を削除する。削除操作が行われなかった場合には、削除候補画像を削除することなく、終了する。削除操作は、1つの削除候補画像に対する操作であってもよいし、複数の削除候補画像に対する操作であってもよい。
図37及び図38は、追加学習によって識別境界が変化した場合を示している。図37に示すフローチャートのステップSG1~SG4は、図36に示すフローチャートのステップSF1~SF4とそれぞれ同じである。図37に示すフローチャートのステップSG5では、上述したように追加学習したことによって識別境界が変化した場合に、新たな識別境界に対して削除候補画像を再計算する。
例えば、図38の上側に示す特徴量空間の識別境界が、追加学習したことによって図38の下側に示す特徴量空間の識別境界へと変化した場合、識別境界と各良品画像との距離、識別境界と各不良品画像との距離を再度算出する。その後、ステップSG6に進み、新たな削除候補画像として、新たな識別境界から所定以上離れた履歴画像(囲み線302で囲まれた良品画像と、囲み線303で囲まれた不良品画像)を削除候補画像として選出する。使用者に提示する。次いで、ステップSG7に進み、囲み線302で囲まれた良品画像と、囲み線303で囲まれた不良品画像を削除候補画像として表示装置4に表示し、これにより、新たに選出した削除候補画像を使用者に提示する。ステップSG8、SG9は、図36に示すフローチャートのステップSF6、SF7と同じである。
図39は削除候補画像と近隣画像との相対関係に基づいて削除候補画像を提示する手順を示すフローチャートである。ステップSH1~SH4は、図36に示すフローチャートのステップSF1~SF4とそれぞれ同じである。その後、ステップSH5では、削除候補画像と近隣画像との相対関係を算出する。次いで、ステップSH6では、今後の追加学習においても識別境界の設定に影響の少ない画像を削除候補画像として選出する。
すなわち、特徴量空間上において、識別境界から所定以上離れた履歴画像と、当該履歴画像の近隣にプロットされた近隣画像との相対関係に基づいて識別境界の設定に寄与していないと判定される画像を削除候補画像として使用者に提示する。具体的には、図40の上側に示す特徴量空間の場合、囲み線300で囲まれた良品画像と、囲み線301で囲まれた不良品画像とが削除候補画像となり得る画像である。このうち、囲み線300で囲まれた良品画像の全ては、識別境界から所定以上離れているので全てが削除候補画像となり得るが、図40の下側の図において囲み線304で囲まれた画像に着目すると、その画像の周囲に存在する画像との相対関係からみて、識別境界の設定に寄与していないと判定することができる。つまり、囲み線304で囲まれた画像を取り囲むように履歴画像が位置しているので、囲み線304で囲まれた画像を削除しても、現在の識別境界に影響を及ぼすことはないとともに、これから生成されるであろう識別境界に影響を及ぼす可能性も極めて低い。したがって、ステップSH7を経ることで、削除しても識別境界の設定に殆ど影響を及ばさない画像を削除候補画像として使用者に提示することができる。ステップSH8、SH9は、図36に示すフローチャートのステップSF6、SF7と同じである。
(実施形態の作用効果)
以上説明したように、この実施形態によれば、標準検査モードと学習検査モードとを画像検査装置1に実装し、検査モードを切り替えることでいずれの検査モードでも検査を実行することができ、各々の検査モードの長所を活かした検査を行うことができる。
標準検査モードの設定モード時にマスター画像を撮像する際には、撮像条件の設定、画像処理ツールの選択を行うことができるとともに、この画像処理ツールを適用する範囲を検査用ウィンドウによって規定し、さらに、画像処理ツールのパラメータの調整を行うことができる。つまり、標準検査モード時には、使用者が、撮像条件をはじめ、画像処理ツールの種類、画像処理ツールの適用範囲、画像処理ツールのパラメータ調整を行うことができるので、所望の結果が得られるように、使用者が良否判定基準を制御した上で標準検査モードを実行することができる。例えば、標準検査モードでは、画像内の検査対象物の様々な特徴量(色、エッジ、位置等)に基づいて検査対象物の良否の判定を行うことができる。
一方、学習検査モードの設定モード時には、使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像とをそれぞれ登録することができ、登録された良品画像と不良品画像を学習することによって良品画像と不良品画像を識別する識別器を生成することができる。つまり、学習検査モードの設定モード時には、使用者が標準検査モード時に行うような設定や調整は不要になる。
また、識別器によって良否判定を行った複数の検査対象画像が良否判定結果とともに履歴画像として記憶装置19に記憶され、このとき、複数の履歴画像の良否判定の安定性を示す安定性評価値を算出することができる。その安定性評価値に基づいて、識別器に追加学習させる候補画像を使用者に提示できる。
したがって、記憶装置19に記憶されている履歴画像の数が膨大であっても、使用者は良否判定の安定性に基づいて提示された候補画像の中から追加学習画像を選択することができる。使用者による追加学習画像としての指定が受け付けられると、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習することで識別器を更新することができる。
また、良品画像または不良品画像に基づいて、良品らしさまたは不良品らしさを示す判定軸を抽出することができ、この判定軸に基づいて良品らしさまたは不良品らしさを示す判定評価値を算出できる。この判定評価値により、良品としての特徴または不良品としての特徴を有する領域を選択的に強調した検査対象画像を表示できるので、使用者は、学習検査を行う画像検査装置1がどのような判定軸でもって画像識別を行っているのかを把握できる。
また、設定モードから運転モードに切り替えられると、新たに撮像された検査対象画像が識別器に入力され、良否判定が行われる。検査対象画像と良否判定結果は、共に表示装置4の運転モード画面に表示されるので、使用者は、検査対象画像と、その画像に対する良否判定結果とを把握することができる。このとき、検査対象画像に対する良否判定結果が正しければ運転モードを継続し、検査対象画像に対する良否判定結果が誤っていれば追加学習を行うことができる。したがって、運転モードから設定モードに切り替えることなく、運転モードのままで追加学習対象の画像を指定し、追加学習させて識別器を更新できる。
上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
以上説明したように、本発明に係る画像検査装置は、検査対象物を撮像した画像に基づいて検査対象物の良否判定を行う場合に使用することができる。
1 画像検査装置
2 制御ユニット
4 表示装置(表示手段)
13A 制御部
14 カメラモジュール(撮像手段)
15 照明モジュール
21 撮像設定部
23 マスター画像登録部
24 学習画像登録部
25 画像処理ツール選択部
26 パラメータ調整部
27 検査ウィンドウ設定部
28 検査種別選択部
29 モード切替部
30 識別器生成部
31 良否判定部
32 追加学習画像指定部
33 安定性評価値算出部
34 判定軸抽出部

Claims (7)

  1. 撮像手段により撮像された検査対象物の画像に基づいて当該検査対象物の良否判定を行う画像検査装置において、
    使用者により第一クラスとしての属性が付与された第一クラス画像と、前記第一クラスと異なる第二クラスとしての属性が付与された第二クラス画像をそれぞれ登録する学習画像登録手段と、
    前記学習画像登録手段で登録された前記第一クラス画像と前記第二クラス画像を学習し、前記第一クラス画像と前記第二クラス画像を識別する識別器を生成する識別器生成手段と、
    前記撮像手段により新たに撮像された検査対象画像を前記識別器に入力し、前記識別器による識別結果に基づく判定結果を出力する判定手段と、
    前記判定手段により判定結果が出力された複数の検査対象画像を当該判定結果とともに履歴画像として記憶する記憶手段と、
    前記記憶手段に記憶された複数の履歴画像に係る判定値と前記識別器による識別の閾値との近接度を算出する算出手段と、
    前記算出手段が算出した近接度に基づいて、前記履歴画像から、前記近接度が高い画像を候補画像として使用者に提示する表示手段と、
    前記表示手段により提示された前記候補画像を追加学習させるか否かの指定を受け付ける追加学習画像指定手段とを備え、
    前記識別器生成手段は、使用者により指定された追加学習画像を、前記第一クラス画像又は前記第二クラス画像として追加学習し、前記識別器を更新するように構成されている、画像検査装置。
  2. 請求項1に記載の画像検査装置において、
    前記追加学習画像指定手段は、複数の前記候補画像の中から前記追加学習画像としての指定を受け付ける、画像検査装置。
  3. 請求項1に記載の画像検査装置において、
    前記学習画像登録手段は、
    前記撮像手段により撮像されるライブ画像を表示し、
    前記ライブ画像が表示された状態で、前記使用者による操作を受け付け、
    前記操作に基づいて、前記ライブ画像を前記第一クラス画像と前記第二クラス画像とのいずれかとして登録する、画像検査装置。
  4. 請求項3に記載の画像検査装置において、
    前記学習画像登録手段は、前記使用者による操作として、前記ライブ画像を前記第一クラス画像として登録する、もしくは前記ライブ画像を前記第二クラス画像として登録する、ことの指定を受け付ける、画像検査装置。
  5. 請求項1に記載の画像検査装置において、
    前記撮像手段と接続され、前記識別器生成手段と前記記憶手段とが設けられる、制御ユニットを備える、画像検査装置。
  6. 請求項3に記載の画像検査装置において、
    前記学習画像登録手段により前記ライブ画像が表示された状態において、前記撮像手段による撮像条件を変化させることが可能である、画像検査装置。
  7. 撮像手段により撮像された検査対象物の画像に基づいて当該検査対象物の判定結果を出力する画像検査装置の設定方法において、
    使用者により第一クラスとしての属性が付与された第一クラス画像と、前記第一クラスと異なる第二クラスとしての属性が付与された第二クラス画像をそれぞれ登録する学習画像登録ステップと、
    前記学習画像登録ステップで登録された前記第一クラス画像と前記第二クラス画像を学習し、前記第一クラス画像と前記第二クラス画像を識別する識別器を生成する識別器生成ステップと、
    前記撮像手段により新たに撮像された検査対象画像を前記識別器に入力し、前記識別器による識別結果に基づく判定結果を出力する判定ステップと、
    前記判定ステップで判定結果が出力された検査対象画像に係る判定値と、前記識別器による識別の閾値との近接度を算出する算出ステップと、
    前記算出ステップで算出した近接度が所定以上の検査対象画像を、前記識別器に追加学習させる候補画像として使用者に提示する表示ステップと、
    前記表示ステップで提示された前記候補画像を追加学習させるか否かの指定を受け付ける追加学習画像指定ステップと、
    使用者により追加学習させる前記候補画像として指定された追加学習画像を、前記第一クラス画像又は前記第二クラス画像として追加学習するステップと、を備える、画像検査装置の設定方法。
JP2023068728A 2019-05-16 2023-04-19 画像検査装置及び画像検査装置の設定方法 Active JP7489523B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023068728A JP7489523B2 (ja) 2019-05-16 2023-04-19 画像検査装置及び画像検査装置の設定方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019093208A JP7267094B2 (ja) 2019-05-16 2019-05-16 画像検査装置及び画像検査装置の設定方法
JP2023068728A JP7489523B2 (ja) 2019-05-16 2023-04-19 画像検査装置及び画像検査装置の設定方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019093208A Division JP7267094B2 (ja) 2019-05-16 2019-05-16 画像検査装置及び画像検査装置の設定方法

Publications (2)

Publication Number Publication Date
JP2023090768A JP2023090768A (ja) 2023-06-29
JP7489523B2 true JP7489523B2 (ja) 2024-05-23

Family

ID=73220967

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019093208A Active JP7267094B2 (ja) 2019-05-16 2019-05-16 画像検査装置及び画像検査装置の設定方法
JP2023068728A Active JP7489523B2 (ja) 2019-05-16 2023-04-19 画像検査装置及び画像検査装置の設定方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019093208A Active JP7267094B2 (ja) 2019-05-16 2019-05-16 画像検査装置及び画像検査装置の設定方法

Country Status (1)

Country Link
JP (2) JP7267094B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011192032A (ja) 2010-03-15 2011-09-29 Nippon Steel Corp 疵学習装置、疵学習方法、及びコンピュータプログラム
JP2013142558A (ja) 2012-01-06 2013-07-22 Keyence Corp 外観検査装置、外観検査方法及びコンピュータプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7176966B2 (ja) * 2019-02-01 2022-11-22 株式会社キーエンス 画像検査装置
JP7176965B2 (ja) * 2019-02-01 2022-11-22 株式会社キーエンス 画像検査装置
JP7287791B2 (ja) * 2019-02-01 2023-06-06 株式会社キーエンス 画像検査装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011192032A (ja) 2010-03-15 2011-09-29 Nippon Steel Corp 疵学習装置、疵学習方法、及びコンピュータプログラム
JP2013142558A (ja) 2012-01-06 2013-07-22 Keyence Corp 外観検査装置、外観検査方法及びコンピュータプログラム

Also Published As

Publication number Publication date
JP2020187072A (ja) 2020-11-19
JP7267094B2 (ja) 2023-05-01
JP2023090768A (ja) 2023-06-29

Similar Documents

Publication Publication Date Title
JP7271306B2 (ja) 画像検査装置及び画像検査装置の設定方法
JP7448710B2 (ja) 画像検査装置及び画像検査装置の設定方法
JP7176965B2 (ja) 画像検査装置
JP7287791B2 (ja) 画像検査装置
JP7176966B2 (ja) 画像検査装置
US9728168B2 (en) Image processing apparatus
US8970886B2 (en) Method and apparatus for supporting user's operation of image reading apparatus
JP6970553B2 (ja) 画像処理装置、画像処理方法
JP2020187657A (ja) 画像検査装置
US6600808B2 (en) Part program generating apparatus and program for image measuring apparatus
KR20120107483A (ko) 천 제품 식별 장치 및 천 제품 파지 시스템
JP7308656B2 (ja) 画像検査装置
JP7489523B2 (ja) 画像検査装置及び画像検査装置の設定方法
JP2020016471A (ja) 画像検査装置
CN112446287A (zh) 设置设备的控制处理过程的电子装置、方法和存储介质
JP7282551B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN112955806B (zh) 用于对样本区域成像的显微镜系统和相应的方法
JP2023077059A (ja) 外観検査装置及び外観検査方法
JP2023077055A (ja) 外観検査装置及び外観検査方法
JP7080123B2 (ja) 画像検査装置
JP2020187655A (ja) 画像検査装置
US20230418452A1 (en) Inspection setting device
JP2023077056A (ja) 外観検査装置及び外観検査方法
JP2005018507A (ja) 携帯情報端末及びそれを用いた文字認識方法
JP2000193435A (ja) 対象物の画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230518

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240513

R150 Certificate of patent or registration of utility model

Ref document number: 7489523

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150