JP4459945B2

JP4459945B2 - 抽出色範囲設定方法

Info

Publication number: JP4459945B2
Application number: JP2006310689A
Authority: JP
Inventors: 正朋舞田; 修三五十嵐
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2006-11-16
Filing date: 2006-11-16
Publication date: 2010-04-28
Anticipated expiration: 2022-12-27
Also published as: JP2007122734A

Description

本発明は、画像認識装置のデータ設定装置及びデータ設定方法に関する。特に、対象物の認識用画像を撮像し、画像中の特定位置に撮像される対象物のもつべき色の範囲（抽出色）を指定し、対象物の抽出及び認識を行う画像認識装置の認識用データを作成するための技術に関する。

外観検査機は、検査対象物の検査画像を撮像し、検査データ（抽出色範囲、基準値）を用いて、良否判定を行う装置である。一般的に、光学式の外観検査機は、検査対象物に対して白色色を照射し、特定の角度から撮像することにより検査画像を取得する。その後、検査画像に対して、検査対象箇所が適正色で撮像されているか否かを検査することによって、外観検査を行っている。プリント基板の外観検査では、基板を上部から撮像し、部品実装位置に検査対象部品の表面色が撮像されているのかを検査している。これにより部品の未実装や誤実装といった不良を検出することが可能となる。

外観検査機の使用にあたり、検査画像内の「検査対象箇所の指定」、「抽出色範囲」、「基準値（閾値）」を検査データとして設定する必要がある。「適正色範囲」とは、検査対象物の表面色の色範囲をいう。色範囲とは、検査画像の色空間の各次元に対する上限値及び下限値である。通常、色空間は、赤、緑、青のＲＧＢにより表される。基準値とは、色範囲に該当する画素の面積（抽出面積）に対するものあり、例えば、「検査対象箇所の指定」により特定される検査対象範囲に占める抽出面積の割合の下限値をいう。

上記の検査データの設定において、問題となるのは、製造上のバラツキによって生じる検査対象物の表面色のバラツキである。この色のバラツキは、見た目の上で同一色であった場合においても、同一色内でバラツキがある。また、同一の検査対象物であっても、サンプル間において、バラツキがある。従って、このバラツキの範囲に合わせて抽出色の範囲を設定しなくてはならない。

なぜなら、抽出色の範囲が狭い場合、良品を不良品として判断してしまう「見過ぎ」となり、範囲が広すぎる場合、不良品を良品として判断してしまう「見逃し」の原因となる。また、基準値の設定においても、同様に閾値が高すぎる場合は、「見過ぎ」、低すぎる場合は、「見逃し」の原因となる。「見過ぎ」は後工程の目視検査等の工数増加を引き起こし、「見逃し」は検査品質を低下させ、後工程の電気試験等で不良と判断された原因の特定の工数増加を引き起こす。それ故、検査データの設定は一般的な問題点となる。

認識対象物を他の物と識別するための閾値の設定に関する公知技術としては、特許文献１に記載された発明がある。特許文献１では、カラー視覚センサの認識対象物の色を指定したとき、その色の確信度と面積の特性線及び他の色の特性線を表示し、指定された色により識別対象物が識別可能なように指定された色の閾値を容易に設定可能とすることを開示している。

また、３次元形状データ処理に関する公知技術として、特許文献２に記載された発明がある。特許文献２では、顔面模型を作成する際に必要とされる模型用顔領域をカラー画像の肌の色の統計処理結果を判断基準として、カラー画像全体から肌の色に近い色を有する領域のみを抽出することにより自動的に行うことができる３次元形状データ処理装置を開示している。
特開平７−４４７０６号公報特開２０００−７６４５４号公報

しかしながら、従来の画像認識装置のデータ設定装置では次の問題点があった。検査対象物の表面色は数種類の色（構成色）で構成され、それぞれの構成色は異なるバラツキを持っている。そのため、全体の表面色の分布は各構成色のバラツキが足し合わされ、複雑なバラツキとなる。これは、抽出色範囲の最適化するのに必要な表面色のバラツキ傾向を知ることを困難にさせている。しかし、表面色の各構成色単位でバラツキが分析可能な場合、表面色のバラツキ傾向を容易に知ることができる。

また、検査データ設定において、全ての構成色を含むような範囲を抽出色範囲として設定することはできない。ある検査対象物Ａの少ない面積の構成色と、他の検査対象物Ｂの主要な構成色が同一の色の場合がある。この場合、ある検査対象物Ａの抽出範囲内にその構成色を含めると、その検査対象物Ａではなく、他の検査対象物Ｂが搭載された場合でも、検査時に良品と判断されてしまうからである。即ち、検査データ設定時には、各構成色のバラツキだけでなく、その他の検査対象物の構成色との関係（類度度）を考慮しなければならない。

また、特許文献１では、認識対象物の構成色を分析し、認識対象画像のサンプル間のバラツキに基づいてその構成色のバラツキを求めるものでないために上記課題を解決することはできない。特許文献２は、顔という予め決められた色を統計処理結果を用いて抽出することはできるが、顔以外の部品等の構成色を抽出して、その構成色のサンプル間のバラツキを求めるものでないために上記課題を解決することはできない。

本発明は、上記問題点を鑑みてなれたものであり、検査対象箇所の表面色をいくつかの構成色に分離し、それぞれの構成色の統計量及び構成色間の色の類似度を算出して、最適な検査データの設定を行うことのできる画像認識装置のデータ設定装置を提供することを目的とする。

本発明によれば、認識対象を画像認識する基準となる抽出色範囲を設定する抽出色範囲設定方法において、前記認識対象を撮像するステップと、前記撮像された認識対象画像の領域の画素値に基づいて、出現頻度の高い色を抽出するステップと、前記抽出された出現頻度の高い色の画素値から一定範囲内の画素値を有する類似色を抽出するステップと、前記出現頻度の高い色及び前記類似色からなる画素群の各画素とその近傍画素の色の標準偏差の前記画素群についての平均値を算出するステップと、前記算出された出現頻度の高い色の画素値及び前記標準偏差の前記画素群についての平均値に基づいて、画素値が前記出現頻度の高い平均値から所定の色範囲に含まれる構成色を有する領域を抽出するステップと、前記抽出された領域について、連結する各塊の面積の総和の面積に対する各塊の面積が一定以下の画素の塊をノイズ成分として除去するステップと、前記抽出された領域から前記ノイズ成分が除去された領域の画素からなる除去結果に基づき、構成色の画素値の平均値及び標準偏差を算出するステップと、前記構成色の画素値の平均値及び標準偏差に基づいて、抽出色範囲を設定するステップと、を有することを特徴とする抽出色範囲設定方法が提供される。

本発明によれば、検査対象物の表面色のバラツキを表すような数枚の検査画像を与えることにより、その表面色のバラツキの傾向を分析し、抽出色範囲の設定を得ることができる。また、他の検査対象物の抽出面積を確認しながら抽出する構成色の選択及び基準値の設定が可能となる。これによって、従来、長時間に渡って検査データの調整を行ってきたが、短時間での検査データの調整が可能となる。また、従来は、検査データの決定に際し、「見逃し」や「見過ぎ」のバランスを調整するための基準値設定及び抽出色の選択を、人が経験的に判断する必要があったが、本発明により、構成色の選択時又は基準値の設定時に「見逃し」及び「見過ぎ」の発生状況を確認しながら検査データを調整することが可能なため、検査データ作成のスキルレス化が実現される。

図１は本発明の原理図である。図１に示すように、データ設定装置は、認識画像入力部２、構成色処理部４及び検査データ決定部６を有する。認識画像入力部２は、認識用対象物１０の認識用画像１２の認識領域１４を指定する。構成色処理部４は、認識領域１４内の画像に基づいて認識対象物１０の構成色を抽出し、当該構成色に関する色のバラツキを示す統計量を算出する。検査データ決定部６は、統計量に基づいて認識対象物の抽出色範囲を決定する。このように、認識対象物の抽出色範囲は統計量に基づくものであることから、最適な検査データの設定を行うことができる。

図２は本発明の実施形態による画像処理装置のデータ設定装置の構成図である。データ設定装置は、各認識対象物、例えば、基板上に実装される電子部品（抵抗、ＩＣ、コンデンサ等）について、その抽出色範囲を自動で設定するための装置であり、パソコンやワークステーション等のハードウェア上で実行されるプログラムによりデータ設定処理の各機能が実現される。図２に示すように、データ設定装置は、検査画像入力部５０、構成色処理部５２、構成色記憶部５４及び検査データ決定部５６を含む。検査画像入力部５０は、図示しないカメラにより撮像された認識対象画像及び認識対象物の認識領域である検査対象箇所を入力して、図示しないディスク等の記憶装置に記憶する。認識対象画像とは、認識対象物がカメラにより撮像された画像であって、１枚の画像に、認識対象物が１個又は複数個撮像されたものをいう。認識対象画像は、各画素毎に、色空間における各次元の値により表現される。例えば、ＲＧＢの色空間における、（Ｒ，Ｇ，Ｂ）の各次元の階調（２５６等）により表現される。検査対象箇所は、認識対象画像において認識対象物を含む領域であり、画像の位置座標の集合により特定される。

構成色処理部５２は、構成色分離手段６０、構成色統計量算出手段６２及びサンプル間構成色統計量算出手段６４を有する。図３は、図２中の構成色分離手段６０のフローチャートである。以下、図３を参照して、構成色分離手段６０の動作説明をする。ステップＳ２において、検査画像入力部５０より検査対象箇所における認識対象物の全画素を抽出する。ステップＳ４において、検査対象箇所における出現頻度の高い色μ（μ₁，μ₂，…，μ_N）を全ての検査対象箇所内の画素より検索する。出現頻度の高い色μとは、Ｎ次元の色で表される色空間において、最も出現する頻度の高い色を示している。このような高出現頻度色μは、ある構成色の平均の色であることが推測される。ステップＳ６において、高出現頻度色μとその類似色を検査対象箇所内の全画素から検索して、該当する画素の位置を記憶する。類似色とは、色空間において、高出現頻度色μと距離が近い色のことをいう。例えば、各次元が２５６階調で表現される場合、全ての次元において、μ_i±２０（ｉ＝１，…，Ｎ）の範囲内に該当する画素の位置を記憶する。これにより、高出現頻度色を平均値とするような構成色のおおよその位置を得ることができる。類似色を検索するのは、一般的に構成色は完全に単一の色ではなく、撮像環境や認識対象物の製造上により、バラツキが生じるからである。

ステップＳ８において、検索された各画素に対して、その画素と近傍画素の色の標準偏差を各次元で算出し、各画素に対して算出される標準偏差の全検索画素についての平均値σ（σ₁，σ₂，…，σ_N）を得る。近傍画素とは、例えば、検索された画素を中心画素として、周辺１画素（全８画素）を指している。各色構成色は各次元において、色分布が正規分布に従うため、その標準偏差値σ（σ₁，σ₂，…，σ_N）を用いることにより、構成色のバラツキの範囲を知ることができる。例えば、μ±３σの範囲では、構成色のおよそ９９％が検索される。

ステップＳ１０において、ステップＳ８で算出された構成色のバラツキ範囲（全ての次元においてμ_i±３σ_iの範囲）に該当する画素を検索する。構成色の周辺の画素から標準偏差を算出して構成色の位置を再検索するのは、各構成色の各次元において色のバラツキが異なるためである。

ステップＳ１２において、ノイズ除去を行う。これは、認識対象物の各構成色は、ある程度の同じ位置に固まっているという性質を利用したものである。まず、検索された画素について隣同士の画素は連結した成分とみなして一つの塊とする。各塊について、検索された全ての塊の面積の和に対するその面積が一体値以下（例えば、５％）の画素の塊は除去する。これにより、例えば、基板の色の類似する色が構成色に含まれているとき、認識対象箇所として基板の一部が含まれる場合には、基板の画素の塊が除去されることになる。また、逆に、検索された画素の塊の内部に存在するその塊の面積に対するその内部の面積が一定値以下の検索されない画素をその構成色の画素とする。

ステップＳ１４において、ステップＳ１０，１２で選択された画素の面積の検索対象箇所に対する面積比Ｓを算出する。以上の分析により、ステップＳ４で算出した高頻出色に対する構成色を取得できる。構成色の面積比Ｓは構成色情報記憶部５４に保存される。ステップＳ１６において、構成色面積比の総和が一定値（９５％）以上であるか否かを判断する。一定値以上であれば、分析を終了する。一定値未満であれば、ステップＳ１８に進む。ステップＳ１８において、取得済構成色の画素を除く検査対象画素を分析する。ステップＳ４〜Ｓ１４において、構成色として検索されなかった画素に対して行うことにより、他の主要な構成色とその位置を取得することができる。

構成色統計量算出手段６２は、構成色分離手段６０により得られた各構成色の画素から各構成色の平均値μ（μ₁，μ₂，…，μ_N）と各構成色の画素の標準偏差σ（σ₁，σ₂，…，σ_N）の統計量を算出して、構成色情報記憶部５４にこれらを記憶する。構成色処理部６０及び構成色統計量算出部６２は、検査画像入力部５０から入力される、同一認識対象物について、異なる認識対象画像（サンプル）の検査対象箇所に対して上記処理を行う。これにより、同一認識対象物について、複数のサンプルに対して、各構成色の平均値及び標準偏差が得られて、構成色情報記憶部５４にこれらが記憶されることになる。

サンプル間構成色統計量算出手段６４は、同一の検査対象物については、用意されたいくつかのサンプルについて、サンプル間の構成色のバラツキを算出する。各サンプルは、構成色分離手段６０及び構成色統計量算出手段６２より、上述したように、各構成色の平均値、標準偏差値及び面積比が算出されて、構成色情報記憶部５４に記憶されている。各サンプルの同じ構成色において、各次元におけるサンプルの構成色平均値の平均値（サンプル間平均値μ_S）、サンプルの構成色平均値の標準偏差（サンプル間標準偏差σ_S）、面積比の平均値（構成色平均面積比Ｓ_M）及びサンプルの構成色の標準偏差の平均値（構成色標準偏差σ_M）を算出して、サンプル間平均値μ_S、サンプル間標準偏差σ_S、構成色平均面積比Ｓ_M及び構成色標準偏差σ_Mを構成色情報記憶部５４に保存する。

図４は、各統計量を示す図である。横軸に色強度（階調）、縦軸に度数（画素数）が表されている。ここでは、構成色のある一次元について示している。太字の曲線は、平均値がサンプル間平均値μ_S、標準偏差がサンプル間標準偏差σ_Sである正規分布を示している。各構成色は、各サンプルについては、μを中心として一定範囲、例えば、μ±３σ_Mの範囲でバラツキ、サンプル全体の平均値はサンプル間平均値μ_Sを中心に一定範囲、例えば、μ_S±３σ_Sの範囲でバラツクことを示している。尚、ここでは、各サンプルの構成色は正規分布と仮定していることから、各μ±３σ_Mの範囲では、当該サンプルの構成色については、およそ９９％がこの範囲内にあることを意味する。また、μ_S±３σ_Sの範囲では、サンプルの平均値のおよそ９９％がこの範囲内にあることを意味する。

構成色情報記憶部５４は、各検査対象物に対して、構成色分離部６０、構成色統計量算出部６２により得られた各サンプル単位のデータ（平均値μ、標準偏差σ、面積比Ｓ）及びサンプル間構成色統計量算出部６４で算出された、サンプル間平均値μ_S、サンプル間標準偏差σ_S、構成色平均面積比Ｓ_M、構成色標準偏差σ_Mを記憶する。

検査データ決定部５６は、抽出色範囲算出手段７０、抽出面積算出手段７２及び検査対象色選択手段７４を有する。抽出色範囲算出手段７０は、サンプル間構成色統計量算出手段６４により得られた統計量を利用して、抽出色の範囲を指定する。

図５は、抽出色範囲を示す図である。横軸は色強度、縦軸は度数を示している。抽出色範囲は構成色の各次元について指定されるが、図５はある一次元を示している。各構成色の各サンプルは、上述したように、例えば、μ±３σ_Mの範囲でバラツク。サンプル全体では、サンプル平均値はμ_S±３σ_Sの範囲でばらつく。よって、全体のバラツキはμ_S±（３σ_S±３σ_M）の範囲となる。従って、抽出色範囲は、下限値がμ_S−（３σ_S＋３σ_M）、上限値がμ_S＋（３σ_S＋３σ_M）となる。この範囲より抽出範囲が小さくなると、抽出面積が少なくなり「見過ぎ」が発生する可能性があり、この範囲より抽出範囲が大きくなると、抽出面積が大きくなり、他の検査対象物を抽出してしまい「見逃し」の原因となる。抽出面積算出手段７２は、任意の検査対象物に設定された各構成色の抽出色範囲に対して、他の検査対象物の各構成色の抽出面積比を算出するものである。

図６は、抽出面積算出手段７２のフローチャートである。ステップＳ１００において、検査対象物の任意に選択された１つの構成色αの抽出色範囲の中心を算出する。抽出色範囲が位置を算出する。構成色記憶部５４に記憶された構成色αのサンプル間平均値μ_Sα、サンプル間標準偏差σ_Sα、構成色標準偏差σ_Mαであり、抽出色範囲が、上述したように［μ_Sα−（３σ_Sα＋３σ_Mα），μ_Sα＋（３σ_Sα＋３σ_Mα）］であるとき、抽出色範囲の中心値がサンプル間平均値μ_Sαとなる。尚、抽出色範囲は任意の範囲とすることができる。ステップＳ１０２において、ステップＳ１００で選択された検査対象物と異なる任意に選択された他の検査対象物の１つの構成色βの構成色記憶部５４に記憶された、サンプル間平均値μ_Sβ、サンプル間標準偏差σ_Sβ、構成色標準偏差σ_Mβを読み出し、色空間の各次元について、構成色αの抽出色範囲の中心値が構成色βの該当次元のサンプル間バラツキμ_Sβ±３σ_Sβの範囲内にあるか否かを判断する。サンプル間バラツキの範囲内にある場合は、ステップＳ１０４に進む。サンプル間バラツキの範囲外である場合は、ステップＳ１０６に進む。

図７は、抽出色中心値がサンプル間バラツキ内にある場合の抽出面積の上限値と下限値の算出方法を示す図である。ステップＳ１０４において、図７に示すように、構成色βの平均値Ａが抽出色範囲の中心に一致するようなサンプルの平均値及び標準偏差より求められるサンプルの正規分布と抽出色範囲とで囲まれる斜線で示す部分の面積が最大となることから、この面積のこのサンプルの正規分布全体の面積に対する抽出面積比（例えば、８０％）を算出し、これを最大（上限）とする。

図８は、抽出色中心値がサンプル間バラツキ外にある場合の抽出面積の上限値と下限値の算出方法を示す図である。ステップＳ１０６において、構成色βの平均値が抽出色範囲の中心に最も近接するようなサンプル、例えば、図８に示すように該当次元についての平均値がＡである当該サンプルの当該平均値及び標準偏差より求められるサンプルの正規分布と抽出色範囲とで囲まれる斜線で示す部分の面積が最大となることから、この面積のこのサンプルの正規分布全体の面積に対する抽出面積比（例えば、４５％）を算出し、これを最大（上限）とする。

ステップＳ１０８において、図７，図８に示すように、抽出色中心値がサンプル間バラツキ内・外のいずれにある場合にも、抽出色範囲の中心値から最も離れるサンプルの該当次元についての正規分布Ｂと抽出色範囲とで囲まれる斜線で示す部分の面積が最小となることから、この面積のこのサンプルの正規分布全体の面積に対する抽出面積比（例えば、図７に示すように５％又は図８に示すように０％）を算出し、これを最小（下限）とする。

以上のようにして、任意の検査対象物に設定された抽出色範囲の各次元に対して、他の任意の検査対象物の構成色の各次元について、抽出面積比の上限及び下限値が算出される。

検査対象色選択手段７４は、検査対象物の各構成色の中で、検査対象色を選択する手段である。基本的には、検査対象物の各構成色の中で面積比の大きい構成色、または、他の検査対象物にはないその検査対象物特有の構成色を検査対象色として選択すれば良い。しかし、同じような構成色を持つ検査対象物が存在する場合、もしくは、検査対象物が様々な似たような面積比の構成色をもつ場合は、状況に応じた構成色を選択する必要がある。最適な検査対象色とは、検査対象物のみを抽出して、他の検査対象物を抽出しないことが要求される。

図９は、検査対象色選択手段７４のフローチャートである。ステップＳ１５０において、検査対象物を選択する。ステップＳ１５２において、抽出色範囲を入力する。尚、抽出色範囲が入力されない場合は、デフォルトして、選択された検査対象物の各構成色について、抽出色範囲算出手段７０により算出されたμ_S±（３σ_S＋３σ_M）を抽出色範囲とする。ステップＳ１５４において、ステップＳ１５２で決定された抽出色範囲の各次元について、他の検査対象物の各構成色の該当次元に対して、上述した抽出面積算出手段７２により抽出面積比の上限及び下限値を算出する。尚、検査対象物の抽出色範囲における、他の検査対象物の各構成色の抽出面積比の上限及び下限値は各次元の上限及び下限値の積である。

図１０は、検査対象物の構成色の抽出色範囲及び他の検査対象物の各構成色の抽出面積比の表示の一例を示す図である。ここでは、検査対象物が部品５であり、他の検査対象物の部品１〜４及び部品５について、抽出面積比が示されている。ステップＳ１５６において、検査対象物の各構成色について、他の検査対象物の各構成色の抽出色面積、当該構成色の上限及び下限値をディスプレイに表示する。例えば、図１０に示すように、部品５の構成色が構成色１〜３であり、その抽出色範囲が抽出色範囲１〜３であるとき、各部品１〜５の各構成色について、面積比、検査対象部品５の各構成色１〜３の各抽出色範囲１〜３における上限及び下限値が表示される。

ステップＳ１５８において、検査対象物の検査対象の構成色の抽出色範囲の設定データを入力する。設定データは、検査を行う者がディスプレイに表示される図１０に示された内容を見て、検査対象物の「見逃し」や「見過ぎ」が無いよう最適なものと選択したものである。ステップＳ１６０において、検査対象物の検査対象の構成色の閾値の設定テータを入力する。尚、良否判定を決める抽出色の抽出面積の閾値は、当該抽出色の抽出範囲における他の検査対象物の最大抽出面積比以上になるように設定すれば良い。但し、場合により、同じ構成色を持つ検査対象物がある場合がある。この場合は、当該検査対象物と同じ構成色を持つ他の検査対象物の最大抽出面積比が小さい構成色について、当該最大抽出面積比以上を閾値として設定する。

次にデータ設定方法を説明する。ここでは、基板上に実装される部品を検査対象物として検査する場合を例に説明する。検査対象物が実装された基板が作製される。基板に実装された各部品を含む場所をカメラにより撮像して、検査対象画像を生成する。検査対象画像内の検査対象物の検査対象箇所を指定する。構成色分離手段６０により当該検査対象物の構成色に分離し、構成色統計量算出手段６２により色空間における各次元単位に平均値及び標準偏差を算出して、構成色記憶部５４に記憶する。同一検査対象物について、複数サンプルの平均値及び標準偏差が算出されると、サンプル間構成色統計量算出手段６４により、当該検査対象物の複数サンプルの平均値及び標準偏差より、サンプル間平均値μ_S、サンプル間標準偏差σ_S、構成色平均面積比Ｓ_M及び構成色標準偏差σ_Mを構成色記憶部５４に記憶する。

抽出色範囲算出手段７０により、検査対象物の構成色の抽出色範囲μ_S±（３σ_S＋３σ_M）を算出する。抽出面積算出部７２により、検査対象物の構成色の抽出色範囲において、他の検査対象物の各構成色の抽出面積比の上限・下限値を算出する。検査対象色選択手段７４により、検査対象物の各構成色の抽出色範囲における他の検査対象物の各構成色の抽出面積比の上限・下限値をディスプレイに表示する。検査者は検査対象物の抽出色範囲及び閾値を設定する。上記の処理を検査対象物が実装された基板が製作される度に行うことによりサンプル数が増加して、統計精度が良くなる。また、上記の処理を基板の検査と並行して行うことができる。即ち、基板の検査対象画像をデータ設定と検査のために併用して、検査とデータ設定を並行して行うことができる。

本発明は以下の付記を含むものである。

（付記１）認識用対象物の認識用画像を設定データに基づき画像認識する画像認識装置の前記設定データを設定するデータ設定装置において、
認識対象物が撮像された認識用画像内の認識領域を指定する認識画像入力部と、
前記認識領域内の画像に基づいて前記認識対象物の構成色の位置を抽出し、当該構成色に関する色のバラツキを示す統計量を算出する構成色処理部と、
前記統計量に基づいて前記認識対象物の抽出色範囲を決定する検査データ決定部と、
を具備したことを特徴とするデータ設定装置。

（付記２）前記構成色処理部は、前記認識対象内の前記認識対象用画像の出現頻度の高い色の画素及び当該出現頻度の高い色の類似色の画素の平均値から前記出現頻度の高い色及び前記類似色の画素の各画素の近傍画素の標準偏差に基づく一定のバラツキ範囲の画素が前記認識対象物の構成色に含まれるものとして構成色を抽出する構成色分析部を具備したことを特徴とする付記１記載のデータ設定装置。

（付記３）前記構成色処理部は、前記構成色に含まれる各画素の色空間における各次元の値の第１平均値と第１標準偏差値の統計量を算出する構成色統計量算出部を具備したことを特徴する付記２記載のデータ設定装置。

（付記４）前記構成色処理部は、同一の認識対象物が撮像されている複数のサンプル認識対象用画像についての前記第１平均値の平均であるサンプル間平均値及び当該サンプル間平均値の標準偏差であるサンプル間標準偏差値、前記第１標準偏差値の平均値である構成色平均標準偏差値に基づいて、サンプル間のバラツキ範囲を分析するサンプル間構成色統計量算出部を具備した特徴とする付記３記載のデータ設定装置。

（付記５）前記検査データ決定部は、前記認識対象物の各構成色について、前記サンプル間平均値、前記サンプル間標準偏差値及び前記構成色平均標準偏差値に基づいて当該構成色の抽出色範囲を算出する抽出色範囲算出部を具備したことを特徴とする付記４記載のデータ設定装置。

（付記６）前記検査データ決定部は、前記各認識対象物の構成色の抽出色範囲内で当該認識対象物と異なる他の認識対象物の構成色が抽出される確率の上限及び下限値を当該他の認識対象物の構成色のサンプル間平均値、サンプル間標準偏差値及び構成色平均標準偏差値に基づき算出する抽出面積算出部を具備したことを特徴とする付記５記載のデータ設定装置。

（付記７）前記抽出面積算出部は、前記他の認識対象物の各認識対象用画像の構成色に含まれる画素値の分布が正規分布であると仮定し、当該分布における前記抽出色範囲内の面積を算出することにより前記上限及び下限値を算出することを特徴とする付記６記載のデータ設定装置。

（付記８）前記検査データ決定部は、前記認識対象物の前記構成色の前記抽出色範囲が与えられた場合に、他の認識対象物の各構成色の前記上限及び下限値を画面に表示する検査対象色選択部を具備したことを特徴とする付記７記載のデータ設定装置。

（付記９）前記構成色分析部は、前記各構成色に含まれる画素からなる領域の面積の前記対象領域の面積に対する面積比を算出し、前記検査対象色選択部は、前記認識対象物の前記構成色の面積比及び当該認識対象物と異なる他の認識対象物の面積比を前記画面に表示することを特徴とする付記８記載のデータ設定装置。

（付記１０）認識用対象物の認識用画像を設定データに基づき画像認識する画像認識装置の前記設定データを設定するデータ設定方法において、
認識対象物が撮像された認識用画像内の認識領域を指定するステップと、
前記認識領域内の画像に基づいて前記認識対象物の構成色を抽出し、当該構成色に関する色のバラツキを示す統計量を算出するステップと、
前記統計量に基づいて前記認識対象物の抽出色範囲を決定するステップと、
を具備したことを特徴とするデータ設定方法。

本発明の原理図である。本発明の実施形態によるデータ設定装置の構成図である。図２中の構成色分離部の処理フローチャートである。各統計量を示す図である。抽出色範囲を示す図である。抽出面積算出手段のフローチャートである。抽出色範囲がサンプル間バラツキ内にある場合を示す図である。抽出色範囲がサンプル間バラツキ外にある場合を示す図である。検査対象物選択手段のフローチャートである。表示の一例を示す図である。

符号の説明

２検査画像入力部
４構成色処理部
６検査データ決定部
１０認識対象物
１２認識対象用画像
１４認識領域

Claims

認識対象を画像認識する基準となる抽出色範囲を設定する抽出色範囲設定方法において、
前記認識対象を撮像するステップと、
前記撮像された認識対象画像の領域の画素値に基づいて、出現頻度の高い色を抽出するステップと、
前記抽出された出現頻度の高い色の画素値から一定範囲内の画素値を有する類似色を抽出するステップと、
前記出現頻度の高い色及び前記類似色からなる画素群の各画素とその近傍画素の色の標準偏差の前記画素群についての平均値を算出するステップと、
前記算出された出現頻度の高い色の画素値及び前記標準偏差の前記画素群についての平均値に基づいて、前記出現頻度の高い色の平均値から画素値が所定の色範囲に含まれる構成色を有する領域を抽出するステップと、
前記抽出された領域について、連結する各塊の面積の総和の面積に対する各塊の面積が一定以下の画素の塊をノイズ成分として除去するステップと、
前記抽出された領域から前記ノイズ成分が除去された領域の画素に基づき、構成色の画素の平均値及び前記構成色の画素の標準偏差を算出するステップと、
前記構成色の画素の平均値及び前記構成色の画素の標準偏差に基づいて、抽出色範囲を設定するステップと、を有することを特徴とする抽出色範囲設定方法。
前記ノイズとなる成分を除去するステップは、
所定の構成色を有する領域内に存在する、当該構成色を有さない領域の割合を算出するステップと、
前記構成色を有さない領域の面積が所定値に満たない場合、当該領域が前記構成色を有する領域であるものとみなして、前記構成色を有する領域の面積を算出することを特徴とする請求項１記載の抽出色範囲設定方法。
前記ノイズとなる成分を除去するステップに続いて、前記認識対象画像の領域全体に対する、前記構成色を有する領域の面積比を算出するステップと、
前記面積比が所定の値を超える場合、当該構成色を有する領域に含まれる前記構成色の画素の平均値及び前記構成色の画素の標準偏差の平均値に基づいて、前記抽出色範囲を決定するステップとを実行することを特徴とする請求項１〜２のいずれかに記載の抽出色範囲設定方法。
前記撮像するステップ乃至前記構成色の画素値の平均値及び前記構成色の標準偏差を算出するステップは、複数の認識対象のサンプルに対して実行されるとともに、
前記複数のサンプルに対して算出された同じ構成色の画素値の平均値のサンプル間平均値及び前記複数のサンプルの平均値のサンプル間標準偏差を算出するステップをさらに有し、
前記抽出色範囲として設定するステップは、前記サンプル間標準偏差、前記各サンプルの前記標準偏差のサンプル間の平均値に基づいて、前記サンプル間平均値から所定の範囲内に含まれる画素値を有する構成色を、前記抽出色範囲として設定することを特徴とする請求項１〜３のいずれかに記載の抽出色範囲設定方法。
認識対象を画像認識する基準となる抽出色範囲を設定する抽出色範囲設定方法において、
前記認識対象を撮像するステップと、
前記撮像された認識対象画像の領域の画素値に基づいて、出現頻度の高い第１色を抽出するステップと、
前記抽出された出現頻度の高い第１色の画素値から一定範囲内の画素値を有する第１類似色を抽出するステップと、
前記出現頻度の高い第１色及び前記第１類似色からなる画素群の各画素とその近傍画素の色の第１標準偏差の前記画素群についての第１平均値を算出するステップと、
前記第１平均値に基づいて、前記出現頻度の高い第１色の画素値から画素値が所定の色範囲に含まれる第１構成色を有する領域を抽出するステップと、
前記認識対象画像の領域の面積に対する前記第１構成色の領域の面積が所定未満であるとき、前記認識対象画像の領域の画素から前記出現頻度の高い第１色の画素及び前記第１類似色の画素を除く第２領域の中で出現頻度の高い第２色を抽出するステップと、
前記第２領域において、前記抽出された出現頻度の高い第２色の画素値から一定範囲内の画素値を有する第２類似色を抽出するステップと、
前記第２領域において、前記出現頻度の高い第２色及び前記第２類似色からなる画素群の各画素とその近傍画素の色の第２標準偏差の前記画素群についての第３平均値を算出するステップと、
前記第２領域において、前記第３平均値に基づいて、前記出現頻度の高い第２色の画素値から画素値が所定の色範囲に含まれる第２構成色を有する領域を抽出するステップと、
前記出現頻度の高い第１色と前記第１類似色の画素を含む第１構成色を有する領域の画素の第５平均値及び前記第１構成色を有する領域の画素の第３標準偏差を算出するステップと、
前記出現頻度の高い第２色と前記第２類似色の画素を含む第２構成色を有する領域の画素の第６平均値及び前記第２構成色を有する領域の画素の第４標準偏差を算出するステップと、
前記第１構成色について、前記第５平均値及び前記第３標準偏差に基づいて、抽出色範囲を設定し、前記第２構成色について、前記第６平均値及び前記第４標準偏差に基づいて、抽出色範囲を設定するステップとを有することを特徴とする抽出色範囲設定方法。
前記第３標準偏差及び前記第５平均値、並びに前記第４標準偏差及び前記第６平均値を算出する前に、前記抽出された領域について、連結する各塊の面積の総和の面積に対する各塊の面積が一定以下の画素の塊をノイズ成分として除去して、前記第１及び第２構成色を有する領域を抽出することを特徴とする請求項５記載の抽出色範囲設定方法。
前記撮像するステップ乃至前記第６平均値及び前記第２構成色を有する領域の画素の第４標準偏差を算出するステップは、認識対象を複数撮像して、複数撮像された各認識対象サンプル画像に対して実行されるとともに、
同じ認識対象の前記複数の認識対象サンプル画像の各認識対象領域に対して算出された前記第１構成色を有する領域の画素の前記第５平均値の第１サンプル間平均値及び前記複数のサンプルの前記第５平均値の第１サンプル間標準偏差を算出するステップと、
同じ認識対象の前記複数の認識対象サンプル画像の各認識対象領域に対して算出された前記第２構成色を有する領域の画素の前記第６平均値の第２サンプル間平均値及び前記複数のサンプルの前記第６平均値の第２サンプル間標準偏差を算出するステップとを更に具備し、
前記抽出色範囲として設定するステップは、前記第１構成色について、前記第１サンプル間標準偏差及び前記第３標準偏差に基づいて、前記第１サンプル間平均値から所定の範囲内に含まれる画素値を有する構成色を、前記抽出色範囲として設定し、第２構成色について、前記第２サンプル間標準偏差及び前記第４標準偏差に基づいて、前記第２サンプル間平均値から所定の範囲内に含まれる画素値を有する構成色を、前記抽出色範囲として設定することを特徴とする請求項５〜６のいずれかに記載の抽出色範囲設定方法。