JP3835138B2 - 色抽出装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、カラー画像処理において、カラー画像中の特定の色を抽出する色抽出装置に関するものである。
【０００２】
【従来の技術】
電子部品が実装された実装基板を対象として行われる外観検査の方法として、カラー画像処理を用いる方法が知られている。この検査方法は、検査対象を撮像して得られたカラー画像を画像処理して電子部品などの検査対象部位を分離・検出するものであり、この分離・検出はカラー画像中から特定の色を抽出することにより行われる。
【０００３】
【発明が解決しようとする課題】
カラー画像の中から特定の色を抽出するには、多くの場合分離用の専用フィルタが検出対象に応じて設定される。この分離用のフィルタは一般に画像データを変換するための変換テーブルとして与えられるものであり、検出対象部位を特定する色を周囲の領域から明瞭に識別できるよう、変換テーブルの設定を適切に行う必要がある。しかしながら、従来はこのような特性を備えた変換テーブルの設定を正しく効率的に行う手法は確立されておらず、設定に手間と時間を要すると共に、設定が不適切であると適正な色抽出が行えず正確な外観検査が困難であるという問題点があった。
【０００４】
そこで本発明は、カラー画像処理における色抽出を適切にかつ効率的に行うことができる色抽出装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
請求項１記載の色抽出装置は、カラー画像から所定の色を抽出する色抽出装置であって、第１の数値データを記憶しこの第１の数値データに従って前記カラー画像の画像情報を構成する第１要素データを変換する第１の変換テーブルと、第２の数値データを記憶しこの第２の数値データに従って前記カラー画像の画像情報を構成する第２要素データを変換する第２の変換テーブルと、第３の数値データを記憶しこの第３の数値データに従って前記カラー画像の画像情報を構成する第３要素データを変換する第３の変換テーブルと、前記第１，第２，第３の数値データを１組とし、この１組のデータを異なる複数の色別に複数組記憶したライブラリ部と、前記ライブラリ部に記憶された前記複数組から前記所定の色に対応する１組を選択しこの１組の第１，第２，第３の数値データをそれぞれ前記第１，第２，第３の変換テーブルに記憶させる選択手段と、これらの第１，第２および第３の変換テーブルによってそれぞれ変換された３種類のデータを合成して合成画像を形成する合成処理部とを備え、またカラー画像を表示する表示部と、この表示部に表示されたカラー画像の特定の領域をサンプリング領域に指定するサンプリング領域指定部と、サンプリング領域のカラー画像をカラーモデル変換部によって変換して得られるカラー画像情報の構成要素ごとにヒストグラムを作成して前記表示部に表示するヒストグラム作成部と、前記第１，第２，第３の数値データに基づく幾何学図形を前記表示部に表示する変換テーブル表示処理部と、前記表示部に表示された幾何学図形を変形させる操作部を備え、変形後の幾何学図形に基づいて前記第１，第２，第３の数値データが変更されるものであり、前記表示部は、ヒストグラムと幾何学図形とを重ねて表示する。
【００１６】
本発明によれば、カラー画像から所定の色を抽出する色抽出処理において、カラー画像の画像情報を構成する３つの要素データを変換テーブルを用いて変換し、変換されたデータに基づいて合成画像を形成することにより、カラー画像処理において高精度で色抽出を行うことができ、さらに各要素データごとに画像情報の分布状態を示すヒストグラムを作成して表示させ、このヒストグラムと変換テーブルとを重ね合わせて変換テーブルの特性確認を行うことにより、適正な特性を備えた変換テーブルを操作性よく設定することができる。
【００１７】
【発明の実施の形態】
次に本発明の実施の形態を図面を参照して説明する。図１は本発明の一実施の形態の基板の外観検査装置の構成を示すブロック図、図２は本発明の一実施の形態の基板の外観検査装置の色抽出処理機能を示す機能ブロック図、図３は本発明の一実施の形態の基板の外観検査装置の色抽出処理の説明図、図４は本発明の一実施の形態の基板の外観検査装置の色抽出設定処理機能を示す機能ブロック図、図５は本発明の一実施の形態の電子部品の基板検査処理のフロー図、図６、図７図８、図９、図１０は本発明の一実施の形態の基板の外観検査装置の色抽出フィルタ設定の表示画面を示す図である。
【００１８】
まず図１を参照して基板の外観検査装置の構成について説明する。図１において、ＸＹテーブル１上には基板２が保持されており、基板２には複数の種類の異なる電子部品３が実装されている。基板２の上方には、照明部４とカメラ５より成る撮像部が配設されている。照明部４は白色光を発光するリング状の発光体４ａと略半球面状の反射体４ｂを備えており、発光体４ａから反射体４ｂの内面に向けて照射された白色光は、球面状の反射面によって拡散反射され、下方の基板２を照明する。
【００１９】
照明部４の上方にはカメラ５が下向きに配置されており、カメラ５は反射体４ｂの上部に設けられた開口を介して、白色の拡散反射光で照明された状態の基板２を撮像する。このときＸＹテーブル１を駆動することにより基板２は水平移動し、基板２上に実装された任意の電子部品３をカメラ５の直下に位置させて撮像することができる。
【００２０】
カメラ５はカメラコントロールユニット６に接続されている。カメラコントロールユニット６は撮像タイミングなどのカメラ５の撮像動作を制御するとともに、撮像データからＲ（赤）、Ｇ（緑）、Ｂ（青）の三原色を抽出し、各要素ごとの画像データとして出力する。
【００２１】
記憶部７は画像記憶部７ａ、プログラム記憶部７ｂ、変換テーブル７ｃ、ライブラリ部７ｄより構成される。画像記憶部７ａは、カメラコントロールユニット６から出力されるＲ、Ｇ、Ｂ各要素ごとの画像データや、後述するカラーモデル変換されたＨ（色相）、Ｓ（彩度）、Ｉ（明度）のそれぞれの要素を１つの独立の次元とする３次元のＨＳＩ画像データ、さらにはこのＨＳＩ画像データをデータ変換処理した後に合成した合成画像データなど、各種の画像データを記憶する。
【００２２】
プログラム記憶部７ｂは、カラーモデル変換プログラム、基板検査プログラム、色抽出処理プログラム、色抽出設定プログラム、全体処理プログラムなど、各種の処理・演算のプログラムを記憶する。変換テーブル７ｃは、ＲＧＢ画像データをカラーモデル変換することにより得られたカラー画像の画像情報を構成する３つの要素データ、すなわち第１要素データであるＨ（色相）、第２要素データであるＳ（彩度）、第３要素データであるＩ（明度）のそれぞれの要素データをフィルタ処理するためのデータ変換用のテーブルであり、変換テーブル７ｃには、後述するように各要素データごとに設定される第１，第２，第３の数値データが記憶される。ライブラリ部７ｄは、変換テーブル７ｃに設定される数値データを、抽出対象の色の種類ごとに記憶する。
【００２３】
演算部８はＣＰＵであり、プログラム記憶部７ｂに記憶された各種のプログラムに従って演算や処理を行う。表示部９はモニタであり、操作・入力時の案内画面を表示するほか、カメラ５によって撮像され、カラーモデル変換された画像を表示する。操作・入力部１０はキーボード、マウス、タッチパネルなどの入力手段であり、操作コマンドや各種データの入力を行う。
【００２４】
記憶媒体ドライブ装置１１は、フロッピーディスクドライブなどの外部データ読み取り装置である。前述のプログラム記憶部７ｂに記憶される各種処理プログラムが、フロッピーディスクなどの記憶媒体１１ａに格納されて提供される場合には、記憶媒体ドライブ装置１１はこの記憶媒体１１ａから各種処理プログラムを読み取る。これにより、入力機能、演算機構、記憶機能、表示機能を備えた一般のパーソナルコンピュータをカラー画像取り込み機能を有する撮像手段と組み合わせて、色抽出装置として機能させることができる。
【００２５】
次に図２、図３を参照して基板の外観検査における色抽出処理について説明する。図２、図３において、ＲＧＢ画像記憶部１３、ＨＳＩ画像記憶部１４、合成画像記憶部１８は図１に示す画像記憶部７ａに対応するものである。またカラーモデル変換部１４、合成処理部１７は、図１に示す演算部８によって行われる処理機能を示している。
【００２６】
カメラ５によって撮像されカメラコントロールユニット６によって出力された撮像対象の基板２のＲＧＢ画像データは、画像記憶部７ａに格納される。このＲＧＢ画像データは、カラーモデル変換部１４によってＨＳＩ画像データに変換され、変換されたＨＳＩ画像データはＨＳＩ画像記憶部１５に記憶される。そしてこのＨＳＩ画像データに基づいて特定の色を抽出する色抽出処理が行われる。
【００２７】
ここでは、図３に示すように基板２に実装された電子部品３（方形のコンデンサ部品）の搭載状態、すなわち電子部品３の有無や搭載状態での姿勢を検査することを目的として、電子部品３の上面部分を色抽出の対象領域として設定し、この領域を他の領域から明瞭に分離できるような変換形態でモノクロ画像に変換する例を示す。このような処理を行うことにより、ＲＧＢ画像上では分離が困難な場合にあっても、対象領域を周囲から明瞭に分離して取り出し、形状認識や寸法などの諸量算出を容易に行うことができる。
【００２８】
図３に示すように、カメラ５によって取り込まれた電子部品３を含む基板２の画像は、ＲＧＢ画像データからＨＳＩ画像データにカラーモデル変換される。ここでは、画像を構成する各画素毎にＲＧＢ次元で表された色のデータをＨＳＩ次元でのデータに変換する処理が行われ、カラーモデル変換後のデータからはＨ，Ｓ，Ｉの各要素ごとにデータが分離され、それぞれ第１要素データ、第２要素データ、第３要素データとして出力される。
【００２９】
これにより、ＨＳＩ画像記憶部１５には、各画素毎にＨ，Ｓ，Ｉのそれぞれのデータを対応させた画像、すなわちＨ（色相）のみで表された色変換画像１５ａ、Ｓ（彩度）のみで表された色変換画像１５ｂおよびＩ（明度）のみで表された色変換画像１５ｃが格納される。そしてこれらの画像データに対して、変換テーブル７ｃ（第１の変換テーブル１６ａ、第２の変換テーブル１６ｂ、第３の変換テーブル１６ｃ）を用いたデータ変換が行われる。
【００３０】
このデータ変換は、各画素毎に求められたＨ，Ｓ，Ｉの数値を所定の変換法則に従って新たな数値に置き換えることによって行われる。この変換法則は、数値データによって構成されるデータ変換テーブルの形で提供され、第１の変換テーブル１６ａ、第２の変換テーブル１６ｂ、第３の変換テーブル１６ｃはそれぞれ第１の数値データ、第２の数値データ、第３の数値データを記憶し、これらの数値データに従って前記各要素データを変換する。
【００３１】
これらの３つの数値データは組を構成し、１つの組が特定の抽出対象の色に対応している。すなわちこれらの第１，第２，第３の数値データは、抽出する色に対応した固有のデータとなっている。そしてライブラリ部７ｄには、異なる複数の色別に複数組の数値データが記憶され、抽出対象の色が指定されることにより、当該色に対応した１組の数値データが、基板検査プログラム１９によってライブラリ部７ｄから読み取られる。
【００３２】
そして読み取られた第１，第２，第３の数値データを、それぞれ対応する変換テーブルに記憶させることにより、当該色の抽出のための変換テーブルの設定が自動的に行われる。すなわち、基板検査プログラム１９は、ライブラリ部７ｄに記憶された複数組のデータから１組を選択し、この１組の第１，第２，第３の数値データをそれぞれ第１，第２，第３の変換テーブルに記憶させる選択手段となっている。
【００３３】
ここで変換テーブル７ｃの具体例について説明する。図３に示す第１，第２，第３の各変換テーブル１６ａ，１６ｂ，１６ｃのグラフは、変換法則の特性を示すものである。第１の変換テーブル１６ａを例に、変換法則の特性を示すグラフについて説明する。第１の変換テーブル１６ａは、色相を示す属性値の入力値Ｈと出力値Ｈ’の対応関係を示すものであり、横軸上の各数値Ｈ（入力値）は、このグラフ上に示す特性線を介して縦軸上の各数値Ｈ’（出力値）に対応している。
【００３４】
第１の変換テーブル１６ａの変換特性を示す特性線は、台形状の幾何学図形で表され、以下の特性を備えている。すなわち横軸上のＨの数値がこの台形の下底の範囲外であれば対応するＨ’の数値は０（ゼロ）となる。そして、Ｈの数値が台形の上底の範囲内であれば、対応するＨ’の数値は最大値Ｈｍａｘとなる。そして、台形の斜辺の範囲内はファジー領域となっており、図３に示すようにこれらの範囲の数値Ｈは、この台形の斜辺によって、縦軸上の対応する数値Ｈ’に変換される。Ｓ，Ｉのデータについても、第２の変換テーブル１６ｂ、第３の変換テーブル１６ｃによって同様に、Ｓ’，Ｉ’画像に変換される。
【００３５】
合成処理部１７はこれらの第１，第２，第３の変換テーブルによって変換された３種類のデータを合成して合成画像を形成する。すなわち、データ変換されたＨ’、Ｓ’、Ｉ’の各画像は合成処理部１７によって合成され、色抽出画像が形成される。合成された色抽出画像は、合成画像記憶部１８に記憶される。図３では、検出対象の電子部品３の部分は白色部１８ｂに、その他の部分は黒色から灰色の範囲で色が変化する非白色部１８ａに変換された色抽出画像（モノクロ画像）１８Ａを得る例を示している。
【００３６】
このような色抽出を行う場合には、変換テーブル７ｃによって変換された後のＨ，Ｓ，Ｉそれぞれの数値が全て所定条件を満たす画素についてのみ、白色部として抽出するような判定条件の組み合わせを設定すればよい。すなわち、ある画素のＨ，Ｓ，Ｉのいずれか１つの数値が色抽出範囲として設定されるしきい値などの判定条件から外れている場合には、この画素は色抽出対象から外される。従って、微妙な属性の相違を鋭敏に識別できることを示しており、ＲＧＢ画像データ上では領域の分離が困難な場合においても、精度の高い分離を行うことができる。
【００３７】
次に図４を参照して、基板の外観検査装置の色抽出設定機能について説明する。この色抽出設定は、検査対象の基板２のＲＧＢ画像データをカラーモデル変換して得られたＨＳＩ画像の検査対象の各領域について、適切な色抽出が行えるよう、変換テーブル７ｃの特性を設定するものである。
【００３８】
図４において、サンプリング領域指定部２１は、操作部２２からの入力操作により、表示画面上で色抽出のサンプリング領域となる特定領域をサンプリング領域に指定する処理を行う。サンプリング領域が指定されると、ヒストグラム作成部２０はＨＳＩ画像記憶部１５に記憶された画像データから、サンプリング領域として指定された領域内のＨ，Ｓ，Ｉの画像データをそれぞれ読み込み、各要素ごとに画像データの分布状態を示すヒストグラムを作成して表示部９のモニタ上に表示させる。これにより、当該領域を撮像して得られた画像データ上で、当該領域の材質・表面性状の特性を示す属性データ（ここでは、Ｈ，Ｓ，Ｉの３種類のデータ）が定量化され、分布状態が求められる。
【００３９】
編集対象数値データ記憶部２３は、ライブラリ部７ｄから、編集操作対象となっている数値データ、すなわち抽出対象の色に対応した変換テーブルの特性を規定する数値データを読み取る。変換テーブル表示処理部２４は、操作部２２からの指示により編集対象数値データ記憶部２３の数値データに基づいて、変換テーブルの特性を示す特性線によって形成される所定の幾何学図形を表示部９に表示する。
【００４０】
このとき、この幾何学図形は後述するように上述の画像要素の分布状態を示すヒストグラムに重ね合わせて表示される。これにより、変換テーブルの特性と、色抽出対象の領域における属性値の実際の分布状態とを視覚的に比較でき、変換テーブルの特性の適否判断を容易に行える。
【００４１】
この幾何学図形は、本実施の形態では前述のヒストグラムを包含する台形形状に設定される。そして幾何学図形は、操作部２２からの入力操作によって表示画面上で修正・変形させることができるようになっている。この修正・変形操作により、自動的に変形後の幾何学図形に基づいて数値データが修正されるとともに、ライブラリ部７ｄの格納データも同様に修正されるようになっている。なお、幾何学図形としては、台形形状以外にも、ファジー領域を含まない単純なステップ状の図形を用いるようにしてもよい。
【００４２】
この基板の外観検査装置は上記のように構成されており、次に図５を参照して本検査装置によって行われる基板の外観検査について説明する。まず、カメラ５による画像の取り込みが行われ、これにより検査対象部位のＲＧＢ画像データが取り込まれる（ＳＴ１）。次いで、第１，第２，第３の変換テーブルに抽出する色の数値データを設定する（ＳＴ２）。すなわち、検査対象部位の色に対応した数値データを読み込んで、変換テーブル７ｃに記憶させることにより、変換テーブル７ｃは当該色に対応した変換特性に設定される。
【００４３】
次に、読み取られたＲＧＢ画像データを、カラーモデル変換部１４によってＨＳＩ画像データにカラーモデル変換する（ＳＴ３）。この後、ＨＳＩ画像データの各要素について第１，第２，第３の変換テーブルによってデータ変換した後、画像合成処理を行うことにより色抽出処理が行われる。すなわち、第１の数値データに従ってカラー画像の画像情報を構成する第１要素データを変換する第１の変換工程と、第２の数値データに従ってカラー画像の画像情報を構成する第２要素データを変換する第２の変換工程と、第３の数値データに従ってカラー画像の画像情報を構成する第３要素データを変換する第３の変換工程と、これらの第１，第２および第３の変換工程において変換されたデータを合成して合成画像を形成する合成処理工程が行われる。ここで、領域中に抽出対象の複数の色が含まれている場合には、（ＳＴ２）〜（ＳＴ４）の処理が必要回数だけ反復される。
【００４４】
そして、このようにして合成された合成画像を用いて、判定処理が行われる（ＳＴ５）。すなわち、合成画像内の所定領域を対象として画像情報を処理することにより、各検査項目に応じた検査諸量（領域の寸法、面積、重心位置、境界線など）を求め、これらの検査諸量を各項目毎に設定されたしきい値と比較する処理を行う。これにより、実装基板の外観検査の１ステップが終了する。
【００４５】
次に図６〜図１０を参照して、色抽出設定処理について説明する。まず図６に示すように、表示画面３０にはカメラ５で撮像された基板２のＲＧＢ画像が表示される（表示工程）。ここでは、検査対象の電子部品３が基板２のランド２ａに半田付けされた状態で表示されている。次いで、表示されたＲＧＢ画像内において特定の領域をサンプリング領域に指定する（サンプリング領域指定工程）。表示画面３０内には各種のタッチパネルのボタンが設定されおり、サンプリング領域指定ボタン３１を操作することにより、サンプリングを行う領域の指定用の領域枠３ａが現れる。インチングボタン３４を操作することにより画面が移動し、マウスで画面上の矢印を操作することにより、画面３０内での領域枠３ａの位置や大きさを設定することができるようになっている。
【００４６】
図６は領域枠３ａが電子部品３の上面に位置している状態を示しており、この状態でサンプリング領域指定ボタン３１を操作することにより領域指定が実行され、取り消しボタン３５を操作すると領域指定が取り消される。そしてヒストグラム表示ボタン３２を操作することにより図７に示す画面が表示される。また変換テーブル編集ボタン３３を操作することにより図９に示す画面が表示され、後述する変換テーブルの編集作業を行うことができるようになっている。
【００４７】
次いで、カラー画像情報の構成要素であるＨ，Ｓ，Ｉの各項目ごとにヒストグラムを作成し表示させる（ヒストグラム作成工程）。図７において、表示画面３０には、サンプリング領域内の画像データから得られた当該領域におけるＨ，Ｓ，Ｉの数値データの分布図、すなわち当該領域を構成する各画素について求められたＨ，Ｓ，Ｉのそれぞれの数値データの累積分布をＨ，Ｓ，Ｉの各項目毎に表した分布図３５ａ，３５ｂ，３５ｃが表示される。これらの分布図において、横軸はＨ，Ｓ，Ｉのそれぞれの値を、縦軸は各値におけるデータの累積頻度（画素数）を示しており、これらの分布図には、それぞれＨ，Ｓ，Ｉの分布状態、すなわちこの色の特徴を表すヒストグラム３６ａ，３６ｂ，３６ｃが表示される。
【００４８】
そして、ヒストグラム３６ａ，３６ｂ，３６ｃに重ねて、編集対象数値データ記憶部２３から読み出された数値データに基づいて、変換テーブルの特性を示す幾何学図形が表示される。この場合、編集対象数値データ記憶部２３に数値データが記憶されていない場合には、表示されたヒストグラム３６ａ，３６ｂ，３６ｃの山を包含するような形状の幾何学図形３７ａ，３７ｂ，３７ｃが自動的に表示されるとともに、これらの幾何学図形３７ａ，３７ｂ，３７ｃに対応する数値データが仮に設定され、編集対象数値データ記憶部２３に記憶される。
【００４９】
画面３０にはこれらの表示とともに、ここで設定される変換テーブルがカバーする色相と彩度の範囲を視覚的に参照するための参照枠（カラーパレット）３８、および同様に変換テーブルがカバーする明度範囲を視覚的に参照するための参照枠３９が表示される。
【００５０】
参照枠３８は、左右方向に色相Ｈを、上下方向に彩度Ｓを変化させて、色の変化を２次元的に表示したものである。また、参照枠３９は左右方向に明度を変化させて明るさの変化を表示したものである。この参照枠３８，３９内に示されるウィンドウ３８ａ，３９ａの位置により、当該領域内における色相・彩度および明度を視覚的に確認できるようになっている。また、参照枠４０には、当該色取込領域の色を示す画像が表示される。
【００５１】
ここで色抽出ボタン４４を操作することにより、編集対象数値データ記憶部２３の数値データが第１，第２，第３の各変換テーブル１６ａ，１６ｂ，１６ｃに記憶されるとともに、図８に示す色抽出画像の画面が表示される。これにより、所期の色抽出が行われているか否かを確認することができる。即ち電子部品３の上面に相当する領域４６ｂが白色画像で抽出されその他の領域４６ａが黒色から灰色の間で表示されるモノクロ画像が得られていれば、所期の色抽出が行われたことになる。
【００５２】
このようにして目的とする変換テーブルが得られたならば、登録処理を行う。すなわち画面３０上の登録ボタン４１を操作することにより、編集対象数値データ記憶部２３に記憶されている数値データがライブラリ部７ｄに登録される。登録しようとする数値データが既登録の色以外の新規データである場合には、この数値データを特定するための名称やコードが付与される。修正ボタン４２を操作することにより、図９に示す画面が表示され、変換テーブル７ｃの特性を示す幾何学図形が画面上で変更可能となる。また、取り消しボタン４３を操作することにより、この画面上での設定操作が取り消しとなり、図６に示す画面に戻る。
【００５３】
新たに数値データの入力を行ったり、あるいは既登録データを流用して変換テーブルを作成する編集作業を行う際には、図６に示す変換テーブル編集ボタン３３を操作することにより図９に示す編集画面を表示させる。図９において、画面３０には数値データ名表示枠５１が表示され、ライブラリ部７ｄに記憶されている各色種類に対応した複数組の数値データ（第１，第２，第３の３つを１組としたもの）の名称が一覧表示される。
【００５４】
そしてスイッチ５１ａを操作して一覧表示された中の特定の数値データを反転表示させることにより、当該数値データがライブラリ部７ｄから読み込まれる。そしてこれらの数値データに対応した変換テーブル７ｃを示す幾何学図形３７ａ，３７ｂ，３７ｃが表示されるとともに、これらの数値データが編集対象数値データ記憶部２３に記憶される。そして決定ボタン５０を操作することにより、図７に示すヒストグラム表示画面へ戻る。
【００５５】
また、比較サンプルボタン４５を操作すると、表示画面は図６に示す画面に切り換わり、この状態で比較サンプル操作を行うことができる。すなわち、画面上で対象としているサンプリング領域以外の他の領域を対象として同様のサンプリングを行い、前述の変換テーブルをこの画像に適用した場合に、図８に示す色抽出画像と同様の色抽出結果が得られたならば、設定された変換テーブルではこれらの２つの領域を分離できないことを示している。
【００５６】
そこでこのような場合には、変換テーブルの修正が必要となる。この修正処理は、図７に示す画面３０上で修正ボタン４２を操作することにより行われる。このボタン操作により、図１０に示す修正用の画面が表示される。ここでは、分布図３５ａ，３５ｂ，３５ｃ上で設定された変換テーブルを規定する幾何学図形３７ａ，３７ｂ，３７ｃの形状を変形させ、変更後の幾何学形状に基づいて対応する数値データを変更する処理が行われる（数値データ変更工程）。
【００５７】
図１０は、これらのうち幾何学図形３７ｂの形状を変形させる例を示している。すなわち、変形対象の幾何学図形の折れ点部をタッチ操作することにより変形対象が指定され、当該折れ点部が画面上で反転表示される。そして移動ボタン４８を操作することにより、変形対象の幾何学図形３７ｂの折れ点部を所望の方向へ移動させる。これにより変換テーブルを規定する幾何学図形が変形され、変形後の幾何学形状に基づいて数値データが変更されるとともに、この変形に伴って参照枠３８内の表示ウィンドウ３８ａも変形に応じて移動する。この後再び前述の色抽出による確認を行い、当該領域が他の領域から明瞭に分離されることが確認されたならば、当該変換テーブル７ｃに対応した数値データをライブラリ部７ｄに記憶させる。
【００５８】
このように、実際の撮像によって得られたＨ，Ｓ，Ｉの数値データの分布状態に基づきこれらの分布範囲を包含する形で変換テーブルを設定することにより、以下に述べる効果を得ることができる。すなわち、検査時において撮像される電子部品の材質・表面性状や撮像条件は、常に高い精度で均一性を保っているとは限らない。従って、このようなばらつきを含む電子部品を撮像した画像データをカラー画像変換して得られるＨ，Ｓ，Ｉの各データも、ある幅の分布範囲内でばらついている。
【００５９】
そこで、前述のように設定された変換テーブルを用いてデータ変換を行うことにより、電子部品の材質・表面性状などのばらつきに起因して、撮像により得られるＨ，Ｓ，Ｉのデータに多少のばらつきがあっても、これらのデータが予め設定された分布範囲内に位置する限りは、当該色取込領域に固有の属性を有するデータとして判別される。
【００６０】
上記説明したように、本発明は基板の外観検査において、ＲＧＢ画像データをＨＳＩ画像データに変換し、このＨＳＩ画像データを色抽出の処理対象としたものである。これにより、前述のように３要素のうち１つでも違いがあれば、その領域は他から明瞭に分離されることから、明度の違いが少なくＲＧＢ画像では分離が困難であったような対象でも、色相あるいは彩度に違いがあれば高精度の色抽出が可能となる。従って、従来のＲＧＢ画像データに基づいて画像認識を行う場合に、対象に応じて必要とされた専用のフィルタリング処理を削減することができ、処理効率および操作性を大巾に向上させている。
【００６１】
さらに、変換テーブルの設定に際し、Ｈ，Ｓ，Ｉの画像要素ごとに属性値の分布状態を示すヒストグラムを表示させ、このヒストグラム上に変換テーブルを重ね合わせた状態で変換テーブルの特性確認を行うことにより、変換テーブルの色抽出対象領域への適否を視覚的に直感判断することができ、色抽出設定のための変換テーブルの設定を適切にしかも操作性よく迅速に行うことができる。
【００６２】
なお、本実施の形態では、カメラ５によって取得したＲＧＢ画像データをＨＳＩ画像データにカラーモデル変換し、このＨＳＩ画像データをデータ変換、画像合成処理の対象とする例を示しているが、画像データの種類としてはＨＳＩ画像データに限定されず、カラー画像情報を構成するその他の種類の要素データを処理対象として用いるようにしてもよい。
【００６３】
【発明の効果】
本発明によれば、カラー画像から所定の色を抽出する色抽出処理において、カラー画像の画像情報を構成する３つの要素データを変換テーブルを用いて変換し、変換されたデータに基づいて合成画像を形成するようにしたので、カラー画像処理において高精度で色抽出を行うことができ、さらに要素データごとに画像情報の分布状態を示すヒストグラムを作成して表示させ、この表示の変換テーブルを重ね合わせて変換テーブルの特性確認を行うようにしたので、適正な特性を備えた変換テーブルの設定を操作性よく迅速に行うことができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態の基板の外観検査装置の構成を示すブロック図
【図２】本発明の一実施の形態の基板の外観検査装置の色抽出処理機能を示す機能ブロック図
【図３】本発明の一実施の形態の基板の外観検査装置の色抽出処理の説明図
【図４】本発明の一実施の形態の基板の外観検査装置の色抽出設定処理機能を示す機能ブロック図
【図５】本発明の一実施の形態の電子部品の基板検査処理のフロー図
【図６】本発明の一実施の形態の基板の外観検査装置の色抽出フィルタ設定の表示画面を示す図
【図７】本発明の一実施の形態の基板の外観検査装置の色抽出フィルタ設定の表示画面を示す図
【図８】本発明の一実施の形態の基板の外観検査装置の色抽出フィルタ設定の表示画面を示す図
【図９】本発明の一実施の形態の基板の外観検査装置の色抽出フィルタ設定の表示画面を示す図
【図１０】本発明の一実施の形態の基板の外観検査装置の色抽出フィルタ設定の表示画面を示す図
【符号の説明】
２ 基板
３ 電子部品
５ カメラ
７ 記憶部
７ａ 画像記憶部
７ｂ プログラム記憶部
７ｃ 変換テーブル
７ｄ ライブラリ部
８ 演算部
９ 表示部
１０ 操作・入力部
１４ カラーモデル変換部
２０ ヒストグラム作成部
２１ サンプリング領域指定部
２２ 操作部
２４ 変換テーブル表示処理部

Claims (1)

1. カラー画像から所定の色を抽出する色抽出装置であって、第１の数値データを記憶しこの第１の数値データに従って前記カラー画像の画像情報を構成する第１要素データを変換する第１の変換テーブルと、第２の数値データを記憶しこの第２の数値データに従って前記カラー画像の画像情報を構成する第２要素データを変換する第２の変換テーブルと、第３の数値データを記憶しこの第３の数値データに従って前記カラー画像の画像情報を構成する第３要素データを変換する第３の変換テーブルと、前記第１，第２，第３の数値データを１組とし、この１組のデータを異なる複数の色別に複数組記憶したライブラリ部と、前記ライブラリ部に記憶された前記複数組から前記所定の色に対応する１組を選択しこの１組の第１，第２，第３の数値データをそれぞれ前記第１，第２，第３の変換テーブルに記憶させる選択手段と、これらの第１，第２および第３の変換テーブルによってそれぞれ変換された３種類のデータを合成して合成画像を形成する合成処理部とを備え、
   またカラー画像を表示する表示部と、この表示部に表示されたカラー画像の特定の領域をサンプリング領域に指定するサンプリング領域指定部と、サンプリング領域のカラー画像をカラーモデル変換部によって変換して得られるカラー画像情報の構成要素ごとにヒストグラムを作成して前記表示部に表示するヒストグラム作成部と、前記第１，第２，第３の数値データに基づく幾何学図形を前記表示部に表示する変換テーブル表示処理部と、前記表示部に表示された幾何学図形を変形させる操作部を備え、変形後の幾何学図形に基づいて前記第１，第２，第３の数値データが変更されるものであり、
   前記表示部は、ヒストグラムと幾何学図形とを重ねて表示することを特徴とする色抽出装置。

Images