JP5574379B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、撮像素子で検出対象物を撮像して得られた濃淡画像をサブピクセル処理して該検出対象物のエッジを検出する画像処理装置及び画像処理方法に関する発明である。

ＣＭＯＳセンサ等の撮像素子には、水平方向や垂直方向の線欠陥が存在するものがあり、撮像素子の大型化（ピクセル数増加）に伴い、線欠陥のある撮像素子の割合が増加している。線欠陥のある撮像素子を全て不良品とすると、撮像素子が大型になるほど、歩留りが低下して生産コストが増大するためである。このため、線欠陥のある撮像素子も画像処理装置に使用されている。

しかし、撮像素子の線欠陥の部分では、撮像信号を取り込めないため、検出対象物のエッジが線欠陥部分と重なると、検出対象物のエッジを精度良く検出できない。

この対策として、特許文献１（特開２００６−１４８３５１号公報）に記載されているように、撮像素子又は検出対象物を所定の軸を中心として所定角度回動できるように構成し、所定角度回動させる前に撮像素子で撮像した撮像画像における欠陥画素のデータを、所定角度回動させた後に撮像素子で撮像した撮像画像の対応画素のデータで置き換えることで、欠陥画素のデータ補正を行うようにしたものがある。

特開２００６−１４８３５１号公報

しかし、上記特許文献１の欠陥画素の補正方法では、１つの検出対象物を画像処理するのに２回の撮像を行わなければならず、画像処理に要する時間が長くなってしまい、生産性が低下するという欠点がある。

そこで、図２に示すように、線欠陥画素の輝度を線欠陥画素の両側に隣接する画素の輝度で補間補正することが通例となっている。
例えば、垂直方向の線欠陥の場合、線欠陥画素の左右両隣の画素の輝度がＡ１とＡ２であれば、線欠陥画素の輝度は、補間補正により、（Ａ１＋Ａ２）／２となる。また、水平方向の線欠陥の場合、線欠陥画素の上下両隣の画素の輝度がＣ０とＤ０であれば、線欠陥画素の輝度は、補間補正により、（Ｃ０＋Ｄ０）／２となる。

このため、図３に示すように、検出対象物のエッジが線欠陥画素と重なったり、或は、図４に示すように、検出対象物のエッジが線欠陥画素に隣接すると、検出対象物のエッジと重なる又は隣接する部分の線欠陥画素の輝度は、補間補正によって線欠陥画素の両側に隣接する画素の輝度０（黒）と輝度２５５（白）との中間輝度１２８となる。
線欠陥画素の輝度＝（０＋２５５）／２＝１２８

この場合、図５に示すように、検出対象物のエッジのうち、線欠陥画素と重なる又は隣接するエッジの位置は、サブピクセル処理により、線欠陥画素の輝度に応じた位置（中間輝度１２８の場合は線欠陥画素の中央）となるため、検出対象物のエッジの位置が実際よりも最大０．５画素分だけずれて見えてしまい、これが検出対象物のエッジの検出精度を悪化させる原因となる。

そこで、本発明が解決しようとする課題は、線欠陥を有する撮像素子で検出対象物を撮像して得られた濃淡画像をサブピクセル処理して該検出対象物のエッジを検出するシステムにおいて、１回の撮像で検出対象物のエッジを精度良く検出できると共に、線欠陥画素の補間補正によるエッジ検出誤差が生じる範囲を狭めてエッジ検出精度を向上できるようにすることである。

上記課題を解決するために、請求項１に係る発明は、線欠陥を有する撮像素子で検出対象物を撮像し、線欠陥画素の輝度を該線欠陥画素の両側に隣接する画素の輝度で補間補正して得られた濃淡画像をサブピクセル処理して該検出対象物のエッジを検出する画像処理装置において、前記撮像素子又は前記撮像対象物を回動させる回動手段と、前記回動手段により前記撮像素子又は前記検出対象物を該検出対象物のエッジが該撮像素子の水平・垂直の各走査ラインと平行とならないように所定角度回動させた状態で該撮像素子により該撮像対象物を撮像する撮像制御手段とを備えた構成としたものである。

この構成では、撮像素子又は検出対象物を該検出対象物のエッジが該撮像素子の水平・垂直の各走査ラインと平行とならないように所定角度回動させるため、撮像素子に線欠陥が存在しても、その線欠陥と検出対象物の一辺のエッジとが平行にならないように回動して該検出対象物を撮像できる。これにより、検出対象物の一辺のエッジ全体が線欠陥画素と重なる又は隣接することを防止できて、検出対象物のエッジが線欠陥画素と重なる又は隣接する範囲を狭めることができて、補間補正するエッジ範囲を狭めることができる。これにより、線欠陥画素の補間補正によるエッジ検出誤差が生じる範囲を狭めることができて、エッジ検出精度を向上できる。しかも、１回の撮像でエッジを精度良く検出できるため、生産性を低下させずに済む。

具体的には、請求項２のように、検出対象物が矩形状でその４辺のエッジを検出する場合は、該４辺が撮像素子の水平・垂直の各走査ラインと平行とならないように所定角度回動させるようにすると良い。このようにすれば、検出対象物の４辺のエッジがいずれも線欠陥と平行とならないように回動して該検出対象物を撮像できる。

また、請求項３のように、検出対象物がＢＧＡ型部品のバンプでそのバンプのエッジを検出する場合は、該ＢＧＡ型部品の縦・横・対角方向のバンプの配列が前記撮像素子の水平・垂直の各走査ラインと平行とならないように所定角度回動させるようにすると良い。このようにすれば、ＢＧＡ型部品の縦・横・対角方向のバンプの配列が線欠陥と平行とならないように回動してＢＧＡ型部品のバンプの配列を撮像でき、バンプの配列の検出精度を向上できる。

尚、請求項４に係る発明は、請求項１に係る「画像処理装置」の発明と実質的に同一の技術思想を、カテゴリーの異なる「画像処理方法」の発明として記載したものである。

図１は本発明の実施例１における部品実装機の構成を示す縦断面図である。 図２は撮像素子の線欠陥画素の輝度を補間補正する方法を説明する図である。 図３は検出対象物の一辺のエッジ全体が線欠陥画素と重なった場合の補間補正前の濃淡画像の一例を示す図である。 図４は検出対象物の一辺のエッジ全体が線欠陥画素に隣接する場合の補間補正前の濃淡画像の一例を示す図である。 図５は検出対象物の一辺のエッジ全体が線欠陥画素に重なる又は隣接する場合の補間補正後の濃淡画像の一例を示す図である。 図６は撮像素子（カメラ）を所定角度回動させて撮像して得られた補間補正前の濃淡画像の一例を示す図である。 図７は図６の濃淡画像の線欠陥画素の輝度を補間補正してサブピクセル処理した後の濃淡画像の一例を示す図である。 図８は実施例２の検出対象物であるＢＧＡ型部品のバンプの配列の一例を示す図である。

以下、本発明を実施するための形態を部品実装機に適用して具体化した２つの実施例を説明する。

本発明の実施例１を図１乃至図７に基づいて説明する。
まず、図１に基づいて部品実装機全体の構成を概略的に説明する。
部品実装機の制御装置１１には、吸着ノズル（図示せず）に吸着した部品を撮像する部品認識用カメラ１２と、部品を実装する回路基板の基準位置マーク、部品実装状態等を撮像する基板認識用カメラ１３とが接続されている。各カメラ１２，１３には、ＣＭＯＳセンサ、ＣＣＤセンサ等の撮像素子が内蔵されている。

部品実装機の稼働中に、制御装置１１（撮像制御手段）は、吸着ノズルを保持する装着ヘッド（図示せず）をＸ軸方向、Ｙ軸方向、Ｚ軸方向、θ方向に駆動するＸ軸モータ１５、Ｙ軸モータ１６、Ｚ軸モータ１７及び回転モータ１８（回動手段）の動作を制御して、部品供給装置１９から供給される部品（検出対象物）を吸着ノズルで吸着し、当該部品を部品認識用カメラ１２で撮像して、その画像処理結果に基づいて吸着部品のエッジ（外縁）を検出して部品の外形形状を認識して、品種、吸着姿勢等を判定し、吸着ノズル（装着ヘッド）を回路基板上へ移動させて、当該部品を回路基板に実装する。

この場合、部品認識用カメラ１２は、水平方向及び／又は垂直方向の線欠陥が存在するＣＭＯＳセンサ等の撮像素子を用いて構成されている。そこで、本実施例１では、図２に示すように、線欠陥画素の輝度を線欠陥画素の両側に隣接する画素の輝度で補間補正するようにしている。例えば、垂直方向の線欠陥の場合、線欠陥画素の左右両隣の画素の輝度がＣ１とＣ２であれば、線欠陥画素の輝度は、補間補正により、（Ｃ１＋Ｃ２）／２となる。また、水平方向の線欠陥の場合、線欠陥画素の上下両隣の画素の輝度がＣ１とＤ１であれば、線欠陥画素の輝度は、補間補正により、（Ｃ１＋Ｄ１）／２となる。

更に、図５に示すように、検出対象物のエッジのうち、線欠陥画素と重なる又は隣接するエッジの位置は、サブピクセル処理により、線欠陥画素の輝度に応じた位置（中間輝度１２８の場合は線欠陥画素の中央）となるため、検出対象物のエッジの位置が実際よりも最大０．５画素分だけずれて見えてしまい、これが検出対象物のエッジの検出精度を悪化させる原因となる。

そこで、本実施例１では、制御装置１１は、回転モータ１８を制御して、図６に示すように、撮像素子（部品認識用カメラ１２）を検出対象物の一辺のエッジが該撮像素子の水平・垂直の各走査ラインと平行とならないように所定角度回動させた状態で該撮像対象物を撮像して濃淡画像を取り込み、図７に示すように、線欠陥画素の輝度を線欠陥画素の両側に隣接する画素の輝度で補間補正して得られた濃淡画像をサブピクセル処理して検出対象物のエッジを検出する。尚、補間は線形補間でも良いし、適宜の曲線で補間しても良い。

この場合、検出対象物が矩形状の部品でその４辺のエッジを検出する場合は、該４辺が撮像素子の水平・垂直の各走査ラインと平行とならないように所定角度回動させるようにすると良い。このようにすれば、検出対象物の４辺のエッジがいずれも線欠陥と平行とならないように回動して該検出対象物を撮像できる。検出対象物が矩形状の部品の場合、回動角度は、検出対象物のエッジと線欠陥画素（撮像素子の水平方向又は垂直方向）との交差角度が例えば２０〜７０°、より好ましくは３５〜５５°の範囲内となるように設定すれば良く、最も好ましい交差角度は４５°である。

図３、図４に示すように、検出対象物の一辺のエッジ全体が線欠陥画素と重なる又は隣接する場合、図５の例では、補間補正するエッジ範囲が６画素であるのに対して、図６に示すように、撮像素子を所定角度回動させて撮像した場合、図７の例では、補間補正するエッジ範囲が４画素となる。

このように、撮像素子を所定角度回動させて撮像することで、検出対象物のエッジが線欠陥画素と重なる又は隣接する範囲を狭めることができて、補間補正するエッジ範囲を狭めることができる。これにより、線欠陥画素の補間補正によるエッジ検出誤差が生じる範囲を狭めることができて、エッジ検出精度を向上できる。しかも、１回の撮像でエッジを精度良く検出できるため、生産性を低下させずに済む。

以上説明した本実施例１では、撮像素子（部品認識用カメラ１２）を所定角度回動させるようにしたが、検出対象物を所定角度回動させるようにしても良いことは言うまでもない。

本発明の実施例２では、図８に示すようなＢＧＡ型部品のバンプを検出対象物とし、吸着ノズルに吸着したＢＧＡ型部品のバンプの配列をその下方から撮像素子（部品認識用カメラ１２）で撮像する際に、ＢＧＡ型部品の縦・横・対角方向のバンプの配列が撮像素子の水平・垂直の各走査ラインと平行とならないように、撮像素子又はＢＧＡ型部品を所定角度回動させる。回動角度は、ＢＧＡ型部品の縦・横・対角方向のバンプの配列方向と線欠陥画素（撮像素子の水平方向又は垂直方向）との交差角度が例えば１５〜３０°、より好ましくは２０〜２５°の範囲内となるように設定すれば良く、最も好ましい交差角度は２２．５°である。

本実施例２のように、ＢＧＡ型部品の縦・横・対角方向のバンプの配列が撮像素子の水平・垂直の各走査ラインと平行とならないように所定角度回動させれば、ＢＧＡ型部品の縦・横・対角方向のバンプの配列が線欠陥と平行とならないように回動してＢＧＡ型部品のバンプの配列を撮像でき、バンプの配列の検出精度を向上できる。

尚、本発明は、部品認識用カメラ１２に限定されず、基板認識用カメラ１３で回路基板の基準位置マークや部品実装状態等を撮像する場合（検出対象物を回路基板の基準位置マークや部品実装状態等とする場合）にも、本発明を適用して実施できる。

１１…制御装置（撮像制御手段）、１２…部品認識用カメラ（撮像素子）、１３…基板認識用カメラ、１８…回転モータ（回動手段）

Claims (4)

1. 線欠陥を有する撮像素子で検出対象物を撮像し、線欠陥画素の輝度を該線欠陥画素の両側に隣接する画素の輝度で補間補正して得られた濃淡画像をサブピクセル処理して該検出対象物のエッジを検出する画像処理装置において、
   前記撮像素子又は前記撮像対象物を回動させる回動手段と、
   前記回動手段により前記撮像素子又は前記検出対象物を該検出対象物のエッジが該撮像素子の水平・垂直の各走査ラインと平行とならないように所定角度回動させた状態で該撮像素子により該撮像対象物を撮像する撮像制御手段と
   を備えていることを特徴とする画像処理装置。
2. 前記撮像制御手段は、前記検出対象物が矩形状でその４辺のエッジを検出する場合は、該４辺が前記撮像素子の水平・垂直の各走査ラインと平行とならないように所定角度回動させることを特徴とする請求項１に記載の画像処理装置。
3. 前記撮像制御手段は、前記検出対象物がＢＧＡ型部品のバンプでそのバンプのエッジを検出する場合は、該ＢＧＡ型部品の縦・横・対角線方向のバンプの配列が前記撮像素子の水平・垂直の各走査ラインと平行とならないように所定角度回動させることを特徴とする請求項１に記載の画像処理装置。
4. 線欠陥を有する撮像素子で検出対象物を撮像し、線欠陥画素の輝度を該線欠陥画素の両側に隣接する画素の輝度で補間補正して得られた濃淡画像をサブピクセル処理して該検出対象物のエッジを検出する画像処理方法において、
   前記撮像素子又は前記検出対象物を該検出対象物のエッジが該撮像素子の水平・垂直の各走査ラインと平行とならないように所定角度回動させた状態で該撮像素子により該撮像対象物を撮像することを特徴とする画像処理方法。

Images