JP5648600B2 - 画像処理装置 - Google Patents

Description

本発明は、撮像画像から溶接部に対応する領域を抽出する画像処理装置に関する。

従来、溶接により接合された対象物における溶接部の外観を検査する外観検査では、検査の効率化を図るために、溶接部を撮像した撮像画像から溶接部を抽出する装置（画像処理装置）が用いられている。この装置では、ユーザが与えた情報を用いること（対話型）で、溶接部（前景）を撮像した撮像画像から溶接部の背景に対応する背景画像を除去して、溶接部（前景画像）を抽出し、抽出した溶接部に基づいて溶接部の外観検査を行うことが一般的である。

ここで、撮像画像から所望の領域（前景領域）を抽出する抽出手法の１つとして、グラフカット法（GrabCut method）が提案されている（例えば、特許文献１、非特許文献１参照）。このグラフカット法では、例えば、撮像画像に対して、前景（抽出対象）と考えられる領域、背景と考えられる領域を初期領域として予め指定した上で、撮像画像における所定の画素とそれに隣接する画素とが同一領域内の画素であるか否かの確からしさ等を算出する。そして、各画素における確からしさ等に基づいて、撮像画像における各画素を前景領域および背景領域に分割することで前景領域を抽出する。

特開２００６−５３９１９号公報

C. Rother, V. Kolmogorov and A. Blake, "GrabCut : interactive foreground extraction using iterated graph cuts, " ACM Transactions on Graphics (TOG), Vol.23, Issue.3, pp.309-314, Aug.2004.

ところで、グラフカット法により、対象物における溶接部を抽出する場合、溶接部の抽出精度が悪いといった問題がある。

その一要因としては、グラフカット法では、撮像画像に対して指定する初期領域と実際の抽出対象との対応関係の変化に伴って、各画素間の確からしさが大きく変化してしまうからである。これにより、グラフカット法を用いて撮像画像から溶接部に対応する領域を抽出する際に、単に予め定めた領域を初期領域として指定すると、溶接部の抽出精度が悪化してしまうことがある。

例えば、図１０の溶接部抽出の失敗例で示すように、実際の溶接部の一部を欠損して抽出したり（図１０（ａ）参照）、背景の一部を余剰に抽出したり（図１０（ｂ）参照）する場合がある。この場合、ユーザが初期領域を手動で再設定する必要があり、溶接部の外観検査が煩雑となってしまう。

本発明は上記点に鑑みて、グラフカット法を用いて撮像画像から溶接部に対応する領域を抽出する画像処理装置の抽出精度の向上を図ることを目的とする。

本発明者らは、第１基材（２２）の一部を溶融して第１基材（２２）と第２基材（２１）とを接合した接合体の撮像画像を用いて、接合体（２）における溶接部（２３）の溶接幅の外観検査を検討している。なお、溶接部（２３）は、その幅方向の両端側において第１基材（２２）および第２基材（２１）に隣接するように形成される。

この場合、グラフカット法を用いて、接合体（２）における溶接部（２３）を前景領域として抽出することで、抽出した前景領域から溶接部（２３）の溶接幅を検出することが考えられる。

ところが、接合体（２３）の溶融時の各種条件によって溶接部（２３）の形状や色にばらつきが生ずることから、単に溶接部（２３）を前景領域として抽出しようとすると、溶接部（２３）に対応する領域を適切に抽出することができないことがあり、溶接部（２３）の溶接幅を精度よく検出できない可能性がある。

そこで、本発明者らは、鋭意検討を重ねた。この結果、接合体（２）における第２基材（２１）は、接合体（２３）の溶接時の影響が少ないことに着眼し、撮像画像から接合体（２３）における第２基材（２１）を前景領域として抽出し、第２基材（２１）における溶接部（２３）の幅方向の両端側に隣接する部位に対応する領域から、溶接部（２３）に対応する領域の一部を抽出する構成を案出した。

すなわち、請求項１に記載の発明では、第１基材（２２）の一部を溶融して第１基材（２２）と第２基材（２１）とを接合した接合体（２）の撮像画像から接合体（２）における溶接部（２３）に対応する領域を抽出する画像処理装置であって、撮像画像における第２基材（２１）と推定される領域を前景初期領域とし、撮像画像における溶接部（２３）と推定される領域を背景初期領域として指定する初期領域指定手段（Ｓ１２）と、グラフカット法を用いて初期領域指定手段（Ｓ１２）にて指定した背景初期領域および前景初期領域を基準として撮像画像から第２基材（２１）に対応する領域を抽出する領域抽出手段（Ｓ１３）と、を備え、領域抽出手段（Ｓ１３）は、第２基材（２１）における溶接部（２３）の幅方向の両端側に隣接する部位に対応する領域から溶接部（２３）に対応する領域の一部を抽出することを特徴とする。

このように、接合体（２）の溶接時の影響が少ない第２基材（２１）を前景領域として撮像画像から第２基材（２１）に対応する領域を抽出し、第２基材（２１）における溶接部（２３）の幅方向の両端側に隣接する部位に対応する領域から、溶接部（２３）に対応する領域の一部（溶接部（）の幅方向の両端側の領域）を適切に抽出することで、溶接部（２３）の溶接幅を精度よく検出することが可能となる。

また、請求項２に記載の発明では、請求項１に記載の画像処理装置において、初期領域指定手段（Ｓ１２）は、撮像画像における全体領域のうち、溶接部（２３）の幅方向の両端側を含む局所領域において、背景初期領域および前景初期領域を指定し、領域抽出手段（Ｓ１３）は、グラフカット法を用いて撮像画像における局所領域から第２基材（２１）における溶接部（２３）の幅方向の両端側に隣接する部位に対応する領域から溶接部（２３）に対応する領域の一部を抽出することを特徴とする。

これによれば、撮像画像における局所領域に対してグラフカット法を適用するので、撮像画像における全体領域に対してグラフカット法を適用する場合に比べて、画像処理装置における処理時間の短縮化を図ることが可能となる。

ここで、第２基材（２１）の形状やカメラ等の撮像手段の配置形態等によって、第２基材（２１）における溶接部（２３）と隣接する部位が所定の方向に対して傾いた状態で撮像画像に表れてしまうことがあり、このことが溶接部（２３）の溶接幅の検出精度に悪影響を及ぼす可能性がある。

そこで、請求項３に記載の発明では、請求項１または２に記載の画像処理装置において、撮像画像に表れる第２基材（２１）における傾きを幾何学変換によって調整する傾き調整手段（Ｓ１１）を備えることを特徴とする。

これによれば、撮像画像に表れる第２基材（２１）における傾きによって溶接部（２３）の溶接幅の検出精度に悪影響を及ぼすことを抑制することが可能となる。

なお、この欄および特許請求の範囲で記載した各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。

第１実施形態に係る外観検査装置の全体構成図である。 第１実施形態に係る検査対象物を説明するための説明図である。 第１実施形態に係る外観検査装置におけるカメラ等の配置構成を示す図である。 第１実施形態に係る画像処理装置が実行する画像処理全体の流れを示すフローチャートである。 第１実施形態に係る画像処理装置が実行する画像処理全体の流れを説明するための説明図である。 第１実施形態に係る画像処理装置が実行する溶接部抽出処理の流れを示すフローチャートである。 第１実施形態に係る画像処理装置が実行する溶接部抽出処理の流れを説明するための説明図である。 グラフカット法による撮像画像から物体抽出の流れを説明するための説明図である。 第１実施形態に係る溶接幅の寸法の算出方法を説明するための説明図である。 従来の方法による溶接部の抽出の失敗例を説明するための説明図である。 第２実施形態に係る画像処理装置が実行する画像処理全体の流れを示すフローチャートである。 第２実施形態に係る画像処理装置が実行する画像処理全体の流れを説明するための説明図である。 第２実施形態に係る画像処理装置が実行するスキュー処理の流れを説明するための説明図である。

以下、本発明の実施形態について図に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、図中、同一符号を付してある。

（第１実施形態）
本発明の第１実施形態について図１〜図９に基づいて説明する。図１は、本実施形態に係る外観検査装置の全体構成図である。

本実施形態の外観検査装置１は、溶接により接合された接合体である検査対象物（ワーク）２における溶接部２３を撮像すると共に、撮像画像から溶接部２３を自動的に抽出し、さらに、抽出した溶接部に基づいて外観検査を実行する装置である。

外観検査装置１は、図１に示すように、検査対象物２における溶接部２３に対して光を照射する照明（光照射手段）３、溶接部２３を含むように検査対象物２を撮像するカラーカメラ（撮像手段）４、カラーカメラ４で撮像したカラー画像（撮像画像）を取り込むと共に、取り込んだカラー画像に基づいて所定の画像処理を行う画像処理装置５、画像処理装置５の処理結果等を表示するディスプレイ６等で構成されている。なお、画像処理装置５には、画像処理装置５の処理結果に応じて制御される制御機器（例えば、ロボットコントローラやプログラマブルコントローラ（ＰＬＣ））７等が接続されている。

ここで、図２は、本実施形態に係る検査対象物２を説明するための説明図である。図２（ａ）が溶接前後の検査対象物２の斜視図を示し、図２（ｂ）が溶接前後の検査対象物２の上面図を示している。

図２に示すように、本実施形態では、車載インバータ（図示略）に用いられるバスバー２１および板状の端子２２を溶接にて接合した接合体を検査対象物２としている。端子２２は、その一部がバスバー２１の上面から突き出るようにバスバー２１に隣接配置されている。

そして、端子２２の先端部分（バスバー２１の上面から突き出た部分）が溶接時に溶融され、検査対象物２の上面にバスバー２１と端子２２とを接合する溶接部２３が形成される。この溶接部２３は、その幅方向（バスバー２１および端子２２の幅方向）の両端側においてバスバー２１および端子２２に隣接するように形成される。なお、端子２２が第１基材に相当し、バスバー２１が第２基材に相当する。

本実施形態の溶接部２３は、端子２２の材質の特徴から赤みを帯びた色となっており、溶接部２３以外の背景が青みを帯びた色となっている。なお、溶接時に溶け残った端子２２の上面には、照明３から照射される光を反射する反射面２２ａが形成される。

図３は、本実施形態に係る外観検査装置１におけるカメラ４等の配置構成を示す図である。図３に示すように、外観検査装置１は、検査対象物２の上方に照明３およびカラーカメラ４が配置されている。

カラーカメラ４は、撮像素子等が内蔵された本体部４１と、接写レンズ４２等で構成されている。本実施形態のカラーカメラ４は、バスバー２１および端子２２のうちバスバー２１側から検査対象物２を撮像するように、その撮像方向が上下方向に対して所定角度θ（例えば、θ＝１５°程度）傾斜するように配置されている。

照明３は、白色のＬＥＤが検査対象物２の上面における長手方向と並行に配列された一対のバー照明３２、３３、当該バー照明３２、３３を固定するステイ３１等で構成されている。

一対のバー照明３２、３３は、検査対象物２の溶接部２３に対して光を照射するように配置されている。一対のバー照明３２、３３のうち、一方のバー照明３２は、バスバー２１上面の溶接部２３に対して光を照射するように配置され、他方のバー照明３３は、端子２２上面の溶接部２３に対して光を照射するように配置されている。なお、一方のバー照明３２は、その照射方向が上下方向に対して所定角度（例えば、４５°±１０°程度）傾斜するように配置され、他方のバー照明３３は、その照射方向が上下方向に対して所定角度（例えば、３０°±１０°程度）傾斜するように配置されている。

図１に戻り、画像処理装置５は、カラーカメラ４で撮像した撮像画像（画像データ：本例では７２０×４８０画素）を入力するための画像入力部、画像入力部に入力された撮像画像を一時的に保持する画像メモリ部、画像メモリ部から撮像画像を読み出して処理する画像処理部、画像処理部の処理結果等をディスプレイ６や制御機器７へ出力する入出力部等を有して構成されている。

画像処理部は、ＣＰＵ、ＲＯＭ、ＲＡＭ等からなる周知のマイクロコンピュータで構成されており、ＲＯＭ等に記憶された制御プログラムに基づいて、撮像画像の読み出し、各種画像処理（撮像画像から溶接部２３の抽出処理や、溶接部２３の外観検査処理等）を実行する。なお、画像処理装置５における撮像画像から溶接部２３を自動的に抽出する構成（ハードウェアおよびソフトウェア）が溶接部抽出装置を構成している。

次に、本実施形態の画像処理装置５（画像処理部）が実行する画像処理について図４、図５に基づいて説明する。本処理は、例えば、画像処理装置５の電源がオンされて起動すると開始される。なお、図４は、本実施形態に係る画像処理装置５が実行する画像処理全体の流れを示すフローチャートであり、図５は、本実施形態に係る画像処理装置５が実行する画像処理全体の流れを説明するための説明図である。

まず、カラーカメラ４にて撮像した撮像画像を入力する処理（画像入力）を行う（Ｓ１）。具体的には、カラーカメラ４にて撮像した撮像画像を画像メモリ部から読み出して、ＲＡＭの所定領域に記憶する（図５（ａ）参照）。

そして、ＲＡＭに記憶された撮像画像に表れる端子２２の反射面２２ａを撮像画像における特徴として抽出することで、撮像画像における端子２２の位置（溶接部２３の位置）を抽出する（Ｓ２）。例えば、予め検査対象物２の端子２２に形成された反射面２２ａをモデル化したテンプレートを用意し、撮像画像における当該テンプレートと一致する領域をテンプレートマッチングによって算出し、算出した位置を端子２２の基準位置（溶接部２３の基準位置）として抽出する（図５（ｂ）参照）。

次に、撮像画像から背景領域を除去して、溶接部２３に対応する前景領域を抽出する（Ｓ３）。つまり、本実施形態では、撮像画像に表れる溶接部２３を前景領域として抽出する。なお、この処理では、抽出した前景領域を白、除去した背景領域を黒とする２値画像を生成する（図５（ｃ）参照）。

ここで、溶接部抽出処理の詳細について図６、図７に基づいて説明する。図６は、本実施形態に係る画像処理装置５が実行する溶接部抽出処理の流れを示すフローチャートであり、図７は、本実施形態に係る画像処理装置が実行する溶接部抽出処理の流れを説明するための説明図である。

溶接部抽出処理（Ｓ３）では、まず、撮像画像における溶接部２３に対応する前景領域、および溶接部２３の背景に対応する背景領域と推定される推定領域を仮初期領域（仮前景初期領域および仮背景初期領域）として撮像画像に対して指定する（Ｓ３１）。

具体的には、ステップＳ２の処理にて抽出した端子２２の位置を基準として、図７（ａ）に示すように、溶接部２３に対応する前景領域と推定される領域を囲む矩形状の基準枠Ａ、基準枠Ａを所定の比で縮小した内枠Ｂ、基準枠Ａを所定の比で拡大した外枠Ｃを設定する。なお、基準枠Ａの大きさは、通常想定される前景領域が占める面積に基づいて予め決定されており、実際の溶接部２３に対応する前景領域に対してずれる場合がある。

そして、撮像画像における基準枠Ａの内側領域を前景と推定される仮前景初期領域とし、基準枠Ａの外側領域（画像から基準枠Ａで囲まれる領域を除外した領域）を背景と推定される仮背景初期領域として撮像画像に対して指定する。本実施形態では、仮前景初期領域を、基準枠Ａと内枠Ｂで囲まれる第１仮前景推定領域、および内枠Ｂで囲まれる第２仮前景推定領域に分けて指定すると共に、仮背景初期領域を、基準枠Ａと外枠Ｃで囲まれる第１仮背景推定領域、外枠Ｃの外側の第２仮背景推定領域に分けて指定する。なお、第２仮前景推定領域は、第１仮前景推定領域よりも前景である確率が高い領域として指定され、第２仮背景推定領域は、第１仮背景推定領域よりも背景である確率が高い領域として指定される。

次に、撮像画像の大きさを所定の比率で縮小した縮小画像を生成する（Ｓ３２）。この際、撮像画像の縮小に合わせて撮像画像に指定した基準枠Ａ、内枠Ｂ、外枠Ｃも、図７（ｂ）に示す基準枠Ａ´、内枠Ｂ´、外枠Ｃ´の如く縮小する。これにより、ステップＳ３１で指定した仮初期領域の指定領域も縮小する。

次に、グラフカット法を用いて、ステップＳ３２で縮小した仮初期領域（第１、第２仮前景推定領域、および第１、第２仮背景推定領域）を基準として、縮小画像から溶接部２３に対応する仮領域を抽出する（Ｓ３３）。

ここで、グラフカット法の概略について図８を用いて説明する。図８は、グラフカット法による画像から物体抽出の流れを説明する説明図である。グラフカット法では、まず、画像中の各画素を表すノードＮ、前景領域「Ｏ」を表すノードＳ、背景領域「Ｂ」を表すノードＴ、隣接する画素のノードＮ同士をつなぐリンクｎ−ｌｉｎｋ、ノードＮとノードＳとをつなぐリンクｓ−ｌｉｎｋ、およびノードＮとノードＴとをつなぐリンクｔ−ｌｉｎｋから構成されるグラフを作成する（図８（ａ）および図８（ｂ）参照）。

リンクｎ−ｌｉｎｋは、ノードが示す画素が隣接する画素と同一領域内の画素であるか否かの「確からしさ（隣接する画素との類似度）」を示すものであり、その「確からしさ」は、隣接する画素が類似している程、大きな値が設定される。なお、リンクｎ−ｌｉｎｋの「確からしさ」は、各画素の色および濃度に基づいて算出される。

リンクｓ−ｌｉｎｋは、各画素が前景領域に含まれる画素であるか否かの確からしさを示すものであり、その「確からしさ」は、前景領域に含まれている可能性が高い場合に大きな値が設定される。なお、本実施形態では、仮前景初期領域の内外等に基づいて設定される。

リンクｔ−ｌｉｎｋは、各画素が背景領域に含まれる画素であるか否かの確からしさを示すものであり、その「確からしさ」は、背景領域に含まれている可能性が高い場合に大きな値が設定される。なお、本実施形態では、仮背景初期領域の内外等に基づいて設定される。

グラフを作成した後、当該グラフ中の各リンクｎ−ｌｉｎｋ、ｓ−ｌｉｎｋ、ｔ−ｌｉｎｋにおける「確からしさ」のコスト総和が最小となるように切断し（図８（ｃ）参照）、前景領域を表すノードＳを、背景領域を表すノードＴから切り離すことで、画像における前景領域と背景領域とを分離する（図８（ｄ）参照）。

このようなグラフカット法を用いて、本実施形態では、縮小画像を溶接部２３に対応する仮領域と背景領域とに分離し、分離した仮領域を白、背景領域を黒とする２値画像を生成する（図７（ｃ）参照）。なお、グラフカット法による画像処理は、例えば、オープンソースのコンピュータビジョン向けライブラリである「ＯｐｅｎＣＶ」で提供される「ｇｒａｂＣｕｔ」を利用することで実現することができる。

次に、ステップＳ３３で生成した２値画像を膨張・収縮することで、前景領域に対応する前景初期領域、および背景領域に対応する背景初期領域を縮小画像に対して指定する（Ｓ３４）。

具体的には、図７（ｄ）に示すように、２値画像における仮領域を収縮した収縮領域を生成し、生成した収縮領域の輪郭を内枠Ｄとする。そして、仮領域を膨張した第１膨張領域を生成し、生成した第１膨張領域の輪郭を中間枠Ｅとし、第１膨張領域を再度膨張した第２膨張領域を生成し、生成した第２膨張領域の輪郭を外枠Ｆとする。

そして、縮小画像における中間枠Ｅの内側領域を前景と推定される前景初期領域とし、中間枠Ｅの外側領域（画像から中間枠Ｅで囲まれる領域を除外した領域）を背景と推定される背景初期領域として撮像画像に対して指定する。本実施形態では、縮小画像における内枠Ｄの内側領域を第１前景初期領域とし、内枠Ｄと中間枠Ｅとで囲まれる領域を第２前景初期領域として縮小画像に対して指定する。また、縮小画像における中間枠Ｅと外枠Ｆとで囲まれる領域を第１背景初期領域とし、外枠Ｆの外側領域を第２背景初期領域として縮小画像に対して指定する。なお、第２前景推定領域は、第１前景推定領域よりも前景である確率が高い領域として指定され、第２背景推定領域は、第１背景推定領域よりも背景である確率が高い領域として指定される。

次に、縮小画像の大きさを所定の比率で拡大する（Ｓ３５）。つまり、ステップＳ３２で縮小した比率で縮小画像を拡大することで、撮像画像と同じ大きさに拡大する。この際、縮小画像の拡大に合わせて縮小画像における内枠Ｄ、中間枠Ｅ、外枠Ｆも、図７（ｅ）に示す内枠Ｄ´、中間枠Ｅ´、外枠Ｆ´の如く拡大する。これにより、ステップＳ３４で指定した初期領域の指定領域も拡大する。

次に、上述のグラフカット法を用いて、ステップＳ３５で拡大した初期領域（第１、第２前景初期領域、および第１、第２背景初期領域）を基準として、撮像画像から溶接部２３に対応する前景領域を抽出する（Ｓ３６）。本実施形態では、撮像画像を溶接部２３に対応する前景領域と背景領域とに分離し、分離した前景領域を白、背景領域を黒とする２値画像を生成する（図７（ｆ）参照）。

以上のように、ステップＳ３１〜Ｓ３６の処理によって撮像画像から溶接部２３に対応する前景領域が抽出される。なお、本実施形態では、溶接部抽出処理（Ｓ３）におけるステップＳ３１の処理が仮初期領域指定手段を構成し、ステップＳ３２、Ｓ３３、Ｓ３５の処理が仮領域抽出手段を構成し、ステップＳ３４の処理が初期領域指定手段を構成し、ステップＳ３６の処理が前景領域抽出手段を構成している。なお、仮領域抽出手段を構成するステップＳ３２の処理が縮小手段を構成し、ステップＳ３３の処理が縮小領域抽出手段を構成し、ステップＳ３５の処理が拡大手段を構成している。

図４に戻り、撮像画像における端子２２の位置を基準に、ステップＳ３の溶接部抽出処理によって抽出した前景領域からバスバー２１と端子２２との境目における溶接幅を検出する（Ｓ４）。この際、図５（ｄ）に示すように、前景領域におけるバスバー２１と端子２２との境目における溶接幅を含む矩形状の局所領域を抽出する。

次に、ステップＳ４にて検出した溶接幅の寸法を算出する（Ｓ５）。このステップＳ５の処理について図９に基づいて説明する。図９は、溶接幅の寸法の算出方法を説明するための説明図である。

まず、ステップＳ３の溶接部抽出処理にて生成した２値画像から、溶接幅を含む局所領域に対応する領域を抽出する。そして、図９（ａ）に示すように、抽出した領域を左右両側から縦方向にサーチし、縦ライン毎の黒画素部分（背景画素部分）の長さ（面積）の変化に基づいて溶接幅の寸法を算出する。例えば、縦ライン毎の黒画素部分の長さが最初にゼロとなった位置（背景画素が無くなった位置）を左右両側それぞれの溶接幅の位置として検出し、左右両側それぞれの溶接幅の距離により溶接幅の寸法を算出することができる。

なお、図９（ａ）に示す方法に限らず、例えば、図９（ｂ）に示すように、縦ライン毎の黒画素部分における中央位置の変化に基づいて溶接幅の寸法を算出するようにしてもよい。この場合には、例えば、縦ライン毎の黒画素部分の中央位置における変化率が最も大きい位置を左右両側それぞれの溶接幅の位置として検出することができる。

図４に戻り、ステップＳ５にて算出した溶接幅の寸法と予め定められた基準寸法とを比較して、溶接部の良否を判定する良否判定処理を行う（Ｓ６）。例えば、溶接幅の寸法と基準寸法との差が所定値以内であれば「良」と判定し、溶接幅の寸法と基準寸法との差が所定値を越えている場合に「不良」と判定する。

以上説明した本実施形態によれば、グラフカット法を用いて撮像画像から溶接部２３に対応する仮領域を抽出し、当該仮領域を膨張させた膨張領域および収縮させた収縮領域を、前景領域を抽出する際の基準となる初期領域（前景初期領域および背景初期領域）とするので、単に予め定めた初期領域を基準として前景領域を抽出する場合に比べて、実際の前景領域に近い初期領域を設定することができる。これにより、溶接部２３に対応する前景領域の抽出精度を向上させることができ、ひいては、溶接部２３の外観検査の全自動化を図ることが可能となる。

また、撮像画像を縮小した縮小画像を用いて仮領域を抽出するので、仮領域を抽出する際に要する処理時間の短縮を図ることができる。さらに、撮像画像の縮小処理および拡大処理によって仮領域を平滑化することができるので、ノイズ等による前景領域の抽出精度への影響を抑制することができる。

（第２実施形態）
次に、本発明の第２実施形態について図１１〜図１３に基づいて説明する。

本実施形態では、検査対象物２である接合体におけるバスバー（第２基材）２１が、端子（第１基材）２２や溶接部２３に比べて、接合体の溶接時の影響が少ないことに着眼し、撮像画像から検査対象物２におけるバスバー２１を前景領域として抽出し、バスバー２１における溶接部２３の幅方向の両端側に隣接する部位に対応する領域から、溶接部２３に対応する領域の一部（溶接部２３の幅方向の両端側の領域）を抽出する構成としている。なお、本実施形態の外観検査装置１の主要構成は、第１実施形態と同様であるため、第１実施形態と同様または均等な部分についての説明を省略、または簡略化して説明する。

図１１は、本実施形態に係る画像処理装置５が実行する画像処理全体の流れを示すフローチャートであり、図１２は、本実施形態に係る画像処理装置５が実行する画像処理全体の流れを説明するための説明図である。

図１１、図１２に示すように、画像処理装置５は、撮像手段であるカラーカメラ４にて撮像した撮像画像を入力する処理（画像入力）を行う（Ｓ１０）。つまり、カラーカメラ４にて撮像した撮像画像を画像メモリ部から読み出して、ＲＡＭの所定領域に記憶する（図１２（ａ）参照）。

ここで、バスバー２１の形状やカラーカメラ４の配置形態等によって、バスバー２１における溶接部２３と隣接する部位が所定の方向に対して傾いた状態で撮像画像に表れてしまうことがあり、このことが溶接部２３の溶接幅の検出精度に悪影響を及ぼす可能性がある。

このため、本実施形態では、ステップＳ１０にて入力された撮像画像に表れるバスバー２１の傾きを幾何学変換によって調整するスキュー処理を行う（Ｓ１１）。本実施形態のスキュー処理では、撮像画像に表れるバスバー２１のうち、溶接部２３の幅方向の両端側に隣接する部位が画像の水平方向と平行となるようにバスバー２１の傾きを調整する（図１２（ｂ）参照）。

本実施形態の画像処理装置５が実行するスキュー処理について図１３に基づいて説明する。なお、図１３は、本実施形態に係る画像処理装置が実行するスキュー処理を説明するための説明図である。

本実施形態のスキュー処理では、撮像画像に表れるバスバー２１のうち、溶接部２３の幅方向の両端側に隣接する部位のエッジを検出し、当該エッジの水平方向に対する傾斜角度α、βを算出する（図１３（ａ）参照）。

例えば、撮像画像におけるＸ部分については、撮像画像に表れるバスバー２１における溶接部２３の幅方向の左端側に隣接する部位のエッジを検出して、当該エッジの水平方向に対する傾斜角度αを算出する（図１３（ｂ）参照）。なお、エッジの検出に関しては、例えば、撮像画像における垂直方向および水平方向の各走査ラインで輝度を投影し、各方向における輝度投影の分布が交差する交点をエッジ点とするエッジ検出処理等を用いることができる。

そして、撮像画像の左側領域に対して、エッジの水平方向に対する傾斜角度αを用いて幾何学変換を行うことで、撮像画像に表れるバスバー２１における溶接部２３の幅方向の左端側に隣接する部位を水平方向と平行となるように変換する（図１３（ｃ）参照）。なお、撮像画像の右側領域についても、エッジの水平方向に対する傾斜角度βを用いて幾何学変換を行うことで、撮像画像に表れるバスバー２１における溶接部２３の幅方向の右端側に隣接する部位を水平方向と平行となるように変換する。

次に、ステップＳ１１にてスキュー処理を行った撮像画像に対して初期領域を指定する（Ｓ１２）。本実施形態では、撮像画像におけるバスバー２１と推定される領域を前景初期領域として指定すると共に、溶接部２３と推定される領域を背景初期領域として指定する。

具体的には、まず、図１２（ｃ）に示すように、撮像画像における全体領域のうち、溶接部２３の幅方向の両端側を含む左右の領域を局所領域として指定する。なお、各局所領域の指定は、ステップＳ１１にて検出したバスバー２１のエッジや、溶接部２３の幅方向の両端側を含むと想定される領域を基準とすればよい。

そして、各局所領域において、図１２（ｂ）に示すように、バスバー２１と推定される領域を囲む矩形状の基準枠Ｇ１、Ｇ２、および基準枠Ｇ１、Ｇ２を所定の比で縮小した内枠Ｈ１、Ｈ２を設定すると共に、溶接部２３と推定される領域を囲む矩形状の基準枠Ｉ１、Ｉ２、および基準枠Ｉ１、Ｉ２を所定の比で縮小した内枠Ｊ１、Ｊ２を設定する。そして、撮像画像における基準枠Ｇ１、Ｇ２の内側領域を前景初期領域とし、基準枠Ｉ１、Ｉ２の内側領域を背景初期領域として撮像画像に対して指定する。

ここで、本実施形態では、前景初期領域を、基準枠Ｇ１、Ｇ２と内枠Ｈ１、Ｈ２で囲まれる第１前景初期領域、および内枠Ｈ１、Ｈ２で囲まれる第２前景初期領域に分けて指定する。また、背景初期領域を、基準枠Ｉ１、Ｉ２と内枠Ｊ１、Ｊ２で囲まれる第１背景初期領域、内枠Ｊ１、Ｊ２で囲まれる第２背景初期領域に分けて指定する。なお、第２前景初期領域は、第１前景初期領域よりも前景である確率が高い領域として指定され、第２背景初期領域は、第１背景初期領域よりも背景である確率が高い領域として指定される。

次に、グラフカット法を用いて、ステップＳ１２で指定した前景初期領域（第１、第２前景初期領域）および背景初期領域（第１、第２背景初期領域）を基準として、撮像画像の各局所領域からバスバー２１に対応する領域を抽出する（Ｓ１３）。

この際、バスバー２１における溶接部２３の幅方向の両端側に隣接する部位に対応する領域（輪郭）は、溶接部２３の幅方向における領域（輪郭）とみなすことができる。このため、バスバー２１における溶接部２３の幅方向の両端側に隣接する部位に対応する領域から溶接部２３の幅方向の両端側の領域（輪郭）を溶接部２３に対応する領域の一部として抽出することができる。

なお、ステップＳ１３の処理では、抽出した前景領域を白、除去した背景領域を黒とする２値画像を生成する（図１２（ｅ）参照）。つまり、撮像画像の各局所領域において白部分がバスバー２１に対応する領域となり、黒部分が溶接部２３に対応する領域となる。従って、図１２（ｅ）における白部分と黒部分との境界から、溶接部２３の幅方向の両端側の領域（輪郭）を溶接部２３に対応する領域の一部として抽出することができる。

次に、各局所領域から抽出した溶接部２３の幅方向の両端側の領域（輪郭）から溶接幅の寸法を検出する（Ｓ１４）。例えば、各局所領域において、垂直方向の走査ライン毎の黒画素部分の長さが最初にゼロとなった位置（溶接部２３を示す画素が無くなった位置）を左右両側それぞれの溶接幅の位置（左側端部、右側端部）として検出し（図１２（ｆ）参照）、左右両側それぞれの溶接幅の距離により溶接幅の寸法を算出することができる。

次に、ステップＳ１４にて算出した溶接幅の寸法と、予め定められた基準寸法とを比較して、溶接部２３の良否を判定する良否判定処理を行う（Ｓ１５）。例えば、溶接幅の寸法と基準寸法との差が所定値以内であれば「良」と判定し、溶接幅の寸法と基準寸法との差が所定値を越えている場合に「不良」と判定する。

ここで、本実施形態では、ステップＳ１１のスキュー処理が傾き調整手段を構成している。また、ステップＳ１２の処理が初期領域指定手段を構成し、ステップＳ１３の処理が領域抽出手段を構成している。

以上説明した本実施形態では、検査対象物２である接合体におけるバスバー２１が、端子２２や溶接部２３に比べて、接合体の溶接時の影響が少ないことに着眼し、撮像画像からバスバー２１を前景領域として抽出して、バスバー２１における溶接部２３の幅方向の両端側に隣接する部位に対応する領域から、溶接部２３に対応する領域の一部（溶接部２３の幅方向の輪郭）を抽出する構成としている。

このように、接合体の溶接時の影響が少ないバスバー２１を前景領域として撮像画像から抽出して、溶接部２３に対応する領域の一部（溶接部２３の幅方向の両端側の領域）を適切に抽出することで、溶接部２３の溶接幅を精度よく検出することが可能となる。

また、本実施形態では、撮像画像における全体領域のうち、溶接部２３の幅方向の両端側を含む局所領域において、背景初期領域および前景初期領域を指定すると共に、グラフカット法を用いて撮像画像における局所領域からバスバー２１における溶接部２３の幅方向の両端側に隣接する部位に対応する領域から溶接部２３に対応する領域の一部を抽出する構成としている。

これにより、撮像画像における局所領域に対してグラフカット法を適用するので、撮像画像における全体領域に対してグラフカット法を適用する場合に比べて、画像処理装置に５おける処理時間の短縮化を図ることが可能となる。

さらに、本実施形態では、撮像画像に表れるバスバー２１における傾きを幾何学変換によって調整する構成としている。これにより、撮像画像に表れるバスバー２１における傾きによって溶接部２３の溶接幅の検出精度に悪影響を及ぼすことを抑制することが可能となる。

（他の実施形態）
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、各請求項に記載した範囲を逸脱しない限り、各請求項の記載文言に限定されず、当業者がそれらから容易に置き換えられる範囲にも及び、かつ、当業者が通常有する知識に基づく改良を適宜付加することができる。例えば、以下のように種々変形可能である。

（１）上述の各実施形態では、グラフカット法により画像から所定の領域を抽出する際の初期領域を、第１、第２前景初期領域、第１、第２背景初期領域といった４段階で設定しているが、これに限定されず、例えば、初期領域として、前景初期領域、背景初期領域といった２段階で設定したり、４段階以上に設定したりしてもよい。

（２）上述の第１実施形態の如く、仮領域を抽出する際には、画像の縮小処理および拡大処理を行うことが望ましいが、これに限定されず、画像の縮小処理および拡大処理を省略してもよい。

（３）上述の第１実施形態では、端子位置をテンプレートマッチングによって算出し、算出した位置を溶接部２３の基準位置を抽出する例について説明したが、これに限定されず、テンプレートマッチング以外の他の手法によって端子位置を算出してもよい。また、撮像画像における端子２２の反射面２２ａ以外の特徴を用いて、当該特徴の位置に基づいて溶接部２３の基準位置を抽出してもよい。

（４）上述の第１実施形態では、検査対象物２の外観検査として、溶接部２３の溶接幅の寸法による溶接部２３の良否判定を行う例について説明したが、これに限定されず、例えば、検査対象物２の外観検査として、溶接部２３に対応する前景領域の面積や形状等により溶接部２３の良否判定を行うようにしてもよい。

（５）上述の第２実施形態のように、撮像画像に対してスキュー処理を行うことが好ましいが、スキュー処理を省略して画像処理装置５における処理の高速化を図るようにしてもよい。また、スキュー処理における幾何学変換は、バスバー２１におけるエッジの傾斜角度によらず、予め定められた傾斜角度等の各種パラメータを用いるようにしてもよい。

（６）上述の第２実施形態のように、画像処理装置５における処理の高速化を図るために、撮像画像に対して局所領域を設け、当該局所領域においてグラフカット法による領域抽出処理を行うことが好ましいが、これに限定されず、撮像画像の全体領域においてグラフカット法による領域抽出処理を行うようにしてもよい。

（７）上述の各実施形態では、検査対象物２として車載インバータに用いられるバスバー２１および端子２２の接合体を採用した例を説明したが、これに限定されず、溶接にて接合された他の接合体を検査対象物２として採用することができる。

（８）上述の各実施形態は、可能な範囲で適宜組み合わせて用いるようにしてもよい。

２ 検査対象物（接合体）
２１ バスバー（第２基材）
２２ 端子（第１基材）
２３ 溶接部
Ｓ３１ 仮初期領域指定手段
Ｓ３２ 縮小手段（仮領域抽出手段）
Ｓ３３ 縮小領域抽出手段（仮領域抽出手段）
Ｓ３４ 初期領域指定手段
Ｓ３５ 拡大手段（仮領域抽出手段）
Ｓ３６ 前景領域抽出手段
Ｓ１２ 初期領域指定手段
Ｓ１３ 領域抽出手段

Claims (3)

1. 第１基材（２２）の一部を溶融して前記第１基材（２２）と第２基材（２１）とを接合した接合体（２）の撮像画像から前記接合体（２）における溶接部（２３）に対応する領域を抽出する画像処理装置であって、
   前記撮像画像における前記第２基材（２１）と推定される領域を前景初期領域とし、前記撮像画像における前記溶接部（２３）と推定される領域を背景初期領域として指定する初期領域指定手段（Ｓ１２）と、
   グラフカット法を用いて前記初期領域指定手段（Ｓ１２）にて指定した前記背景初期領域および前記前景初期領域を基準として前記撮像画像から前記第２基材（２１）に対応する領域を抽出する領域抽出手段（Ｓ１３）と、を備え、
   前記領域抽出手段（Ｓ１３）は、前記第２基材（２１）における前記溶接部（２３）の幅方向の両端側に隣接する部位に対応する領域から前記溶接部（２３）に対応する領域の一部を抽出することを特徴とする画像処理装置。
2. 前記初期領域指定手段（Ｓ１２）は、前記撮像画像における全体領域のうち、前記溶接部（２３）の幅方向の両端側を含む局所領域において、前記背景初期領域および前記前景初期領域を指定し、
   前記領域抽出手段（Ｓ１３）は、前記グラフカット法を用いて前記撮像画像における前記局所領域から前記第２基材（２１）における前記溶接部（２３）の幅方向の両端側に隣接する部位に対応する領域から前記溶接部（２３）に対応する領域の一部を抽出することを特徴とする請求項１に記載の画像処理装置。
3. 前記撮像画像に表れる前記第２基材（２１）における傾きを幾何学変換によって調整する傾き調整手段（Ｓ１１）を備えることを特徴とする請求項１または２に記載の画像処理装置。