JPH0554127A

JPH0554127A - 視覚認識装置

Info

Publication number: JPH0554127A
Application number: JP3237108A
Authority: JP
Inventors: Satoshi Yoneda; 聡米田
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 1991-08-22
Filing date: 1991-08-22
Publication date: 1993-03-05
Anticipated expiration: 2013-12-24
Also published as: JP2841961B2

Abstract

(57)【要約】【目的】たとえ対象物の位置や姿勢が変化しても、計測
精度を低下させることなく、高精度の検査を可能とす
る。【構成】広い観測視野を有するテレビカメラ１Ａと拡大
された観測視野を有する高解像度のテレビカメラ１Ｂと
を備える。画像処理装置２のＣＰＵ１３は計測部１２と
ともに第１のテレビカメラ１Ａからの対象物の画像の位
置ずれ量を計測した後、その位置ずれ量を第２のテレビ
カメラ１Ｂからの対象物の画像の位置ずれ量に換算す
る。計測部１１は第１のテレビカメラ１Ｂからの画像の
濃度平均値を計測して第２のテレビカメラ１Ｂからの画
像についての２値化しきい値の補正値を算出する。ＣＰ
Ｕ１３は第２のテレビカメラ１Ｂからの画像に対し、換
算された位置ずれ量だけ計測領域の設定位置を変更して
所定の計測処理を行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、たとえば工場などの
製造または検査ラインに設置され、製品の外観や形状な
どを検査するのに用いられる視覚認識装置に関する。

【０００２】

【従来の技術】一般に視覚認識装置は、テレビカメラに
より対象物を撮像して得られた画像信号を画像処理装置
に取り込んで２値化などの前処理を行った後、その２値
画像につき面積，重心，主軸角などの特徴量を計測し、
その計測値とあらかじめ設定された基準値とを比較する
ことにより、対象物の外観や形状などを判別するもので
ある。前記画像処理装置では、２値画像の着目部分に対
し、計測領域を指定するためのウィンドウを設定し、そ
のウィンドウ内の画像部分につき、特徴量の計測を行う
のが通常である。

【０００３】

【発明が解決しようとする課題】しかしながら対象物は
ベルトコンベヤなどで観測位置に搬送されてくるため、
搬送途中で対象物の位置や姿勢が変化し、対象物がテレ
ビカメラの観測視野から外れたり、対象物の画像の着目
部分が前記ウィンドウからはみ出たりするなどの虞があ
る。そこでテレビカメラの観測視野を十分に広く設定す
るとともに、対象物の画像の移動量を求めてその移動量
だけウィンドウの設定位置を変更しているが、テレビカ
メラの観測視野が広く設定されるため、計測精度が低下
し、高精度の検査が不可能となる。

【０００４】この発明は、上記問題に着目してなされた
もので、たとえ対象物の位置や姿勢が変化しても、計測
精度を低下させることなく、高精度の検査を可能とした
視覚認識装置を提供することを目的とする。

【０００５】

【課題を解決するための手段】上記目的を達成するた
め、この発明の視覚認識装置では、対象物の全体を観測
視野内に含めることが可能な第１の撮像手段と、対象物
の着目部分のみを観測視野内に含めることが可能な第１
の撮像手段より高解像度の第２の撮像手段と、第１の撮
像手段により得られた対象物の画像の位置ずれ量を算出
する位置ずれ算出手段と、第１の撮像手段により得られ
た画像から第２の撮像手段により得られた画像を処理す
るためのパラメータの補正値を算出する補正値算出手段
と、第１の撮像手段により得られる画像の座標と第２の
撮像手段により得られる画像の座標との寸法比率を用い
て前記位置ずれ算出手段で算出された位置ずれ量を第２
の撮像手段により得られた対象物の画像の位置ずれ量に
換算する位置ずれ換算手段と、第２の撮像手段により得
られた画像を前記補正値算出手段で算出された補正値に
より処理する画像処理手段と、第２の撮像手段により得
られた画像に対し、前記位置ずれ換算手段で換算された
位置ずれ量だけ計測領域の設定位置を変更して所定の計
測処理を行う計測処理手段とを具備させている。

【０００６】

【作用】広い観測視野を有する第１の撮像手段からの画
像により対象物の位置ずれ量を計測し、その計測値から
高解像度を有する第２の撮像手段からの画像の位置ずれ
量を換算してウィンドウの設定位置を変更し、所定の計
測処理を行うので、たとえ対象物の位置や姿勢が変化し
ても、計測精度を低下させることなく、高精度の検査が
可能となる。しかも第１の撮像手段で得られた画像によ
り画像処理用のパラメータの補正値を算出してその補正
値により第２の撮像手段で得られた画像を処理するの
で、たとえ照明変動などがあっても、安定した計測が可
能であり、検査ミスの発生頻度が減少する。

【０００７】

【実施例】図１は、この発明の一実施例にかかる視覚認
識装置の外観を示すもので、２台のテレビカメラ１Ａ，
１Ｂと画像処理装置２とモニタテレビ３とを備えてい
る。図示例の視覚認識装置は、対象物４の表面に印刷さ
れた文字Ａにつき、印刷のかすれや欠けなどを検査する
ものであるが、この発明の視覚認識装置は、これに限ら
ず、対象物の種類や形状などの検査にも用いることがで
きる。

【０００８】各対象物４はベルトコンベヤ５上に一定間
隔毎に並び、搬送路沿いの所定の検査位置へ順次搬送さ
れてくる。この検査位置の上方には図示しない照明装置
と各テレビカメラ１Ａ，１Ｂとが下方に向けて配置さ
れ、各テレビカメラ１Ａ，１Ｂは、検査時、対象物４を
同時に撮像して濃淡画像信号を生成する。

【０００９】第２のテレビカメラ１Ｂは第１のテレビカ
メラ１Ａより高解像度のものであって、第１のテレビカ
メラ１Ａは対象物４の全体が含まれるよう広い観測視野
に設定され、また第２のテレビカメラ１Ｂは対象物４の
着目部分、すなわちこの実施例では文字Ａの部分のみが
含まれるよう拡大された狭い観測視野に設定される。な
お、検査位置の近傍には対象物４が検査位置に到達した
ことを検知する光電センサなどより成る物体検知センサ
が設けられている。

【００１０】第１，第２の各テレビカメラ１Ａ，１Ｂお
よび物体検知センサは画像処理装置２に接続され、各テ
レビカメラ１Ａ，１Ｂにより得られた濃淡画像信号が画
像処理装置２に取り込まれて所定の計測および認識処理
が行われる。

【００１１】図２は、前記画像処理装置２の回路構成例
を示す。この画像処理装置２において、各Ａ／Ｄ変換器
６Ａ，６Ｂは各テレビカメラ１Ａ，１Ｂからの濃淡画像
信号をディジタル化して表示制御部７やそれぞれの２値
化回路８Ａ，８Ｂなどへ出力する。各２値化回路８Ａ，
８Ｂは、ディジタル量の濃淡画像信号を所定の２値化し
きい値で２値化処理し、その２値画像を画像メモリ９に
記憶させ、あるいは計測部１２へ出力する。なお他の画
像メモリ１０は第１のテレビカメラ１Ａからの濃淡画像
を記憶させるためのものである。

【００１２】一方の計測部１１は第１のテレビカメラ１
Ａからの濃淡画像につき後記する濃度平均値を計測し、
他方の計測部１２はＣＰＵ１３とともに前記２値画像に
つき面積，重心，主軸角などの特徴量を計測する。ＣＰ
Ｕ１３は制御・演算の主体であって、プログラムが格納
されるＲＯＭ１４と、各種データを記憶させるＲＡＭ１
５とでマイクロコンピュータを構成する。前記ＲＡＭ１
５には認識のための基準値の他に、第１のテレビカメラ
１Ａにより得られる画像の座標と第２のテレビカメラ１
Ｂにより得られる画像の座標との寸法比ｋ（詳細は後述
する）などが記憶される。

【００１３】３個のウィンドウメモリ１６，１７，１８
のうち、第１のウィンドウメモリ１６には第１のテレビ
カメラ１Ａによる２値画像に対し特徴量の計測領域を指
定するためのウィンドウデータが、第２のウィンドウメ
モリ１７には第１のテレビカメラ１Ａによる濃淡画像に
対し濃度平均値の計測領域を指定するためのウィンドウ
データが、第３のウィンドウメモリ１８には第２のテレ
ビカメラ１Ｂによる２値画像に対し特徴量の計測領域を
指定するためのウィンドウデータが、それぞれＣＰＵ１
３により書き込まれる。

【００１４】図３は第１のテレビカメラ１Ａにより得ら
れた２値画像２０を示すもので、この２値画像２０には
特徴量の計測領域を指定するための矩形状のウィンドウ
Ｗ１が設定されている。同図中、２１は対象物４の画像
部分であって、前記ウィンドウＷ１はこの画像部分２１
を余裕をもって含むように画面のほぼ全体にわたり設け
られる。

【００１５】図４は第１のテレビカメラ１Ａにより得ら
れた濃淡画像２２を示すもので、この濃淡画像２２には
濃度平均値の計測領域を指定するための矩形状のウィン
ドウＷ２が設定されている。同図中、２３は対象物４の
画像部分、２４は背景の画像部分であって、前記ウィン
ドウＷ２は対象物４の画像部分２３より十分に離れた背
景の画像部分２４に小さく設けられる。

【００１６】図５は第２のテレビカメラ１Ｂにより得ら
れた２値画像２５を示すもので、この２値画像２５には
特徴量の計測領域を指定するための矩形状のウィンドウ
Ｗ３が設定されている。同図中、２６は対象物４の表面
に印刷された文字Ａの画像部分であって、前記ウィンド
ウＷ３はこの画像部分２６を含むように適当な大きさに
設けられる。

【００１７】図２に戻って、表示制御部７は濃淡画像信
号，２値画像信号，ウィンドウデータのいずれかを選択
して表示データを生成する。この表示データはＤ／Ａ変
換器１９でアナログ化されて前記ビデオモニタ３へ出力
される。

【００１８】図６は、検査工程に先立って実施される設
定工程についてのＣＰＵ１３の制御手順を示す。まず同
図のスタート時点において、良品サンプルとしての対象
物４を観測位置に位置決めして配置した後、ステップ１
（図中「ＳＴ１」で示す）でＣＰＵ１３は第１のテレビ
カメラ１Ａにより撮像された前記対象物４の画像を画像
処理装置２へ出力させる。この濃淡画像信号は画像処理
装置２のＡ／Ｄ変換器６Ａでディジタル化された後、そ
の濃淡画像は画像メモリ１０に、２値化回路８Ａより出
力された２値画像は画像メモリ９に、それぞれ格納され
る（図３および図４参照）。

【００１９】つぎにＣＰＵ１３は、２値画像２０に対し
第１のウィンドウＷ１を設定して、計測部１２とともに
対象物の画像部分２１の重心位置Ｇ０を計測する（ステ
ップ２，３）。つぎのステップ４でＣＰＵ１３は、キャ
リブレーションを実施して、第１のテレビカメラ１Ａの
キャリブレーション値、すなわち１画素当たりの寸法を
算出する。

【００２０】つぎにＣＰＵ１３は、濃淡画像２２に対し
第２のウィンドウＷ２を設定して、計測部１１により前
記ウィンドウＷ２内に含まれる画素の濃度平均値Ａ０を
計測させ、その計測値をＲＡＭ１５に登録しておく（ス
テップ５，６）。

【００２１】つぎのステップ７でＣＰＵ１３は第２のテ
レビカメラ１Ｂにより撮像された前記対象物４の文字Ａ
の部分が拡大された画像を画像処理装置２へ出力させ
る。この濃淡画像信号は画像処理装置２のＡ／Ｄ変換器
６Ｂでディジタル化されかつ２値化回路８Ｂで２値化処
理された後、画像メモリ９に格納される（図５参照）。

【００２２】つぎにＣＰＵ１３は、２値画像２５に対し
第３のウィンドウＷ３を設定して、計測部１２とともに
文字Ａの画像部分２６の面積Ｓ０を計測し、その計測値
を判別のための基準値としてＲＡＭ１５に登録しておく
（ステップ８，９）。つぎにＣＰＵ１３は、キャリブレ
ーションを実施して、第２のテレビカメラ１Ｂのキャリ
ブレーション値、すなわち１画素当たりの寸法を算出し
た後、第１のテレビカメラ１Ａのキャリブレーション値
と第２のテレビカメラ１Ｂのキャリブレーション値との
関係（寸法比ｋ）を算出してＲＡＭ１５に記憶させる
（ステップ１０，ステップ１１）。たとえば第１のテレ
ビカメラ１Ａのキャリブレーション値（１画素当たりの
寸法）が１ｍｍ／画素、第２のテレビカメラ１Ｂのキャ
リブレーション値が０．２ｍｍ／画素である場合、前記
の寸法比ｋは５：１である。

【００２３】図７は、上記設定工程が完了した後に実施
される検査工程についてのＣＰＵ１３の制御手順を示
し、また図８は、この検査工程におけるタイムチャート
を示している。図７のスタート時点において、検査対象
としての対象物４がベルトコンベヤ５により観測位置に
搬送されてくると、物体検知センサが検知信号を出力
し、この検知信号入力を計測トリガとしてＣＰＵ１３は
第１，第２の両テレビカメラ１Ａ，１Ｂにより同時撮像
された対象物４の画像を画像処理装置２へ出力させる。

【００２４】これら画像の１フレーム分の濃淡画像信号
Ｖｄ１，Ｖｄ２は画像処理装置２のＡ／Ｄ変換器６Ａ，
６Ｂでそれぞれディジタル化された後、第１のテレビカ
メラ１Ａからの濃淡画像信号は一方の計測部１１へ、２
値化回路８Ａを経た２値画像信号は他方の計測部１２
へ、それぞれ出力されて所定の計測処理が行われ、また
第２のテレビカメラ１Ｂからの２値化回路８Ｂを経た２
値画像信号は画像メモリ９へ出力されて記憶される（ス
テップ１〜３）。

【００２５】このステップ２，３では、ＣＰＵ１３は第
１のテレビカメラ１Ａからの２値画像２０に対して第１
のウィンドウＷ１を設定して計測部１２とともに対象物
の画像部分（図３では点線で示す）の重心位置Ｇ１を計
測した後、前記重心位置Ｇ０との差を位置ずれ量Δ
Ｘ_G，ΔＹ_Gとして算出し、さらにこの位置ずれ量を前
記寸法比ｋを用いて第２のテレビカメラ１Ｂより得られ
た画像の位置ずれ量Ｘ_W，Ｙ_W（図５参照）に換算す
る。たとえば寸法比ｋが５：１であれば、前記位置ずれ
量Ｘ_W，Ｙ_WはＸ_W＝５×ΔＸ_G，Ｙ_W＝５×ΔＹ_Gと
なる。

【００２６】また同じステップ２，３では前記の位置ず
れ計測と平行してＣＰＵ１３は第１のテレビカメラ１Ａ
からの濃淡画像２２に対して第２のウィンドウＷ２を設
定して計測部１１により前記ウィンドウＷ２内に含まれ
る画素の濃度平均値Ａ１を計測させた後、前記濃度平均
値Ａ０との差を照明変動などに起因する濃度変化量ΔＡ
（＝Ａ０−Ａ１）として算出する。

【００２７】こうして位置ずれ量および濃度変化量が計
測されると、つぎにＣＰＵ１３は、垂直ブランキング期
間内に第３のウィンドウＷ３の設定位置を前記位置ずれ
量Ｘ_W，Ｙ_Wだけ移動させるとともに、２値化回路８
Ａ，８Ｂの２値化しきい値を前記濃度変化量ΔＡだけ修
正する（ステップ４）。

【００２８】つぎにＣＰＵ１３は、つぎのフレーム期間
において、第２のテレビカメラ１Ｂからの２値画像２５
に対し移動後の第３のウィンドウＷ３を設定して、計測
部１２とともに文字Ａの画像部分２６の面積Ｓ１を計測
し、その計測値を前記基準値Ｓ１と比較して文字Ａのか
すれや欠けの有無を判定する（ステップ５，６）。同様
の手順を次々に搬送されてくる対象物４に対して実施し
て、計測処理および判定処理を実行し、すべての対象物
４の処理が完了したとき、ステップ７の判定が「ＹＥ
Ｓ」となって検査工程を終了させる。

【００２９】

【発明の効果】この発明は上記の如く、広い観測視野を
有する第１の撮像手段からの画像により対象物の位置ず
れ量を計測し、その計測値から高解像度を有する第２の
撮像手段からの画像の位置ずれ量を換算してウィンドウ
の設定位置を変更し、所定の計測処理を行うようにした
から、たとえ対象物の位置や姿勢が変化しても、計測精
度を低下させることなく、高精度の検査が可能となる。
しかも第１の撮像手段で得られた画像により画像処理用
のパラメータの補正値を算出してその補正値により第２
の撮像手段で得られた画像を処理するから、たとえ照明
変動などがあっても、安定した計測が可能であり、検査
ミスの頻度を減少させることができるなど、顕著な効果
を奏する。

【図面の簡単な説明】

【図１】この発明の一実施例にかかる視覚認識装置の外
観を示す斜面図である。

【図２】画像処理装置の回路構成例を示すブロック図で
ある。

【図３】第１のテレビカメラからの２値画像を示す説明
図である。

【図４】第１のテレビカメラからの濃淡画像を示す説明
図である。

【図５】第２のテレビカメラからの２値画像を示す説明
図である。

【図６】設定工程の制御手順を示すフローチャートであ
る。

【図７】検査工程の制御手順を示すフローチャートであ
る。

【図８】検査工程における時間的流れを示すタイムチャ
ートである。

【符号の説明】

１Ａ，１Ｂテレビカメラ２画像処理装置８Ａ，８Ｂ２値化回路９，１０画像メモリ１１，１２計測部１３ＣＰＵ１６，１７，１８ウィンドウメモリ

Claims

【特許請求の範囲】

【請求項１】対象物の全体を観測視野内に含めること
が可能な第１の撮像手段と、対象物の着目部分のみを観測視野内に含めることが可能
な第１の撮像手段より高解像度の第２の撮像手段と、第１の撮像手段により得られた対象物の画像の位置ずれ
量を算出する位置ずれ算出手段と、第１の撮像手段により得られた画像から第２の撮像手段
により得られた画像を処理するためのパラメータの補正
値を算出する補正値算出手段と、第１の撮像手段により得られる画像の座標と第２の撮像
手段により得られる画像の座標との寸法比率を用いて前
記位置ずれ算出手段で算出された位置ずれ量を第２の撮
像手段により得られた対象物の画像の位置ずれ量に換算
する位置ずれ換算手段と、第２の撮像手段により得られた画像を前記補正値算出手
段で算出された補正値により処理する画像処理手段と、第２の撮像手段により得られた画像に対し、前記位置ず
れ換算手段で換算された位置ずれ量だけ計測領域の設定
位置を変更して所定の計測処理を行う計測処理手段とを
備えて成る視覚認識装置。