JP2511953B2 - 画像処理方法及び装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、撮像手段によって生成された画像データを
処理する方法及び装置に関する。

〔従来の技術〕

TVカメル等の撮像手段を用いて物品等の対象物を撮影
し、得られた画像及びこの画像を電気信号に変換してな
る画像データに基づいて、当該対象物の形状良否等を検
査する方法、装置はこれまでに多数提案されている。

このような画像処理方法及び装置において、処理すべ
き画像データ量の減少，処理の迅速化、装置の低コスト
化を図るため、画像の一部を特定し、この特定された部
分領域（ウインドウと称する）についてのみ画像処理を
実行する方法及び装置が提案されている（特開昭59−90
176号）。これによれば、対象物の画像に対してウイン
ドウを適切に設定することにより、ウインドウ部分につ
いての画像処理に基づいて当該対象物に対し必要な検査
ができる。

また、ウインドウを用いる画像処理方法、装置の改良
として、対象物全体の画像を複数に分割して撮像し、各
々の分割領域について必要な画像処理を実行し、これら
の結果を総合することにより、対象物に対して判定を行
なうものが提案されている（特開昭61−36882号）。こ
れによれば、分割画像に対応する判定基準を予め分割し
てメモリに格納しておき、分割画像毎に、分割された判
定基準と対応させて所定の画像処理、判定を行なう。上
記提案によれば、これらの分割された画像処理を時分割
的に順次行ない、それらを総合して判定結果を得るもの
であり、現有のTVカメラで高分解能特性を安価かつ容易
に行ない得るとされている。

〔発明が解決しようとする問題点〕

画像処理技術の進展に伴つて、画像処理に対するニー
ズも高まつてきており、従来にも増して複雑かつ多岐に
わたる検査項目の判定をより一層簡単に行ないたいとい
う要求が生まれている。

この種画像処理において、人間と画像処理装置との接
点となる部分が特に重要であり、この接点部分の改良な
くしては、いかに処理装置自体を改良、進歩させたとし
ても、上述の要求に応えることはできない。具体例を挙
げれば、画像処理の開始に先立つて、対象物の画像上で
ウインドウを設定すべき部分（場所）及びその部分にお
ける画像の判定基準を決定し、画像処理装置にそれらを
セツトする（教示元はテイーチンクと称する）作業が必
要である。この表示部には、どのような手段を用いよう
と、究極的には人間が画像上の所定部分を選び、かつ判
定基準を装置に対して入力する作業が欠かせない。同様
の作業は、画像処理装置のメンテナンス時、あるいは、
異なる対象物に対象を変更するときに必要となる。

上記従来技術においては、このような点については何
ら配慮されていない。そのためには、画像処理装置を実
際に使用する立場から見ると、改善すべき点が多々あつ
た。

本発明の目的は、この点に鑑み、使用者にとつて操作
が簡単な画像処理方法及び装置を提供することにある。

本発明の目的をより具体的に言えば、複雑多岐にわた
るウインドウが設定される場合の画像処理であつても、
教示段階でそれらのウインドウを整理し、人間（オベレ
ータ）にとつて扱い易い状態で画像表示することのでき
る画像処理方法及び装置を提供することにある。

〔問題点を解決するための手段〕

上記目的を達成するために本発明の特徴とする点は、
ウインドウを用いた画像処理方法において、複数のウイ
ンドウ（一般には、多数）を、相互に関連付けられた一
まとまりのウインドウ毎にまとめて複数の組とし、この
組を単位として、ウインドウの設定状態を画像処理し、
あるいは画像データ処理を行なうようにした点にある。

また、本発明に係る画像処理装置の特徴は、上述のウ
インドウの組をはじめとし、画像データ処理の内容、順
序等をセツトしたテーブルを用意し、このテーブルから
ウインドウに関する情報を読み出して組を単位として画
面に表示させ、あるいは画像データ処理を行わせる点に
ある。

本発明において、相互に関連付けられた一まとまりの
ウインドウの選定の仕方は、様々な場合が考えられる。
例えば、対象物の画像上での位置決めに関する、という
観点でまとめられたウインドウ、本発明を物品の外観検
査に適用する場合に、ある特定の検査項目に用いられる
ウインドウ，オペレータの作業順序に従つて一区切の作
業毎にまとめられたウインドウ等である。一般的に言え
ば、有意の情報として認識することの可能な一群、ある
いは、画像処理装置を用いる作業対象の所定の状態を認
識するために必要なまとまつた情報として、捉えられ
る。

〔作用〕

本発明によれば、相互に関連付けられた一まとまりの
ウインドウを単位として画像表示されるので、ウインド
ウの設定時、表示時、メンテナンス時等任意の時点にお
いて、ウインドウを整理された状態で把握することが可
能となる。したがつて、いかに多数のウインドウを用
い、あるいはいかに複雑なウインドウパターンを用いた
としても、一つの組に含まれるウインドウパターンを適
切に選択することが可能であり、それにより、ウインド
ウ全体の取扱いが容易になる。

〔実施例〕

最初に、本発明に一実施例である画像処理装置の全体
構成について説明する。第２図に、本実施例装置の全体
構成概略を示す。図において、工業用テレビカメル５の
ような撮像手段によつて撮像された対象物の画像は電気
的に変換され画像メモリ３に記憶される。画像メモリ３
の画像情報は管理プロセツサ１からの指令に基づき、画
像処理プロセツサ２に取り込まれ、周知の２値画像処
理、濃淡画像処理、色彩画像処理等の画像処理が行なわ
れる。また、画像メモリ３に格納された画像情報、画像
処理プロセツサ２による画像処理の結果、その他必要な
情報は、管理プロセツサ１からの指令に基づき、CRTモ
ニタ４のような表示手段により、視覚化される。101
は、各部を連絡する伝送線である。

管理プロセツサ１としては、通常のマイクロコンピユ
ータが使用できる。画像処理プロセツサ２としては、例
えば特公昭60−53349号公報に記載された画像処理プロ
セツサが使用できる。画像メモリ３としては、通常の半
導体メモリ、磁気デイスク等が使用できる。なお、これ
らの詳細構造は本発明の主題ではないので、説明は省略
する。

第３図に、本実施例での画像処理対象物であるプリン
ト基板を示す。図において、基板30上には種々多数の電
子部品が搭載され、図示しない基板裏面でそれらの間に
所定の配線がなされている。31a〜31c,33,36,37a,37b,3
9はそれぞれ種類の異なるICである。32は抵抗器、320は
そのリード線である。34,35は例えばコンデンサ等の部
品である。38は基板30の型式表示部である。

本実施例では、コンベアライン等で搬送される基板30
をカメラ５で撮影し、画像処理装置によつて基板30及び
各種電子部品の位置や極性の良否を判定する。そのため
に、基板30の画像上、要所にウインドウを設定し、ウイ
ンドウ部分における画像処理を行なう。画像処理の内容
としては、例えば２価画像のラベリング、輪郭抽出、ノ
イズ除去、パターンマツチング、ヒストグラム（面積，
周囲長等）、濃淡画像の農出変換、空間積和演算、ヒス
トグラム（濃度分布等）、色彩画像の単色変換等であ
る。これら画像処理の詳細は、本発明の主題ではないの
で、説明は省略する。

第３図においては、設定されたウインドウの例とし
て、次のものが示されている。

301…基板30の位置決め用ウインドウ、 311,331,361,371,391,…IC31a,33,36,37a,39のそれぞれ
の位置判定用ウインドウ、 321…抵抗器32本体の位置判定用ウインドウ、 322…抵抗器32のリード320の位置判定用ウインドウ、 341,351…電子部品34,35のそれぞれの位置判定用ウイン
ドウ、 312,372…IC31b,37aのそれぞれの極性判定用ウインド
ウ。

なお、310,330,370は、IC31c,33、37aのそれぞれの極
性表示マークである。

図において、IC31a,31b,31c及びIC37a,37bはそれぞれ
同一ICである。図面の簡単化のため、31aには位置判定
用ウインドウのみが、31bには極性判定用ウインドウの
みが示されているが、実際は、それぞれのICについてこ
れらのウインドウが重ね合わされて使用される。また、
31c,37bには図面の簡単化のためウインドウご表示され
ていないが、実際には他と同様にウインドウが設定され
ている。抵抗器32及びそのリード線320についても、同
様である。仮に、これらのウインドウを未整理の状態で
画像表示したとすれば、重ね合わされるウインドウもあ
り、混乱は免れない。

本実施例では、これらの複雑多岐にわたるウインドウ
を整理するため、全ウインドウをいくつかの組に分割
し、それらの組を単位として取扱う。そして、特に組毎
にウインドウを画面表示することによつて、教示時等の
オペレータの操作性を向上させるものである。以下、画
面表示されるべき上述の組をスクリーンと呼称する。

スクリーンの分け方は種々考えられ、基本的には任意
である。しかし、操作性の向上という見地から、例えば
位置決め用スクリーン（位置決め用のウインドウのみか
らなるスクリーン）、位置判定用スクリーン、極性判定
用スクリーンのように検査項目による分け方が便利であ
る。同じ目的で、場合によつては、検査対象物の種類に
よる分け方もできる。例えばIC31aと同じICのみのスク
リーン、抵抗器32のみのスクリーン等である。以下、検
査項目毎のスクリーン設定を例にして、説明する。

第４図に検査項目の流れを示す。「基板位置決め」41
では、第３図におけるウインドウ301を用いる。「型式
読取」42では第３図における型式表示部38に対し、第５
図に示すウインドウを設定して行なう。第５図におい
て、501は数字識別用ウインドウ、502はアルフアベツト
識別用ウインドウである。501は、良く知れらているよ
うに、一数字あたり８個のセグメントによつて０〜９を
識別するものである。502は、ここでは９個のセグメン
トにより、Ａ〜Ｅを識別するようにされている。「実装
チエツク」43とは、部品の有無及び位置良否の判定のこ
とであり、第３図における位置判定用ウインドウを用い
る。「極性チエツク」44には、同じく極性判定用ウイン
ドウを用いる。「総合判定」45では、上述のチエツクの
結果を総合して、基板30全体の良否を判定する。

上述の一連の検査は、画像処理の流れとしては、第６
図に示すフローチヤートにより表わされる。この例で
は、bk1〜bk7で示された各プロツク毎、一まとまりの処
理とされており、bk1,bk2,bk4,bk5,bk6はスクリーン単
位の画像処理、bk3,bk7が判定処理である。この場合、
位置決め用スクリーンは、他のスクリーンに先立つて実
行される必要があり、後述するシステム管理情報の設定
にあたつて、そのように設定される。

このような処理は、第１図に示す機能ブロツクを有す
る画像処理装置によつて、実行される。第１図におい
て、システム実行制御管理部11はシステム全体の制御を
司り、入出力管理部に、画像取込情報設定部13、システ
ム管理情報設定部14及び出力管理情報設定部15と連絡さ
れこれらを制御する。

入出力管理部12は、カメラ５からの画像入力、マウス
102のような指示入力手段からの信号入力及びモニタ４
への表示の制御を行なう。

画像取込情報設定部13は、対象物の画像をカメラ５に
よつてどのように取込むかを設定する。すなわち、カメ
ラ５が複数台ある場合にその番号指定、撮影のタイミン
グのとり方を自動で行なうが、割込を許すか等である。

システム管理情報設定部14は、ウインドウ及びスクリ
ーンなどのように設定し、かつどのような順序で画像処
理を実行するかを設定する。そのために、個々のウイン
ドウについての情報（後述）を設定するウインドウ情報
設定部141、個々のスクリーンに含まれるウインドウの
情報（後述）を設定するスクリーン情報設定部142、ス
クリーンについての画像処理の結果を判定するための情
報（後述）を設定する判定情報設定部143を有する。

出力管理情報設定部15は、画像処理の全ての結果を編
集し、外部の上位コンピユータへの連絡あるいは対象物
搬送ラインへの結果のフイードバツク等を制御するため
のものである。

上述の各制御部の指令に基づいて、それぞれ実際の画
像データを取扱う処理部が存在する。すなわち、画像取
込処理部131、ウインドウ処理部1411、スクリーン処理
部1421、判定処理部1431、出力処理部151である。

画像メモリ部21は、図示した如く各部と連絡され、カ
メラ５によつて取込まれた画像のデータを格納し、かつ
上記各部間で授受する。

システム実行制御管理部以下各情報設定部にはそれぞ
れテーブルが設定され、管理又は情報設定の内容が格納
される。テーブルのうち、主なものについて具体例を示
せば第７図の通りである。図において、（ａ）は表示制
御管理テーブル12a、（ｂ）はシステム管理テーブル14
a、（ｃ）はウインドウ情報テーブル141a、（ｄ）はス
クリーン情報テーブル141b、（ｅ），（ｆ）はそれぞれ
判定テーブル141cであり、（ｅ）は全体の画像処理の中
間における判定テーブル、（ｆ）は最終結果である総合
判定テーブルである。これらのテーブルは一種のメモリ
であり、予め必要な情報を設定，格納しておき、画像処
理にあたつてそれらを読み出して画像処理を実行し、ま
た、処理結果を格納する。

第７図（ａ）では、画面への表示時間を設定し、かつ
（ｃ），（ｄ）に示されるウインドウ，スクリーンにつ
いての情報とリンクさせることにより、ウインドウの設
定状況をウインドウ単位，スクリーン単位又は全体的に
随時画面表示させるものである。「ウインドウ確認用」
が選択されたときは、搬送ラインとは非同期（オフライ
ン）のなる。これは教示時等に使用される。なお、「表
示時間」に負の数字が設定されたときは、表示が継続さ
れるようにされている。

（ｂ）は、システムの管理テーブルであり、処理の流
れを制御する。このテーブルは、別の表現をすればチエ
ーンテーブルであり、ブロツクのNo.毎に次にリンクす
べきブロツクNo.を記憶している。記憶の方法は、オフ
ラインで設定する形態（通常は、メニユー画面等によ
り、ブロツク単位の処理を設定し、ブロツクの終了と共
に「分岐か」「通常処理」（スクリーン処理）か」「終
了か」の区別を入力することで、自動的に本テーブルに
設定する形式が考えられる）をとる。例えば、ブロツク
１の処理内容（ウインドウの位置，大きさ，個数等）の
設定（教示）が終わつた分岐や終了の設定をしない限
り、「ブロツク２へリンク」という情報をブロツク１に
設定する。従つて、本テーブルの意味は、そのまゝ、処
理フローを表わしていることになる。

（ｃ）に示されたウインドウ情報テーブルは、ウイン
ドウ位置，形状，大きさ，判定条件（例えば、基準面積
との大小比較）及びその判定結果から構成されている。

（ｄ）は、スクリーン処理を行うために必要なテーブ
ルである。テーブルの内容は、タイプ，ウインドウ情報
（複数，本例ではＮ個）、及び結果である。「タイプ」
は、３通りあり「０」が（ｄ）のスクリーン処理、
「１」が（ｅ）の判定テーブル、「２」が（ｆ）の総合
判定テーブルを表わす。最終尾の「結果」には、上記の
ウインドウ群の結果と、あらかじめ設定しておいた判定
条件とを比較し、位置ズレや、形状の認識を行つた結果
が格納される。

次に、第７図（ｅ）の内容を説明する。（ｅ）のテー
ブルは、判定（分岐）処理用に使用する。「タイプ」は
上述のように、本テーブルでは「１」である。「判定条
件」には、例えば、同様の値として基準のS₁を設定して
おく。「判定対象」は、実際に処理して得られた面積の
S₂である。「結果」には、S₁とS₂との大小比較により、
どのブロツクに分岐するかを決め、その結果を書き込ん
でおく。例えば、S₁＜S₂ならば、ブロツク４、S₁≦S₂な
らばブロツク５というように、判定条件の中に設定して
おく。今、S₁＞S₂とすれば、結果に「ブロツク４」を書
き込み、システム管理テーブルに従つてブロツク４を実
行することになる。

第７図（ｆ）の総合判定テーブルにおいては、「タイ
プ」は上述の通り「２」である。「判定条件」には、複
数のブロツクの組合せと、基準の値を設定しておく。
「判定対象」には、実際の画像処理結果（第７図（ｄ）
の最後尾の「結果」）であつて判定条件の中のブロツク
Noと対応させて格納しておく。「総合結果」には、判定
条件と判定対象に従つて認識した結果を格納する。

なお、第７図で図示しない第１図中のテーブルの内容
について簡単に説明すると、システムコントロールテー
ブル11aは、システム全体をオンラインで作動させるか
（画像処理実行時が該当）、オフラインで動作させるか
（テイーチング等、人間介在時が該当）の別を格納する
テーブルであり、取込条件テーブルは、複数第のカメラ
がある場合に、使用されるカメラの番号、画像の取込方
式（自動か、割込かの別。自動は搬送ラインと同期、割
込は非同期）、自動取込の場合に画像変化検知の手法
（ｘ方向微分,y方向微分,8方向等方微分）を格納するテ
ーブルである。出力情報テーブルは、総合判定結果の編
集方式，画像処理装置外部との連絡等についての情報を
格納するテーブルである。

第８図，第９図により、教示（オフライン）と各種処
理実行（オンライン）との関係を説明する。本実施例で
は、上述の通り、教示した情報に従つて画像処理等を実
行する。そのために、第６図に示す各ブロツクについ
て、第８図に示すフローにて、教示を行なう。まず、シ
ステムコントロールテーブル11aの設定を「オンライ
ン」とし、判定部81にてオフライン側を選択する。ここ
では、予め用意された（メモリに格納された）メニユー
画面，アイコン（絵文字）画面及びマウス102のような
指示入力手段を用いて、各管理・情報テーブルにウイン
ドウ，スクリーン情報等、所定の情報を入力、設定する
（マンマシンデータ入力82）。次に、入力されたテーブ
ルに従つて画像処理を試みに実行し（画像処理実行8
3）、その結果を画面に表示する（結果モニタ表示8
4）。次に、その結果の良否をオベレータが判定し、否
であれば良となるまで繰り返す。このようにして教示が
終わり、判定部81でオンライン側が選択されると、実際
の画像処理86が実行される。

このような処理は、第９図に示すように、第６図の各
ブロツクについて行なわれ、最終的には全ブロツクがオ
ンラインと設定されることにより、対象物の検査が行な
われる。第９図において、オフライン処理は、第８図に
おける82〜85を、オンライン処理は同じく86に対応する
ものである。

以上の実施例によれば、互いに重なつたり、または種
々雑多のウインドウが設定される画像処理において、ウ
インドウを検査項目毎に整理して設定，表示，画像処理
することができる。したがつて、表示作業が容易とな
る。また、画像処理の各段階での途中結果を出力，表示
することも可能である。したがつて、画像処理を用いた
対象物の検査の柔軟性が向上するという効果ならびに、
メンテナンスが容易になるという効果がある。

〔発明の効果〕

本発明によれば、使用者（オベレータ）にとつて操作
が簡単であり、使い易い画像処理方法及び装置を得るの
に効果がある。

【図面の簡単な説明】

第１図は本発明の一実施例画像処理装置の機能ブロツク
図、第２図は画像処理装置の概略構成を示す図、第３図
は実施例における検査対象物のプリント基板を示す図、
第４図は実施例における検査項目の流れを示す図、第５
図は実施例における基板の型式表示の読取方式を示す
図、第６図は画像処理のフローチヤート、第７図（ａ）
〜（ｆ）は実施例において使用されるテーブルを示す
図、第８図は実施例における教示の方式を示すフローチ
ヤート、第９図は実施例における各ブロツクのオンライ
ン，オフラインの切換を示す図である。 11……システム実行管理部、12……入出力管理部、13…
…画像取込情報設定部、14……システム管理情報設定
部、15……出力管理情報設定部、141……ウインドウ情
報設定部、142……スクリーン情報設定部、143……判定
情報設定部、1411……ウインドウ処理部、1421……スク
リーン処理部、1431……判定処理部。

Claims (9)

(57)【特許請求の範囲】
1. 【請求項１】対象物の画像を作成し、前記画像上複数カ
   所に画像データ処理の対象となる部分領域を設定し、前
   記部分領域について所定の画像データ処理を実行する画
   像処理方法において、前記複数の部分領域全体を、相互
   に関連付けられた一まとまりの部分領域毎に複数の組に
   分割し、前記部分領域の組毎に、部分領域を画像表示す
   ることを特徴とする画像処理方法。
2. 【請求項２】対象物の画像を作成し、前記画像上複数カ
   所に画像データ処理の対象となる部分領域を選定し、前
   記部分領域について所定の画像データ処理を実行する画
   像処理方法において、前記複数の部分領域全体を、相互
   に関連付けられた一まとまりの部分領域毎に複数の組に
   分割し、前記部分領域の組毎に前記部分領域のデータを
   テーブルに格納し、前記分割された組毎に前記画像デー
   タ処理を行うことを特徴とする画像処理方法。
3. 【請求項３】特許請求の範囲第１項又は第２項におい
   て、前記相互に関連付けられた一まとまりの部分領域
   は、前記対象物の画像上での位置決めに関する部分領域
   を含むことを特徴とする画像処理方法。
4. 【請求項４】特許請求の範囲第１項又は第２項におい
   て、画像データ処理は対象物の外観についての画像を予
   め設定された基準データと比較し、それに基づいて対象
   物の検査を行う処理を含み、前記相互に関連付けられた
   一まとまりの部分領域は、前記検査の項目毎にまとめら
   れたことを特徴とする画像処理方法。
5. 【請求項５】特許請求の範囲第１項において、前記部分
   領域は前記対象物の画像と重ね合わされて画像表示され
   ることを特徴とする画像処理方法。
6. 【請求項６】撮像手段により撮像された対象物の画像デ
   ータと、部分領域設定手段により画像上に設定された複
   数の部分領域のデータとに基づいて、データ処理手段に
   より前記画像の前記部分領域について所定の画像処理を
   実行し、表示手段により前記対象物の画像、前記部分領
   域を表示する画像処理装置において、前記部分領域に関
   する情報を格納したデーブルと、前記複数の部分領域全
   体を予め設定された相互に関連付けられた一まとまりの
   部分領域に分割して成る組毎に、前記テーブルに格納さ
   れた情報に基づいて、表示制御手段により表示させる表
   示制御部とを設けたことを特徴とする画像処理装置。
7. 【請求項７】撮像手段により撮像された対象物の画像デ
   ータと、部分領域設定手段により画像上に設定された複
   数の部分領域のデータとに基づいて、データ処理手段に
   より前記画像の前記部分領域について所定の画像処理を
   実行し、表示手段により前記対象物の画像、前記部分領
   域を表示する画像処理装置において、前記複数の部分領
   域を相互に関連付けられた一まとまりの部分領域に予め
   分割して設定された組に分けて格納した第１のテーブル
   と、前記データ処理手段又は表示手段に対し前記第１の
   テーブルに格納された前記部分領域の組毎に予め設定さ
   れた順序でデータ処理又は表示を指令する指令が格納さ
   れた第２のテーブルとを有することを特徴とする画像処
   理装置。
8. 【請求項８】対象物の画像を作成し、前記画像上複数カ
   所に画像データ処理の対象となる部分領域を設定し、前
   記部分領域について所定の画像データ処理を実行する画
   像処理方法において、指示入力手段により、画像処理の
   対象となるべき部分を、相互に関連付けられた一まとま
   り毎に複数の組に分けて設定することを特徴とする画像
   処理方法。
9. 【請求項９】対象物の画像を作成し、前記画像上複数カ
   所に画像データ処理の対象となる部分領域を設定し、前
   記部分領域について所定の画像データ処理を実行する画
   像処理方法において、指示入力手段により、予め定めら
   れた画像処理内容を選択することを特徴とする画像処理
   方法。