JPH07160843A

JPH07160843A - 画像認識プログラム構築装置及び方法

Info

Publication number: JPH07160843A
Application number: JP5302675A
Authority: JP
Inventors: Toshiaki Yasui; 利秋安井
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 1993-12-02
Filing date: 1993-12-02
Publication date: 1995-06-23

Abstract

(57)【要約】【目的】画像認識アルゴリズムを容易に構築可能な画
像認識アルゴリズム構築装置を提供する。【構成】モニタ３２上に画像処理サブルーチンがメニ
ュー装置３３によってメニュー表示される。操作者が所
望の画像処理サブルーチンを選択すると、その画像処理
が一時的に実施され、その結果がモニタ３２上に表示さ
れる。操作者は、その結果に満足できない場合は選択を
解除し、満足できる場合は登録を行う。登録は、テーブ
ルとして用いられている画像処理メモリ８４に、前記画
像処理サブルーチンを書き込むことにより行われる。動
作管理タスク４８は、この画像処理メモリ８４を参照す
ることにより、登録されている画像処理サブルーチンを
画像処理ライブラリ３９から呼び出すことにより、所望
の画像処理を実行する画像認識プログラムが実現され
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、認識対象である対象物
（以下、「ワーク」と呼ぶ）を、認識する装置に関す
る。特に、ワークを撮像し、得られたワークの画像に所
定の画像処理を施すことによって、ワークを認識する光
学式画像認識装置の画像認識プログラムの構築装置及び
方法に関する。

【０００２】

【従来の技術】従来、自動車等の生産設備においては、
部品が正常に取り付けられたことの確認や検査のために
光学式のワーク認識装置が用いられている。この光学式
のワーク認識装置は画像処理の技術を応用してワークの
認識をしている。

【０００３】生産設備においては、通常多種多様な部品
が生産に供せられているため、上記ワーク認識装置もこ
のような多種多様なワークを認識する必要がある。この
ように複数の種類のワークを認識するために、本願発明
者らは以下のような手段を採用していた。

【０００４】（１）ワーク毎に専用の画像認識アルゴリ
ズムを組み込んだ画像認識装置を複数台設置し、対象と
なるワークに合わせて適当な装置を選択する。

【０００５】（２）高機能な画像処理装置に複数の前記
画像認識アルゴリズムを組み込み、対象となるワークに
合わせてアルゴリズムを選択する。

【０００６】従来の多くの生産設備においては、いわゆ
る生産指示装置（アッセンブリラインコントロール
（ＡＬＣ））が導入され、各生産ラインにどのような部
品が流れるのかが、各ラインに常に指示（生産指示）さ
れている。本願発明者らが採用していた上記（１）や
（２）の装置においては、この生産指示に従って適当な
画像認識装置が選択されていた。

【０００７】上記（１）においては、いわば、ワークに
合わせてハードウェア（画像認識装置）が選択されてい
た。それに対し、（２）は、一個の画像認識装置内部で
使用されるソフトウェアが、複数の候補から選択される
ということである。一般にハードウェアが選択された方
が画像処理速度は速くなるが、ハードウェア量が増えて
しまうため高価なものとなる欠点がある。そのため、生
産開始の初期の段階においては、ソフトウエアの選択に
よる（２）の装置を用い、生産規模の拡大に伴って、ハ
ードウェアの選択による（１）の装置を採用するのが一
般的である。

【０００８】従って、ソフトウェアによる画像処理を、
ハードウェアによる画像処置に置き換える必要が生じ
る。このような置き換えをするために、画像処理ソフト
ウェアの設計に基づき、画像処理のためのハードウェア
を設計する方法が種々提案されている。例えば特開平３
−１２９４７５号公報には、知識情報に基づいてソフト
ウェアから、ハードウェアの設計を行う方法が記載され
ている。

【０００９】このように、各ワークに応じて画像処理の
アルゴリズムを切り替えることによって、複数のワーク
の監視・検査等を行うことが可能である。

【００１０】以上述べたように、従来の画像認識装置
は、ハードウェアもしくはソフトウェアを切り替えるこ
とによって、複数のワークに対応していた。

【００１１】

【発明が解決しようとする課題】従来の画像認識装置
は、以上のように構成されていた。従って、以下のよう
な問題点があった。

【００１２】（１）上記ハードウェアをワーク毎に備え
る手法によれば、ハードウェア量が大きくなり、コスト
が大きくなるとともに、設置エリアの面積も大きくなっ
てしまうという問題点がある。また、画像認識アルゴリ
ズムを変更する場合には、それぞれの画像認識装置のハ
ードウェア全体を交換するか、それぞれの画像認識装置
内に、ワーク毎に設計された専用プログラムをインスト
ールし直す必要がある。そのため、変更のための工程数
や、コストが大きくなってしまうという問題があった。

【００１３】更に、アルゴリズムの開発においては、専
門の技術者がアルゴリズムの動作の確認作業を試行錯誤
的に行わなければならないので、効率的な開発作業が行
えなかった。

【００１４】（２）また、複数のソフトウェアを備え、
対象のワークに応じてソフトウェアを切り替える手法に
よれば、ソフトウェアのローディングに時間がかかり、
実行時間が遅くなってしまうという問題があった。

【００１５】更に、ソフトウェアの開発は、ソフトウェ
アのコーディングから、コンパイル等の作業を通じて行
う必要があり、また、完成したソフトウェアの動作の確
認のため、上記（１）と同様にそのソフトウェアの動作
の確認作業を試行錯誤的に行わなければならなかった。

【００１６】また、新たなワークに対応するため新たな
ソフトウェアを構築する場合も、その動作の確認に時間
がかかり、変更を迅速に行うことはできなかった。

【００１７】そして、ソフトウェアのコーディングや、
コンパイルには専門知識が必要であるため、画像認識装
置が現場に導入された後、現場保全者がその装置のメン
テナンスをすることは困難であるという問題があった。

【００１８】本発明は上記課題に鑑みなされたものであ
り、その目的は、画像認識アルゴリズムを容易に構築可
能な装置及び方法を提供することである。

【００１９】

【課題を解決するための手段】以上のような目的を達成
するために、本発明は、複数の画像処理を実行すること
によって画像の認識を行う画像認識プログラムの構築を
行う画像認識プログラム構築装置において、所定の画像
処理を実行する画像処理サブルーチンを複数記憶した記
憶手段と、前記記憶手段に記憶された前記画像処理サブ
ルーチンをメニュー表示する表示手段と、操作者の指示
により、前記メニュー表示から所望のサブルーチンを選
択する選択手段と、前記選択手段によって選択されたサ
ブルーチンを呼び出して、この呼び出したサブルーチン
の実行を含む画像認識プログラムを構築する構築手段
と、を含むことを特徴とする画像認識プログラム構築装
置である。

【００２０】また、上記目的を達成するために、本発明
は、上記の画像認識プログラム構築装置において、更
に、前記選択手段は、前記選択された画像処理サブルー
チンが登録されるテーブル手段を含み、前記画像認識プ
ログラム構築手段は、前記テーブルに登録された画像処
理サブルーチンを順次実行するメインプログラムを作成
する作成手段を含むことを特徴とする画像認識プログラ
ム構築装置である。

【００２１】また、上記目的を達成するために、本発明
は、上記２つの発明の画像認識プログラム構築装置にお
いて、前記選択手段は、選択された画像処理サブルーチ
ンを実行することによって、対応する画像処理を行い、
その処理結果を表示する画像処理結果表示手段と、処理
結果が表示された前記画像処理サブルーチンの選択を、
操作者の指示により解除する選択解除手段と、を含むこ
とを特徴とする画像認識プログラム構築装置である。

【００２２】また、上記目的を達成するために、本発明
は、複数の画像処理を実行することによって画像の認識
を行う画像認識プログラムの構築を行う画像認識プログ
ラム構築方法において、所定の画像処理を実行する画像
処理サブルーチンを複数準備する準備工程と、前記準備
された前記画像処理サブルーチンをメニュー表示する表
示工程と、操作者の指示により、前記メニュー表示から
所望のサブルーチンを選択する選択工程と、前記選択工
程によって選択されたサブルーチンを呼び出して、この
呼び出したサブルーチンの実行を含む画像認識プログラ
ムを構築する構築工程と、を含むことを特徴とする画像
認識プログラム構築方法である。

【００２３】また、上記目的を達成するために、本発明
は、上記の画像認識プログラム構築方法において、更
に、前記選択工程は、前記選択された画像処理サブルー
チンをテーブルに登録するテーブル登録工程と、前記画
像認識プログラム構築工程は、前記テーブルに登録され
た画像処理サブルーチンを順次実行するメインプログラ
ムを作成する作成工程を含むことを特徴とする画像認識
プログラム構築方法である。

【００２４】また、上記目的を達成するために、本発明
は、上記２つの画像認識プログラム構築方法において、
前記選択工程は、選択された画像処理サブルーチンを実
行することによって、対応する画像処理を行い、その処
理結果を表示する画像処理結果表示工程と、処理結果が
表示された前記画像処理サブルーチンの選択を、操作者
の指示により解除する選択解除工程と、を含むことを特
徴とする画像認識プログラム構築方法である。

【００２５】

【作用】本発明における選択手段は、操作者の指示によ
り、所定のサブルーチンを選択する。そして、画像認識
プログラム構築手段は、選択されたサブルーチンを呼び
出す画像認識プログラムを構築する。従って、プログラ
ムのコーディングやコンパイル等の専門知識を有しなく
とも、画像認識プログラムの構築が可能である。また、
本発明におけるテーブル手段は、画像処理サブルーチン
が登録され、作成手段がこのテーブル手段に登録された
サブルーチンを順次実行するメインプログラムを作成す
るので、各サブルーチンを実行する画像認識プログラム
を容易に構築可能である。

【００２６】また、本発明における画像処理結果表示手
段は、選択手段により選択された画像処理サブルーチン
の実行結果を表示する。そして、操作者は、その結果に
満足しなければ、選択解除手段により選択を解除するこ
とができる。従って、画像処理の結果を確かめながら画
像認識プログラムの構築が可能である。

【００２７】本発明における選択工程は、操作者の指示
により、所定のサブルーチンを選択する。そして、画像
認識プログラム構築工程は、選択されたサブルーチンを
呼び出す画像認識プログラムを構築する。従って、プロ
グラムのコーディングやコンパイル等の専門知識を有し
なくとも、画像認識プログラムの構築が可能である。ま
た、本発明におけるテーブル登録工程は、画像処理サブ
ルーチンをテーブルに登録し、作成工程においては、こ
のテーブルに登録されたサブルーチンを順次実行するメ
インプログラムが作成されるので、各サブルーチンを実
行する画像認識プログラムを容易に構築可能である。

【００２８】また、本発明における画像処理結果表示工
程は、選択工程において選択された画像処理サブルーチ
ンの実行結果を表示する。そして、操作者が、その結果
に満足しなければ、選択解除工程により選択が解除され
る。従って、画像処理の結果を確かめながら画像認識プ
ログラムの構築が可能である。

【００２９】

【実施例】以下、図面に基づいて、本発明の好適な実施
例を説明する。

【００３０】図１には、本実施例の画像認識装置１０を
利用した部品（以下、「ワーク」と呼ぶ）の誤欠品認識
システムの全体構成図が示されている。図１に示されて
いるように、本システムは、ワークを撮影するカメラ１
２ａ，１２ｂ，１２ｃ，１２ｄと、そのカメラ１２ａ，
１２ｂ，１２ｃ，１２ｄ毎に設けられた照明装置１４
ａ，１４ｂ，１４ｃ，１４ｄとを含んでいる。それぞれ
のカメラが出力した映像信号ＶＩＮ１〜ＶＩＮ４と、同
期信号ＳＹＮ１〜ＳＹＮ４とは、カメラ切替器１６を介
して画像認識装置１０に供給されている。このカメラ切
替器１６は、上記同期信号ＳＹＮ１〜Ｎを切替ていずれ
か一個の同期信号を画像認識装置１０に供給する同期信
号分配器１８と、上記映像信号ＶＩＮ１〜Ｎを切替てい
ずれか一個の映像信号を画像認識装置１０に供給する映
像信号切替器２０と、を含んでいる。

【００３１】本実施例において特徴的な構成は画像認識
装置１０であり、他の構成は従来の構成と同様のもので
ある。この画像認識装置１０は、カメラ１２ａ，１２
ｂ，１２ｃ，１２ｄで撮影された画像を入力し、所定の
画像処理を行うことによりワークの認識を行う点で、従
来の画像認識装置と同様の働きを有する。しかし、この
認識を行うアルゴリズム、すなわち画像認識アルゴリズ
ムは、後述するように、操作者の操作により、容易にそ
の画像認識アルゴリズムに含まれる画像処理を変更でき
る。従って、本実施例によれば、熟練者によるコーディ
ング・コンパイルを繰り返さなくとも、認識の対象とな
るワークの変更に容易に対応することが可能である。

【００３２】また、本システムは、ワークが認識できな
かった場合に、ワークの誤欠品が生じたことを判断する
誤欠品認識ホスト２２と、生産ラインを構成する各種機
器に生産指示情報を供給するＡＬＣ２４とを含んでい
る。

【００３３】なお、画像認識装置１０は、自動絞りイン
ターフェイス２８を介してカメラ１２ａ，１２ｂ，１２
ｃ，１２ｄの自動絞りを調節し、照度制御インターフェ
イス３０を介して照明装置１４ａ，１４ｂ，１４ｃ，１
４ｄの照度を調節する。そして、画像認識装置１０の動
作を制御・監視するためにモニタ３２が画像認識装置１
０に接続されている。このモニタ３２には、後述するよ
うに、本発明の特徴的な構成であるメニューが表示さ
れ、操作者からの指示により画像認識アルゴリズムを構
成する各画像処理を選択・登録することが可能である。

【００３４】一方、誤欠品認識ホスト２２は、カメラ切
替器１６を制御し、画像認識装置１０に供給される映像
信号、同期信号を切替る。

【００３５】本実施例において特徴的な構成である画像
認識装置１０の説明と、ワークの撮像法についての説明
を次の１．で行い、本実施例の誤欠品認識システムの動
作の全体説明を２．で行う。

【００３６】１．画像認識装置及びワークの撮像法１．１画像認識装置本実施例における画像認識装置１０は、プロセッサと、
このプロセッサが実行するソフトウェアとから構成され
ている。画像認識装置１０のソフトウェアの構成が図２
に示されている。図中、ＲＳ２３２Ｃドライバ４０と、
ＤＩ／ＤＯドライバ４２とは信号を入出力するハードウ
ェアであり、データモジュール４４は、データを記憶し
た記憶装置である。これらの装置以外の「タスク」は全
てソフトウェアである。

【００３７】本実施例における画像認識装置１０は、い
わゆるリアルタイムマルチタスクを実現するコンピュー
タを構成しており、複数の「タスク」を同時に実行する
ことができる。但し、本発明は、リアルタイムマルチタ
スクが実現されていないコンピュータでも実現可能であ
る。

【００３８】図２に示されているすべてのタスクがデー
タモジュール４４を参照する。すなわち、本実施例にお
いては、データモジュール４４に各種値をセットするこ
とにより、タスクの動作を制御しているので、柔軟性の
ある処理が実現されている。例えば、データモジュール
４４に画像処理の番号を設定することにより、画像認識
アルゴリズム上で実行される画像処理を登録することが
可能である。この登録は、モニタ３２上に表示されるメ
ニューから操作者が選択することにより変更することが
可能である。また、新たなワークに対応する新たな画像
認識プログラムが必要な場合には、選択により所望の画
像処理を実行する新たな画像認識プログラムの構築をす
ることも可能である。

【００３９】そして、操作者がある画像処理をモニタ３
２上のメニューから選択すると、その画像処理が一時的
に実施され、その画像処理の結果がモニタ３２上に表示
される。従って、操作者は、選択した画像処理の効果
（結果）をモニタ３２上で直ちに確認することができる
ので、従来のように熟練者による試行錯誤的な調整が必
要となることはない。この確認の結果が満足できるもの
であれば、その画像処理の登録を行う。登録は、上記デ
ータモジュールにその画像処理の番号を設定することに
より行われる。なお、確認の結果が満足できないもので
あれば、登録を解除することも可能である。本実施例で
はこのように、モニタ３２のメニュー画面上において対
話的に画像処理の選択を行うことが可能である。

【００４０】このようにして登録を行うことにより、画
像認識アルゴリズムに所望の画像処理を含ませることが
可能である。

【００４１】また、以前からアルゴリズムに含まれてい
た画像処理の削除も、上述したようにメニューからの指
示により登録を解除することにより行われる。所定の画
像処理の削除を行い、新たな所望の画像処理をアルゴリ
ズムに登録することにより、画像認識アルゴリズムの改
変、もしくは全く新たな画像認識アルゴリズムの構築が
容易に実施可能である。

【００４２】本実施例において特徴的なことは、この点
にある。すなわち、ワークの変更に伴って、各種画像処
理を適切に組み合わせて画像認識アルゴリズムを構築す
るのは、従来は一定の熟練者でなければできなかった
が、本実施例においては、メニューから所望の画像処理
を選択していくだけで、その画像処理が組み込まれた画
像認識アルゴリズムが自動的に構築される。従って、コ
ーディングやコンパイル等に不慣れな者でも容易にアル
ゴリズムの構築が可能である。

【００４３】このようにして画像認識アルゴリズムが構
築される例を図３を用いて説明する。図３には、画像認
識装置１０を中心とした誤欠品認識システムの部分構成
図が示されている。図３中、「（例）２値化法の選択」
とタイトルが付されている破線で囲まれた部分には、画
像処理の一つとして２値化法の選択が行われるときのメ
ニューの表示例が示されている。

【００４４】まず、モニタ３２の画面には、以下のよう
なトップメニューが表示されている。

【００４５】処理領域限定濃淡画像の良質化２値化２値画像良質化物体抽出特徴量計測判定・照合このような７個の項目がトップメニューに示されてい
る。図３の「（例）２値化法の選択」で示された破線の
部分の左側にこのトップメニューの項目が示されてい
る。操作者は、例えば２値化の画像処理を選択したい場
合には、トップメニューから「２値化」の項目を選択す
る。

【００４６】すると、モニタ３２の画面には、中位のメ
ニューが表示される。そこには、２値化の処理を大きく
２種類に分けた場合のそれぞれのクラスが表示される。
本実施例においては、これらのクラスとして表示される
項目は、以下の通りである。固定２値化自動２値化今、操作者は、ワークに対応して、「自動２値化」を選
択した。すると、自動２値化のクラスに分類される２値
化処理が項目として示される下層のメニューがモニタ３
２上に示される。仮想のメニューに含まれる各項目は以
下の通りである。

【００４７】ＭＡＸ，ＭＩＮ２値化最小２乗近似２値化定面積２値化ヒストグラム２値化浮動２値化本実施例においては、カメラ１２ａ，〜１２ｄに撮影さ
れる画面には、例えば、ワークとその背景との２種類の
濃度のものしか表示されない。操作者はあらかじめこの
ことを知っているので、撮影された画面上の輝度は、大
きく２つのグループに分けられることを予期している。
従って、この場合、操作者は、ヒストグラムによる輝度
値の分類をしようと考え、上の「ヒストグラム２値化」
を選択する。「ヒストグラム２値化」は、画面上の輝度
値のヒストグラムを構築し、ヒストグラムの傾向に基づ
いて２値化をする方法である。

【００４８】以上のようにして所望の画像処理を選択す
ると、すぐにその画像処理をした結果が、モニタ３２上
に表示される。そのため、操作者は、その画像処理の結
果に満足すれば、そのままこの「ヒストグラム２値化」
の画像処理タスクを画像認識アルゴリズムに登録する。
もし、結果に満足しない場合は、再び、トップメニュー
からの選択を繰り返すことになる。

【００４９】本実施例における画像認識装置１０は、こ
のように操作者との対話的な応答を繰り返し、操作者に
画像処理の選択を行わせることができるので、選択され
た画像処理タスクを実行する画像認識プログラムの構築
が熟練者でなくとも容易に行うことができる。

【００５０】以上のようにして、本実施例によれば、メ
ニューから選択するだけで、アルゴリズムに所望の画像
処理を含ませる（登録）することが可能である。従っ
て、従来、ワークに変更が生じる度に、熟練者が最初か
らコーディング・コンパイルを行っていた画像認識アル
ゴリズムの構築が極めて容易に行える。

【００５１】このように、選択によって構築された画像
認識アルゴリズムの例が図３中、「（例）作成アルゴリ
ズム」とタイトルが付された破線で囲まれた部分に示さ
れている。ここに示されている画像認識アルゴリズム
は、例えば、ワークが「樹脂ラベル」の場合の画像認識
アルゴリズムである。そして、この画像認識アルゴリズ
ムが、破線で示された部分の左側に、「樹脂ラベル（ア
ルゴリズムＮｏ．１）」とタイトルが付されて示されて
いる。この「樹脂ラベル」の画像認識アルゴリズムは、
「画像取り込み」、「ウィンドウセット」．．．と順に
画像処理が行われ、「左端物体抽出」、「特徴量計
測」、「判定」の画像処理で実行が終了するアルゴリズ
ムである。

【００５２】本実施例における画像認識装置１０は、複
数の画像認識アルゴリズムを記憶することができる。す
なわち、上記データモジュール４４には複数のアルゴリ
ズムを記憶させることが可能である。

【００５３】そして、後述するように、誤欠品認識ホス
ト２２からの指示情報によって、ワークに合致した画像
認識アルゴリズムが、画像認識装置１０において使用さ
れるのである。

【００５４】メニューにより選択の対象となる画像処理
の候補は、あらかじめ画像処理ライブラリ３９に記憶さ
せておくが、この画像処理を実行する画像処理タスクの
プログラム自体は、専門の熟練者が様々な状況を考慮し
てあらかじめ作成（コーディング及びコンパイル）して
おく。

【００５５】また、認識すべきワークが変更され、既存
の画像処理だけでなく、全く新たな画像処理が必要とな
った場合には、専門の熟練者がその画像処理タスクのみ
を作成し、画像処理ライブラリ３９に登録すればよい。
この登録された新たな画像処理をモニタ３２におけるメ
ニューから選択することにより、前記ワークを認識する
ための新たな画像処理アルゴリズムが構築される。従っ
て、ワークに変更があった場合、従来は画像認識アルゴ
リズムの全体を書き直す必要があったが、本実施例によ
れば必要な画像処理タスクの部分だけを熟練者が作成す
るだけでよいので、画像認識アルゴリズムの構築が極め
て容易にかつ迅速に行えるという効果を有する。

【００５６】本実施例における画像認識装置１０は、こ
のように、画像認識アルゴリズムを容易に構築すること
ができる。理解を容易にするために、このアルゴリズム
を構築する部分だけの部分構成図が図４に示されてい
る。

【００５７】図４に示されているように、各画像処理タ
スクは画像処理ライブラリ３９に記憶されている。モニ
タ３２は、メニュー装置３３を含んでおり、このメニュ
ー装置によって、モニタの表示部にはメニューが表示さ
れる。操作者は、例えばマウス等のポインティングデバ
イスによって、メニュー中の所定の項目を選択する。す
ると、このメニュー装置３３は、選ばれた項目を画像処
理メモリ８４に登録する。画像処理メモリ８４は、デー
タモジュール４４の内部の所定の領域である。画像処理
メモリ８４は、テーブル構造をなしており、動作管理タ
スク４８によって参照される。動作管理タスク４８は、
テーブルである画像処理メモリ８４を参照することによ
って、そこに登録されている各画像処理を順次実行す
る。このようにして、本発明が画像認識装置１０内で構
成されている。

【００５８】この画像認識装置１０の全体の動作を図
２、図３を用いて説明する。誤欠品認識ホスト２２から
送出された画像認識アルゴリズムの番号及び２値レベル
データ等の指示情報は、図２に示されているＲＳ２３２
Ｃ受信タスク４６が受信し、その受信されたデータはデ
ータモジュール４４に登録される。図２に示されている
動作管理タスク４８は、データモジュール４４に前記デ
ータが登録されたことを検出した場合、イニシャライズ
タスク５０と、制御データセットタスク５２とを起動
し、上記受信データの再メモリ配置を行う。本実施例に
おいては、再メモリ配置とは、受信データに基づいて２
値レベルデータ等の各パラメータを各画像処理タスク用
のテーブルにセットを行う等の作業をいう。

【００５９】次に、ＤＩ／ＤＯ送信タスク５４が、照度
値や絞り値を、照度制御インターフェイス３０及び自動
絞りインターフェイス２８に対し出力する。照度制御イ
ンターフェイス３０は、ディジタル値で送出された照度
値をＤ／Ａ変換により電圧情報に変換し、この電圧情報
を照明装置１４ａ，〜１４ｄに供給することによりこれ
らに最適な照度値を設定する。自動絞りインターフェイ
ス２８は、ディジタル値で送出された絞り値をＤ／Ａ変
換により電圧情報に変換し、この電圧情報をカメラ１２
ａ，〜１２ｄに供給することにより、これらの自動絞り
値を調節する。次に、ＤＩ／ＤＯ受信タスク５６が、カ
メラ１２ａ，〜１２ｄから送出された認識開始信号を受
信した場合は、このＤＩ／ＤＯ受信タスク５６が認識開
始信号をデータモジュール４４にセットする。動作管理
タスク４８は、認識開始信号がデータモジュール４４に
セットされたことを検出すると、画像取り込みタスク５
８と、画像処理タスク６０と、判定タスク６２などを起
動する。画像取り込みタスク５８や、画像処理タスク６
０等は、それぞれの計測結果をデータモジュール４４に
セットする。そして、かかる計測結果がデータモジュー
ル４４にセットされると、動作管理タスク４８が判定タ
スク６２を起動させ、誤欠品の判定を行わせる。判定タ
スク６２は、データモジュール４４を参照し、誤欠品が
あるか否かについての判定結果をデータモジュール４４
にセットする。

【００６０】動作管理タスク４８は、各タスクや画像処
理が終了することを、データモジュール４４内のデータ
を参照することにより監視している。そして、動作管理
タスク４８は、全てのタスクと画像処理が終了した後、
送信データセットタスク６４、ＲＳ２３２Ｃ送信タスク
６６、及びＤＩ／ＤＯ送信タスク５４らを起動すること
により、判定結果を誤欠品認識ホスト２２に送信する。

【００６１】このような動作によって、一台の画像処理
装置に複数の画像認識アルゴリズムを備えさせることが
可能であり、かつ、認識の対象であるワークに合致した
画像認識アルゴリズムを選択することができるので、ワ
ークの高い認識率が期待できる。

【００６２】本実施例では、各タスクは、「２値化」な
どのいわば画像処理の単位である。そして、各タスク
は、上述したようにデータモジュール４４を介して動作
管理タスク４８によって管理されるので、各タスクを小
型化することが可能である。その結果、パソコン等の小
型の処理装置であっても、動作管理タスク４８をはじめ
として全てのタスクをそのメモリ上に常駐させることが
可能である。従って、各処理毎にプログラムのロードを
し直すなどの無駄な時間が生じない。

【００６３】この画像認識装置１０の詳細な動作のフロ
ーを図５に基づいて説明する。図５においては、各処理
の流れが破線で示されている。

【００６４】まず図５中で示されている破線の処理に
おいては、現在、実行する画像認識作業の作業番号に対
するその作業番号のスクリーン番号、その作業番号の処
理アルゴリズム番号、及び作業番号の特徴量アルゴリズ
ム番号がスケジュール管理メモリ８０に格納される。ス
クリーン番号とは、一個の画面中におけるいわゆるウィ
ンドウを指定する番号である。このスケジュール管理メ
モリ８０は、データモジュール４４の一部であって、画
像処理が行われる順番が格納されている。

【００６５】これらのスクリーン番号等は、誤欠品認識
ホスト２２から、作業番号に対応するスクリーン番号な
どが、画像認識装置１０に送出されるのである。後述す
るように、誤欠品認識ホスト２２は、ＡＬＣ２４から送
出される生産指示情報を基にして、上記スクリーン番号
等を求め、画像認識装置１０に送出するのである。

【００６６】図５中で示されている破線の処理におい
ては、前記スクリーン番号中のスクリーン座標でスクリ
ーン（ウィンドウ）がモニタ３２の画面に描かれる。

【００６７】図５中で示されている破線の処理におい
ては、画像処理アルゴリズム番号のアルゴリズム管理メ
モリ８２を参照し、そこで使用されている使用テーブル
の個数だけスケジュール順に、テーブル番号で示された
画像処理が行われる。ここで使用テーブルとは、各画像
処理において使用されるパラメータなどを格納したテー
ブルである。アルゴリズム管理メモリ８２は、データモ
ジュール４４の一部であって、使用するテーブルのテー
ブル番号が画像処理が行われる順番に記載されているメ
モリである。

【００６８】そして、そのテーブル番号の画像処理メモ
リ８４を参照することにより、そのテーブル番号に対応
した画像処理コードが得られる。画像処理コードがセッ
トされていないとき、その画像処理は未登録であると判
断する。この画像処理コードによって、画像処理が特定
され、画像処理コードに引き続いて格納されているパラ
メータに基づき、画像処理が行われる。なお、画像処理
コードに対応する実際の画像処理タスクのエントリー
（実行アドレス）は、画像処理コードテーブル８６を検
索することにより得られる。このようにして、テーブル
番号で示された画像処理が、スケジュール順に行われ
る。なお、この画像処理の個数は、使用テーブルの個数
と等しいことはいうまでもない。

【００６９】図５中で示されている破線の処理におい
ては、特徴量アルゴリズム番号のアルゴリズム管理メモ
リを参照し、計測画面数だけスケジュール中に特徴量計
測処理を行う。ここで、特徴量アルゴリズムとは、特
に、特徴量を計測する画像認識アルゴリズムをいう。

【００７０】本発明における画像認識プログラムは、本
実施例において上述した画像認識アルゴリズムだけでな
く、この特徴量アルゴリズムも含む。特徴量アルゴリズ
ムにおいては、特徴量の計測をすることにより、ワーク
の認識を行うものである。

【００７１】この特徴量アルゴリズムも、複数の所定の
画像処理タスクを呼び出すように構成されており、所定
の画像処理を実行する。特徴量アルゴリズムに対応する
アルゴリズム管理メモリを、本実施例においては特に計
測特徴量管理メモリ８８と呼ぶ。

【００７２】まず、計測画面番号「１」から処理が開始
され、アルゴリズムテーブル数（アルゴリズムで用いら
れるテーブルの個数）だけ、テーブル番号に示された画
像処理を行い、ワークを抽出（認識）する。なお、テー
ブル番号から、それに対応する画像処理の特定をするこ
とは、上述したの説明と同様にして行う。

【００７３】特徴量アルゴリズムの実行においては、計
測特徴量管理メモリ８８に記憶された特徴量コードに示
された特徴量が計測される。特徴量の計測は、この特徴
量コードが格納されている個数に等しい回数だけ行われ
る。なお、各特徴量コードから、特徴量コマンド（画像
処理）を特定することは、特徴量コードテーブル９０を
検索することによって行われる。

【００７４】また、図５中で示されている破線の処理
においては、計測された特徴量が、計測特徴量管理メモ
リ８８に記録されているスケジュール順（特徴量コード
の順）と同様の順番で、計測データメモリ９２にセット
される。この計測データメモリ９２も、他のメモリと同
様にデータモジュール４４の一部である。

【００７５】このように、本実施例においては、データ
モジュール４４を介してデータのやりとりを行ってい
る。

【００７６】１．２ワークの撮像法図３には、ワークの撮像法の説明も含まれている。各ワ
ーク、及びワークの置かれる環境毎に、照明照度、２値
レベル、絞りの最適撮像条件があらかじめテストされ、
確認されている。このようにして得られた照明照度など
のデータを各ワーク毎にデータベースに記憶しておく。
このデータベースは、誤欠品認識ホスト２２内のハード
ディスク上に構築されている。

【００７７】誤欠品認識ホスト２２は、ＡＬＣ２４から
送出される生産指示情報に含まれるワーク情報と、及び
このワークの取り付け環境情報（色、スペック、型）と
から、前記データベースを検索することにより、このワ
ークに対応した照度、絞り、二値レベルなどの最適撮像
条件を求めることができる。これらの最適撮像条件は上
述したように、画像認識装置１０に送出される。そし
て、照度や、絞り値は、画像認識装置１０から、照度制
御インターフェース３０や自動絞りインターフェース２
８によって、Ｄ／Ａ変換により電圧値に変換される。こ
のようにして変換された電圧値で、絞りや照度が制御さ
れる。

【００７８】このようにして、各ワークに対応した撮像
条件が設定されるのである。従来の自動絞りにおいて
は、画面の明るさが一定となるように絞りが調節される
ので、外乱光によって絞りが変動し、認識対象であるワ
ークに対する撮像条件が変動してしまう恐れがあった
が、本実施例によれば、ワークによって撮像条件が固定
されるので（操作者が変更することは可能である）、外
乱光によって変動する恐れはない。更に、本実施例によ
れば、あらかじめ生産指示情報にもとづいて、画像認識
前に、撮像条件をあらかじめ設定できるので、絞りが安
定するまでの待ち時間のために、画像認識処理時間が長
くなってしまうことがない。また、絞りのみで撮像条件
を制御すると、絞りすぎた場合に解像度が低下するが、
本実施例では、絞りのみで撮像条件を設定したのではな
く、照度も合わせて制御しているので、解像度が低下す
ることを防止することが可能である。

【００７９】２．誤欠品認識システムの動作の説明以上述べたように、各ワークに合致した複数のアルゴリ
ズム、及び各ワークとその取り付け環境毎の撮像条件が
データベースとして誤欠品認識ホスト２２に記憶されて
いる。以下、誤欠品認識システムの動作の説明を図６に
示されたフローチャートに基づいて説明する。

【００８０】ＡＬＣから、生産指示情報（色、型等）が
送出されると（ステップＳＴ５−１）、誤欠品認識ホス
ト２２が、生産指示情報に基づき、前記データベースを
検索し、指示情報（アルゴリズム番号、照度、絞り、２
値レベル）を得る。そして、誤欠品認識ホスト２２は、
この指示情報を画像認識装置１０に送出する。

【００８１】画像認識装置１０においては、画像認識に
先立ち、上述したように撮像条件の設定があらかじめ行
われる（ステップＳＴ５−２）。また、誤欠品認識ホス
ト２２は、カメラ切替器１６を制御して所望のカメラ１
２ａ，〜１２ｄからのビデオ信号ＶＩＮ１〜ＶＩＮ４
や、同期信号ＳＹＮ１〜ＳＹＮ４を、画像認識装置１０
に入力させる（ステップＳＴ５−３）。撮像条件が設定
された後、認識対象であるワークが指定の位置に到達し
たことが検出されると、誤欠品認識ホスト２２は認識開
始信号を画像認識装置１０に送出する（ステップＳＴ５
−４，ステップＳＴ５−５、ステップＳＴ５−６）。な
お、ワークが指定位置に到達したことは、リミットスイ
ッチなどにより検出される。

【００８２】画像認識装置１０は、認識開始信号を受信
すると、上述した画像認識アルゴリズムに従って、画像
処理を行い、ワークの認識を行う（ステップＳＴ５−
７）。本実施例において特徴的なことは、このワークの
認識に使用される画像認識アルゴリズムが含む個々の
「２値化」などの画像処理を、メニューから選択するこ
とができることである。

【００８３】画像認識装置１０は、認識・照合処理を終
えると、その判定結果を誤欠品認識ホスト２２に返送す
る（ステップＳＴ５−８）。誤欠品認識ホスト２２は、
照合結果が正しいものであれば、治具を原位置に戻し、
前記照合結果をいい誤欠品認識ホスト２２に送出する。
一方、上記照合結果が謝ったものであれば、ワークを治
具でクランプしたまま、その生産ラインの回転灯や、ブ
ザーを作動させ、作業者に報知する。作業者は現物を確
認し、所定の手直しをしてワークをアンクランプする。
そして、その結果は、誤欠品認識ホスト２２から自動的
に送出される（ステップＳＴ５−９）。

【００８４】以上述べたように、本実施例における誤欠
品認識システムは、画像認識装置１０に接続されている
モニタ３２に表示されるメニューを用いて、操作者が画
像認識アルゴリズムの構築をすることが可能となった。

【００８５】従来は、新たなワークに対応した画像認識
アルゴリズムは、熟練者がコーディング・コンパイルな
どを全て最初から行わなければならなかったが、本実施
例によれば、専門知識を有しない者でも各種の画像処理
をモニタ３２上で選択することにより容易にアルゴリズ
ムに登録することができる。

【００８６】従って、新たなワークに対しても迅速に対
応可能な誤欠品認識システムが提供できるという効果が
得られる。

【００８７】

【発明の効果】本発明によれば、メニューからの選択に
よって画像認識アルゴリズムの構築を行うことが可能と
なる。従って、プログラムの作成に熟練した者でなくと
も、容易に画像認識アルゴリズムが構築できる。もちろ
ん、熟練者であっても、認識の対象であるワーク毎に画
像認識アルゴリズムを作成するのと比較して、より容易
に画像認識アルゴリズムを構築することができることは
いうまでもない。

【図面の簡単な説明】

【図１】本発明に係る好適な実施例である誤欠品認識シ
ステムの構成図である。

【図２】画像認識装置１０のソフトウェアの構成図であ
る。

【図３】画像認識装置１０を中心とした誤欠品認識シス
テムの部分構成図である。

【図４】画像認識装置１０内で、画像認識アルゴリズム
が構築される手段の構成のみを示した構成図である。

【図５】画像認識装置１０の詳細な動作を説明する説明
図である。

【図６】本実施例に係る誤欠品認識システムの動作を説
明するフローチャートである。

【符号の説明】

１０画像認識装置１２カメラ１４照明装置１６カメラ切替器１８同期信号分配器２０映像信号切替器２２誤欠品認識ホスト２４ＡＬＣ２８自動絞りインターフェイス３０照度制御インターフェイス３２モニタ３３メニュー装置３９画像処理ライブラリ４０ＲＳ２３２Ｃドライバ４４データモジュール４８動作管理タスク５０イニシャライズタスク５４ＤＩ／ＤＯ送信タスク５６ＤＩ／ＤＯ受信タスク５８画像取り込みタスク６０画像処理タスク６２判定タスク６６ＲＳ２３２Ｃ送信タスク８０スケジュール管理メモリ８２アルゴリズム管理メモリ８４画像処理メモリ８６画像処理コードテーブル８８計測特徴量管理メモリ９０特徴量コードテーブル９２計測データメモリ

Claims

【特許請求の範囲】

【請求項１】複数の画像処理を実行することによって
画像の認識を行う画像認識プログラムの構築を行う画像
認識プログラム構築装置において、所定の画像処理を実行する画像処理サブルーチンを複数
記憶した記憶手段と、前記記憶手段に記憶された前記画像処理サブルーチンを
メニュー表示する表示手段と、操作者の指示により、前記メニュー表示から所望のサブ
ルーチンを選択する選択手段と、前記選択手段によって選択されたサブルーチンを呼び出
して、この呼び出したサブルーチンの実行を含む画像認
識プログラムを構築する構築手段と、を含むことを特徴とする画像認識プログラム構築装置。
【請求項２】請求項１記載の画像認識プログラム構築
装置において、更に、前記選択手段は、前記選択された画像処理サブルーチンが登録されるテー
ブル手段を含み、前記画像認識プログラム構築手段は、前記テーブルに登録された画像処理サブルーチンを順次
実行するメインプログラムを作成する作成手段を含むこ
とを特徴とする画像認識プログラム構築装置。
【請求項３】請求項１または２記載の画像認識プログ
ラム構築装置において、前記選択手段は、選択された画像処理サブルーチンを実行することによっ
て、対応する画像処理を行い、その処理結果を表示する
画像処理結果表示手段と、処理結果が表示された前記画像処理サブルーチンの選択
を、操作者の指示により解除する選択解除手段と、を含むことを特徴とする画像認識プログラム構築装置。
【請求項４】複数の画像処理を実行することによって
画像の認識を行う画像認識プログラムの構築を行う画像
認識プログラム構築方法において、所定の画像処理を実行する画像処理サブルーチンを複数
準備する準備工程と、前記準備された前記画像処理サブルーチンをメニュー表
示する表示工程と、操作者の指示により、前記メニュー表示から所望のサブ
ルーチンを選択する選択工程と、前記選択工程によって選択されたサブルーチンを呼び出
して、この呼び出したサブルーチンの実行を含む画像認
識プログラムを構築する構築工程と、を含むことを特徴とする画像認識プログラム構築方法。
【請求項５】請求項４記載の画像認識プログラム構築
方法において、更に、前記選択工程は、前記選択された画像処理サブルーチンをテーブルに登録
するテーブル登録工程と、前記画像認識プログラム構築工程は、前記テーブルに登録された画像処理サブルーチンを順次
実行するメインプログラムを作成する作成工程を含むこ
とを特徴とする画像認識プログラム構築方法。
【請求項６】請求項４または５記載の画像認識プログ
ラム構築方法において、前記選択工程は、選択された画像処理サブルーチンを実行することによっ
て、対応する画像処理を行い、その処理結果を表示する
画像処理結果表示工程と、処理結果が表示された前記画像処理サブルーチンの選択
を、操作者の指示により解除する選択解除工程と、を含むことを特徴とする画像認識プログラム構築方法。