JP3110592B2 - 画像処理装置 - Google Patents
画像処理装置Info
- Publication number
- JP3110592B2 JP3110592B2 JP05177063A JP17706393A JP3110592B2 JP 3110592 B2 JP3110592 B2 JP 3110592B2 JP 05177063 A JP05177063 A JP 05177063A JP 17706393 A JP17706393 A JP 17706393A JP 3110592 B2 JP3110592 B2 JP 3110592B2
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- unit
- image
- input
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Stored Programmes (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Description
の位置制御および検査などに使われる画像処理装置に関
するものであり、特にその画像処理プログラミング技術
に関するものである。
すブロック図である。図において、1は画像の入力を行
う、例えばテレビカメラなどの画像入力部であり、2は
この画像入力部1より入力された画像を処理する画像処
理部、3はこの画像処理部2が画像の処理を実行する際
に用いる画像処理コマンドが格納されている画像処理ラ
イブラリである。4はこの画像処理コマンドや前記画像
処理部2の処理結果を表示するための、例えばモニタテ
レビ等による表示部であり、5はこの表示部4にプログ
ラミングに必要なメニューを表示し、入力されたユーザ
からの指示に基づいて動作するメニュー制御部、6は前
記メニューの表示や実行内容が格納されているメニュー
ライブラリである。7はユーザからの指示が入力され
る、キーボードやマウスなどによる入力部であり、8は
入力部7の操作によってユーザが選択した画像処理コマ
ンドの履歴を画像処理プログラムとして記録する履歴プ
ログラム保存部である。
4はその処理の流れを示すフローチャートである。処理
が開始されるとまず、ステップST1にてメニュー制御
部5がメニューライブラリ6より画像処理コマンドのメ
ニューをロードし、ステップST2でそれを表示部4に
表示する。なお、この画像処理コマンドとは、画像の取
り込みや前処理のためのルックアップテーブル、ノイズ
除去フィルタ、平滑化フィルタ、先鋭化フィルタ、およ
びエッジ抽出フィルタなど、二値化処理のための固定し
きい値による二値化処理や判別法による二値化処理な
ど、後処理のためのノイズ除去フィルタや穴埋め処理な
ど、特徴抽出のためのラベリング処理や投影処理など、
計測処理のための個数計測処理、面積計測処理、および
周囲長計測処理などのコマンドを意味している。
力部7を操作し、用意されたこれらの画像処理コマンド
の中から自分が実行したいと思うものを選択する。次に
ステップST4において、それが画像処理コマンドの実
行、ファイル管理、終了のいずれであるかの判定を行
う。この場合、画像処理コマンドの実行であるため、ユ
ーザによって選択された画像処理コマンドがステップS
T5で画像処理部2にて実行され、その履歴がステップ
ST6において履歴プログラム保存部8に記録される。
その後、処理はステップST2に戻され、ユーザは自分
が実行したい全ての画像処理コマンドが処理されるまで
この操作を繰り返す。それにより、ユーザが実行した画
像処理コマンドは全て履歴プログラム保存部8内に画像
処理プログラムとして蓄積される。このようにして、ユ
ーザがプログラムをエディタなどで編集処理することな
しに、画像処理プログラムの自動生成が行われるように
工夫されている。
択されたことを検出した場合、処理はステップST7に
進み、メニュー制御部5は表示部4にファイル管理メニ
ューを表示する。ユーザはステップST8で入力部7を
操作してプログラムのロードかセーブかの選択を行い、
その判定がステップST9において行われる。判定の結
果、プログラムのロードであれば、ステップST10に
てプログラムをロードし、ステップST11でそれを実
行してステップST2に戻る。また、プログラムのセー
ブであれば、ステップST12でプログラムをセーブし
た後、ステップST2に戻る。最後に、ステップST3
でユーザが処理の終了を選択すると、ステップST4で
それを検出して一連の処理を終了する。
の例を示すブロック図で、図中、1は画像入力部、2は
画像処理部、3は画像処理ライブラリ、4は表示部、7
は入力部であり、これらは図13に同一符号を付したも
のと同一もしくは相当する部分である。また、9は画像
処理プログラムが格納されているプログラム保存部であ
り、10はその画像処理プログラムを編集するプログラ
ム編集部、11はこの画像処理プログラムの編集に用い
られる関数名とその内容が格納されている関数メニュー
ライブラリである。
6はその処理の流れを示すフローチャートである。処理
が開始されるとまず、ステップST21でプログラム編
集部10が起動され、ステップST22でプログラム保
存部9より画像処理プログラムのロードが行われる。次
にステップST23で関数メニューライブラリ11から
データのロードが行われ、その関数名と用途がステップ
ST24において表示部4に表示されてユーザに示され
る。ユーザはステップST25において入力部7を操作
して表示された関数の中から1つの関数を選択し、ステ
ップST26でそれを画像処理プログラムに追加した
り、画像処理プログラム中の不要なものを削除するなど
して画像処理プログラムを編集する。画像処理プログラ
ムの編集が終了すると、ステップST27においてそれ
をプログラム保存部9に格納して一連の処理を終了す
る。
連した技術が記載された文献としては、例えば「機械の
研究」第42巻,第11号(1990年)第1190〜
1198頁の「知識処理による画像処理体系」(長谷川
純一,鳥脇純一郎)や、「オムロン・テクニクス」第3
2巻,第1号(1992年)第24〜27頁の「人にや
さしい視覚センサのソフトウェア」(石原英,井尻隆
史,中村尚美)などがある。
以上のように構成されているので、図13に示した画像
処理装置では、最終結果に必要のない処理も実行される
ため、ユーザが自分で画像処理プログラムの最適化を考
慮した上で画像処理コマンドのメニューを選択しなけれ
ばならず、画像処理コマンドの試行には向いているが、
実際のファクトリー・オートメーションのラインで用い
るためにはプログラムを書きなおす必要があり、また、
画像処理プログラムの生成を画像処理コマンドの選択に
よって自動的に行ってしまうため、ユーザが画像処理コ
マンドをまちがえて選択したり、後になって変更したく
なった場合には、部分的な修正や追加ができず、もう一
度すべての処理を行うことが必要となるばかりか、ユー
ザが作成した画像処理プログラムが本当にその対象物の
認識を行うのに適した処理になるとは限らず、最適な画
像処理プログラムを生成するには画像処理技術に関する
知識や経験が必要とされ、実際のユーザが専門家でない
場合、画像処理装置の導入に多大な時間と負荷を必要と
するなどの問題点があった。
ては、表示された関数メニューを選択するだけで画像処
理プログラムが自動生成されるが、使用可能な関数名が
表示部4に表示されても、それまでの画像処理プログラ
ムを実行した時に得られた結果を用いた演算を行うため
に利用できる関数は、実際にはその中の一部にしかすぎ
ず、有効な関数と無効な関数との区別がないため、それ
をユーザが判断して選択することが必要であり、まちが
った選択をした場合にはデバッグに多くの時間を要する
という問題点があった。
される二次元の画像に対して演算を行い認識結果を出力
する画像処理装置は、この他にも種々提案されている
が、いずれにおいても、ユーザがエディタによりプログ
ラミング言語を用いてプログラミングしなければなら
ず、また、ユーザは画像処理のアルゴリズムや用語につ
いて、マニュアルや学習書を自ら読んで学習しなけれ
ば、画像処理装置を使って自分の望む動作をさせたり、
計測結果を得ることはできず、さらに対象物を撮像する
ときの照明条件は試行錯誤によって時間をかけて検討し
なければならないなどの問題点があった。
ためになされたもので、請求項1に記載の発明は、画像
処理プログラムの部分的な修正や追加が必要となった場
合に、処理をすべてやり直す必要のない画像処理装置を
得ることを目的とする。
を得るために必要のない画像処理コマンドリストや、重
複した画像処理コマンドを画像処理プログラムより自動
的に削除する画像処理装置を得ることを目的とする。
を自動的に設定できる画像処理装置を得ることを目的と
する。
の専門家ではないユーザでも容易に導入できる画像処理
装置を得ることを目的とする。
選択した関数に基づいて画像処理プログラムを自動的に
生成する画像処理装置を得ることを目的とする。
係る画像処理装置は、履歴プログラム保存部に記録され
ている画像処理コマンドの履歴による画像処理プログラ
ムを編集するためのプログラム編集部を設けたものであ
る。
理装置は、履歴プログラム保存部に記録されている画像
処理コマンド列中の、最終結果に必要な処理に関するも
ののみを残して他を削除するプログラム適正化部を設け
たものである。
理装置は、ユーザが求める計測値を計測してモデル化す
るモデル生成部、照明制御部によって制御されてさまざ
まな状況をつくる照明手段、モデル化されたモデルに基
づいて画像処理部の処理結果を評価する画像処理結果評
価部、およびその評価値より対象物に適した照明方式を
求める照明方式プランニング部を備えたものである。
理装置は、画像処理部による画像処理結果が格納される
画像処理結果保存部、その画像処理結果から特徴量を評
価する評価部、およびこの評価部の評価値に基づいて画
像処理プログラムを生成するプログラム生成部を備えた
ものである。
理装置は、関数メニューの表示や内容に関する情報が格
納された関数メニューライブラリ、画像処理結果から得
られる特徴量を保存する特徴量保存部、関数の中から特
徴量情報を用いて有効な演算が行えることを判断して、
有効な関数のみ表示部に表示させる関数選別部、および
ユーザの選択した関数を画像処理プログラムに追加する
プログラム生成部を備えたものである。
部は、履歴プログラム保存部に画像処理プログラムとし
て記録されている画像処理コマンドの履歴を編集するこ
とにより、プログラムの部分的な修正時に処理をすべて
やり直さなくともよい画像処理装置を実現する。
グラム適正化部は、画像処理プログラムとして履歴プロ
グラム保存部に記録されている画像処理コマンド列中
の、最終結果に必要のない処理に関する画像処理コマン
ドを削除することにより、画像処理プログラムを自動的
に適正化する。
ートリアル制御部は、ユーザが求める計測値を計測して
モデル化したモデルに基づいて画像処理部の処理結果の
評価を行い、照明方式プランニング部は、その評価値よ
り対象物に適した照明方式を求めることにより、当該対
象物に最適な照明条件を自動的に設定できる画像処理装
置を実現する。
グラム生成部は、画像処理結果保存部に保存された画像
処理部の画像処理結果から評価部が評価した特徴量の評
価値に基づいて、画像処理プログラムを生成することに
より、画像処理の専門家ではないユーザでも容易に導入
することが可能な画像処理装置を実現する。
選別部は、画像処理結果から得られる特徴量情報を用い
て有効な演算が行えることを判断して、関数メニューラ
イブラリに関数メニューの表示や内容が格納されている
関数の中から、有効な関数のみを選別して表示部に表示
させ、プログラム生成部はその表示に基づいてユーザが
選択した関数を画像処理プログラムに追加することによ
り、ユーザの選択した関数からプログラムを自動的に生
成する画像処理装置を実現する。
は請求項1に記載した発明の一実施例を示すブロック図
で、相当部分には図13および15と同一符号を付して
その説明を省略する。図において、12は画像処理コマ
ンドの履歴として履歴プログラム保存部8に記録されて
いる画像処理プログラムを編集するためのプログラム編
集部である。
はその処理の流れを示すフローチャートである。処理が
開始されると従来と同様に、まずステップST1で画像
処理コマンドのメニューがロードされ、ステップST2
で表示部4に表示される。ユーザはステップST3でそ
れらの画像処理コマンドの中から自分が実行したいと思
うものを選択し、ステップST4においてその画像処理
コマンドが画像処理部2で実行され、ステップST6で
その履歴が履歴プログラム保存部8に記録される。ユー
ザは自分が実行したい内容がなくなるまでメニュー選択
を繰り返す。これらの手順で画像処理プログラムが一通
り生成され、履歴プログラム保存部8内に保存される。
ムが一通り生成された後、ユーザがステップST3にて
入力部7の操作によって編集処理を選択すると、それが
ステップST4で検出されて処理はステップST13に
進む。ステップST13ではプログラム編集部12が履
歴プログラム保存部8に保存されている画像処理プログ
ラムをロードして処理の流れを表示部4に表示する。ユ
ーザは表示された画像処理コマンドのリスト中に不要な
ものや追加が必要なものがあれば、ステップST14で
その画像処理プログラムを適切なものに編集する。な
お、この編集処理はプログラム編集部12によって実行
されるものであり、追加、削除、コピーなどの機能があ
る。
たい編集機能を選択し、編集したい箇所を入力部のマウ
スやキーボードの操作によるポインティングによって指
定する。例えば、不要な画像処理コマンドを削除する場
合には、削除実行メニューを操作すると、ポインティン
グされた不要な画像処理コマンドが削除される。ステッ
プST14による編集処理によって更新されたコマンド
リストは、ステップST15で履歴プログラム保存部8
に記録される。ユーザは編集したい画像処理コマンドが
なくなるまで、すなわち、自分の必要とする画像処理プ
ログラムが生成されるまで、この操作を繰り返す。
は請求項2に記載した発明の一実施例を示すブロック図
である。図において、13は履歴プログラム保存部8に
画像処理プログラムとして記録された画像処理コマンド
の列の中の、最終結果に必要な処理に関する画像処理コ
マンドのみを選択して残し、他の画像処理コマンドを削
除するプログラム適正化部であり、他は図1の相当部分
と同一符号を付してその説明を省略する。
はその処理の流れを示すフローチャートである。なお、
ステップST1〜ST12の処理は図14に示したそれ
らと同等の処理であり、ステップST2〜ST6の処理
を繰り返すことにより、画像処理プログラムが一通り生
成されて、履歴プログラム保存部8内に保存されること
は実施例1の場合と同様である。
ムが一通り生成された後、ユーザがステップST3で入
力部7の操作によって適正化処理を選択すると、それが
ステップST4で検出されて処理はステップST16に
進む。ステップST16ではプログラム適正化部13が
起動され、まず履歴プログラム保存部8に保存されてい
る画像処理プログラムをロードする。次にステップST
17において、そのロードした画像処理プログラムの画
像処理コマンド列より最終結果に必要な処理を選び、そ
の画像処理コマンドのみを残して、他の画像処理コマン
ドを削除し、新たな画像処理コマンド列による画像処理
プログラムを生成する。このようにして適正化された画
像処理プログラムはステップST18であらためて履歴
プログラム保存部8に記録される。
はこの発明の一実施例を示すブロック図である。図にお
いて、2は画像処理部、4は表示部、7は入力部であ
り、図1に同一符号を付したものと同一、あるいは相当
部分である。また、14は複数の画像実例が格納されて
いる画像実例データベースであり、15は画像処理部2
が持つ各画像処理機能を使った複数の画像処理プログラ
ムが格納されている画像処理プログラムデータベースで
ある。16は表示部4に表示されるチュートリアルの表
示やその内容が格納されているチュートリアルメニュー
ライブラリであり、17は画像処理コマンドや処理内容
の説明に関する情報が格納されている説明文ライブラリ
である。18はこれら画像実例データベース14、画像
処理プログラムデータベース15、チュートリアルメニ
ューライブラリ16、および説明文ライブラリ17を制
御して、ユーザに画像処理コマンドを理解させたり使用
方法を習得させるための表示を表示部4に行うチュート
リアル制御部である。
はその処理の流れを示すフローチャートである。処理が
開始されると、まずステップST31において、チュー
トリアル制御部18によりチュートリアルメニューライ
ブラリ16からチュートリアルメニューがロードされ、
ステップST32にて表示部4にメニュー表示が行われ
る。次にチュートリアル制御部18からの指令によっ
て、ステップST33で画像実例データベース14より
対象物となる画像実例が読み出されて表示部4に表示さ
れ、ステップST34で画像処理プログラムデータベー
ス15から画像処理プログラムが読み出されて表示部4
に表示される。ユーザはステップST35において、そ
の表示部4に表示された指示に従って入力部7を操作
し、メニュの選択を行う。選択の結果はステップST3
6で判定され、その結果、コマンドの実行が選択された
場合にはステップST37に進む。
コマンドの中の、例えば二値化処理コマンドを選択した
ものとすれば、表示部4に対象物として表示した画像実
例に二値化処理を施した結果の画像実例を画像実例デー
タベース14よりロードして表示部4に表示する。その
他の画像処理コマンドに対しても、それぞれの処理を施
した後の画像実例を画像実例データベース14にあらか
じめ備えているので、同様にしてユーザの選択した処理
とその結果を表示部4に表示することができる。ユーザ
は表示部4に表示された処理後の画像実例を見ることに
よって、それぞれの画像処理コマンドがどのような処理
を行うものであるのか、それぞれの特徴を知ることがで
きる。
たい場合には、ユーザはステップST35において説明
メニューを選択する。選択の結果はステップST36で
判定され、その結果、この場合にはステップST38に
進む。ステップST38においては、チュートリアル制
御部18によって説明文ライブラリ17より該当する画
像処理コマンドの意味を解説する説明文がロードされ、
ステップST39でそれが表示部4に表示される。ユー
ザは表示された説明文を読んでその画像処理コマンドの
意味を理解する。
ル制御部18は処理をステップST32に戻し、また次
のメニューや画像実例を表示部4に表示し、各画像処理
コマンドの説明を行う。ユーザは表示された指示に従っ
て入力してゆくだけで画像処理コマンドを学習すること
ができる。また、当該画像処理装置の画像処理部2以外
の操作方法、例えば、外部とのデータ通信や接続、ある
いはプログラムのコンパイル方法などについても、チュ
ートリアル制御部18からの操作で習得することが可能
である。
は請求項3に記載した発明の一実施例を示すブロック図
である。図において、1は画像入力部、2は画像処理
部、4は表示部、7は入力部で、図1に同一符号を付し
たものと同一、あるいは相当部分である。また、19は
検査や位置決めなどが行われる対象物としてのワークや
部品等のサンプルであり、20はこのサンプル19を照
明する照明手段、21はこの照明手段20を制御して、
画像処理部2にて画像処理を行うときに考えられるさま
ざまな状況をつくりだす照明制御部である。1Aはサン
プル19の三次元画像の入力を行う三次元画像入力部で
あり、22はこの三次元画像入力部1Aより入力された
三次元画像を処理する三次元画像処理部である。
または三次元画像処理部22による三次元画像処理結果
に基づいてサンプル19の計測を行い、その計測値をモ
デル化するモデル生成部であり、24はこのモデル生成
部23にて生成されたモデルを保存するモデル保存部で
ある。25は前記画像処理部2による画像処理結果が格
納される画像処理結果保存部であり、26はこの画像処
理結果保存部25に格納された画像処理結果をモデル保
存部24に保存されているモデルと比較し、それらの一
致度より前記画像処理結果を評価する画像処理結果評価
部であり、27はこの画像処理結果評価部26の評価値
に基づいて、サンプル19に適した照明方式を求める照
明方式プランニング部である。
はその処理の流れを示すフローチャートである。ユーザ
は自分の作成したいプログラム、例えば画像処理技術を
利用した検査や位置決めなどのプログラムの対象物とな
る、ワークや部品等のサンプル19を用意しておき、ス
テップST41においてまず、そのサンプル19を所定
の位置に設置する。次にステップST42において、生
成するモデルの計測値が、例えば外形寸法、コーナー
角、外形形状などの外形に関するものか否かの判定を行
い、外形に関するものである場合にはステップST43
に進む。ステップST43では、透明な台の上に設置さ
れたサンプル19を下部の照明手段20にて照明し、ス
テップST44において、それを画像入力部1にて上か
ら撮像して画像処理部2に画像を入力する。画像処理部
2はステップST45において、それを二値化してその
二値化画像から外形の測定を行い、モデル生成部23は
その外形の測定値をモデル化して外形モデルを生成す
る。
果、ユーザの求めたい計測値が、レンジセンサ等の三次
元計測器を用いて測定する、突起物などの外形以外のも
のに関するものであった場合には、処理はステップST
42からステップST47に進む。ステップST47で
は三次元画像入力部21より三次元距離画像を入力し、
ステップST48において、三次元画像処理部22でそ
のセグメンテーションを行い、モデル生成部23はそれ
に基づいて面モデル、あるいは曲面モデルを生成する。
このようにして生成された外形モデルや、面モデル、曲
面モデルは、ステップST50でモデル保存部24に保
存される。なお、このモデルの生成は、このほかにも、
接触センサなどを用いて行うことも可能であり、このモ
デル生成の段階では、実際の現場ではコストが高くて導
入できないものや、処理時間がかかりすぎて導入できな
いものを用いてもかまわない。
さまざまな(例えばi種の)照明条件を設定し、同様に
画像処理アルゴリズムについてもいくつか(例えばj
種)の手法を用意しておく。そして、ステップST52
でi種の照明条件中の最初のものに設定し、設定された
照明条件の下で、ステップST54においてj種の画像
処理アルゴリズム中の1つを用いた画像処理を実行し、
その画像処理の結果から得られる計測値を画像処理結果
保存部25に保存する。このステップST54およびS
T55の処理はステップST53において、用意された
j種の画像処理アルゴリズム全てについての処理の終了
が検出されるまで繰り返される。ステップST53で処
理の終了が検出されると処理はステップST51に戻さ
れ、このステップST51にて、用意されたi種の照明
条件全ての処理が終了したことが検出されるまで、ステ
ップST52〜ST55の処理が繰り返される。
る全ての画像処理アルゴリズムによる計測値が画像処理
結果保存部25に保存されると、それがステップST5
1で検出されて処理はステップST56に進む。ステッ
プST56では画像処理結果評価部26が、この画像処
理結果保存部25に保存された各計測値を、モデル保存
部24に保存されているモデルと比較してそれぞれの一
致度を評価し、評価値を照明方式プランニング部27に
送出する。照明方式プランニング部27は受け取った評
価値に基づいて、当該サンプル19に適した照明方式を
求め、それをユーザに知らせる。例えば、照明条件と画
像処理アルゴリズムの組合せを、前記評価値のよい順に
表示部4に表示する。
た照明手段20中の1つを点灯するように照明制御部2
1から制御し、その状態で画像入力部1にてサンプル1
9の画像を撮像する。撮像された画像を画像処理部2で
画像処理し、その画像処理の結果を画像処理結果保存部
25に格納しておく。次に、照明制御部21より先ほど
点灯した照明手段20を消灯して次の照明手段20を点
灯する。この場合、最初の照明手段20と次の照明手段
20とは近くに並べるのではなく、違った角度からサン
プル19を照明するように設置する。例えば、最初の照
明は画像入力部1の周辺から照射し、次の照明はサンプ
ル19を斜め上から照射するように配置しておく。ま
た、照明手段20の種類も、例えばリング照明、スポッ
ト照明などいろいろな形態のものを取り混ぜて用意して
おく。2番目の照明手段20を点灯して、最初の照明手
段20点当時と同様の処理を行い、画像処理結果を画像
処理結果保存部25に格納しておく。このような処理
を、3番目の照明手段20、4番目の照明手段20、・
・・・についても順次行って、それぞれの画像処理結果
を画像処理結果保存部25に格納しておく。
して画像処理結果保存部25に格納された各画像処理結
果を、モデル保存部24に保存されているモデルと順次
比較してその一致度を評価する。また、ひとつの照明手
段20についても照明の強さを変化させたときのそれぞ
れの画像処理結果を評価したり、いくつかの照明手段2
0を同時に点灯した場合についても画像処理結果を評価
しておく。なお、これらの照明手段20の設置場所は、
先ほどのモデル作成の場合とは異なり、実際の現場で使
用可能な状態に限定される。これらの評価結果は照明方
式プランニング部27に送られ、評価値の高かった照明
方式がユーザに示される。
は請求項4に記載した発明の一実施例を示すブロック図
で、既に説明した部分については、図1、図7および図
15と同一の符号を付してその説明を省略する。図にお
いて、28はユーザ情報が格納されるユーザ情報保存部
であり、29は画像処理結果保存部25に保存された画
像処理結果とこのユーザ情報保存部28に保存されたユ
ーザ情報から特徴量の評価を行う評価部である。30は
この評価部29からの評価値に基づいて画像処理プログ
ラムを自動生成するプログラム生成部てあり、9はこの
プログラム生成部30が生成した画像処理プログラムを
保存するプログラム保存部である。また、31はメニュ
ー制御部5に接続されたグラフィックライブラリであ
る。
0はその処理の流れを示すフローチャートである。まず
ステップST61において、画像入力部1で撮像された
サンプルの画像が画像処理部2のフレームメモリに格納
される。画像処理部2はステップST62で、このフレ
ームメモリに格納された画像のデータを二値化して二値
化画像を生成し、生成された二値化画像にラベリング処
理、セグメンテーション処理を行い、各ラベル毎に重心
や主軸、輪郭形状を抽出し、直線部、コーナー部の検
出、さらには穴、円図形などの特徴量の検出を行って、
その結果を画像処理結果保存部25に格納する。一方、
この特徴量はステップST63においてモニタテレビな
どの表示部4に表示される。
量は評価部29に送られて、画像中に同じような特徴が
存在するか否かを評価する類似性評価をステップST6
4にて行い、特徴毎の信頼性(例えば円軸出しおける円
特徴量の評価は面積/半径の自乗)などの評価尺度での
特徴評価をステップST65で行って、その結果の評価
値をステップST66で表示部4に表示する。このと
き、前記各種評価の結果を用いて、例えば類似性の少な
い順(即ちユニークな順)、あるいは特徴評価の高い順
などによって評価結果をユーザに知らせる。また、同時
に表示するときには、色や表示の濃淡、あるいは数値な
どを用いてユーザに知らせる。
表示された特徴量の中から自分が作成したいプログラム
に応じて適当と思われる特徴量を選択して、キーボード
やマウスなどによる入力部7より入力すると、プログラ
ム生成部30はステップST68においてそれに基づい
た仮プログラムの生成を行う。具体的には、ユーザが位
置決めプログラムを生成したいのなら、サンプルの位置
を求めるときの基準として重心を使うのか、穴を使うの
かなどを選択する。また、傾きを求めるプログラムを生
成したいのなら、例えば直線部の傾き、2つの穴を結ぶ
直線の傾きなどがあるが、直線を利用する場合には特徴
量として使いたい直線を選択し、2つの穴を利用する場
合にはその穴を選択する。なお、位置決めプログラムを
生成するなら、面積やラベルの数のようにその特徴量を
用いて位置決めプログラムを生成できない特徴量もあ
り、そのような特徴量は選択できないことをプログラム
目的を入力した段階でユーザに示し、それらの特徴量の
表示を行わない。
てその重心を求めるというようなプログラムを生成した
い場合には、最初に検査、分類モードでプログラミング
に入り、その結果を使って位置決めを行うように後で組
み合わせることができる。また、検査プログラムを生成
したい場合には、面積、コーナーの数、ラベルの数、コ
ーナーの角度など、いろいろな特徴量が選択できるの
で、その中からユーザが選択する。なお、ユーザが介入
せずに、評価部29の評価値のみによって全く自動的に
プログラムを生成することも可能である。さらに、ユー
ザは特徴量を選択する前に、その特徴量の評価結果順に
ソートしたり、あるしきい値よりも大きなものだけを表
示するなどして、信頼性を確認してから特徴量の選択を
行うことができる。
理時間は決まっているので、特徴量を選択して仮プログ
ラムを生成した段階で、ステップST69にて処理実行
時間の見積もりを計算し、それをユーザに表示して知ら
せる。例えば直線部を特徴量として選択した場合、処理
時間は、画像入力時間、画像二値化時間、ラベリング時
間、輪郭線抽出時間、および直線抽出時間の和で求めら
れるので、それぞれの処理時間をあらかじめ記憶させて
おけば、この処理実行時間は容易に求めることができ
る。ユーザは見積もられたこの実行処理時間を見て、そ
れが要求仕様時間よりも長くて実際の現場では使用でき
ないと判断したときには、他の特徴量を選択して時間の
短い処理に変更することにより、要求仕様を満たしたプ
ログラムを生成する。
を判別し、それが1回である場合にはステップST61
に戻って以上の処理を繰り返す。このようにして、同じ
サンプルを複数回撮像して同一の処理を行った時の安定
性を評価する安定性評価をステップST71において行
い、再現性に問題がなければステップST72で画像処
理プログラムを生成し、それをプログラム保存部9に格
納する。入力部7よりもう一度処理する旨のユーザ入力
があったことをステップST73で検出した場合にはス
テップST61に戻って、以上の処理が繰り返される。
また、ステップST73で終了する旨のユーザ入力があ
ったことを検出すると一連の処理を終了する。
と、その特徴量を求めるために必要なプログラムが生成
される。あらかじめ記憶しておいた画像処理プログラム
の大まかな流れと、条件によるコマンドの選択によって
プログラムは生成される。
1は請求項5に記載した発明の一実施例を示すブロック
図で、既に説明した部分については、図9および図15
と同一の符号を付してその説明を省略する。図におい
て、32は画像処理部2による画像処理結果から得られ
た特徴量の情報を保存する特徴量保存部である。33は
この特徴量保存部32に保存された特徴量の情報を用い
て有効な演算が行える関数を、関数メニューライブラリ
11にその関数メニューの表示や内容が格納されている
関数の中から選択し、それを表示部4に表示させる関数
選別部である。34はユーザが入力部7を操作して選択
した関数を画像処理プログラムに追加することによって
プログラムを生成する点で、図9に符号30を付したも
のとは異なるプログラム生成部である。
2はその処理の流れを示すフローチャートである。まず
ステップST81においてメニューが起動されると、ユ
ーザはステップST82で画像処理プログラムを生成す
る。次にステップST83においてその画像処理の結果
より特徴量が求められ、得られた特徴量はステップST
84にて特徴量保存部32に格納される。ユーザはこの
ようにして画像処理プログラムを生成した後、その結果
得られた特徴量を用いて自分の求めている値を計算す
る。ここで、ユーザが求めたい値とは、例えば2点を結
ぶ直線の方程式や2点間の中心座標など、それまでに求
めた特徴量の値を使って計算するものである。
ST85で関数メニューライブラリ11より関数メニュ
ーがロードされ、ステップST86で特徴量保存部32
より特徴量の情報がロードされる。その後、ステップS
T87においてその関数の中より特徴量の情報を用いて
有効な演算が行える関数のみが選択され、ステップST
88でそれが表示部4に表示される。このようにして、
それまでの画像処理プログラムで使用していた特徴量を
用いて計算できる上位のコマンドが表示部4に表示され
る。ユーザはこの表示部4の表示を見て、ステップST
89で入力部7を操作して自分の欲しい値を計算できる
関数を選択する。選択された関数とそれまでのプログラ
ムはプログラム生成部34に渡され、プログラム生成部
34はステップST90において、条件に従って上位計
算部をそれまでのプログラムに追加し、新しい画像処理
プログラムを生成する。生成された新しい画像処理プロ
グラムは、ステップST91でプログラム保存部9にセ
ーブされ、一連の動作を終了する。
よれば、履歴プログラム保存部に画像処理プログラムと
して記録されている画像処理コマンドの履歴を、プログ
ラム編集部によって編集するように構成したので、試行
錯誤しながら画像処理コマンドを選択したり、まちがっ
たコマンドを選択した場合に簡単に削除や追加を行うこ
とが可能となり、ユーザはプログラミング処理を最初か
ら最後までやり直さなくとも、自分の必要な処理だけを
実行するプログラムを作成することができ、プログラミ
ングに係る時間を大幅に削減できる効果がある。
像処理プログラムとして履歴プログラム保存部に記録さ
れている画像処理コマンド列中の、最終結果に必要のな
い処理に関する画像処理コマンドを、プログラム適正化
部によって削除するように構成したので、画像処理プロ
グラムの適正化が自動的に行え、処理時間が短縮できる
効果がある。
ーザが求める計測値を計測してモデル化したモデルに基
づいて、画像処理結果評価部で画像処理部の処理結果を
評価し、照明方式プランニング部にてその評価値より対
象物に適した照明方式を求めるように構成したので、ユ
ーザは対象物を台に設置するだけで最適な照明条件を自
動的に設定でき、照明方法についての学習や試行錯誤に
よる時間を短縮することができ、画像処理に関する知識
があまりないユーザでも画像処理システムを構築するこ
とが可能となって、ユーザの負担が軽減される効果があ
る。
像処理結果保存部に保存された画像処理部の画像処理結
果から評価部が評価した特徴量の評価値に基づいて、画
像処理プログラムを生成するように構成したので、ユー
ザはエディタの使用方法を習得しなくともよくなり、簡
単な操作でプログラムが自動生成されるので、プログラ
ミングにかける時間を短縮でき、対象物の特徴を表示し
て、その中からユーザの選択や自己評価によって有効な
特徴量を選択し、それをもとに適正化されたプログラム
を生成するので、安定した処理方法による画像処理プロ
グラムが生成でき、ユーザが画像処理の専門知識を習得
する必要がないため、導入時間が短縮できてユーザの負
担も軽減され、さらに、画像処理プログラムの実行見積
もり時間もユーザに示されるので、処理時間が要求され
る仕様時間を超えるような場合にはプログラムを修正す
ることが可能となって、最初からニーズに適合したプロ
グラムを生成でき、プログラムの作成時間を短縮できる
などの効果がある。
像処理して求めた計測値の組合せに応じて関数を自動的
に選別して表示部に表示し、その表示に基づいてユーザ
の選択した関数を画像処理プログラムに追加するように
構成したので、ユーザは自分でメモをとったりマニュア
ルを調べたりする必要がなくなり、また、ユーザの選択
した関数を組み込んだ判定に関するプログラムを自動生
成することができ、プログラミングに要する時間を短縮
することができる効果がある。
ブロック図である。
である。
ブロック図である。
である。
ブロック図である。
である。
ブロック図である。
である。
ブロック図である。
トである。
すブロック図である。
トである。
である。
る。
図である。
る。
Claims (5)
- 【請求項1】 画像の入力を行う画像入力部と、前記画
像入力部より入力された画像の処理に用いる画像処理コ
マンドが格納されている画像処理ライブラリと、入力さ
れたユーザからの指示に従って選択された前記画像処理
コマンドを実行する画像処理部と、前記ユーザからの指
示が入力される入力部と、前記画像処理コマンドや前記
画像処理部の処理結果が表示される表示部と、前記表示
部にプログラミングに必要なメニューを表示し、前記入
力部から入力されたユーザの指示に従って処理を実行す
るメニュー制御部と、前記メニューの表示や実行内容が
格納されているメニューライブラリと、前記入力部の操
作によってユーザが選択した画像処理コマンドの履歴を
記録する履歴プログラム保存部と、前記履歴プログラム
保存部に保存されている前記画像処理コマンドの履歴を
編集するためのプログラム編集部とを備えた画像処理装
置。 - 【請求項2】 画像の入力を行う画像入力部と、前記画
像入力部より入力された画像の処理に用いる画像処理コ
マンドが格納されている画像処理ライブラリと、入力さ
れたユーザからの指示に従って選択された前記画像処理
コマンドを実行する画像処理部と、前記ユーザからの指
示が入力される入力部と、前記画像処理コマンドや前記
画像処理部の処理結果が表示される表示部と、前記表示
部にプログラミングに必要なメニューを表示し、前記入
力部から入力されたユーザの指示に従って処理を実行す
るメニュー制御部と、前記メニューの表示や実行内容が
格納されているメニューライブラリと、前記入力部の操
作によってユーザが選択した画像処理コマンドの履歴を
記録する履歴プログラム保存部と、前記履歴プログラム
保存部に記録された前記画像処理コマンド列中の、最終
結果に必要な処理に関する画像処理コマンドのみを選択
して、他の画像処理コマンドを削除するプログラム適正
化部とを備えた画像処理装置。 - 【請求項3】 対象物を撮像してその画像を入力する画
像入力部と、前記画像入力部より入力された画像を処理
する画像処理部と、前記画像処理部による画像処理結果
が格納される画像処理結果保存部と、前記対象物の照明
を行う照明手段と、前記照明手段を制御して、前記画像
処理部にて画像処理を行うときに考えられる状況を実現
する照明制御部と、前記対象物の計測値をモデル化する
モデル生成部と、前記モデル生成部にて生成されたモデ
ルを保存するモデル保存部と、前記モデル保存部に保存
されているモデルに基づいて前記画像処理結果保存部に
保存されている画像処理結果を評価する画像処理結果評
価部と、前記画像処理結果評価部の評価値より前記対象
物に適した照明方式を求める照明方式プランニング部と
を備えた画像処理装置。 - 【請求項4】 画像の入力を行う画像入力部と、前記画
像入力部より入力された画像の処理に用いる画像処理コ
マンドが格納されている画像処理ライブラリと、入力さ
れたユーザからの指示に従って選択された前記画像処理
コマンドを実行する画像処理部と、前記ユーザからの指
示が入力される入力部と、前記画像処理コマンドや前記
画像処理部の処理結果が表示される表示部と、前記表示
部にプログラミングに必要なメニューを表示し、前記入
力部から入力されたユーザの指示に従って処理を実行す
るメニュー制御部と、前記メニューの表示や実行内容が
格納されているメニューライブラリと、前記画像処理部
の画像処理結果が格納される画像処理結果保存部と、前
記画像処理結果保存部に保存された画像処理結果から特
徴量の評価を行う評価部と、前記評価部からの評価値に
基づいて画像処理プログラムを生成するプログラム生成
部とを備えた画像処理装置。 - 【請求項5】 画像の入力を行う画像入力部と、前記画
像入力部より入力された画像の処理に用いる画像処理コ
マンドが格納されている画像処理ライブラリと、入力さ
れたユーザからの指示に従って選択された前記画像処理
コマンドを実行する画像処理部と、前記ユーザからの指
示が入力される入力部と、前記画像処理コマンドや前記
画像処理部の処理結果が表示される表示部と、前記表示
部にプログラミングに必要なメニューを表示し、前記入
力部から入力されたユーザの指示に従って処理を実行す
るメニュー制御部と、前記メニューの表示や実行内容が
格納されているメニューライブラリと、前記画像処理部
による画像処理結果から得られる特徴量を保存する特徴
量保存部と、前記特徴量保存部に保存された特徴量の情
報を用いて有効な演算が行える関数を選択して前記表示
部に表示させる関数選別部と、前記関数の関数名とその
内容が格納されている関数メニューライブラリと、前記
入力部から入力されたユーザの指示に従って、選択され
た関数を画像処理プログラムに追加するプログラム生成
部とを備えた画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05177063A JP3110592B2 (ja) | 1993-07-16 | 1993-07-16 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05177063A JP3110592B2 (ja) | 1993-07-16 | 1993-07-16 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0737094A JPH0737094A (ja) | 1995-02-07 |
JP3110592B2 true JP3110592B2 (ja) | 2000-11-20 |
Family
ID=16024476
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP05177063A Expired - Lifetime JP3110592B2 (ja) | 1993-07-16 | 1993-07-16 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3110592B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3853007B2 (ja) * | 1997-02-24 | 2006-12-06 | 松下電器産業株式会社 | 画像処理装置 |
KR100374046B1 (ko) | 1999-09-30 | 2003-03-03 | 오므론 가부시키가이샤 | 화상처리장치, 화상처리방법 및 시각검사 시스템 |
JP4743805B2 (ja) | 2000-04-06 | 2011-08-10 | ルネサスエレクトロニクス株式会社 | 外観検査方法および装置 |
JP4759957B2 (ja) * | 2004-08-26 | 2011-08-31 | パナソニック電工株式会社 | 検査・計測用プログラムの作成方法並びにそのプログラムを作成するためのコンピュータプログラム及び検査・計測用プログラムの作成装置 |
JP5333344B2 (ja) * | 2009-06-19 | 2013-11-06 | 株式会社安川電機 | 形状検出装置及びロボットシステム |
JP2013016013A (ja) * | 2011-07-04 | 2013-01-24 | Omron Corp | 開発支援装置および開発支援プログラム |
JP6748464B2 (ja) * | 2016-03-28 | 2020-09-02 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびその画像処理プログラム |
JP7146367B2 (ja) * | 2017-01-30 | 2022-10-04 | オムロン株式会社 | 画像処理システム、情報処理装置、情報処理方法、および情報処理プログラム |
JP7342616B2 (ja) * | 2019-10-29 | 2023-09-12 | オムロン株式会社 | 画像処理システム、設定方法およびプログラム |
-
1993
- 1993-07-16 JP JP05177063A patent/JP3110592B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH0737094A (ja) | 1995-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7392233B2 (en) | Image searching system, image searching method, and a recording medium storing an image searching program | |
US6898560B1 (en) | Maintaining a computer-generated design model | |
JP3110592B2 (ja) | 画像処理装置 | |
US7428724B2 (en) | Interactive interface for engineering standard work | |
US20010025229A1 (en) | Device and method for generating a virtual model of an installation | |
JP2009163742A (ja) | ソフトウェア・ステップ・プログラムを構成するためのオブジェクト指向方法 | |
JPH0290366A (ja) | 対話式図形探索置換方法 | |
US20070052973A1 (en) | Damage analysis-supporting system | |
JPH0683598A (ja) | ジョブフロー仕様書自動作成方法 | |
CN113538631A (zh) | 通过基于用户输入所生成的人工智能模型来生成虚拟缺陷图像的计算机程序、方法和装置 | |
JP3193005B2 (ja) | 車両修理費見積システム及びプログラムを記録したコンピュータ可読媒体 | |
JP4478040B2 (ja) | モデルチェック方法およびモデルチェックプログラム | |
US5924107A (en) | Information-processing apparatus having document-editing function | |
US5293478A (en) | Graphical design processing apparatus for assessing and modifying design of components | |
AU760395B2 (en) | Program reproducing method and device, and medium on which program for program reproduction recording | |
JP6678819B2 (ja) | 三次元医用データの対話型輪郭描出のための画像処理システム及び方法 | |
JP5121092B2 (ja) | 車両修理費見積システム | |
JP4113652B2 (ja) | 住宅開発設計システム | |
JP3138430B2 (ja) | ユーザインタフェース画面作成支援装置 | |
JPH0660136A (ja) | 図面編集装置 | |
JPH0546377A (ja) | 制御プログラム作成方法及びその作成装置 | |
JPH08305887A (ja) | パラメトリック編集機能付cadシステム | |
JP3102222B2 (ja) | 知識獲得方法及びその実施装置 | |
JP5210475B2 (ja) | 車両修理費見積システム | |
JPH07121710A (ja) | 画像セグメンテーション方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080914 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080914 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090914 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090914 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100914 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110914 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110914 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120914 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130914 Year of fee payment: 13 |
|
EXPY | Cancellation because of completion of term |