JPH01289696A - 視覚センサシステムにおける画像処理方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、〔１ボツト等の視覚どして利用される視覚セ
ンリーシステムに関し、特に、対象物の検出処理に関す
るものである。

従来の技術 視覚レンリシステ１１は、カメラで囮影した画像を多数
の画素（ＰＩＩλば２５６Ｘ２５６の画素）から４Ｔる
フレームメモリに格納し、このフレームメモリの各画素
をス；、１：　１ｚンし゛（］ンボリューシヨン笠の画
像処理を行って、目標とする対象物を検出している。

発明が解決しようと１ｊる課題 画像処理においては、フレーｌ＼に格納された膨大／Ｊ
　ｊ！ｉｉ　像データについてコンポリューシ：〕ン（
たたみ込み積分）等の信号処理を行うので、（二号処理
の！？ｔ　Ｉ；７自体に相当時間がかかる」ニに、信号
処理を行う画像処理ブロヒッリ′とフレームメモリ間の
データ転送を行う「４間にデータ量が多いことから相当
１に’ｌ聞がかかる。

特に、ロボットの視覚として視覚センリシスデムを用い
、リアルタイムで作動さける場合、上記画像処理に要す
る時間が問題になる。そのため、従来は画像処理時間を
短くする試みとして、画像処理プロセッサの高速化及び
信ｑ処理のアルゴリズムの単純化等が行われ、又、デー
タの読取り。

■込み、転送等の高速化どして高速メモリの活用がなさ
°れているが、プロはツサの技術進歩、が早いとはいえ
、いまだ、画像処ＩＱ！速度を、ヒげたいという期４４
ｉは絶えない。又、高速処理を行う画像処理ブ；］セツ
号や高速メモリを使用すれば、それだけシステムを高価
にη゛るという問題があり、さらに信号処理のアルゴリ
ズムを単純化すれば、分解能が低下し、対象物の検出開
度を低下させるという問題が生じる。

そこで、本発明の目的は画像処理速度を向上させ、かつ
、検出精度ら低下しない視覚センサシステムにおける画
像処理方式を提供することにある。

課題を解決するための手段 上記目的を達成するために、本発明は、視覚センサシス
テムの画像処理装置内に少なくとも２以上のフレームメ
モリを設置ノ、第１のフレームメモリにカメラから取込
んだ画像を格納し、該画像を所定ｆｆｉ縮小し第２のフ
レームメモリに格納し、この縮小画像より検出しにうど
１ｊる対象物の粗探索を行い、検出された対象物の位置
及びオリエンテーション情報Ｊ：り上記第１のフレーム
メモリの探索領域を限定し、該第１のフレームメモリに
格納された画像の限定された領域に対し対象物の検出処
理を再度行い、対象物を検出するようにすることににり
上記課題を解決した。

作　　用 第１のフレームメモリに格納された両作を縮小し、第２
のフレームメモリに格納し、この第２フレームメモリに
格納された縮小画像に対して検出しようとする対象物の
探索の画像処理を行う。この場合、画像が縮小されてい
るから、画像処理対象の画素数は少なく画像処理速度が
上がり、対象物を知１１．１聞で検出づ゛ることができ
る。こうして検出された対象物の位記？、　′Ａリエン
デーシジン情報を元に、縮小前の画像が格納されている
り１１のフレームメモリの探索領域を限定し、この限定
された領域にＪ３いて対象物検出処理の画像処理を行っ
Ｃ３・１象物を検出する。この場合ら探索り−る領域が
限定されているから画像処１ｔｌｊ速度は速く、全体的
に対象物検出は短時間で行われ、かつ、検出精度も従来
と同じ画像処理で行われるから、従来と同一の検出精度
で対象物を検出することがで、きる。

実施例 第２図は、本発明の一実施例を実施する視覚センリ°シ
ステムの要部ブロック図である。

図中、１０は画像処理装置で、該画像処理装置１０は主
中央処理袋；８（以下、メインＣＰＵという）１１を右
し、該メインＣＦ’ＬＪ１１には、カメラインタフェイ
ス１２１画像処理ブＯｔ？ッサ１３゜コンソールインタ
フェイス１４．１″■モニタインタフェイス１５．ＲＯ
Ｍで形成されたコントロールソフト用メモリ１６．ＲＡ
Ｍ等で構成されたプログラムメモリ１７．フレームメモ
リ１８９通信インタフェイス１９がバス２０で接続され
ている。

なお、本実施例では、フレームメモリ１８は＃１〜＃４
の４枚のフレームメモリを有する例を示している。

カメラインタフェイス１２には部品等の対象物２２を九
影するカメラ２１が接続され、該カメラ２１の視野ぐと
らλられた画像は、グレイスケールによる濃淡画像に変
換されてフレームメモリ＃１に格納される。

画像処理プロセッサ１３はフレームメモリ＃１に格納さ
れた画像及び後述する縮小画像が格納されたフレームメ
モリ＃２の画像を処理し、対象物の識別０位ｉＵ、、ｍ
リエンテーションを甜測する。

コンソールインタフェイス１４にはコンソール２３が接
続され、該コンソール２３は、液晶表示部の外、各種指
令キー、アプリケーションプログラムの入ツバ編集、Ω
録、実行などの操作を行うための数字キー等を右しＣお
り、」−記液晶表示部には、各種データ設定のためのメ
ニ１−ウアプリケーションプログラムのリストなどを表
示できるようになっている。

ＴＶモニタインタフェイス１５にはモニタテレビ２４が
接続され、該モニタテレビ２４にはフレームメモリ＃１
．＃２に格納されている画像及びカメラ２１がとらえる
生の映像を表示′Ｃ″きるようにしている。

通信インタフェイス１９にはロボット等の該視覚センサ
システムを利用するシステムに接続されている。

以上の構成は、従来の視覚レンサシステムの６１成と同
様であるが、本発明においては、縮小画像を格納するだ
めのフレームメモリが付加されている点において、従来
のものと異なる。

次に、本実施例の動作を第１図に示す処理プローチ１？
−トと共に説明する。

通信インタフェイス１９を介して、外部から画像処理起
動指令が入力されると、メインＣＰＵ１１は、プログラ
ムメモリ１７に格納された画像処理プログラムを起動し
、まずカメラ２１に対し画像スナップ指令を出力し、画
像処理ブ〔１セツリ１３でスナップされた画像をフレー
ムメモリ＃１にグレイスケール瀾淡処］！Ｉ！後の画像
を格納する（ステップ８１）。次に、画像処理プロセッ
サ１３から画８１格納終了信号が出力されると、メイン
ＣＰＵ１１は、画像処理プロセッサ１３に画像縮小指令
を出力し、該指令を受けて画像処理プロセッサ１３はフ
レームス℃す＃１に格納された画像に対し画像縮小処理
を行い、フレームメモリ＃２に格納する（ステップ３２
）。

この画像縮小処理は従来から使用されている公知の方法
でよい。例えば、従来から公知の縮小処１！ｌどしては
次のよう＜Ｅ処理がある。

（１）フレームメモリの奇数（又は偶数）列及び奇数（
又は偶数）段の画素を間引き、これにより垂直１／２．
水平１／２の仝休で１／４の縮小画像（画面）を１ｎる
。又、この処理を繰り返して１／８．１／１６の縮小画
像を得ることができる。又、３ｎ　（ｎ　＝１．２．３
・・・）°列１段のみを抽出し、１／９の縮小画像を１
りるようにしてもよい。

（２）原ｉｉｊ像（フレームメモリ＃１）のＦ、！！接
画素の平均を取る方法。

縮小された画像のフレームメモリ＃２の０列１ｍ段の画
素値をＰｎ、ｍとすると（原画像のフレームメモリ＃１
が２５６列、２５６段でＪｌ、？成されているとすると
、ｎ−１〜１２８゜ｍ−１〜１２８）、例えば、原画像
のフレームメモリ＃１゛の隣接する画素の画素値Ｐ′、
ｐ’　　　　　、ｐ’ ２ｎ、２ｍ　　　　２ｎ＋１．２ｍ　　　　２ｎ、２ｍ
＋１゜Ｐ′２ｎ＋１．２ｍ＋１の平均を次の第（１）式
によって求め、縮小画像の０列１ｍ段の画素値ｐｎ、ｍ
とする。

Ｐｎ、ｍ　−（ｐ’　　　　＋ｐ’ ２ｎ、　２ｎｌ　　　　２ｎ＋１．２ｎ＋　Ｐ’　　２
ｎ、２ｍ＋１　　　　　　　　２ｎ＋１．２ｍ＋１　　
　）＋Ｐ’ Ｘ（１／４）　　　　　　　　　・・・・・・（１）こ
れにより縮小画像は原画像の１／４どなる。

（３）原画像（フレームメモリ＃１）の隣接画素の中間
値を取る方法。

縮小された画像のフレームメモリ＃２の０列９ｍ段の画
素値をＰｎ、ｍとすると（前述同様ｎ＝１〜１２Ｂ、ｍ
＝１〜１２８）　、例えば、原画像のフレームメモリ井
１の隣接する、Ｐ′ 画素の画素値’Ｔ”’　２ｎ−１，２１１１−１２ｎ−
１，２ｎ＋　。

、　Ｐ’　　　　　、　ｒ” ”　２ｎ−１，２１ＩＩ＋１　　　２ｎ、２ｍ−１２ｎ
、２ｍ　・ｐ’　２ｎ、２ｕｌ　、　ｐ’　２ｎ＋１．
２ｍ−１。

２ｎ＋１．２ｍ　　　　２ｎ＋１　、２ｍ＋１の中間値
を縮Ｐ’　　　　　　　　、Ｐ’ 小画像の０列２ｍ段の画素値ｐｎ、ｍとする。

ｐｎ、［−ＭＥＤ　（ｒ”　２ｎ−１，２ｍ−１。

”　２ｎ−１，２１２ｎ−１，２１４１゜、Ｐ′ 、Ｐ′ ”　２ｎ、２ｍ−１２ｎ、２ｍ　゛ ”　２ｎ、２１１＋１　　　２ｎ＋１．２ｍ−１’、Ｐ
′ ｐ’　　　　　、ｐ’ ２ｎ÷１．２１１１　．２ｎ＋１，２１１４１　）・・
・・・・（２） 例えば、原画像の各画素値Ｐ′が１０．２０゜２０．２
０．３０．３０．／ＩＱ、５０．６０であっｌことする
と、中間値３０を縮小画像の０列１ｍ段の画素の画素（
ｉｆｌＰｎ、ｇｏとする。

これにより原画像に対し１／４の画像を得ることかでき
る。なお、原画像のフレームス１す＃１の列、段の抽出
の仕方によって１／９．１／２５等の任意の縮小画像を
（Ｊることができる。

このにうな縮小画像を１ｉするための処理は画像処理プ
ロセッサ１３によって、ソフト処理によって行ってらよ
いが、該画像処理プロはツザ１３に前述した公知の縮小
画像処理を行う専用回路を設けて高速で実施さぼる方法
が望ましく、本実施例では、画像処理ブロセ°ツ１す１
３にこの専用回路を付設している。

このようにして、縮小画像がフレームメモリ＃２内に格
納され、縮小処理終了信号が画像処理ブロセッ１す１３
から出力されるとメインＣＰＵ１１は、画像処理プロは
ツザ１３にフレームメモリ＃２の縮小画像で対象物検出
処理を指令する（ステップ８３）。画像処理プロセッサ
１３は、予め設定されている縮小された対象物のデータ
より従来と同様な対象物検出処理を行って対象物の位買
、オリエンデージョンを検出する。例えば対象物が（ｎ
、ｍ）の位置にあることを検出すると、縮小画像が原画
像の１／４に縮小されたものであれば、原画像（フレー
ムメモリ＃１）の（２ｎ。

２ｍ）の画素位置付近に対象物があるはずである。

そこで、検出しようとする対象物の大きさは、縮小画像
で検出した対象物の大きさからも知ることもできるが、
本実施例では、予め対象物の大きさを教示してＪ３さ、
検出された対象物の位置（２ｎ。

２ｍ）を中心に、教示された対象物の大きざに応じて探
索１Ｊべさフレームメモリ＃１の領域を限定Ｊる（ステ
ップ８４）。イして、この制限された領域で、教示デー
タに以づさ″対象物の検出処理を従来と同様な検出処理
ににって行い、対象物の位置、′Ａリエンデーシ、１ン
を検出する（ステップＳ５）。

第３図ＫＬ、この実施例にＪ月ノる両像処ＪＩＩ！の説
明図で、第３図（ａ）Ｇま、カメラ２１で蹟影した画像
をフレームメモリ＃１に格納したとさ・の状態を丞１図
で（ステップＳ１にス・１応）、この画像を１／４に縮
小してフレームスｔす＃２に格納したどきの状態（ステ
ップ８２＞を第３図（ｂ）に示す。そしＴ　、このフレ
ームス［す＃２の縮小画像に対し対Ｚ；物の検出処理を
行い（ステップＳ３）、対象物が（ｎ、ｍ）の位置（画
素）に検出されると（第３図（Ｃ）参照）、原画像が格
納されているフレームメモリ＃１の画素位置（２ｎ、２
ｍ）を中心に探索領域を制限し、制限された領域で対象
物検出処理を行う（ステップ８５）、（ｍ３図（ｄ）参
照）。この検出処理結果として、第３図（Ｃ）に承りよ
うに対ＫＨ物の位置、オリエンテーションが正確に検出
される。

以」−のように、対象物の検出を縮小された１ｉＩｉｉ
像にＪ：って粗探素を行っで対象物のｈ在する概略位置
を検出し、原画像のこの検出された概略位置近傍を探索
Ｊ°ることによって対象物を正確に検、出するＪ：うに
したから、画ｍ処理速度は大幅に向上１Ｊる。特に、目
標とＪる対象物の形状等に応じて、縮小率を増大し、例
えば１／８．１／１６ど大幅に縮小し対象物の概略位置
を検出するＪ：うにすれば画（蒙処狸速ｌαは大幅に向
上１ｙる。この場合、縮小画像から、対象物の位置が複
数個検出されても、原画像において、検出された位置近
傍を再度、対象物検出処理を行うから正確に対象物を検
出づることがでさ゛る。

発明の効果 本発明は、原画像を縮小して対象物の検出を行い、その
轡、原画像に対し検出された対象物位置近傍“の制限さ
れた領域のみ探索して対染物を検出するようにしたから
、画像処Ｉ’Ｊ！速度は向上し、かつ、従来と同じ処理
によって対象物を１１密に検出りるから、対象物検出の
精度ｔま従来と変らず、正確に検出丈ることができる。

【図面の簡単な説明】

第１図は本発明の一実施例が行う画像処理の）Ｌ］−ブ
ー１−−１−１ｍ２図１１同一実施例の視覚レンリシス
デムの要部ブロック図、第３図は同一実施例にＪ３ける
画像処理の説明図である。 １０・・・画像処理装置、２１・・・カメラ、２２・・
・対′Ｑ物、＃１〜＃４・・・フレームメモリ。

Claims (1)

【特許請求の範囲】
1. 　視覚センサシステムにおいて、画像処理装置内に少な
   くとも２以上のフレームメモリを設け、第１のフレーム
   メモリにカメラから取込んだ画像を格納し、該画像を所
   定量縮小し第２のフレームメモリに格納し、この縮小画
   像より検出しようとする対象物の粗探索を行い、検出さ
   れた対象物の位置及びオリエンテーション情報より上記
   第１のフレームメモリの探索領域を限定し、該第１のフ
   レームメモリに格納された画像の限定された領域に対し
   対象物の検出処理を再度行い、対象物を検出するように
   した視覚センサシステムにおける画像処理方式。