JPS61250504A

JPS61250504A - 移動体認識視覚センサ

Info

Publication number: JPS61250504A
Application number: JP9169385A
Authority: JP
Inventors: Masatsune Kosaka; 正恒香坂
Original assignee: Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 1985-04-27
Filing date: 1985-04-27
Publication date: 1986-11-07

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〈発明の技術分野〉この発明は、生産工程の自動化、道路交通管制などの分
野に利用される移動体認識視覚センサに関する。

〈発明の概要〉この発明では、情報の処理時間を短縮して移動体の認識
を高速で行うことができるようにするため、連続する２
つのフレーム間の対応する画素信号の差分値を各画素ご
とに求め、その差分値に基づいて必要な情報を抽出する
ようにしている。

〈発明の背景〉従来、移動体の認識を行う視覚システムにおいては、撮
像フレームごとに物体の輪郭線の抽出を行なっている。

すなわち、第７図に示すように、撮像によって得られた
画像信号は１フレームごとに２値化され、その２値化デ
ーダに基づいて物体の輪郭線の抽出が行われる。そして
、抽出された輪郭線から特徴点の抽出を行うとともに、
必要ならば対象物の形状認識を行い、線分情報の偏位抽
出により対象速度・方向等の検出を行っている。しかし
ながら、このような方式によれば、移動物体の背景部分
についても画像処理が行われ、この処理されたデータは
最終の処理過程で利用されることなく捨てられるもので
あるため、演算能力が有効に利用されず、処理に要する
サイクル時間が長くなって高速の移動物体の追尾制御が
困難であるという問題があった・〈発明の目的〉この発明の目的は、上記従来技術の問題点を解決し、情
報の処理時間を短縮して高速で移動体の認識を行うこと
ができる移動体認識視覚センサを提供することにある。

〈発明の構成および効果〉上記目的を達成するため、この発明による移動体認識視
覚センサは、連続する２つのフレームにおいて対応する
画素ごとにその信号の差分値を演算する手段と、差分値
の大小により区分される領域の輪郭線を抽出する手段と
、輪郭線の位置関係を照合して特徴点対座標を抽出する
手段と、特徴点対座標から対象物の位置、姿勢、移動速
度、およびその方向の少なくとも１つを認識する手段と
を備えて構成されている。

この発明によれば、連続する２つのフレームの対応画素
の各々について差分値を求め、その値の大小により区分
される領域の輪郭線を抽出するようにしているので、取
扱情報量が大幅に減少し、迅速な画像処理を行うことが
可能となる。また、この発明による移動体認識視覚セン
サは、単位画素群の並列処理方式による布線倫理で容易
に実現することができ、またアレイ配置による集積回路
化を行うことも極めて容易である等、発明目的を達成し
た顕著な効果を奏する。

〈実施例の説明〉第１図は、この発明による移動体認識視覚センサの一実
施例を示すブロック図である。２次元イメージセンサは
、光電変換部１とタンデム２段形の画素電荷蓄積部２と
から成り、光電変換部１は多数の光電変換素子１ａが行
・列に配列されて構成され、電荷蓄積部２，３は多数の
電荷転送素子’ｌａ、３ａが行・列に配列されて構成さ
れている。光電変換素子１ａは空間的に１画素を構成し
、それ自体電荷転送素子であって受光窓を有しており、
フレームタイミング中に受光窓を介して受ける光量に対
応する電荷を蓄積して、その電荷を転送サイクルタイミ
ングに電荷蓄積部２に転送する。一方、電荷転送素子２
ａ、３ａは受光窓を有さず、アナログバッファとして機
能するものであり、電荷転送素子２ａは、光電変換部１
から１フレーム前の撮像による電荷の転送を受けてこれ
を蓄積し、電荷転送素子３ａは、電荷蓄積部２からセン
ス増幅部４を介して更にｌフレーム前（つまり２フレー
ム前）の撮像による電荷の転送を受けて、これを蓄積す
る。

電荷蓄積部２からセンス増幅部４を介して読み出された
１フレーム前の画像信号および電荷蓄積部３からセンス
増幅部５を介して読み出された２フレーム前の画像信号
は、演算増幅部６に入力され、演算増幅部６はこれらの
入力の差を求めるアナログ演算を行う。このようにして
得られた差信号は、３値化部７において３僅に量子化さ
れる。

第２図は、３値化部７の処理過程の一例を示す説明図で
あり、例えば−８く入力値（差分値）〈Ｓのとき出力値
＝Ｏ，Ｓ＞差分値のとき出方値＝−１、Ｓく差分値のと
き出力値＝＋１のように規定しておく。ここで、Ｓは予
め定められる所定の値である。これにより、静止してい
る背景画像の画素データを「ｏ」にして画像データを縮
退させることができる。

直並列シフトレジスタ８は、量子化部７から上記量子化
論理値を１行分並列的に受けて、これを空データ検出部
９および３値フレ一ムメモ１月０に１ワードずつ直列的
に伝送する。３値フレームメモリ１ｏは、１フレームの
画素数相当の大きさで＋１．０、−１の３値状態を記憶
する。また、３値フレームメモリ１０は、ページ方式に
メモリ管理されるものであってもよく、２値論理で構成
するときは（”１　＋　＋１）、（−１，−１）を記憶
する２組のビットマツプメモリ実現してもよい。

空データ検出部９は、少なくとも１つのｒＯＪでない値
を受は取ったときにｒｌＪを記憶し、１フレームまたは
ページ（３値フレームメモリ１０がページ方式の場合）
に対応するデータ列の先頭データを受ける前に「０」に
リセットされる。すなわち、１行のデータがすべてｒＯ
Ｊ（つまり空データ）であれば「０」を記憶し、そうで
なければｒｌＪを記憶するのである。そして、２値メモ
リ群１１は、空データ検出部９の検出結果を受けて、各
列ごとに空データか、空でないデータかの区別を記憶す
る。

一方、３値化部７において３値に量子化された論理値は
、直並列シフトレジスタ８を介して各列ごとに空データ
検出部１２に与えられ、空データ検出部１２は、上記空
データ検出部９と同様の動作によって、各列ごとに空デ
ータが否かを検出する。そして、この検出結果は、直並
列シフトレジスタ１３の働きによって、１ワードずつ直
列的に２値メモリ群１４に伝送される。

これにより、２値メモリ群１４は、各列ごとに空データ
か、空でないデータかの区別を記憶する。

輪郭線抽出部１５は、２値メモリ群１１．１４から空デ
ータの行・列のアドレスを受けて、輪郭線抽出の対象エ
リアを縮退させた後、「＋１」、「−１」の値を有する
領域の輪郭線を抽出する。

３値フレームメモＩ７１０がページ方式にメモリ管理さ
れるものであるときには、ページごとに空データかどう
かを利用して対象エリアを縮退させる。

ここで、第３図（ａ）は、連続する２フレームの画像の
一例を示しており、この２フレ一ム間において対象物画
像はＡからＢに位置を変えているが、背景画像Ｃは静止
したままである。

このとき、対象物が背景画像よりも画像信号が大（陽画
方式では反射率大）とすれば、３値フレームメモリ上の
データは第３図（ｂ）に示す如くなり、外側の左下り斜
線領域Ｐは「０」値の領域であって輪郭線抽出の対象エ
リア縮退により除かれる領域、内側の無地領域ＱはｒＯ
Ｊ値の領域、クロス斜線領域Ｒ１，Ｒ２，Ｒ３は「＋１
」値の領域、および右下り斜線領域Ｓｌ。

Ｓ２．Ｓ３は「−１Ｊ値の領域をそれぞれ表している。

上記「＋１」値領域Ｒ１，Ｒ２，Ｒ３および「−１」値
領域Ｓｌ、Ｓ２．Ｓ３の輪郭線を輪郭線抽出部１５にお
いて抽出するとき、例えば「＋１」領域Ｒ１，Ｒ２，Ｒ
３については右廻り、「−１」領域Ｓｌ、Ｓ２．Ｓ３に
ついては左廻りにつなぐ直線または単位図形（プリミテ
ィブ；有限バロメータで関数表示可能な図形レコード）
のアレイで表現する。第３図（Ｃ）は、領域Ｒ１につい
てこのような閉路線分データの２値表現形式の一例を示
すものであり、これは筆記文字の認識過程などにおいて
周知のものである点ａ、ｃは他領域との接続点となって
おり、したがって点ａ、ｃデータ部分では先頭の接続点
フラグが「１」、他の点す、ｄ、ｅ、ｆのデータ部分で
は先頭の接続点フラグが「０」となって、その後に各点
の直交座標値のデータが続いている。

ところで、このように方向要素つき閉路線分情報を中間
出力としておくことによって、接続点（例えば第３図（
Ｃ）の点ａ、ｃ）で接続される他領域の閉曲線のうち同
方向のものを順に追って行って１つの閉曲線を構成すれ
ば対象物の輪郭線を再構成することができるので、対象
物輪郭線を再生する処理過程に好都合であるとともに、
図形データ処理論理を利用する制御システムにも適合す
る。なお、このような輪郭線抽出過程は、自動作図シス
テム等における図形モデルのデータ変換過程で周知であ
る。この発明を搬送システムの制御用視覚センサシステ
ムに適用する場合には、搬送システム側に図形モデル処
理過程が保有されていることが多く、そのときには、上
記方向要素つき閉路線分情報を受渡しすることで足りる
。

特徴点抽出部１６は、「＋１」および「−１」領域の輪
郭線の形状と相似図形部分の位置関係を照合して、前回
撮像フレームと今回撮像フレームとの特徴点対座標を抽
出する。３値フレームメモリ１０上のデータ領域は実際
には画素単位で量子化されているので、領域の境界線は
第４図（ａ）に示すように直交する折線で構成されてお
り、例えばこの第４図（ａ）の「＋１」領域に対しては
、第４図（ｂ）に示すように０／＋１．＋１１０の境界
線を構成する線分の特徴点Ｐ、、Ｐを抽出して、特徴点
対の抽出を行うのである。例えば第３図（ｂ）の３値フ
レームメモリ１０上のデータに対しては、第３図（ｄ）
に示す如きの特徴点対が得られる。このような特徴点対
を抽出する手段は、図形データのマツチング処理過程（
通常は規範図形と実在図形の照合による同定）として、
コンピュータグラフィックスの分野で周知である。

位置・姿勢演算部１７は、特徴点対座標から対象物の位
置、姿勢データを算出する。特徴点と対象物体の位置を
表現する指標となる点（例えば重心点、基準面を示す点
）との関係は予め図形モデルとして与えられているので
、特徴点座標値から位置データに変換することができる
。

また、複数の特徴点の相対位置から、対象物体の姿勢デ
ータを算出することができる。

一方、速度・方向演算部１８は、特徴点対座標から対象
物の速度、方向データを算出する。

１対の対応する特徴点を結ぶ線分の長さが速度を、また
その方向が移動方向を表しており、これらは特徴点座標
の四則演算の組合わせで求めることができる。なお、位
置・姿勢データおよび速度・方向データの算出処理過程
では、実際には外乱による異常データが含まれているの
で、上下限検定を行って異常データを排除する。ある値
以上の複雑さを有する対象物体の場合、特徴点の数は、
位置、姿勢、速度および方向を求めるのに十分な冗長度
を有するデータを提供するのに十分なものであるので、
上記方法により異常データを排除することが可能しある
。−例として、すべての特徴点対のデータを用いて速度
・方向データを算出し、これを平均化するとともに分散
を求め、これらの値をもとに上下限を設定して、その範
囲を逸脱する特徴点対をデータから除外した後に再度平
均を求めるなどの、周知のデータ平滑化手段を適用する
ことができる。

第５図は上述した動作を簡単に示したタイミングチャー
トであり、（ａ）のタイミングで撮像された各１フレー
ムの画像データは、（ｂ）のタイミングで電荷蓄積部２
に転送される。続いて（Ｃ）のタイミングでセンス増幅
部４により電荷をセンスし、アナログメモリ　（電荷蓄
積部３）にこれを記憶する。次に（ｄ）のタイミングで
、電荷蓄積部２，３のデータを読み出して演算増幅部６
においてこれを比較し、３値化部７において３値化を行
う。３値化データは、直並列シフトレジスタ８の働きに
よって、（ｅ）のタイミングで行方向に刈取られて３値
フレームメモリ１０に記憶され、続いて（ｆ）のタイミ
ングで、特徴点抽出部１６以下において位置、姿勢、速
度および方向の演算が実行される。

第６図は、上述したこの発明による移動体認識視覚セン
サの処理過程の時系列を示す。第７図の従来技術のもの
と比較して、本発明の場合処理過程の数は多くなってい
るが、３値化より後の過程で取扱う情報量が激減するこ
とが期待でき、定速移動や定姿勢移動などの異常監視を
行う場合など、予測データを発生させ照合を行う手段の
導入により、取扱情報量をさらに圧縮することができる
。

第１図の回路構成中、光電変換部１〜３値フレームメモ
リｌＯの過程は単位画素群の並列処理方式による布線論
理、３値フレ一ムメモリ刊〜速度・方向演算部１８の過
程は布線論理によることも例えばマイクロプログラミン
グを利用した従来方式の蓄積論理によることも可能であ
り、また輪郭線抽出部１５以前の過程は、単位画素群に
対して同一の処理を行なうものであるためアレイ配置に
よる集積回路化に適合する。例えば３値フレームメモリ
１０までの過程（前段）を布線論理形アレイ論理集積回
路で、輪郭線抽出部１５以下の過程（後段）をマイクロ
プログラム方式の蓄積論理形集積回路で具体化し、さら
に後段を制御指令を生成する処理過程と共用する機能分
散形の視覚センサ構成とした場合、後段部分は対象シス
テムに合わせて具体化されるようフレキシビリティが求
められるものであるため、機能分散方式の有効性が得ら
れ、例えば部品の選別や道路運送車両の車種選別などの
有限個の形状モデルとの照合による同定を行う目的に対
して、形状特徴を効率的に抽出することができる。

【図面の簡単な説明】

第１図はこの発明による移動体認識視覚センサの一実施
例を示すブロック図、第２図は３値化処理過程を示す説
明図、第３図は輪郭線抽出処理過程を示す説明図、第４
図は特徴点抽出部゛　　理過程を示す説明図、第５図は
第１図の動作を示すタイミングチャート、第６図は第１
図の処理過程の時系列、を示す図、第７図は従来の移動
体認識視覚センサの処理過程の時系列を示す図である。 ■・・・・・・光電変換部　　２，３・・・・・・電荷
蓄積部６・・・・・・演算増幅部　　　　７・・・・・
・３値化部９．１２・・・・・・空データ検出部１０・・・・・・３値フレームメモリ１５・・・・・・輪郭線抽出部　　１６・・・・・・特
徴点抽出部１７・・・・・・位置・姿勢演算部１８・・・・・・速度・方向演算部時　許　出　願　人　　立方電機　株式会社端６図第１図の丸埋ＡＪＦ＆の１系；す１−Ｆｒ、オコ皆り図６εゑのメＪ１めｋｉ９に一オＩのす不ケ］１ｒｒ４図

Claims

【特許請求の範囲】

（１）連続する２つのフレームにおいて対応する画素毎
にその信号の差分値を演算する手段と、前記差分値の大
小により区分される領域の輪郭線を抽出する手段と、前記輪郭線の位置関係を照合して、前記２つのフレーム
の特徴点対座標を抽出する手段と、前記特徴点対座標か
ら対象物の位置、姿勢、移動速度およびその方向の少な
くとも１つを認識する手段とを備える移動体認識視覚セ
ンサ。
（２）前記特徴点対座標を抽出する手段は、前記輪郭線
の部分について相似形状の部位を識別する手段を含む特
許請求の範囲第１項記載の移動体認識視覚センサ。
（３）前記輪郭線を抽出する手段は、前記差分値が０で
ある領域を抽出の対象領域から縮退させる手段を含む特
許請求の範囲第１項記載の移動体認識視覚センサ。