JPH0580196B2 - - Google Patents

Description

【発明の詳細な説明】 〔発明の利用分野〕 本発明は、移動体をITVカメラ等で２次元の
画像としてとらえ、その画像に対して画像の平滑
化や、ノイズ除去等のいわゆる画像処理を行い、
何らかの認識や解析を行う画像処理装置に関す
る。

〔発明の背景〕

一般に画像図形は、第１１図に示すごとく、ｎ
×ｍ画素１０に分割された領域２０で表わされ
る。濃淡画像の場合の画素１０は、被測定物の明
るさに応じたレベル（通常４〜８ビツト）で表わ
されるもので、２値画像の場合の画素１０は、上
記濃淡のレベルをある閾値で“０”，“１”の値と
して表わすものである。この領域２０のそれぞれ
の画素１０は、Ｘ方向、Ｙ方向にそれぞれアドレ
ツシングされており、従つてＸ座標、Ｙ座標を定
めることにより、特定画素を指定可能である。

近年、上記の画像図形を対象とする画像処理装
置を用いた種々の検査装置が開発されつつある
が、移動体を対象とした検査については、ベルト
コンベア等の等速度で移動する機器上に被検査物
が等間隔に載せられている場合は、ある周期のタ
イミングで画像を自動的に取込み、画像処理を行
い検査等を行うことが可能である。しかし、一般
の不等間隔で移動する移動体をITVカメラで自
動的に取込むためには、その取込みタイミングを
何らかの手法で設定する必要がある。このタイミ
ングは、非常に重要な要因を占め、例えば、列車
を、ITVカメラで取込む場合、丁度ITVカメラ
の視野内に列車が入つた時の画像をITVカメラ
でとらえ、その画像を画像メモリに取込まなけれ
ば、その後の画像処理が全く無意味なものとなつ
てしまう。従つて、移動体がITVカメラの視野
内に入ることを検知できれば、移動体を正常な画
像として取込むことが可能となる。この解決法と
しては、従来、第１２図イのように超音波センサ
４０によりITVカメラ３０と移動体５０の距離
Ｌと移動速度を求めその情報に応じたタイミング
で画像を取込む方法（特開昭52年154400号）や、
第１２図ロのように赤外線などを送受光する装置
６０を設置し、その光を遮断する時間を情報とし
てタイミングをとる方法等がある。

しかし、これらの手法ではいずれも上記センサ
を設置する必要があり、経済的に好ましくない。
またITVカメラと上記センサとの位置関係を正
確に知る必要があり実用上不便であつた。

〔発明の目的〕

本発明の目的は、移動体の画像取込みを上記問
題点を有さずに容易に可能とし、移動体の認識等
に多大の効果を与える装置を提供することにあ
る。

すなわち特殊なセンサを用いずに、移動体の画
像取込みを実行できる画像処理装置を提供するこ
とにある。

〔発明の概要〕

本発明は、ITVカメラで取込んだ画像から得
られる情報だけを用いて、ITVカメラの視野内
に移動体が入力したことを検知し、それに基づ
き、あるタイミングで正規に画像を入力し、その
後の画像処理を意味の有るものとしたものであ
る。すなわち、移動体が画面内に入力していない
ときの画像と、移動体が入力したときの画像とで
は、当然ながら情報が異なることに着目してい
る。

従つて本発明は、前処理された結果の画像デー
タから、TVカメラの撮像視野内における移動体
の占める画像面積を求め、この求めた画像面積と
予め設定した基準面積値とを比較し、前記移動体
の占める画像面積が前記基準面積値に達したと
き、前記移動体が前記TVカメラの撮像視野内へ
進入したと判定する進入監視手段と、この進入監
視手段により前記移動体の進入を判定した後、所
定時間経過後、前記TVカメラより撮像視野内へ
進入した移動体の全体像を前記画像メモリへ取込
む画像取込み手段とを設けることにより、TVカ
メラから取り込んだ画像から得られる情報だけを
用いて、移動体の進入を検知し、最適な画像を処
理することを実現したものである。

〔発明の実施例〕

§１ 位置関係 第１図は、移動物体とITVカメラの位置関係
を示す図である。移動物体５０は、矢印方向に進
行する。この移動速度は、一定値と限らない。一
般に不等速な移動物体を想定する。ITVカメラ
３０は進行路４０に対して直角方向の高さＨの距
離に設置する。このITVカメラ３０の進行路４
０での撮像視野角度を2φとする。更にこの撮像
視野角度2φに対する進行路上での中心点Ｐから
のITVカメラ３０への俯角をθとする。更に、
撮像視野角度2φの進行路上の始点をP₁、終点を
P₂、ITVカメラ設置点相当の進行路位置をP₃と
する。

そこで、_{2 3}＝L₀，_{1 2}＝L₁，₁＝L₃，₁
P₃＝L₄とする。更に、ITVカメラ３０の撮像中
心点をＯとする。Ｐを通りITVカメラ３０の撮
像面に平行な直線上の点であつて視野角度を2φ
の視野線との交点をP₄，P₅とする。そこで、₄
P₅＝Ｄ，₄＝ｌとする。Ｄは、視野幅となる。

以上の関係のもとで、以下の如き関係式が得ら
れる。

L₂＝Ｈ／tanθ ｌ ＝Ｈ／sinθ φ ＝tan^-1Ｄ／2l L₀＝Ｈ／tan（θ＋） L₄＝Ｈ／tan（θ−） L₁＝L₄−L₀ L₃＝L₄−L₂ ……(1) ここで、具体例としてθ＝15°，Ｈ＝1m，移動
速度ｖ＝1m／sec，Ｄ＝0.3mを与える。この場
合、(1)式よりL₂＝3.73m，ｌ＝3.86m，＝2.23°，
L₀＝3.22m，L₄＝4.41m，L₁＝1.19m，L₃＝0.68m
となる。

従つて、画面の縦方向の長さがL₁に相当する
ため、画面の縦方向の視野は、1.19mとなる。こ
の区間L₁を移動速度ｖ＝1m／secで移動体５０が
移動するため、区間通過時間ｔは、ｔ＝1.19秒と
なる。

一方、通常のITVカメラで撮像する場合、１
枚の画像を得るのに約16msecを要する。但し、
ノンインターレースモードによる走査である。即
ち、上記速度で移動体が画面内を通過する時、次
の画像を得るまでに、約１／74の画面分移動した
ことになる。これは逆に言えば、移動体が画面内
を通過し終るまでに、約74枚の画像を得ることが
可能ということである。従つて、この１枚１枚の
画像を取込むとともに、ITVカメラからの濃淡
データを２値化し、その２値画像に対し、”１”
の頻度分布をとる一連の処理が画像取込みのタイ
ミングに同期して実行できれば、オンラインで画
面内に移動体が入力したか判定可能である。

§2.1 装置の構成 第２図は、ITV３０からの画像を取込んで処
理する画像処理装置の実施例を示す、CPU１１
０は、処理部１２０を管理するプロセツサであ
り、且つ処理部１２０の処理結果を取込み必要な
画像処理を行う。

処理部１２０は、AD変換器７０、セレクタ
（SEL）７５、画像処理プロセツサ８０、２値化
回路８１、画像メモリ９０、頻度分布累積プロセ
ツサ１００より成る。各伝送ライン上での数字は
扱うビツト数を示す。

§2.2 装置の動作 AD変換器７０はITVカメラ３０からの読出し
ビデオ信号を取込みAD変換する。セレクタ７５
は、通常はAD変換器７０のAD出力を選択する。
画像処理プロセツサ８０はセレクタ７５の出力を
取込み前処理を行う。この前処理とは、雑音除去
や微分処理などの濃淡画像処理である。画像処理
プロセツサ８０で処理対象とする画像は２種類あ
る。第１は、移動体５０が撮像視野内に入つたか
否かの検出のための画像である。第２は移動体５
０そのものが撮像視野内に全部入つた時に得られ
る移動体全体画像である。この第２の画像は、第
１の画像をもとにして得たタイミング信号によつ
て捕獲される。

第１の画像は、移動体進入監視モード時に得
る。この移動体進入監視モード下では、画像処理
プロセツサ８０は、前記濃淡画像処理結果の画像
データを２値化回路８１に送る。

一方、第２の画像は、移動体画像取込モード時
に得る。このモード下では、画像処理プロセツサ
８０は、そのその濃淡画像処理後の画像データを
画像メモリ９０の全体画像メモリ９０Ｇに送り格
納する。

２値化回路８１は、プロセツサ８０を介して得
るAD変換器７０からの濃淡画像を示すデータを
２値画像データに変換する。２値化回路８１で得
た２値画像データは、画像メモリ９０の２値化画
像データメモリ９０Ｂに送られて格納されると共
に、頻度分布累積プロセツサ１００に送られて処
理される。

頻度分布累積プロセツサ１００は２値化回路８
１の２値化出力か、画像処理プロセツサ８０から
の移動体画像取込みモード下での全体画像用の画
像データか、のいずれかを選択的に取込み、別々
に頻度分布累積処理を行う。

§2.2.1 進入監視モード 移動体進入監視モード下では、２値化回路８１
の２値化データを累積加算する。移動体５０が進
入してきたか否かは、その移動体５０の全面部の
一部が進入してきたことを感知すればよい。予め
移動体の進入の基準となる基準値を作成してお
き、この基準値に上記２値化回路８１の分布累積
値が達した時に、移動体５０の進入があつたもの
と判定する。プロセツサ１００はこの累積演算及
び基準値との比較演算を行う。

第３図はこの時の進入判定の様子を示す。画面
Ａに対して移動体５０の一部Ｂが画面の一部に入
つたとする。この一部Ｂは、移動体５０の移動と
共にその大きさが変化する。

ITV３０では、その一部Ｂが移動体の色彩や
明度等に応じて濃淡画像として現われる。２値化
回路８１では、この濃淡画像を所定の閾値と比較
し、閾値以上であれば”１”とし、以下であれ
ば”０”とする２値化を行う。この結果、第３図
の右側に示す如き一部Ｂを”１”とし、他は”
０”となる２値化画像を得る。プロセツサ１００
では、この”１”となる数を累積（面積）計算す
る。この計算は、移動体の移動に併せて実時間内
で次々に行う。累積値が基準値に達した時点でプ
ロセツサ１００は、移動体５０のITV３０の視
野内に進入したことが確認される。

面積の算出は進入した移動体の面積すべての他
に特定の個所に注目して、その個所の面積を求め
るようにしてもよい。この確認の結果、移動体進
入監視モードから移動体画像取込みモードに移行
する。

§2.2.2 画像取込モード この移動体画像取込モード下では、直ちに全体
像の取込みは行わず、移動体の全体像が撮像面の
視野内に充分に入つた時をとらえて撮像面で撮像
された全体像を処理部１２０（第２図）に取込
む。この全体像が視野内に入つたことの確認は、
先のプロセツサ１００が移動体進入を確認してか
ら所定時間経過後としている。この所定時間とは
固定でもよいが、移動体の速度をもとに算出した
算出値であつてもよい。この時の取込み値は、
AD変換器７０→セレクタ７５→画像処理プロセ
ツサ８０を介して全体像画像メモリ９０Ｇ及び頻
度分布累積プロセツサ１００に入力する。

この移動体全体像を取込むプロセツサ（頻度分
布累積プロセツサ、第２図）１００は、該移動体
全体像について累積演算を行う。この結果は、移
動体の種類や大きさの判別、更には移動体の特定
の個所（例えば移動体を特定する番号）の読取り
等の参考データとして利用される。

更に、画像メモリ９０Ｇに入力した全体像画像
データは、CPU１１０に送られ、画像処理に供
される。この画像処理とは、移動体の形状認識や
特定な番号等の読取りである。この時、プロセツ
サ１００での算出値が参考用として利用される。

尚、全体画像の取込みのタイミングを設定して
全体画像取込みとしたが、次の様な処理を行つて
もよい。即ちプロセツサ１００は次々に視野内に
入つてくる画像をAD変換器７０→セレクタ７５
→プロセツサ８０を介して取込み、次いでその出
力をプロセツサ１００及び画像メモリ９０Ｇに取
込ませる。画像メモリ９０Ｇでは格納画像が次々
に更新されてゆく。こうしたもとで、全体画像と
なるタイミングで、その時に得られる画像を全体
画像として特定化し、画像メモリ９０Ｇ及びプロ
セツサ１００での画像を特定化する。この特定化
した画像をもとに処理を行う。

画像処理プロセツサ８０は前処理以外に移動体
の特徴抽出等の画像処理を行わせてもよい。この
時には、セレクタ７５を利用して、画像メモリ９
０、特に全体像メモリ９０Ｇの全体像を取込み処
理することになる。

§2.2.3 処理フロ−概要 全体の処理フローについて説明する。先ず画像
入力サブルーチンの処理を行う（第４図イ）。こ
のサブルーチンはロ図の内容を実行する。即ち、
画像入力を行い、２値化回路（専用ハードウエ
ア）で２値化させる。この２値化出力を、プロセ
ツサ１００で頻度分布累積処理を行わせる（第２
図）。

この累積処理の結果である頻度分布が基準値以
上であるか否かをチエツクし、基準値以上になつ
た時点で、移動体の進入が確認される。進入が確
認された後で、全ての移動体が画面内に入るまで
処理を待つ。所定時間後、画像入力を行い、画像
処理を行う。この画像処理とは、CPU１１０に
よる場合と、プロセツサ８０による場合との２種
類あるが、とちらでもよい。

§3.他の実施例 他の実施例を第５図に示す。本実施例は、セレ
クタ７５をなくしたこと、処理プロセツサ８０は
雑音除去専用に使用すること、頻度分布累積プロ
セツサ１００は２値化回路８１の出力のみの累積
処理のみを行うようにしたこと、特徴抽出等の処
理はCPU１１０ですべて行わせたこと等に特徴
を持つ。

§3.1 モードの概要 先ず、進入監視モード下では、AD変換器７０
を介して画像処理プロセツサ８０が画像データを
取込み、前処理を行う。この結果は、２値化回路
８１に送られて２値化され、頻度分布累積プロセ
ツサ１００で累積処理される。移動体進入が確認
されると、画像処理プロセツサ８０での全体画像
は、メモリ９０Ｇに取込格納となる。CPU１１
０は、このメモリ９０Ｇの内容を取込み、画像処
理を行う。この画像処理とは、移動体の特定化や
移動体番号の認識等を行う。

尚、２値化データを格納したメモリ９０Ｂは、
CPU１１０で処理の参考データとして利用され
る。また、プロセツサ１００の処理結果も、
CPU１１０で処理の参考用に利用される。

§3.2 処理フローについて、 第６図は、処理の大きな流れを示す図である。
まず、移動体５０が撮像視野内に進入してくる。
この進入を検出して所定時間後、移動体の全体像
が撮像視野内に入る。この全体像Ｂを処理して画
像処理を行う。図では中ぬきで表示した部分は輪
郭抽出処理の結果を示す。これはITVカメラの
取込みクロツクに同期して全体の処理がなされる
ために、ITVカメラより画像を取込むと同時に、
２値画像を作成し、累積処理（面積）を求めるこ
とができることに依る。

かくして、第６図の如き流れに基づき不等間隔
で移動する移動体の画像取込みが可能となる。再
度詳述する。同図で、左端に示す如く、先ず画像
を入力しながら２値化し、その２値画像の頻度分
布を求める処理を行う。上記頻度分布の値（２値
画像の”１”の数）がある基準値以上であれば、
ITVカメラの視野内に移動体が入りかけたこと
がわかる。従つて、上記値が閾値以上になるまで
進入検出のための処理を繰り返す（第６図イ）。
移動体が視野内に入りかけたことを検知できたら
（基準値以上なら）ロの処理を行う。通常、被検
査物等の大きさは既知であることが多くその大き
さに応じて、移動体の全て、あるいは次の画像処
理に必要な部分が画面内に入るように、ソフト的
にタイミングを決定することにより、移動体を画
像メモリの任意の位置へ入力することが可能であ
る。

§3.3 距離を考慮した処理フロー 上記実施例では、斜め方向から移動体をとらえ
ているが、当然のごとく、真上からでも同様な効
果が得られる。斜め方向から移動体をとらえた場
合には画面内を移動する移動体の相対的な速度は
下がる。しかし、ITVカメラからの距離が画面
の上下方向で異なるため、認識率向上を図ること
は、むずかしくなる。この場合にはピント合致点
（上記例では、中央付近が合焦点）に移動体を位
置するよう配慮する必要がある。

その場合、移動体の速度がそれぞれ異なるので
先の実施例では、合焦点に移動体を位置させるの
は難しい。そこで、第７図に示す処理の流れが考
えられる。図面の上部に移動体が入力し次の画像
入力時までにその移動体がどの位置にくるかを知
つて図中のL₆とその間の時間Δtとの関係より移
動体の瞬時の平均速度を求める。ここで、Δtと
は、第７図のイとロとの時間差である。この時、
平均速度v_aは v_a＝L₇−L₆／Δt ……(2) となる。

この速度に応じたタイミングで画像を取り込む
ことにより、移動体を画面の中央付近に位置させ
ることが可能となる。移動体の映像は常にピント
が合つていることになり、認識向上のために効果
がある。

§3.4 平均速度の算出 次にv_aを求めるためのL₆，L₇の求め方を説明
する。

L₆，L₇は第５図の頻度分布累積プロセツサ１
００を用いてＹ軸の投影分布を求めることにより
容易に求めることが可能である。

即ち第８図で、プロセツサ１１０は、セレクタ
１２０、ヒストグラムメモリ１３０、演算器１４
０で構成する。セレクタ（Ａ−SEL）１２０は、
Ｘアドレス（Ｘ−ADDRESS）かＹアドレス
（Ｙ−ADDRESS）かの選択を行う。ここで、Ｙ
方向は、画面に対する移動体の進行方向を示し、
Ｘ方向とはそれに直角な方向を示す。今、セレク
タ１２０は、Ｙアドレスの選択を行わせる。この
Ｙアドレスとは画面に対して縦方向の走査番号を
示す。

メモリ１３０は、Ｘアドレスに対応してアドレ
スされ、そのデータはそのＹアドレス内でのデー
タの累積値である。メモリ１３０は、Ｙアドレス
を受けて該アドレス内のデータを読出し演算器１
４０に送る。一方、上記アクセス時のＹアドレス
時の画像データData（”１”又は”０”）も演算
器１４０に入力する。演算器１４０は両者を加算
し、先の読出したＹアドレス内にデータとして格
納する。これをＹアドレスが更新される毎に続け
る。この結果、第９図に示す如き投影画像Ｃを得
る。この投影画像からＱ点が求められ、L₇を得
る。尚、Ｙアドレスの代りにＸアドレスを利用す
れば、Ｘ方向の幅の検出もできる。

従つて画像入力とともに頻度分布累積プロセツ
サを用いＹ軸投影分布を求めることにより移動体
の先頭座標を知ることができ、それに伴い前記、
移動体の平均速度を知ることができる。更にその
速度を知ることにより、移動体を画面のどの位置
に入力するか等を制御可能である。

§3.5 処理の高速化（マスキング） ところで、移動体がかなり高速な場合、本実施
例のように16msecごとに画面を監視していたの
では、間に合わない場合がある。すなわち、
16msec経過したとき画像が、ITVの視野から消
えてしまう可能性がある。その場合、次の手法に
より対処可能である。

画面を上下左右に走査する場合、第１０図イに
示すように、画面の下部にマスクをかけ、その部
分以外を２値化し、２値頻度を求める処理を行
う。この場合、非マスク部分の幅は応じて処理時
間は速くなるため、高速移動体にも追従可能とな
る。又、移動体の速度を求めたいときは、第１０
図ロのように、非マスクを２段階に使い分けて処
理する。非マスクｍに移動体が入力した時間t_aと
非マスクｎに移動体が入力したときの時間t_bとを
前述の手法により求め、その差Δtにより第５図
と同様に求めることができる。

尚、以上の各実施例で面積を求める代りに、進
入確認用として特定の特徴を抽出して画像情報を
得て、該画像情報から進入を確認してもよい。

〔発明も効果〕

本発明によれば、移動体の画像取込みが、特殊
なセンサ（例えば超音波センサ）を用いることな
く、ITVカメラから入力される画像情報だけを
用いて実行できる。従つて、移動体の検査等へ適
用する装置が簡素化できる効果がある。又、画像
だけを用い移動体の速度も容易に求めることがで
きる。

【図面の簡単な説明】

第１図は本発明の移動体とTVカメラとの位置
関係を示す図、第２図は本発明の実施例を示す
図、第３図は進入の説明図、第４図は処理系統
図、第５図は本発明の他の実施例を示す図、第６
図は全体の処理の様子を示す図、第７図は移動速
度を算出するための説明図、第８図は投影データ
を得るための実施例図、第９図はその説明図、第
１０図は移動速度を求めるための例を示す図、第
１１図、第１２図は従来例を説明する図である。 ５０……移動体、３０……TVカメラ、１２０
……処理部、７０……AD変換器、７５……セレ
クタ、８０……画像処理プロセツサ、８１……２
値化回路、９０……画像メモリ、１００……頻度
分布累積プロセツサ、１００……CPU。

Claims (1)

1. 【特許請求の範囲】 １ 移動体を撮像して当該移動体の撮像視野内で
   の移動を認識する画像処理装置において、 移動体を撮像するTVカメラと、前記カメラか
   らの撮像信号をAD変換するAD変換器と、前記
   AD変換器のデイジタル出力を取込み前処理する
   前処理手段と、前記前処理手段の処理結果である
   画像データを格納する画像メモリと、 前記前処理結果の画像データから前記TVカメ
   ラの撮像視野内における移動体の占める画像面積
   を求め、当該求めた画像面積と予め設定した基準
   面積値とを比較し、前記移動体の占める画像面積
   が前記基準面積値に達したとき、前記移動体が前
   記TVカメラの撮像視野内へ進入したと判定する
   進入監視手段と、 前記進入監視手段により前記移動体の進入を判
   定した後、所定時間経過後、前記TVカメラより
   撮像視野内へ進入した移動体の全体像を前記画像
   メモリへ取込む画像取込み手段とを設け、 前記画像取込み手段により得られた移動体の画
   像に対して画像処理を行うことを特徴とする画像
   処理装置。 ２ 特許請求の範囲第１項記載の画像処理装置に
   おいて、 前記進入監視手段は、前記TVカメラの撮像視
   野内の特定の一部に着目して、前記移動体の占め
   る画像面積を求めることを特徴とする画像処理装
   置。 ３ 特許請求の範囲第１項又は第２項記載の画像
   処理装置において、 前記進入監視手段は、前記前処理結果の画像デ
   ータを所定の閾値を基準に２値化し、当該２値化
   したデータを累積演算することにより、前記移動
   体の占める画像面積を求めることを特徴とする画
   像処理装置。 ４ 特許請求の範囲第１項記載の画像処理装置に
   おいて、 前記画像取込み手段は、前記進入監視手段によ
   り前記移動体の進入を判定したときの画像データ
   と、前記移動体進入時から微小時間経過後におけ
   る画像データとから、前記移動体の速度を求め、
   当該求めた移動体の速度に基づいて算出した時間
   経過後に、前記TVカメラより撮像視野内へ進入
   した移動体の全体像を前記画像メモリへ取込むこ
   とを特徴とする画像処理装置。