JPH067171B2 - 移動物体の検知方法 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、移動体をＩＴＶカメラ等で２次元の画像とし
てとらえ、その画像に対して画像の平滑化や２値化処理
などのいわゆる画像処理を行い、何らかの認識や解析を
行う画像処理方法及び装置に関し、特にＩＴＶカメラ等
により得られた画像情報に基づいて前記移動体の取込み
タイミングを決定する画像取込み方法に関する。

〔従来の技術〕

一般に画像図形は、ｍ×ｎ画素に分割された２次元の領
域により表わされ、濃淡画像の場合は各画素が被検査物
の明るさに応じたレベル（通常４〜８ビット），２値画
像の場合は各画素が“０”と“１”の値となる。

近年、上記画像図形を対象とする画像処理装置を用いた
種々の検査装置が開発されつつあるが、上記画像処理装
置の処理速度が向上するにつれ、リアルタイム性が要求
される移動物体を対象とする検査にも適用されるように
なってきている。

このような移動体を対象とする場合を第１５図に示す。
ＩＴＶカメラ１０の視野内の最適な位置に移動体が有る
ときに画像処理装置１５１へ上記移動体の画像を適確に
取込み処理する必要がある。ベルトコンベア１１等のよ
うに等速度で移動する機器上に被検査物が等間隔に載せ
られている場合は、ある周期のタイミングで画像を取込
めばよいが、不等間隔の場合には何らかのセンサを用い
て画像を取込むタイミングを知る必要がある。従来から
は超音波センサや光電管などを用いたセンサ１５２で移
動体の位置を検出して第１７図（ａ）のような最適な画
像を得ていた。しかしながら、移動物体を梱包製品とし
て考えた場合第１６図のように、梱包製品の長さが種々
異なると、前述のセンサだけでは認識したいラベル１２
を含む画像を適確に捕えることができないことが生じ
る。第１７図（ｂ），（ｃ）はその画像の一例を示す。

そこで、最近の画像処理装置の処理速度向上に伴い特願
昭59-98428号に記載したように上記センサを用いずに画
像情報だけで移動物体の認識対象画像を適確に取込める
手法を考案した。これは、移動物体がＩＴＶカメラの視
野内に位置するときと、位置しないときでは逐次取込ん
だ画像データの濃度レベル（明るさ）が変化することか
ら、これを高速に調べることにより移動物体の進入を検
知するものである。

ところが、本手法では、得られた画像の明るさの変化だ
けに着目しているため、急激な照明の変化や、移動物体
の影などにより移動物体が視野に位置していないにもか
かわらず、誤まって移動物体の進入検知を行う可能性が
あった。

〔発明が解決しようとする問題点〕

上記従来技術は、センサを用いずに画像情報だけで移動
物体の検知ができるが、得られた画像の明るさ変化だけ
に着目しているため、急激な照明の変化や移動物体の影
の影響について考慮しておらず、また、梱包製品などに
貼られたラベルを認識するような場合、ラベルのない画
像を最適画像とするような誤まった移動物体の進入検知
を行う可能性があった。また、ＩＴＶカメラの解像度の
問題や視野の広さなどにより、複数台のテレビカメラを
用いて画像を入力する場合の移動物体検知には触れてお
らず不都合が発生する問題があった。

本発明の目的は、移動物体の最適な画像取込みを上記欠
点を有さずに容易に可能とし、移動物体の認識や検査等
に多大の効果を提供することにある。すなわち、ＩＴＶ
カメラ等から得られる画像情報だけを用いて移動物体の
画像取込みを行う画像処理装置において、照明の変化や
移動体の影などに影響されなく、かつ複数台のＩＴＶカ
メラを用いた場合でも最適な移動物体の画像取込みがで
きる移動物体の検知方法を提供することにある。

〔問題点を解決するための手段〕

上記目的は、移動物体がＩＴＶカメラの視野内に位置し
たか否かの判定を、移動物体の認識したい対象の特徴を
強調する手段を用い判定する。すなわち、移動物体たと
えば梱包製品のような物品には、マークや文字などが多
く印刷されているが、このマークや文字を強調すること
により上記物品を検知するものである。上記文字等を強
調する手段には例えば微分処理を用いれば良い。この結
果、物品が入力していれば微分値の高い領域が多く、物
品が入力していない、すなわちコンベア等をＩＴＶカメ
ラが撮影している状態なら微分値の高い領域はかなり少
ない。この差を判定に用いれば、照明の変化や影の影響
を受けない移動物体の最適画像取込みが可能となる。

また、複数台のＩＴＶカメラで影響する場合は、各ＩＴ
Ｖカメラで得られた画像のうち、少なくとも１つの画像
中に移動物体が入力したら、移動物体の検知と判定する
ことにより同様に最適画像取込みが可能となる。

〔作用〕 ＩＴＶカメラから入力した画像をある閾値で“０”と
“１”に２値化し、この“０”（あるいは“１”）の画
素数をカウントし、この画素数が所定の値より小さい
（あるいは大きい）時を移動物体の検知とする従来の手
法では、急激な照明変化や移動物体の影を移動物体の検
知タイミングと誤ってしまう。これを画像強調手段を設
けて処理すると、第２図のように影２４があっても
（ｂ）図のように、ほとんど情報は少なく、また、物品
上のマーク（数字）の部分、及び物品の輪郭は情報量が
多く抽出される。（２１）。したがって、このような画
像強調手段を用いると前述したような移動物体の誤検知
をすることがない。

〔実施例〕

以下、本発明の一実施例をコンベア上に載せられた移動
物体の検査等に適用し、以下詳細に説明する。

第１図のようにＩＴＶカメラ１０はコンベア１１に対し
垂直に高さＨの位置に設置する。そして、このＩＴＶカ
メラの視野角を２φとすると次式のような関係が成立す
る。

Ｌ＝２Ｈtanφ 具体例としてφ＝８°，Ｈ＝１ｍ，コンベア１１の移動
速度Ｖ＝１ｍ／secとすると、移動物体がＩＴＶカメラ
の視野内を通過するのに要する時間ｔは、 ｔ＝Ｌ／Ｖ＝２×１×tan８°＝２８０ｍsecとなる。

一方、ＩＴＶカメラ（ノンインタレース走査）で撮影す
る場合、１枚の画像を得るのにＴ＝１／６０秒要する。
すなわち前記条件で移動物体を連続に撮影した場合約１
７枚の画像が得られることになる。したがって、この得
られる１枚１枚の画像を取込むと共に画面内に移動物体
が入力したか否かを何らかの手法で調べれば移動物体の
検知が可能となる。この場合、前述したように特願昭59
-98428号記載のように単に画面全体の明るさ変化に着目
したのでは、照明変化や影に弱い。

そこで、第２図のようにコンベア１１と移動物体２０の
境界および、物体に記されているマーク（数字）２３は
コントラストが強いことに着目して、画像を強調する手
段を用い、たとえば微分処理すると、物品の境界や数字
の輪郭はかなり情報量が多く逆にそれ以外の領域は少な
い。この処理では、影２４を強調してもほとんど影の部
分の情報は少ないため、この影響を除去することができ
る。

このように、入力した画像を強調してその変化量を調べ
ることにより移動物体の検知が可能となる。この変化量
を求める具体的パラメータとしては、たとえば、微分値
の平均濃度や最大濃度がある値以上なら移動物体の検知
とする方法や、微分値がある値以上の領域の数（画素
数）がある値より多いときを移動物体の検知とする方法
などが考えられる。第３図には微分値がある値以上の画
素数で判定する場合の具体的処理フローを示す。まず、
最初にＩＴＶカメラ１０からの画像を入力し（３１）、
その画像に対し微分処理を行う（３２）。このときの微
分のオペレータは第４図のようなパターンが考えられ、
横稿模様の多い移動体なら（ａ）のように縦方向を強調
し、逆に縦稿模様なら（ｂ）のように横方向を強調する
微分を行えば良い。又、ランダムな模様の場合は（ｃ）
や（ｄ）のような微分を行えばよい。いずれにしても、
移動物体と背景とで大きく差がつくような微分オペレー
タとすることが移動物体を検知しやすい。

以上のような微分処理を行った後に、この微分画像に対
し、あらかじめ決められた値より高い微分値を取り出す
ための２値化を行う（３３）。この２値化処理はたとえ
ば、決められた明るさより高い濃度を“１”，低い濃度
を“０”とする処理とする。この後に２値画像の“１”
の値をカウントし（３４）、この画素数がある値以上な
ら移動物体がＩＴＶカメラの視野内４０に入っていると
判断し、少ないときは移動物体はまだ視野内に入ってい
ない、あるいは入りかけていると判断して、再度次の画
像を取込み同様な処理を繰り返す。移動物体が視野内に
あると判断したら、その画像に対し、何らかの認識処理
３６を実行する。

ところで、通常の対象物なら上記手法で検知可能である
が、第５図のように対象物に処理対象の数字とそれ以外
のマークが混在するような場合、全画面を微分してその
結果より移動物体が入力したか否かを判断したのでは
（ｂ）図のような状態を最適な位置と誤って判断してし
まい文字を読取ることはできない。そこで、移動物体の
速度があらかじめ知られている場合は、（ｂ）図の状態
からある時間経過した時の画像を取込むことにより最適
画像を得ることができる。一方、移動物体の速度がラン
ダムな場合は、（ｃ）図のように、微分値が高い領域の
大きさを求める位置を進行方向の前方の方（図では上か
ら下へ移動物体２０が移動するので、画面４０下方）に
処理領域５０を限定して処理することにより最適な画像
を得ることができる。

＜処理の高速化＞ 第３図に示した処理フローの処理時間は、全画面の大き
さを水平２５６×垂直２５６画素として、画像入力か
ら、“１”の数をカウントするまでに各処理を１６ｍse
cで処理すると１６×４＝６４ｍsec必要である。前述し
たコンベアの具体例では、１画面の視野を通過するのに
２８０ｍsecであるので約４回の取込判定処理を実施で
きる。しかしながら、更に移動物体の移動速度が増すと
最適な画像を得ることができなくなる。すなわち、移動
速度が増すと、１回の取込判定が終り、次の画像を取込
んだ時はすでに対象となる移動物体は通過してしまって
いる場合が生じる。そこで、第６図に示すように、ＩＴ
Ｖカメラ１０から画像入力回路６１により入力した画像
を空間積和演算回路６２で微分し、この微分画像を２値
化回路６３で２値化し、更にこの２値画像に対し“１”
の画素数をカウントするヒストグラム回路６４を介して
移動物体の検知を判定する回路６５をパイプライン構成
とすることにより約１６ｍsecで１回の取込判定を実行
できる。又、第５図（ｃ）のように任意の領域だけを処
理対象として取込判定を行う場合は、第７図のように処
理領域設定回路７１，７２を設けたブロック構成とし、
処理フローを第８図のようにすることにより実施でき
る。すなわち、処理領域設定回路７１で画像を取込む領
域ウインドウ１を設定して画像を取込み、この領域のう
ち微分値の高い領域を求める領域ウインドウ２を設定し
て微分処理，２値化，判定処理を行う。移動物体が入力
していなければ上記処理を繰り返すが、移動物体が入力
していれば、上記で設定したウインドウを解除して画像
を取込む。このような処理であれば、第７図のようなパ
イプライン構成の処理回路でなくても約１６ｍsecで取
込判定を実施できる（ただし、ウインドウの大きさにも
よる）。

以上のような構成あるいは処理方法により、１回の取込
判定処理が高速になり、移動物体がかなり高速でも確実
に最適な画像を取込むことができる。

＜ＩＴＶカメラが複数台のときの処理＞ 移動物体を撮影する場合、その物体の大きさと、認識対
象の大きさ、およびＩＴＶカメラの解像度から複数台の
ＩＴＶカメラを用いる必要が生じてくる。

第９図に３台のＩＴＶカメラで物体２０を撮影している
状態を示すが、認識対象９１が各カメラの視野に入力す
るまで取込判定を行う。今、各カメラの視野の大きさを
２８０mm四方とすると、移動方向に２８０mm移動物体が
移動する時間は移動速度を１ｍ／secとすると２８０ｍs
ecとなる。すなわち、最底でも２８０ｍsecのうちに３
台のＩＴＶカメラの画像９２，９３，９４を処理して次
の画像を得る必要がある。前述した処理の高速化手法を
用いれば各画像ごとに１６ｍsecで判定は終了するの
で、２８０mmを移動する間に３画面を１処理とする判定
を６回程度実施できるので、複数台のＩＴＶカメラで
も、これまで述べた取込判定を実現できる。具体的実施
例を第１０図に示す。まずｎ台（第９図では３台）のＩ
ＴＶカメラから画像を取込む。この場合の画像取込方法
は第１１図（ａ）に示すように、順次カメラ切換器１１
１でカメラを切り換えその画像をＡ／Ｄ変換器１１２を
介して複数枚の画像メモリ１１３に取込む方法や、
（ｂ）図のように各カメラにＡ／Ｄ変換器１１２と画像
メモリ１１３を接続して同時に取込む方法が考えられ
る。

次に、入力した画像に対し１〜ｎの順番に前述した取込
判定処理を実施し（１０３）全ての画像中に物体が入力
していないと判定した場合は再度画像を入力し同様な処
理を繰り返す。逆に物体が入力していると判定した画像
が１枚でもあれば、認識対象９１が最適な位置に入るま
で時間待ち（１０６）を経て、全てのＩＴＶカメラから
画像を取込む（１０７）。

ここで、時間待ち（１０６）が必要ない場合は取込判定
に用いた画像を最適画像として処理すればよい。

このような処理にすることにより、複数台のカメラで画
像を取込む場合でも最適画像を取込める。当然ながら、
画面の境界に対象とするラベル９１が位置しないことが
知られているなら、物体が入力していると判定した画像
だけを処理対象として以下処理すれば良い。

＜ノイズ対策＞ 実際に上述した処理を行うと、対象によっては微分した
画像にノイズが多く表われる場合がある。たとえば、全
体的にコントラストの悪い画像を扱う場合、微分した画
像は移動物体のラベルなどを強調するとともに、背景も
かなり強調される。このため、実際には、移動物体が入
力していないにもかかわらず、ノイズによって誤って進
入検知と判断する場合がある。

このように影響を除去するため、第１３図に示すような
フローで移動物体の検知を行う。すなわち、取込判定毎
に入力した画像１３１を平滑化する（１３２）。この平
滑化処理はたとえば、第１４図のような空間積和演算の
オペレータで実行する。次に、これまで述べてきた微分
処理１３３を実行し、これを２値化する（１３４）。こ
こで２値画像に対し孤立点ノイズが多ければそのノイズ
除去を施し（１３５）、この結果の“１”の画素数をカ
ウントする（１３６）。その画素数が閾値より多ければ
物体検知と判断し、少なければ再度画像を取込む（１３
７）。

このような処理にすることにより、ノイズの発生しやす
い画像であっても誤検知することなく、最適な画像を取
込める。

以上述べた処理方法はソフトウエアでもハードハエアで
も実現できるが、移動速度が速くなるとハードウエア化
された各処理回路が必要である。この処理回路は一般に
知られている画像処理装置と何ら変わらず、実現は容易
である。

また、前述した各処理方法はそれぞれの特徴を組み合わ
せても別の効果が表われるもので、種々の応用に適用で
きる。

〔発明の効果〕

本発明によれば、移動物体の最適画像取込みが何らかの
センサを用いることなく、ＩＴＶカメラで取込んだ画像
情報だけで処理でき、しかも、照明の変化や移動物体の
影あるいはノイズなどに強く、誤判定することが少な
い。又、複数台のカメラを用いて画像を取込む場合にも
同様に適用でき、更に高速な処理手法とすることによ
り、かなりの移動物体の移動速度でも十分適用できる効
果がある。

【図面の簡単な説明】

第１図は本発明のカメラ設置例を示す図、第２図は微分
処理の例を示す図、第３図は本発明の処理概要を示す
図、第４図は微分処理のオペレータ例、第５図は特殊な
対象の場合の画像例及び処理例、第６図及び第７図は本
発明の処理高速化の例、第８図はウインドウ処理含めて
処理概要を示す図、第９図は複数台のＩＴＶカメラで撮
影する場合を説明する図、第１０図は複数台のＩＴＶカ
メラで物体検知する場合の処理概要を示す図、第１１図
及び第１２図は複数台のＩＴＶカメラから画像を取込む
方法を示す図、第１３図は物体検知のノイズ除去を含ん
だ処理概要を示す図、第１４図は平滑化処理のオペレー
タ例、第１５図，第１６図，第１７図は従来例を示す図
である。 １０…ＩＴＶカメラ、２０…移動物体、６１…画像入力
回路、６２…空間積和演算回路、６３…２値化回路、６
４…ヒストグラム回路、６５…判定回路。

Claims (5)

【特許請求の範囲】
1. 【請求項１】ＩＴＶカメラより得られる撮像信号をＡ／
   Ｄ変換器を介して濃淡画像メモリへ取込む画像入力回路
   と、該濃淡画像メモリの画像を微分処理や平滑化処理な
   どを実行する空間積和演算回路と、濃淡画像メモリの画
   像を２値化する２値化回路と、該２値化回路で得られた
   “１”（あるいは“０”）のデータの画素数を計数する
   ヒストグラム回路とを有する画像処理装置において、上
   記画像取込回路で入力した画像を空間積和演算回路で微
   分し、該微分画像を所定のしきい値で２値化し、該２値
   化データのうち“１”あるいは“０”のデータの画素数
   を上記ヒストグラム回路で求め、該画素数が所定のしき
   い値より大きい（あるいは小さい）ときを移動物体がＩ
   ＴＶカメラの撮像視野内に入力したと判断し、逆の場合
   は再度画像入力回路より画像を取込み同様に繰り返し処
   理を行うことを特徴とする移動物体の検知方法。
2. 【請求項２】特許請求範囲第１項において、濃淡画像の
   頻度分布を求める濃淡ヒストグラム回路を設け、前記微
   分した画像のうち所定のしきい値より明るい画素の頻度
   を上記濃淡ヒストグラム回路で求め、上記しきい値より
   明るい画素の総和が、所定のしきい値より大きい（ある
   いは小さい）ときを移動物体が撮像視野内に入力したと
   判断することを特徴とする移動物体の検知方法。
3. 【請求項３】特許請求範囲第１項において、所定の大き
   さの処理領域を設定する手段を設け、該設定した領域だ
   けについて前記移動物体の進入検知処理を行うことを特
   徴とする移動物体の検知方法。
4. 【請求項４】特許請求範囲第１項において、複数台のＩ
   ＴＶカメラで対象を撮影し、それぞれ画像メモリに取り
   込むとともに、各画像メモリに対して前記移動物体の進
   入検知処理を行い、少なくとも１つの画像を移動物体検
   知と判定したときを全体の物体検知と判断し、既に入力
   している全画像あるいは物体検知した画像だけ、又は、
   ある時間経過して再度画像を全てあるいは物体検知と判
   断したＩＴＶカメラだけについて入力した画像を最適な
   画像として処理対象とすることを特徴とする移動物体の
   検知方法。
5. 【請求項５】特許請求範囲第１項において、１画素ある
   いは、２，３画素程度の比較的小さい孤立点ノイズを除
   去するノイズ除去回路を設け、画像入力回路より入力し
   た画像を空間積和演算回路で平滑化し、更に該平滑化画
   像を微分し、該微分画像を所定のしきい値で２値化し、
   該２値画像を上記ノイズ除去回路によりノイズを除去
   し、該２値画像のうち“１”あるいは“０”のデータの
   画素数を前記ヒストグラム回路で求め、取込判定のノイ
   ズ除去を実施することを特徴とする移動物体の検知方
   法。