JP3658137B2 - 移動体認識方法 - Google Patents
移動体認識方法 Download PDFInfo
- Publication number
- JP3658137B2 JP3658137B2 JP11660497A JP11660497A JP3658137B2 JP 3658137 B2 JP3658137 B2 JP 3658137B2 JP 11660497 A JP11660497 A JP 11660497A JP 11660497 A JP11660497 A JP 11660497A JP 3658137 B2 JP3658137 B2 JP 3658137B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- field
- odd
- moving
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、認識対象となる移動体をインターレース走査により撮像し、テンプレート画像と対比させるテンプレートマッチング方式により移動体を自動的に認識する移動体認識方法に関する。
【０００２】
【従来の技術】
例えば、生産の自動化による生産ライン上を移動する部品や製品の生産管理においては、シリアルナンバー、製品名ロゴ、形状等を画像認識により自動的に識別することが必要とされている。この他、例えば、生産開始時、定常時、生産数の増加時又は減少時等に伴って速度が変化する生産ライン上での認識・管理や、次工程への進行具合により速度・移動状態が決定される生産ラインのバッファ部での認識・管理などにおいても、移動体を画像認識により自動的に識別することが必要とされている。
【０００３】
ここに、従来の移動体の認識方法としては、例えば単カメラによる時間差をおいて撮像した複数のフレーム画像間の差分から移動距離を導出する方法、２台のカメラによる撮像画像間の差分を取る方法、高速シャッタカメラを用いて静止画像を得る方法、照明系にストロボを用いて静止画像を得る方法等がある。ところが、撮像の標準方式（例えば、ＮＴＳＣ方式）により１秒３０フレーム画像の撮像とすると、複数フレーム画像間の差分から移動体を検出する方法では、１フレームの撮像時間で移動体を捕らえることは不可能である。２台（複数台）のカメラを用いる方法でも同様の問題がある。また、高速シャッタカメラを用いる方法では、高照度の照明系が必要であり、作業者が居る生産ラインに設置するとなると高照度照明系は作業者に精神的な圧迫を与え、かつ、熱も発生しやすく、環境を整える配慮や装置自体或いは周辺装置のコストアップにより高価なシステムとなってしまう。照明系にストロボを用いる方法では、撮影環境を整えるのに手間がかかってしまう。
【０００４】
このような点を考慮し、従来では、改良された各種の認識方法が提案されている。
【０００５】
第１に、特開昭６２−１５７９８１号公報に示される方法がある。この方法では、各種生産工程等における文字認識に関し、インターレース走査による撮像手段を用いた場合、インターレース走査の奇数フィールドの走査列と偶数フィールドの走査列とではずれを生ずる点に着目し、インターレース走査をする撮像系により文字を撮像し、その奇数フィールドの画像と偶数フィールドの画像とを回路的に独立したメモリに格納させて得、各々のフィールドの画像を２重走査して、Ｙ方向（垂直方向）のサイズを入力画像と合わせた２枚の画像を得て、これらの２枚の画像と比較パターンとを照合することにより、文字認識するようにしている。この際、比較パターンとしては、２重走査した画像を用意しておき、文字認識を行うものとする。
【０００６】
第２に、特開平６−５２３１２号公報に示される方法がある。この方法では、撮像面に対して垂直方向に移動する移動体の１フレーム画像の奇数フィールドと偶数フィールドの画像の差分からＹ方向（垂直方向）の移動量を検出するようにしている。
【０００７】
第３に、特開平６−５２３１３号公報に示される方法がある。この方法では、撮像面に対して垂直方向に移動する移動体の１フレーム画像の奇数フィールドと偶数フィールドとの一方の画像をテンプレート画像とし、他方の画像中から移動体をパターンマッチングにより探し出して移動体を検出するようにしている。
【０００８】
第４に、特開平７−３７０９９号公報に示される方法がある。この方法では、１フレーム画像に対して奇数フィールドと偶数フィールドとの間のずれを顕著にするカーネルを用いてフィルタリングすることにより、１フレーム画像内での移動体を検出するようにしている。
【０００９】
【発明が解決しようとする課題】
ところが、第１の方法の場合、奇数フィールドと偶数フィールドとの何れか一方のフィールドを２重走査することにより認識画像を得ているものであり、差別化されている画像自体が他の画像と似通ってしまう可能性がある。この結果、相関等を取る場合に、他の認識候補とのＳ／Ｎが悪くなってしまう可能性がある。また、２重走査した画像を比較パターンとする場合、上記の理由により比較パターンの集合中に似通った候補を形成してしまう可能性があり、認識率の低下が懸念される。
【００１０】
第２及び第３の方法の場合、何れも、移動体の移動方向の制限（撮像面に対して垂直方向）があり、画像のずれやぶれに弱い認識方法である。
【００１１】
第４の方法において、カーネルと称するフィルタリング演算はＹ方向（垂直方向）のラプラシアンフィルタによるものであり、Ｙ方向の２次微分をとることにより画像のＹ方向の画素変化を捕らえることに相当するが、例えば、静止しているＸ方向（水平方向）に平行な線の画像なども検出されるので、これだけではずれ量を検出したことにはならない。従って、認識率の低いものとなる。
【００１２】
そこで、本発明は、高速に移動する移動体であっても、より高い認識率で認識し得る移動体認識方法を提供することを目的とする。即ち、インターレース走査による撮像手段を用いた場合、インターレース走査の奇数フィールドの走査列と偶数フィールドの走査列とにずれを生ずるとともに、認識対象の移動体の移動速度が速い場合には奇数フィールドの走査列同士、偶数フィールドの走査列同士の間でもずれを生ずるが、このようなずれ量を踏まえて、テンプレートマッチング法による一致度を向上させ得る移動体認識方法を提供することを目的とする。
【００１６】
特に、移動速度の速い認識対象なる移動体の場合でも、テンプレートマッチングにおける一致度を高めることができる移動体認識方法を提供することを目的とする。
【００２５】
【課題を解決するための手段】
請求項１記載の発明は、インターレース走査をして認識対象の移動体の撮像画像を入力する撮像手段と、この撮像手段により入力される撮像画像のアナログデータをデジタルデータに変換するＡ／Ｄ変換手段と、Ａ／Ｄ変換された撮像画像のデジタルデータに対して２値化処理を含む画像処理をする画像処理手段とを備え、撮像面に対して水平方向に移動する前記移動体の静止画像をテンプレート画像として予め格納しておき、前記移動体を前記撮像手段により撮像したときに奇数フィールドの走査列データと偶数フィールドの走査列データとを分離してメモリに格納した後、各々の走査列データを垂直方向に詰めて元画像に対して垂直方向の画像幅を半分とした圧縮画像を得、各々の圧縮画像における部品の重心位置を検出し、これらの重心位置間の位置関係に基づき前記移動体の移動速度を検出し、この移動速度に基づき奇数フィールド、偶数フィールド間の撮像時間間隔における各フィールド画像の水平方向の膨張量を検出し、各フィールドの走査列毎に膨張量分だけ水平方向に補正してフレーム画像を得、そのフレーム画像と前記テンプレート画像とのマッチング判断を行うようにした。
【００２６】
従って、インターレース走査により撮像された撮像画像の水平方向のずれ量を１フレーム画像内の１フィールド間のずれ量として、移動体の移動速度を導出し、導出された移動速度と１フィールドの撮像時間間隔とにより撮像画像が移動方向に膨張する膨張量を検出し、インターレース走査によって基本的に生ずるフィールド間のずれ量の補正とともに、シャッタ速度等に依存する撮像時間間隔での移動方向への撮像画像の膨張量を補正してから、テンプレートマッチングが行われる。これにより、移動速度の速い移動体の場合でも、一致度の高いテンプレートマッチングが可能となる。
【００２７】
【発明の実施の形態】
本発明の第一の実施の形態を図１ないし図３に基づいて説明する。本実施の形態の移動体認識方法は、例えば、図１に示すように、生産の自動化による生産ライン１上を水平方向に移動する製品（移動体）２の生産管理を行うために、この製品２に付されている製品名ロゴ３を画像認識により識別するシステムに適用されている。ここに、認識方法としては、製品２をインターレース走査により撮像し、テンプレートマッチング法により製品名ロゴ３を認識することを基本としている。このため、前記生産ライン１上を移動する製品２（製品名ロゴ３を含む）を撮像する撮像手段として、蓄積動作がインターレース走査方式とされたＣＣＤエリアセンサ４が用いられている。このＣＣＤエリアセンサ４により撮像された撮像画像が入力される画像処理装置５が設けられている。この画像処理装置５に関しては、特に図示しないが、各種のハードウェア構成からなり、撮像された撮像画像に関してアナログデータをデジタルデータに変換するＡ／Ｄ変換手段や、Ａ／Ｄ変換された撮像画像のデジタルデータに対して２値化処理を含む画像処理をする画像処理手段の機能や、各種メモリや、テンプレートマッチング処理手段の機能等を備えている。
【００２８】
さらに、本実施の形態では、前記製品２中の一部には図２に示すように１本の垂直指示線６が垂直方向に付されている。この垂直指示線６は図２に示す如く、製品２の製品名ロゴ３と同一撮像面内に収まるように製品名ロゴ３のすぐ左側個所に付されている。
【００２９】
また、画像処理装置５中の所定のメモリ（図示せず）或いはこの画像処理装置５に装填される記憶メディア（図示せず）等には、前記製品名ロゴ３の静止画像がテンプレート画像（例えば、図４参照）として予め格納されている。
【００３０】
このような概略構成の下、本実施の形態における認識方法について説明する。まず、生産ライン１上を水平方向に移動する製品２はＣＣＤエリアセンサ４により撮像され、撮像画像は画像処理装置５に取り込まれる。このとき、ＣＣＤエリアセンサ４はインターレース走査方式により撮像するため、製品名ロゴ３付近を撮像した撮像面７の撮像画像（１フレーム分）Ｂ1 を例示すると、図３のようになる。ここに、ＴＶカメラ等に準じて１秒間に３０フレーム分の撮像とした場合の、奇数フィールド、偶数フィールド間の撮像間隔は１６．６msとなる。即ち、奇数フィールドの走査列ＳODD と偶数フィールドの走査列ＳEVENとではＸ方向（水平方向）にずれを生ずる。このとき、同一撮像面７内に撮像されている垂直指示線６に対応する画像はインターレース走査に起因して図３に示す如く垂直方向に２列の点線像６ODD ，６EVENとして現われる。これらの点線像６ODD ，６EVEN間の距離ｋ〔pixel〕 はインターレース走査に起因するものであり、この距離ｋ〔pixel〕 が奇数フィールドの走査列ＳODD と偶数フィールドの走査列ＳEVENとの間のずれ量を表している。従って、距離ｋ〔pixel〕 に基づき奇数フィールドの走査列ＳODD と偶数フィールドの走査列ＳEVENとの間のずれ量を検出することができる。そこで、検出されたずれ量分だけ、一方のフィールドの走査列、例えば、偶数フィールドの走査列ＳEVENを左側に移動補正させることで、フィールド間にずれのないフレーム画像（図示せず）が得られる。よって、この補正後のフレーム画像と静止画像に基づき予め格納されているテンプレート画像とのマッチングを行って一致・不一致が判断される。撮像された画像に基づく補正後のフレーム画像がテンプレート画像にマッチングしていれば、認識対象であると判断される。
【００３１】
従って、本実施の形態によれば、奇数フィールドの走査列ＳODD と偶数フィールドの走査列ＳEVENとがずれた場合のずれ量を示す指標となる垂直指示線６を認識対象である製品２に持たせているので、簡易にフィールド間にずれ量を検出し、そのずれ量を適正に補正することにより、予め格納しやすい静止画像をテンプレート画像としたテンプレートマッチング法による認識が可能となる。これは、認識対象である製品が静止中、移動中の如何に関わらずテンプレートマッチングが可能なことを意味している。この結果、製品２の自動生産において生産ライン１を停止させることなく、フィールド間のずれ量の適正な補正により、撮像画像を認識するためのテンプレートマッチングの一致度を向上させることができる。
【００３２】
本発明の第二の実施の形態を図４ないし図６に基づいて説明する。前記実施の形態で示した部分と同一部分は同一符号を用いて示し、説明も省略する（以降の実施の形態でも順次同様とする）。本実施の形態では、前述した垂直指示線６を用いることなく、奇数フィールドの走査列ＳODD と偶数フィールドの走査列ＳEVENとの間のずれ量を検出し、そのずれ量分を補正することで、テンプレートマッチングが可能とされている。
【００３３】
まず、図４は認識対象の静止画像に基づき予めメモリ或いは記憶メディア等に格納されているテンプレート画像Ｔ1 の一例を示す。このテンプレート画像Ｔ1 の部品においてその最上点を含むフィールドの走査列（Ｙ方向の最初の走査列）Ｓ1 の最左点Ｐ1Lの座標と、その１列下のフィールドの走査列Ｓ2 の最左点Ｐ2Lの座標との間の参照距離（Ｘ方向における距離）ｍ〔pixel〕 が予め検出されている（図４に示す例では、参照距離ｍ＝０）。
【００３４】
このような前提の下、本実施の形態における認識方法について説明する。まず、生産ライン１上を水平方向に移動する製品２はＣＣＤエリアセンサ４により撮像され、撮像画像は画像処理装置５に取り込まれる。このとき、ＣＣＤエリアセンサ４はインターレース走査方式により撮像するため、製品名ロゴ３付近を撮像した撮像面７の撮像画像（１フレーム分）を例示すると、図５のようになる。図５（ａ）は図４に示したようなテンプレート画像Ｔ1 と同種の認識対象の撮像画像Ｂ2 の場合を示し、図５（ｂ）はテンプレート画像Ｔ1 とは異種の認識対象の撮像画像Ｂ3 の場合を示している。
【００３５】
そこで、このような撮像画像Ｂ2 に関しても、図４の場合と同様に、最上点を含むフィールドの走査列の最左点と次のフィールドの走査列の最左点との間の座標上の撮像上距離ｍ′〔pixel〕 を検出する。次に、これらの距離ｍ，ｍ′を比較し、撮像画像Ｂ2 から検出された撮像上距離ｍ′が参照距離ｍに一致するように一方のフィールドの走査列の撮像画像をＸ方向に移動補正させることで、フィールド間にずれのないフレーム画像（図示せず）が得られる。よって、このフレーム画像と静止画像に基づき予め格納されているテンプレート画像Ｔ1 とのマッチングを行って一致・不一致が判断される。撮像された画像に基づく補正後のフレーム画像がテンプレート画像Ｔ1 にマッチングしていれば、認識対象であると判断される。
【００３６】
一方、撮像画像Ｂ3 の場合も同様に認識処理されるが、このようなテンプレート画像Ｔ1 とは異種の認識対象の撮像画像Ｂ3 の場合には、その撮像上距離ｍ′が参照距離ｍに一致するような移動補正を行っても、得られるフレーム画像Ｆ3 は図６に示すようになり、フィールド間で櫛状のずれが残ることになる。この結果、このフレーム画像Ｆ3 と静止画像に基づき予め格納されているテンプレート画像Ｔ1 とのマッチングを行って一致・不一致が判断されるが、撮像された画像に基づく補正後のフレーム画像Ｆ3 がテンプレート画像Ｔ1 にマッチングしないので、テンプレート画像Ｔ1 とは異種の認識対象であると判断される。
【００３７】
従って、本実施の形態によれば、移動する製品２の撮像時における奇数フィールドの走査列ＳODD と偶数フィールドの走査列ＳEVENとの間のずれを、予め格納されているテンプレート画像Ｔ1 の特質を利用して補正した後で、テンプレートマッチングを行って認識処理を行うので、撮像画像がテンプレート画像Ｔ1 を示す場合にはずれが正しく補正されたフィールド画像が得られるが、テンプレート画像Ｔ1 を示す画像でない場合にはずれの補正が不完全となり、奇数フィールドの走査列ＳODD と偶数フィールドの走査列ＳEVENとの間のずれが櫛状に残ることになる。この結果、マッチングした際の一致度が向上するので、Ｓ／Ｎを安定させることができ、誤認識を極力避けることができる。このようにして、本実施の形態によれば、製品２自身に垂直指示線６を付しておく必要がなく、製品２に関してデザイン上の拘束を与えることはない。
【００３８】
本発明の第三の実施の形態を図７ないし図１３に基づいて説明する。本実施の形態でも、製品２がＸ方向（水平方向）に移動することを前提としている。まず、図７は生産ライン１上を水平方向に移動する製品２をＣＣＤエリアセンサ４により撮像して得られる撮像画像Ｂ4 の一例を示す。このときインターレース走査によるため、前述した場合と同様に奇数フィールドの走査列ＳODD と偶数フィールドの走査列ＳEVENとではＸ方向（水平方向）にずれを生ずる。そこで、このような撮像画像Ｂ4 に関して、奇数フィールドの走査列ＳODD と偶数フィールドの走査列ＳEVENとで分離して、奇数フィールドの走査列ＳODD のみによる奇数列画像Ｂ4ODD（図８参照）と偶数フィールドの走査列ＳEVENのみによる偶数列画像Ｂ4EVEN （図９参照）とを得る。これらの画像Ｂ4ODD，Ｂ4EVEN を一旦メモリに格納させた後、Ｙ方向に飛び越し走査したフィールドの走査列分を詰めることにより、Ｙ方向の画像幅が元画像Ｂ4ODD，Ｂ4EVEN の半分となる圧縮画像Ｂ4ODD′ ，Ｂ4EVEN′ を生成する（図１０，図１１参照）。次に、これらの圧縮画像Ｂ4ODD′ ，Ｂ4EVEN′ について各々重心位置（Ｘ方向の座標）を導出する。この場合の重心位置の導出は、圧縮画像Ｂ4ODD′ ，Ｂ4EVEN′ における各隅部の座標等に基づき重心位置を求めるための所定の演算式によればよい。重心位置が導出されたら、これらの重心位置間の距離（Ｘ方向における座標間の差ｎ〔pixel〕 ）を導出し、この距離を奇数フィールドの走査列ＳODD と偶数フィールドの走査列ＳEVENとの間のずれ量として、偶数列画像Ｂ4EVEN を左方向に差ｎ〔pixel〕 分だけ移動補正した後、奇数列画像Ｂ4ODDと合わせることで、図Ｂ4 に示すように補正されたフレーム画像Ｆ4 を得る。よって、この補正後のフレーム画像Ｆ4 と静止画像に基づき予め格納されているテンプレート画像とのマッチングを行って一致・不一致が判断される。撮像された画像に基づく補正後のフレーム画像Ｆ4 がテンプレート画像にマッチングしていれば、認識対象であると判断される。
【００３９】
図１３はこのような認識処理の手順を示すフローチャートである。まず、撮像画像が入力された場合（ステップＳ１）、この撮像画像に対して閾値処理を行って撮像画像Ｂ4 を得る（Ｓ２）。次に、この撮像画像Ｂ4 中から偶数フィールドの走査列ＳEVENの画像を除去することにより奇数列画像Ｂ4ODDを得て、この奇数列画像Ｂ4ODDをメモリに格納する（Ｓ３）。同様に、撮像画像Ｂ4 中から奇数フィールドの走査列ＳODD の画像を除去することにより偶数列画像Ｂ4EVEN を得て、この偶数列画像Ｂ4EVEN をメモリに格納する（Ｓ４）。この後、メモリに格納された奇数列画像Ｂ4ODDに関して偶数フィールド部分を除去して上方向に詰めることにより圧縮画像Ｂ4ODD′を得る（Ｓ５）。同様に、メモリに格納された偶数列画像Ｂ4EVEN に関して奇数フィールド部分を除去して上方向に詰めることにより圧縮画像Ｂ4EVEN′ を得る（Ｓ６）。そして、圧縮画像Ｂ4ODD′について重心位置Ｘ1 を導出するとともに（Ｓ７）、圧縮画像Ｂ4EVEN′ について重心位置Ｘ2 を導出する（Ｓ８）。これらの重心位置Ｘ1 ，Ｘ2 間の差をｎ〔pixel〕 として導出し（Ｓ９）、偶数列画像Ｂ4EVEN をＸ方向にｎ画素分移動して、補正された偶数列画像Ｂ4EVEN″ を得る（Ｓ１０）。この後、奇数列画像Ｂ4ODDと補正された偶数列画像Ｂ4EVEN′ との論理積（ＡＮＤ）を取ることにより、補正されたフレーム画像Ｆ4 を得て（Ｓ１１）、このフレーム画像Ｆ4 をパターンマッチング用の認識画像とする。
【００４０】
従って、本実施の形態による場合も、フィールド間のずれを補正する上で垂直指示線６を用いないので、製品２自身に垂直指示線６を付しておく必要がなく、製品２に関してデザイン上の拘束を与えることはない。また、前記実施の形態のように最左点等の周囲点をずれ補正に利用する方法では、デジタルノイズや２値化の際の周囲画素の差異による誤差等が懸念されるが、本実施の形態によれば、各フィールド毎に分離された圧縮画像Ｂ4ODD′，Ｂ4EVEN′ における各々の重心位置の導出に基づくため、誤差があっても平均化されることになり、ノイズの影響の少ない認識処理となる。この際、奇数列画像Ｂ4ODDと偶数列画像Ｂ4EVEN との各々の重心位置は、静止時に撮像されるそれらの重心位置に一致するという前提の下、製品２が静止状態にあっても移動状態にあっても、予め格納されている静止画像によるテンプレート画像を変形する必要はない。また、本実施の形態によれば、フィールド間のずれの補正の基準をテンプレート画像に置かず、認識対象の撮像画像自身に置くことにより、テンプレートマッチング毎のずれ補正が不要となり、認識処理に要する時間を短縮させることができる。即ち、認識対象自身の特質のみに基づくずれ量の補正であるので、１回だけのずれ量の補正で認識対象として用いることができる。
【００４１】
本発明の第四の実施の形態を図１４ないし図１９に基づいて説明する。本実施の形態の認識方法は、基本的に前記第三の実施の形態に準ずるが、前記第三の実施の形態では製品２が水平方向にみ移動することを前提としてのに対して、本実施の形態では任意の方向の移動を想定しているものである。
【００４２】
まず、図１４は生産ライン１上を任意方向に移動する製品２をＣＣＤエリアセンサ４により撮像して得られる撮像画像Ｂ5 の一例を示す。このときインターレース走査によるため、前述した場合と同様に奇数フィールドの走査列ＳODD と偶数フィールドの走査列ＳEVENとではＸ方向（水平方向）及びＹ方向（垂直方向）にずれを生ずる。そこで、このような撮像画像Ｂ5 に関して、奇数フィールドの走査列ＳODD と偶数フィールドの走査列ＳEVENとで分離して、奇数フィールドの走査列ＳODD のみによる奇数列画像Ｂ5ODD（図１５参照）と偶数フィールドの走査列ＳEVENのみによる偶数列画像Ｂ5EVEN （図１６参照）とを得る。これらの画像Ｂ5ODD，Ｂ5EVEN を一旦メモリに格納させた後、Ｙ方向に飛び越し走査したフィールドの走査列分を詰めることにより、Ｙ方向の画像幅が元画像Ｂ5ODD，Ｂ5EVEN の半分となる圧縮画像Ｂ5ODD′，Ｂ5EVEN′ を生成する（図１７，図１８参照）。次に、これらの圧縮画像Ｂ5ODD′，Ｂ5EVEN′ について各々重心位置（Ｘ方向及びＹ方向の座標）を導出する。この場合の重心位置の導出も、圧縮画像Ｂ5ODD′，Ｂ5EVEN′ における各隅部の座標等に基づき重心位置を求めるための所定の演算式によればよい。重心位置が導出されたら、これらの重心位置間のＸ方向の差ｐ〔pixel〕 及びＹ方向の差ｑ〔pixel〕 を導出する。これらの差ｐ，ｑをフィールド間のずれ量として、偶数列画像Ｂ5EVEN に関してＸ方向にｐ、Ｙ方向にｑだけ移動補正した後、奇数列画像Ｂ5ODDと合わせることで、図１９に示すように補正されたフレーム画像Ｆ5 を得る。よって、この補正後のフレーム画像Ｆ5 と静止画像に基づき予め格納されているテンプレート画像とのマッチングを行って一致・不一致が判断される。撮像された画像に基づく補正後のフレーム画像Ｆ5 がテンプレート画像にマッチングしていれば、認識対象であると判断される。
【００４３】
従って、本実施の形態によれば、前記第三の実施の形態の場合と同様な効果が得られるが、その際に、製品２の移動方向が水平方向に限られず、任意方向の移動についてテンプレートマッチングの一致度の高い認識処理となる。
【００４４】
本発明の第五の実施の形態を図２０ないし図２３に基づいて説明する。本実施の形態は、例えば前述した第三の実施の形態による認識方法を前提としており、さらに、認識対象である製品２の移動速度が特に速い場合を想定しているものである。
【００４５】
まず、図１０，図１１等に基づき説明した各フィールド毎の圧縮画像Ｂ4ODD′，Ｂ4EVEN′ の重心位置間の差ｎ〔pixel〕 から、相対的に、ＣＣＤエリアエンセ４におけるフィールド蓄積間の移動速度がわかるもので、通常のＴＶカメラの如く、ＮＴＳＣ対応であれば、１／６０秒間での移動速度がわかる。ここに、撮像時のシャッタ速度が１２５秒の如く高速で、認識対象となる製品２の移動速度が速い場合には撮像画像自体の移動方向へのぶれないしは伸長が生じ、撮像画像Ｂ6 は例えば図２０に示すような状態となるため、第三の実施の形態のような補正を行っただけでテンプレート画像とのマッチングを行った場合には一致度が低下してしまう。図２０に示す撮像画像Ｂ6 なる部品において、フィールド蓄積間隔ｔ秒で移動する移動速度を画素単位でｎ／ｔ〔pixel／秒〕 として検出し、その時のシャッタ速度Ｔ秒での移動距離ｎＴ／ｔ〔pixel〕 として導出する。ここに、ｎの値は第三の実施の形態で説明したように重心位置間の差として導出される。従って、移動速度ｎ／ｔもｎの値を用いているものであり、これらの重心位置間の位置関係に基づき検出される。また、移動距離ｎＴ／ｔ〔pixel〕 はＸ方向の膨張量を示すものとなる。
【００４６】
次に、伸長した膨張量分を撮像画像Ｂ6 から除去するため、この撮像画像Ｂ6 における黒部分を“１”、白なる背景部分を“０”として論理式を用いて補正することで、図２１に示すような補正画像Ｂ6′ を得る。このような補正画像Ｂ6′ に関して、図２２に示すような認識対象である製品２の移動方向に依存するフィルタ８によるフィルタリングをかけることで、図２３に示すような伸長の末端抽出画像Ｂ6″ を得る。撮像画像Ｂ6 に対して、このような末端抽出画像Ｂ6″ を用いて移動方向に対して逆方向（右側から左側）に移動距離に相当する長さｎＴ／ｔ〔pixel〕 分だけ画素値を０にしていくことで、シャッタ速度Ｔ秒での認識対象とすべき撮像画像Ｂ6 の膨張分が補正される。このようにして得られた補正後のフレーム画像と静止画像に基づき予め格納されているテンプレート画像とのマッチングを行って一致・不一致が判断される。撮像された画像に基づく補正後のフレーム画像がテンプレート画像にマッチングしていれば、認識対象であると判断される。
【００４７】
従って、本実施の形態によれば、基本的に第三の実施の形態の場合と同様な効果が得られるが、加えて、認識対象である製品２が高速で移動して、その移動速度が事前にわからず、撮像画像Ｂ6 が全体的にＸ方向に膨張してしまうような条件下であっても、各フィールド画像間の相対的な距離関係から移動速度を検出して、その膨張量を補正する処理を行って極力静止画像に近付けた状態でテンプレートマッチングに供しているので、移動速度の大きな認識対象に対しても支障なく、一致度の高いテンプレートマッチングを行うことができる。
【００５２】
【発明の効果】
請求項１記載の発明によれば、撮像面に対して水平方向に移動する移動体の静止画像をテンプレート画像として予め格納しておき、移動体を撮像手段により撮像したときに奇数フィールドの走査列データと偶数フィールドの走査列データとを分離してメモリに格納した後、各々の走査列データを垂直方向に詰めて元画像に対して垂直方向の画像幅を半分とした圧縮画像を得、各々の圧縮画像における部品の重心位置を検出し、これらの重心位置間の位置関係に基づき移動体の移動速度を検出し、この移動速度に基づき奇数フィールド、偶数フィールド間の撮像時間間隔における各フィールド画像の水平方向の膨張量を検出し、各フィールドの走査列毎に膨張量分だけ水平方向に補正してフレーム画像を得、そのフレーム画像とテンプレート画像とのマッチング判断を行うようにしたので、移動速度の速い移動体の場合でも、一致度の高いテンプレートマッチングを行わせることができる。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態の認識システムの概要を示す斜視図である。
【図２】製品の一部を示す正面図である。
【図３】撮像画像を示す正面図である。
【図４】本発明の第二の実施の形態を示すテンプレート画像の説明図である。
【図５】撮像画像を示す正面図である。
【図６】異種の認識対象の場合の補正後の撮像画像を示す正面図である。
【図７】本発明の第三の実施の形態を示す撮像画像の正面図である。
【図８】抽出された奇数列画像を示す正面図である。
【図９】抽出された偶数列画像を示す正面図である。
【図１０】奇数列画像に関する圧縮画像を示す正面図である。
【図１１】偶数列画像に関する圧縮画像を示す正面図である。
【図１２】補正された撮像画像を示す正面図である。
【図１３】その処理手順を示すフローチャートである。
【図１４】本発明の第四の実施の形態を示す撮像画像の正面図である。
【図１５】抽出された奇数列画像を示す正面図である。
【図１６】抽出された偶数列画像を示す正面図である。
【図１７】奇数列画像に関する圧縮画像を示す正面図である。
【図１８】偶数列画像に関する圧縮画像を示す正面図である。
【図１９】補正された撮像画像を示す正面図である。
【図２０】本発明の第五の実施の形態を示す撮像画像の正面図である。
【図２１】その補正画像を示す正面図である。
【図２２】フィルタを示す説明図である。
【図２３】抽出された末端抽出画像を示す正面図である。
【符号の説明】
２ 移動体
４ 撮像手段
６ 垂直指示線
６ODD ，６EVEN 点線像
７ 撮像面
Ｂ 撮像画像
Ｆ フレーム画像
Ｔ テンプレート画像
ｋ 距離
ｍ 参照距離
ｍ′ 撮像上距離
【発明の属する技術分野】
本発明は、認識対象となる移動体をインターレース走査により撮像し、テンプレート画像と対比させるテンプレートマッチング方式により移動体を自動的に認識する移動体認識方法に関する。
【０００２】
【従来の技術】
例えば、生産の自動化による生産ライン上を移動する部品や製品の生産管理においては、シリアルナンバー、製品名ロゴ、形状等を画像認識により自動的に識別することが必要とされている。この他、例えば、生産開始時、定常時、生産数の増加時又は減少時等に伴って速度が変化する生産ライン上での認識・管理や、次工程への進行具合により速度・移動状態が決定される生産ラインのバッファ部での認識・管理などにおいても、移動体を画像認識により自動的に識別することが必要とされている。
【０００３】
ここに、従来の移動体の認識方法としては、例えば単カメラによる時間差をおいて撮像した複数のフレーム画像間の差分から移動距離を導出する方法、２台のカメラによる撮像画像間の差分を取る方法、高速シャッタカメラを用いて静止画像を得る方法、照明系にストロボを用いて静止画像を得る方法等がある。ところが、撮像の標準方式（例えば、ＮＴＳＣ方式）により１秒３０フレーム画像の撮像とすると、複数フレーム画像間の差分から移動体を検出する方法では、１フレームの撮像時間で移動体を捕らえることは不可能である。２台（複数台）のカメラを用いる方法でも同様の問題がある。また、高速シャッタカメラを用いる方法では、高照度の照明系が必要であり、作業者が居る生産ラインに設置するとなると高照度照明系は作業者に精神的な圧迫を与え、かつ、熱も発生しやすく、環境を整える配慮や装置自体或いは周辺装置のコストアップにより高価なシステムとなってしまう。照明系にストロボを用いる方法では、撮影環境を整えるのに手間がかかってしまう。
【０００４】
このような点を考慮し、従来では、改良された各種の認識方法が提案されている。
【０００５】
第１に、特開昭６２−１５７９８１号公報に示される方法がある。この方法では、各種生産工程等における文字認識に関し、インターレース走査による撮像手段を用いた場合、インターレース走査の奇数フィールドの走査列と偶数フィールドの走査列とではずれを生ずる点に着目し、インターレース走査をする撮像系により文字を撮像し、その奇数フィールドの画像と偶数フィールドの画像とを回路的に独立したメモリに格納させて得、各々のフィールドの画像を２重走査して、Ｙ方向（垂直方向）のサイズを入力画像と合わせた２枚の画像を得て、これらの２枚の画像と比較パターンとを照合することにより、文字認識するようにしている。この際、比較パターンとしては、２重走査した画像を用意しておき、文字認識を行うものとする。
【０００６】
第２に、特開平６−５２３１２号公報に示される方法がある。この方法では、撮像面に対して垂直方向に移動する移動体の１フレーム画像の奇数フィールドと偶数フィールドの画像の差分からＹ方向（垂直方向）の移動量を検出するようにしている。
【０００７】
第３に、特開平６−５２３１３号公報に示される方法がある。この方法では、撮像面に対して垂直方向に移動する移動体の１フレーム画像の奇数フィールドと偶数フィールドとの一方の画像をテンプレート画像とし、他方の画像中から移動体をパターンマッチングにより探し出して移動体を検出するようにしている。
【０００８】
第４に、特開平７−３７０９９号公報に示される方法がある。この方法では、１フレーム画像に対して奇数フィールドと偶数フィールドとの間のずれを顕著にするカーネルを用いてフィルタリングすることにより、１フレーム画像内での移動体を検出するようにしている。
【０００９】
【発明が解決しようとする課題】
ところが、第１の方法の場合、奇数フィールドと偶数フィールドとの何れか一方のフィールドを２重走査することにより認識画像を得ているものであり、差別化されている画像自体が他の画像と似通ってしまう可能性がある。この結果、相関等を取る場合に、他の認識候補とのＳ／Ｎが悪くなってしまう可能性がある。また、２重走査した画像を比較パターンとする場合、上記の理由により比較パターンの集合中に似通った候補を形成してしまう可能性があり、認識率の低下が懸念される。
【００１０】
第２及び第３の方法の場合、何れも、移動体の移動方向の制限（撮像面に対して垂直方向）があり、画像のずれやぶれに弱い認識方法である。
【００１１】
第４の方法において、カーネルと称するフィルタリング演算はＹ方向（垂直方向）のラプラシアンフィルタによるものであり、Ｙ方向の２次微分をとることにより画像のＹ方向の画素変化を捕らえることに相当するが、例えば、静止しているＸ方向（水平方向）に平行な線の画像なども検出されるので、これだけではずれ量を検出したことにはならない。従って、認識率の低いものとなる。
【００１２】
そこで、本発明は、高速に移動する移動体であっても、より高い認識率で認識し得る移動体認識方法を提供することを目的とする。即ち、インターレース走査による撮像手段を用いた場合、インターレース走査の奇数フィールドの走査列と偶数フィールドの走査列とにずれを生ずるとともに、認識対象の移動体の移動速度が速い場合には奇数フィールドの走査列同士、偶数フィールドの走査列同士の間でもずれを生ずるが、このようなずれ量を踏まえて、テンプレートマッチング法による一致度を向上させ得る移動体認識方法を提供することを目的とする。
【００１６】
特に、移動速度の速い認識対象なる移動体の場合でも、テンプレートマッチングにおける一致度を高めることができる移動体認識方法を提供することを目的とする。
【００２５】
【課題を解決するための手段】
請求項１記載の発明は、インターレース走査をして認識対象の移動体の撮像画像を入力する撮像手段と、この撮像手段により入力される撮像画像のアナログデータをデジタルデータに変換するＡ／Ｄ変換手段と、Ａ／Ｄ変換された撮像画像のデジタルデータに対して２値化処理を含む画像処理をする画像処理手段とを備え、撮像面に対して水平方向に移動する前記移動体の静止画像をテンプレート画像として予め格納しておき、前記移動体を前記撮像手段により撮像したときに奇数フィールドの走査列データと偶数フィールドの走査列データとを分離してメモリに格納した後、各々の走査列データを垂直方向に詰めて元画像に対して垂直方向の画像幅を半分とした圧縮画像を得、各々の圧縮画像における部品の重心位置を検出し、これらの重心位置間の位置関係に基づき前記移動体の移動速度を検出し、この移動速度に基づき奇数フィールド、偶数フィールド間の撮像時間間隔における各フィールド画像の水平方向の膨張量を検出し、各フィールドの走査列毎に膨張量分だけ水平方向に補正してフレーム画像を得、そのフレーム画像と前記テンプレート画像とのマッチング判断を行うようにした。
【００２６】
従って、インターレース走査により撮像された撮像画像の水平方向のずれ量を１フレーム画像内の１フィールド間のずれ量として、移動体の移動速度を導出し、導出された移動速度と１フィールドの撮像時間間隔とにより撮像画像が移動方向に膨張する膨張量を検出し、インターレース走査によって基本的に生ずるフィールド間のずれ量の補正とともに、シャッタ速度等に依存する撮像時間間隔での移動方向への撮像画像の膨張量を補正してから、テンプレートマッチングが行われる。これにより、移動速度の速い移動体の場合でも、一致度の高いテンプレートマッチングが可能となる。
【００２７】
【発明の実施の形態】
本発明の第一の実施の形態を図１ないし図３に基づいて説明する。本実施の形態の移動体認識方法は、例えば、図１に示すように、生産の自動化による生産ライン１上を水平方向に移動する製品（移動体）２の生産管理を行うために、この製品２に付されている製品名ロゴ３を画像認識により識別するシステムに適用されている。ここに、認識方法としては、製品２をインターレース走査により撮像し、テンプレートマッチング法により製品名ロゴ３を認識することを基本としている。このため、前記生産ライン１上を移動する製品２（製品名ロゴ３を含む）を撮像する撮像手段として、蓄積動作がインターレース走査方式とされたＣＣＤエリアセンサ４が用いられている。このＣＣＤエリアセンサ４により撮像された撮像画像が入力される画像処理装置５が設けられている。この画像処理装置５に関しては、特に図示しないが、各種のハードウェア構成からなり、撮像された撮像画像に関してアナログデータをデジタルデータに変換するＡ／Ｄ変換手段や、Ａ／Ｄ変換された撮像画像のデジタルデータに対して２値化処理を含む画像処理をする画像処理手段の機能や、各種メモリや、テンプレートマッチング処理手段の機能等を備えている。
【００２８】
さらに、本実施の形態では、前記製品２中の一部には図２に示すように１本の垂直指示線６が垂直方向に付されている。この垂直指示線６は図２に示す如く、製品２の製品名ロゴ３と同一撮像面内に収まるように製品名ロゴ３のすぐ左側個所に付されている。
【００２９】
また、画像処理装置５中の所定のメモリ（図示せず）或いはこの画像処理装置５に装填される記憶メディア（図示せず）等には、前記製品名ロゴ３の静止画像がテンプレート画像（例えば、図４参照）として予め格納されている。
【００３０】
このような概略構成の下、本実施の形態における認識方法について説明する。まず、生産ライン１上を水平方向に移動する製品２はＣＣＤエリアセンサ４により撮像され、撮像画像は画像処理装置５に取り込まれる。このとき、ＣＣＤエリアセンサ４はインターレース走査方式により撮像するため、製品名ロゴ３付近を撮像した撮像面７の撮像画像（１フレーム分）Ｂ1 を例示すると、図３のようになる。ここに、ＴＶカメラ等に準じて１秒間に３０フレーム分の撮像とした場合の、奇数フィールド、偶数フィールド間の撮像間隔は１６．６msとなる。即ち、奇数フィールドの走査列ＳODD と偶数フィールドの走査列ＳEVENとではＸ方向（水平方向）にずれを生ずる。このとき、同一撮像面７内に撮像されている垂直指示線６に対応する画像はインターレース走査に起因して図３に示す如く垂直方向に２列の点線像６ODD ，６EVENとして現われる。これらの点線像６ODD ，６EVEN間の距離ｋ〔pixel〕 はインターレース走査に起因するものであり、この距離ｋ〔pixel〕 が奇数フィールドの走査列ＳODD と偶数フィールドの走査列ＳEVENとの間のずれ量を表している。従って、距離ｋ〔pixel〕 に基づき奇数フィールドの走査列ＳODD と偶数フィールドの走査列ＳEVENとの間のずれ量を検出することができる。そこで、検出されたずれ量分だけ、一方のフィールドの走査列、例えば、偶数フィールドの走査列ＳEVENを左側に移動補正させることで、フィールド間にずれのないフレーム画像（図示せず）が得られる。よって、この補正後のフレーム画像と静止画像に基づき予め格納されているテンプレート画像とのマッチングを行って一致・不一致が判断される。撮像された画像に基づく補正後のフレーム画像がテンプレート画像にマッチングしていれば、認識対象であると判断される。
【００３１】
従って、本実施の形態によれば、奇数フィールドの走査列ＳODD と偶数フィールドの走査列ＳEVENとがずれた場合のずれ量を示す指標となる垂直指示線６を認識対象である製品２に持たせているので、簡易にフィールド間にずれ量を検出し、そのずれ量を適正に補正することにより、予め格納しやすい静止画像をテンプレート画像としたテンプレートマッチング法による認識が可能となる。これは、認識対象である製品が静止中、移動中の如何に関わらずテンプレートマッチングが可能なことを意味している。この結果、製品２の自動生産において生産ライン１を停止させることなく、フィールド間のずれ量の適正な補正により、撮像画像を認識するためのテンプレートマッチングの一致度を向上させることができる。
【００３２】
本発明の第二の実施の形態を図４ないし図６に基づいて説明する。前記実施の形態で示した部分と同一部分は同一符号を用いて示し、説明も省略する（以降の実施の形態でも順次同様とする）。本実施の形態では、前述した垂直指示線６を用いることなく、奇数フィールドの走査列ＳODD と偶数フィールドの走査列ＳEVENとの間のずれ量を検出し、そのずれ量分を補正することで、テンプレートマッチングが可能とされている。
【００３３】
まず、図４は認識対象の静止画像に基づき予めメモリ或いは記憶メディア等に格納されているテンプレート画像Ｔ1 の一例を示す。このテンプレート画像Ｔ1 の部品においてその最上点を含むフィールドの走査列（Ｙ方向の最初の走査列）Ｓ1 の最左点Ｐ1Lの座標と、その１列下のフィールドの走査列Ｓ2 の最左点Ｐ2Lの座標との間の参照距離（Ｘ方向における距離）ｍ〔pixel〕 が予め検出されている（図４に示す例では、参照距離ｍ＝０）。
【００３４】
このような前提の下、本実施の形態における認識方法について説明する。まず、生産ライン１上を水平方向に移動する製品２はＣＣＤエリアセンサ４により撮像され、撮像画像は画像処理装置５に取り込まれる。このとき、ＣＣＤエリアセンサ４はインターレース走査方式により撮像するため、製品名ロゴ３付近を撮像した撮像面７の撮像画像（１フレーム分）を例示すると、図５のようになる。図５（ａ）は図４に示したようなテンプレート画像Ｔ1 と同種の認識対象の撮像画像Ｂ2 の場合を示し、図５（ｂ）はテンプレート画像Ｔ1 とは異種の認識対象の撮像画像Ｂ3 の場合を示している。
【００３５】
そこで、このような撮像画像Ｂ2 に関しても、図４の場合と同様に、最上点を含むフィールドの走査列の最左点と次のフィールドの走査列の最左点との間の座標上の撮像上距離ｍ′〔pixel〕 を検出する。次に、これらの距離ｍ，ｍ′を比較し、撮像画像Ｂ2 から検出された撮像上距離ｍ′が参照距離ｍに一致するように一方のフィールドの走査列の撮像画像をＸ方向に移動補正させることで、フィールド間にずれのないフレーム画像（図示せず）が得られる。よって、このフレーム画像と静止画像に基づき予め格納されているテンプレート画像Ｔ1 とのマッチングを行って一致・不一致が判断される。撮像された画像に基づく補正後のフレーム画像がテンプレート画像Ｔ1 にマッチングしていれば、認識対象であると判断される。
【００３６】
一方、撮像画像Ｂ3 の場合も同様に認識処理されるが、このようなテンプレート画像Ｔ1 とは異種の認識対象の撮像画像Ｂ3 の場合には、その撮像上距離ｍ′が参照距離ｍに一致するような移動補正を行っても、得られるフレーム画像Ｆ3 は図６に示すようになり、フィールド間で櫛状のずれが残ることになる。この結果、このフレーム画像Ｆ3 と静止画像に基づき予め格納されているテンプレート画像Ｔ1 とのマッチングを行って一致・不一致が判断されるが、撮像された画像に基づく補正後のフレーム画像Ｆ3 がテンプレート画像Ｔ1 にマッチングしないので、テンプレート画像Ｔ1 とは異種の認識対象であると判断される。
【００３７】
従って、本実施の形態によれば、移動する製品２の撮像時における奇数フィールドの走査列ＳODD と偶数フィールドの走査列ＳEVENとの間のずれを、予め格納されているテンプレート画像Ｔ1 の特質を利用して補正した後で、テンプレートマッチングを行って認識処理を行うので、撮像画像がテンプレート画像Ｔ1 を示す場合にはずれが正しく補正されたフィールド画像が得られるが、テンプレート画像Ｔ1 を示す画像でない場合にはずれの補正が不完全となり、奇数フィールドの走査列ＳODD と偶数フィールドの走査列ＳEVENとの間のずれが櫛状に残ることになる。この結果、マッチングした際の一致度が向上するので、Ｓ／Ｎを安定させることができ、誤認識を極力避けることができる。このようにして、本実施の形態によれば、製品２自身に垂直指示線６を付しておく必要がなく、製品２に関してデザイン上の拘束を与えることはない。
【００３８】
本発明の第三の実施の形態を図７ないし図１３に基づいて説明する。本実施の形態でも、製品２がＸ方向（水平方向）に移動することを前提としている。まず、図７は生産ライン１上を水平方向に移動する製品２をＣＣＤエリアセンサ４により撮像して得られる撮像画像Ｂ4 の一例を示す。このときインターレース走査によるため、前述した場合と同様に奇数フィールドの走査列ＳODD と偶数フィールドの走査列ＳEVENとではＸ方向（水平方向）にずれを生ずる。そこで、このような撮像画像Ｂ4 に関して、奇数フィールドの走査列ＳODD と偶数フィールドの走査列ＳEVENとで分離して、奇数フィールドの走査列ＳODD のみによる奇数列画像Ｂ4ODD（図８参照）と偶数フィールドの走査列ＳEVENのみによる偶数列画像Ｂ4EVEN （図９参照）とを得る。これらの画像Ｂ4ODD，Ｂ4EVEN を一旦メモリに格納させた後、Ｙ方向に飛び越し走査したフィールドの走査列分を詰めることにより、Ｙ方向の画像幅が元画像Ｂ4ODD，Ｂ4EVEN の半分となる圧縮画像Ｂ4ODD′ ，Ｂ4EVEN′ を生成する（図１０，図１１参照）。次に、これらの圧縮画像Ｂ4ODD′ ，Ｂ4EVEN′ について各々重心位置（Ｘ方向の座標）を導出する。この場合の重心位置の導出は、圧縮画像Ｂ4ODD′ ，Ｂ4EVEN′ における各隅部の座標等に基づき重心位置を求めるための所定の演算式によればよい。重心位置が導出されたら、これらの重心位置間の距離（Ｘ方向における座標間の差ｎ〔pixel〕 ）を導出し、この距離を奇数フィールドの走査列ＳODD と偶数フィールドの走査列ＳEVENとの間のずれ量として、偶数列画像Ｂ4EVEN を左方向に差ｎ〔pixel〕 分だけ移動補正した後、奇数列画像Ｂ4ODDと合わせることで、図Ｂ4 に示すように補正されたフレーム画像Ｆ4 を得る。よって、この補正後のフレーム画像Ｆ4 と静止画像に基づき予め格納されているテンプレート画像とのマッチングを行って一致・不一致が判断される。撮像された画像に基づく補正後のフレーム画像Ｆ4 がテンプレート画像にマッチングしていれば、認識対象であると判断される。
【００３９】
図１３はこのような認識処理の手順を示すフローチャートである。まず、撮像画像が入力された場合（ステップＳ１）、この撮像画像に対して閾値処理を行って撮像画像Ｂ4 を得る（Ｓ２）。次に、この撮像画像Ｂ4 中から偶数フィールドの走査列ＳEVENの画像を除去することにより奇数列画像Ｂ4ODDを得て、この奇数列画像Ｂ4ODDをメモリに格納する（Ｓ３）。同様に、撮像画像Ｂ4 中から奇数フィールドの走査列ＳODD の画像を除去することにより偶数列画像Ｂ4EVEN を得て、この偶数列画像Ｂ4EVEN をメモリに格納する（Ｓ４）。この後、メモリに格納された奇数列画像Ｂ4ODDに関して偶数フィールド部分を除去して上方向に詰めることにより圧縮画像Ｂ4ODD′を得る（Ｓ５）。同様に、メモリに格納された偶数列画像Ｂ4EVEN に関して奇数フィールド部分を除去して上方向に詰めることにより圧縮画像Ｂ4EVEN′ を得る（Ｓ６）。そして、圧縮画像Ｂ4ODD′について重心位置Ｘ1 を導出するとともに（Ｓ７）、圧縮画像Ｂ4EVEN′ について重心位置Ｘ2 を導出する（Ｓ８）。これらの重心位置Ｘ1 ，Ｘ2 間の差をｎ〔pixel〕 として導出し（Ｓ９）、偶数列画像Ｂ4EVEN をＸ方向にｎ画素分移動して、補正された偶数列画像Ｂ4EVEN″ を得る（Ｓ１０）。この後、奇数列画像Ｂ4ODDと補正された偶数列画像Ｂ4EVEN′ との論理積（ＡＮＤ）を取ることにより、補正されたフレーム画像Ｆ4 を得て（Ｓ１１）、このフレーム画像Ｆ4 をパターンマッチング用の認識画像とする。
【００４０】
従って、本実施の形態による場合も、フィールド間のずれを補正する上で垂直指示線６を用いないので、製品２自身に垂直指示線６を付しておく必要がなく、製品２に関してデザイン上の拘束を与えることはない。また、前記実施の形態のように最左点等の周囲点をずれ補正に利用する方法では、デジタルノイズや２値化の際の周囲画素の差異による誤差等が懸念されるが、本実施の形態によれば、各フィールド毎に分離された圧縮画像Ｂ4ODD′，Ｂ4EVEN′ における各々の重心位置の導出に基づくため、誤差があっても平均化されることになり、ノイズの影響の少ない認識処理となる。この際、奇数列画像Ｂ4ODDと偶数列画像Ｂ4EVEN との各々の重心位置は、静止時に撮像されるそれらの重心位置に一致するという前提の下、製品２が静止状態にあっても移動状態にあっても、予め格納されている静止画像によるテンプレート画像を変形する必要はない。また、本実施の形態によれば、フィールド間のずれの補正の基準をテンプレート画像に置かず、認識対象の撮像画像自身に置くことにより、テンプレートマッチング毎のずれ補正が不要となり、認識処理に要する時間を短縮させることができる。即ち、認識対象自身の特質のみに基づくずれ量の補正であるので、１回だけのずれ量の補正で認識対象として用いることができる。
【００４１】
本発明の第四の実施の形態を図１４ないし図１９に基づいて説明する。本実施の形態の認識方法は、基本的に前記第三の実施の形態に準ずるが、前記第三の実施の形態では製品２が水平方向にみ移動することを前提としてのに対して、本実施の形態では任意の方向の移動を想定しているものである。
【００４２】
まず、図１４は生産ライン１上を任意方向に移動する製品２をＣＣＤエリアセンサ４により撮像して得られる撮像画像Ｂ5 の一例を示す。このときインターレース走査によるため、前述した場合と同様に奇数フィールドの走査列ＳODD と偶数フィールドの走査列ＳEVENとではＸ方向（水平方向）及びＹ方向（垂直方向）にずれを生ずる。そこで、このような撮像画像Ｂ5 に関して、奇数フィールドの走査列ＳODD と偶数フィールドの走査列ＳEVENとで分離して、奇数フィールドの走査列ＳODD のみによる奇数列画像Ｂ5ODD（図１５参照）と偶数フィールドの走査列ＳEVENのみによる偶数列画像Ｂ5EVEN （図１６参照）とを得る。これらの画像Ｂ5ODD，Ｂ5EVEN を一旦メモリに格納させた後、Ｙ方向に飛び越し走査したフィールドの走査列分を詰めることにより、Ｙ方向の画像幅が元画像Ｂ5ODD，Ｂ5EVEN の半分となる圧縮画像Ｂ5ODD′，Ｂ5EVEN′ を生成する（図１７，図１８参照）。次に、これらの圧縮画像Ｂ5ODD′，Ｂ5EVEN′ について各々重心位置（Ｘ方向及びＹ方向の座標）を導出する。この場合の重心位置の導出も、圧縮画像Ｂ5ODD′，Ｂ5EVEN′ における各隅部の座標等に基づき重心位置を求めるための所定の演算式によればよい。重心位置が導出されたら、これらの重心位置間のＸ方向の差ｐ〔pixel〕 及びＹ方向の差ｑ〔pixel〕 を導出する。これらの差ｐ，ｑをフィールド間のずれ量として、偶数列画像Ｂ5EVEN に関してＸ方向にｐ、Ｙ方向にｑだけ移動補正した後、奇数列画像Ｂ5ODDと合わせることで、図１９に示すように補正されたフレーム画像Ｆ5 を得る。よって、この補正後のフレーム画像Ｆ5 と静止画像に基づき予め格納されているテンプレート画像とのマッチングを行って一致・不一致が判断される。撮像された画像に基づく補正後のフレーム画像Ｆ5 がテンプレート画像にマッチングしていれば、認識対象であると判断される。
【００４３】
従って、本実施の形態によれば、前記第三の実施の形態の場合と同様な効果が得られるが、その際に、製品２の移動方向が水平方向に限られず、任意方向の移動についてテンプレートマッチングの一致度の高い認識処理となる。
【００４４】
本発明の第五の実施の形態を図２０ないし図２３に基づいて説明する。本実施の形態は、例えば前述した第三の実施の形態による認識方法を前提としており、さらに、認識対象である製品２の移動速度が特に速い場合を想定しているものである。
【００４５】
まず、図１０，図１１等に基づき説明した各フィールド毎の圧縮画像Ｂ4ODD′，Ｂ4EVEN′ の重心位置間の差ｎ〔pixel〕 から、相対的に、ＣＣＤエリアエンセ４におけるフィールド蓄積間の移動速度がわかるもので、通常のＴＶカメラの如く、ＮＴＳＣ対応であれば、１／６０秒間での移動速度がわかる。ここに、撮像時のシャッタ速度が１２５秒の如く高速で、認識対象となる製品２の移動速度が速い場合には撮像画像自体の移動方向へのぶれないしは伸長が生じ、撮像画像Ｂ6 は例えば図２０に示すような状態となるため、第三の実施の形態のような補正を行っただけでテンプレート画像とのマッチングを行った場合には一致度が低下してしまう。図２０に示す撮像画像Ｂ6 なる部品において、フィールド蓄積間隔ｔ秒で移動する移動速度を画素単位でｎ／ｔ〔pixel／秒〕 として検出し、その時のシャッタ速度Ｔ秒での移動距離ｎＴ／ｔ〔pixel〕 として導出する。ここに、ｎの値は第三の実施の形態で説明したように重心位置間の差として導出される。従って、移動速度ｎ／ｔもｎの値を用いているものであり、これらの重心位置間の位置関係に基づき検出される。また、移動距離ｎＴ／ｔ〔pixel〕 はＸ方向の膨張量を示すものとなる。
【００４６】
次に、伸長した膨張量分を撮像画像Ｂ6 から除去するため、この撮像画像Ｂ6 における黒部分を“１”、白なる背景部分を“０”として論理式を用いて補正することで、図２１に示すような補正画像Ｂ6′ を得る。このような補正画像Ｂ6′ に関して、図２２に示すような認識対象である製品２の移動方向に依存するフィルタ８によるフィルタリングをかけることで、図２３に示すような伸長の末端抽出画像Ｂ6″ を得る。撮像画像Ｂ6 に対して、このような末端抽出画像Ｂ6″ を用いて移動方向に対して逆方向（右側から左側）に移動距離に相当する長さｎＴ／ｔ〔pixel〕 分だけ画素値を０にしていくことで、シャッタ速度Ｔ秒での認識対象とすべき撮像画像Ｂ6 の膨張分が補正される。このようにして得られた補正後のフレーム画像と静止画像に基づき予め格納されているテンプレート画像とのマッチングを行って一致・不一致が判断される。撮像された画像に基づく補正後のフレーム画像がテンプレート画像にマッチングしていれば、認識対象であると判断される。
【００４７】
従って、本実施の形態によれば、基本的に第三の実施の形態の場合と同様な効果が得られるが、加えて、認識対象である製品２が高速で移動して、その移動速度が事前にわからず、撮像画像Ｂ6 が全体的にＸ方向に膨張してしまうような条件下であっても、各フィールド画像間の相対的な距離関係から移動速度を検出して、その膨張量を補正する処理を行って極力静止画像に近付けた状態でテンプレートマッチングに供しているので、移動速度の大きな認識対象に対しても支障なく、一致度の高いテンプレートマッチングを行うことができる。
【００５２】
【発明の効果】
請求項１記載の発明によれば、撮像面に対して水平方向に移動する移動体の静止画像をテンプレート画像として予め格納しておき、移動体を撮像手段により撮像したときに奇数フィールドの走査列データと偶数フィールドの走査列データとを分離してメモリに格納した後、各々の走査列データを垂直方向に詰めて元画像に対して垂直方向の画像幅を半分とした圧縮画像を得、各々の圧縮画像における部品の重心位置を検出し、これらの重心位置間の位置関係に基づき移動体の移動速度を検出し、この移動速度に基づき奇数フィールド、偶数フィールド間の撮像時間間隔における各フィールド画像の水平方向の膨張量を検出し、各フィールドの走査列毎に膨張量分だけ水平方向に補正してフレーム画像を得、そのフレーム画像とテンプレート画像とのマッチング判断を行うようにしたので、移動速度の速い移動体の場合でも、一致度の高いテンプレートマッチングを行わせることができる。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態の認識システムの概要を示す斜視図である。
【図２】製品の一部を示す正面図である。
【図３】撮像画像を示す正面図である。
【図４】本発明の第二の実施の形態を示すテンプレート画像の説明図である。
【図５】撮像画像を示す正面図である。
【図６】異種の認識対象の場合の補正後の撮像画像を示す正面図である。
【図７】本発明の第三の実施の形態を示す撮像画像の正面図である。
【図８】抽出された奇数列画像を示す正面図である。
【図９】抽出された偶数列画像を示す正面図である。
【図１０】奇数列画像に関する圧縮画像を示す正面図である。
【図１１】偶数列画像に関する圧縮画像を示す正面図である。
【図１２】補正された撮像画像を示す正面図である。
【図１３】その処理手順を示すフローチャートである。
【図１４】本発明の第四の実施の形態を示す撮像画像の正面図である。
【図１５】抽出された奇数列画像を示す正面図である。
【図１６】抽出された偶数列画像を示す正面図である。
【図１７】奇数列画像に関する圧縮画像を示す正面図である。
【図１８】偶数列画像に関する圧縮画像を示す正面図である。
【図１９】補正された撮像画像を示す正面図である。
【図２０】本発明の第五の実施の形態を示す撮像画像の正面図である。
【図２１】その補正画像を示す正面図である。
【図２２】フィルタを示す説明図である。
【図２３】抽出された末端抽出画像を示す正面図である。
【符号の説明】
２ 移動体
４ 撮像手段
６ 垂直指示線
６ODD ，６EVEN 点線像
７ 撮像面
Ｂ 撮像画像
Ｆ フレーム画像
Ｔ テンプレート画像
ｋ 距離
ｍ 参照距離
ｍ′ 撮像上距離
Claims (1)
- インターレース走査をして認識対象の移動体の撮像画像を入力する撮像手段と、この撮像手段により入力される撮像画像のアナログデータをデジタルデータに変換するＡ／Ｄ変換手段と、Ａ／Ｄ変換された撮像画像のデジタルデータに対して２値化処理を含む画像処理をする画像処理手段とを備え、
撮像面に対して水平方向に移動する前記移動体の静止画像をテンプレート画像として予め格納しておき、
前記移動体を前記撮像手段により撮像したときに奇数フィールドの走査列データと偶数フィールドの走査列データとを分離してメモリに格納した後、各々の走査列データを垂直方向に詰めて元画像に対して垂直方向の画像幅を半分とした圧縮画像を得、各々の圧縮画像における部品の重心位置を検出し、これらの重心位置間の位置関係に基づき前記移動体の移動速度を検出し、この移動速度に基づき奇数フィールド、偶数フィールド間の撮像時間間隔における各フィールド画像の水平方向の膨張量を検出し、各フィールドの走査列毎に膨張量分だけ水平方向に補正してフレーム画像を得、そのフレーム画像と前記テンプレート画像とのマッチング判断を行うようにしたことを特徴とする移動体認識方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11660497A JP3658137B2 (ja) | 1997-05-07 | 1997-05-07 | 移動体認識方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11660497A JP3658137B2 (ja) | 1997-05-07 | 1997-05-07 | 移動体認識方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10307922A JPH10307922A (ja) | 1998-11-17 |
| JP3658137B2 true JP3658137B2 (ja) | 2005-06-08 |
Family
ID=14691282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11660497A Expired - Fee Related JP3658137B2 (ja) | 1997-05-07 | 1997-05-07 | 移動体認識方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3658137B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5187995B2 (ja) * | 2001-05-17 | 2013-04-24 | キヤノン株式会社 | 眼科装置 |
| JP5838750B2 (ja) * | 2011-11-17 | 2016-01-06 | 三菱電機株式会社 | 物体認識システム及び物体認識装置 |
-
1997
- 1997-05-07 JP JP11660497A patent/JP3658137B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10307922A (ja) | 1998-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5390943B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2000341582A5 (ja) | ||
| KR101524548B1 (ko) | 영상 정합 장치 및 방법 | |
| KR20000076486A (ko) | 안화상 처리장치 | |
| JP3709879B2 (ja) | ステレオ画像処理装置 | |
| JP4271378B2 (ja) | 撮像装置 | |
| JP2009088801A (ja) | 撮影対象物の静止判定方法および装置 | |
| JP3658137B2 (ja) | 移動体認識方法 | |
| JP3386025B2 (ja) | 画像特徴抽出装置、画像特徴抽出方法、監視検査システム、半導体露光システム、およびインターフェースシステム | |
| JP6008317B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP3534551B2 (ja) | 動き検出装置 | |
| KR0181353B1 (ko) | 위치인식방법 및 그 장치 | |
| JP4187458B2 (ja) | 画像処理におけるアフィン変換係数算出方法および画像処理装置 | |
| JP3627249B2 (ja) | 画像処理装置 | |
| JP2008235958A (ja) | 撮像装置 | |
| JP2001094976A (ja) | 画像抽出装置 | |
| JP5568166B2 (ja) | 画像処理装置及び画像処理方法 | |
| KR101017323B1 (ko) | 실시간 피사체형태비교를 위한 영상처리장치 및 방법 | |
| JPH0410074A (ja) | 画像パターン傾き検出方法 | |
| JPH07325906A (ja) | 移動体検出・追跡装置 | |
| JP4829594B2 (ja) | 画像処理方法および装置 | |
| JPH0548051U (ja) | 画像追尾装置 | |
| CN114897966A (zh) | 一种大元件的视觉识别方法 | |
| JPH0312788A (ja) | 移動体検出装置 | |
| JPS616776A (ja) | 二次元視覚認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041207 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050207 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050308 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050311 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090318 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100318 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110318 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |