JP5177651B2 - 物体認識装置および方法 - Google Patents

Description

本発明は、ハレーションの影響を除去する物体認識装置および方法に関する。

ＣＣＤカメラで取り込んだ画像を予め記憶したテンプレート画像と比較して所定の画像を検出する手段がテンプレートマッチング方法として例えば特許文献１に開示されている。
また、画像中のハレーションの影響を排除する手段が特許文献２に開示されている。

特許文献１の「テンプレートマッチング方法」は、パタンデータの異なるワークが供給された場合でも効率的にテンプレートマッチングを成功させることを目的とする。
そのため、特許文献１の発明は、図５に示すように、ワークに形成した所定パターンの画像を取り込むＣＣＤカメラ５２と、このカメラが取り込んだパターン画像と比較する複数のテンプレート画像を保存可能なメモリ５８と、このメモリに保存された前記テンプレート画像とパターン画像とを比較するテンプレートマッチング部５４と、このテンプレートマッチング部の比較結果に基づいていずれのテンプレート画像ともマッチングに失敗したパターン画像を新たなテンプレート画像としてメモリに保存する保存部５７とを有するものである。

特許文献２の「侵入物検出装置」は、入射光量を調整するための特別なハードウェアを用いることなくハレーションの影響を排除し、侵入物を正確に検出することを目的とする。
そのため、特許文献２の発明は、図６に示すように、画像の１フレーム分から侵入物の候補領域を抽出し（Ｓ１）、各侵入物候補のそれぞれについて、ハレーションを含むか否かの判定を行い、「ハレーション候補リストＬＨ」と「侵入物リストＬ１」とに分類し（Ｓ２）、ハレーション候補領域が１個以上有する場合には、電子シャッタの指示値を現在の値よりも一定量だけ高速化した値に変更し（Ｓ３，Ｓ５）、次の１フレーム分の画像について、画像中の処理対象領域をハレーション候補領域の内部に限定して侵入物検出処理を行う（Ｓ６）ことで、ハレーションの影響を排除して侵入物を正確に検出するものである。

特開２００２−２６９５６０号明細書、「テンプレートマッチング方法、それを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体、テンプレートマッチング装置、位置決め装置および実装装置」 特開２００４−０７２４１５号明細書、「侵入物検出装置」

上述した特許文献１の発明では、パタンデータの異なるワークが供給された場合でも、マッチングに失敗したパターンを新たなテンプレートとして登録することで、効率的にテンプレートマッチングを行う。しかし、特許文献１の発明は、ハレーションが発生すると正しく認識できない問題点がある。

また、上述した特許文献２の発明では、撮影画像から侵入物検出を行い、その候補についてハレーションを含むかどうかを判定し、ハレーションがある場合にはシャッタースピードを高速化させ、ハレーション領域内に限定して侵入物検出を行う。
しかし、特許文献２の発明は、撮影画像に対してハレーションの検出処理と認識処理を施すことから、計算負荷が高い問題点がある。また、ハレーションを含むか否かの判定は、複雑であり困難である。さらに、ハレーションを検出した後に、再度同一画像を電子シャッターの指示値を変えて撮影ずる必要があるため、リアルタイムの検出ができない問題点がある。

本発明は上述した従来の問題点を解決するために創案されたものである。すなわち、本発明の目的は、ハレーションの検出処理および認識処理を行うことなく、ハレーションの影響を除去した撮影画像を検出することができる物体認識装置および方法を提供することにある。

本発明によれば、照明装置で照明された対象物を撮影して、対象物の一部にハレーションが生じる場合に、ハレーション部分以外に対して適正な露出で撮影した第１電子画像と、ハレーション部分に対して予め想定された適正な露出で撮影した第２電子画像とを取得する撮像装置と、
前記第１電子画像と第２電子画像のそれぞれについてエッジ抽出を行い、得られた２枚のエッジ画像から結合エッジ画像を生成し、該結合エッジ画像を用いてテンプレートマッチングを行う物体認識部と、を備えることを特徴とする物体認識装置が提供される。

本発明の好ましい実施形態によれば、前記撮像装置は、対象物を撮影する単一のレンズと、該レンズを通過した画像を複数の同一画像に分割する分割器と、分割された複数の同一画像をそれぞれ電子画像に変換する複数のＣＣＤ又はＣＭＯＳとを有する。

前記ＣＣＤ又はＣＭＯＳは、それぞれ異なるシャッタースピードの電子シャッターを有する。

また別の好ましい実施形態によれば、前記分割器は、レンズを通過した画像を、明るさの異なる複数の同一画像に分割する。
また別の好ましい実施形態によれば、前記分割器と複数のＣＣＤ又はＣＭＯＳとの間に、それぞれ異なる開口の絞りを有する。

また本発明によれば、照明装置で照明された対象物を撮影して、対象物の一部にハレーションが生じる場合に、ハレーション部分以外に対して適正な露出で撮影した第１電子画像と、ハレーション部分に対して予め想定された適正な露出で撮影した第２電子画像とを取得する撮像ステップと、
前記第１電子画像と第２電子画像のそれぞれについてエッジ抽出を行い、得られた２枚のエッジ画像から結合エッジ画像を生成し、該結合エッジ画像を用いてテンプレートマッチングを行う物体認識ステップと、を有することを特徴とする物体認識方法が提供される。

上記本発明の装置および方法によれば、対象物の一部にハレーションが生じる場合でも、ハレーション部分に対して適正な露出で撮影した第２電子画像にはハレーション部分の画像が含まれ、対象物全体に対して適正な露出で撮影した第１電子画像にはハレーション部分を除く画像が含まれている。
次いで、物体認識部により、前記第１電子画像と第２電子画像のそれぞれについてエッジ抽出を行い、得られた２枚のエッジ画像から結合エッジ画像を生成することにより、ハレーションの影響を除去した結合エッジ画像を得ることができる。
従って、この結合エッジ画像を用いてテンプレートマッチングを行うことにより、ハレーションの検出処理および認識処理を行うことなく、ハレーションの影響を除去した撮影画像を検出することができる。

特に本発明は以下の効果も有する。
（１） ハレーション発生時も単純な形状の検出対象に対して良好な認識結果が得られる。
（２） エッジ画像に対してテンプレートマッチングを行うため、元画像に対してテンプレートマッチングを行うよりも計算負荷が小さく高速に処理できる。

また、前記撮像装置を、単一のレンズ、分割器、および複数のＣＣＤ又はＣＭＯＳで構成することにより、ハレーションの影響を除去した撮影画像をリアルタイムに検出することができ、動きの早い対象物の検出にも適用することができる。

以下、本発明の好ましい実施例を図面を参照して説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。

図１は、本発明による物体認識装置の全体構成図である。この図において、本発明の物体認識装置１０は、撮像装置１２、撮像装置制御部１３、物体認識部１４、位置制御部１６、および搬送装置１８を備える。

撮像装置１２は、撮像装置制御部１３により制御され、照明装置１１で照明された対象物１を撮影して第１電子画像２と第２電子画像３を取得する。
第１電子画像２は、対象物１の全体に対して適正な露出で撮影した電子画像であり、第２電子画像３は、対象物１の一部にハレーションが生じる場合にハレーション部分１ａに対して適正な露出で撮影した電子画像である。

「ハレーション」とは、高輝度の対象がカメラの画角内にあるときに、光学系内で光が乱反射して画像の一部が不鮮明になる現象をいう。また本発明において「ハレーション」には、画像の一部が他の領域よりも極端に明るく、その部分が白く表示される「白飛び」も含まれる。

物体認識部１４は、例えばコンピュータ（ＰＣ）であり、第１電子画像２と第２電子画像３のそれぞれについてエッジ抽出を行い、得られた２枚のエッジ画像２ａ，３ａから結合エッジ画像４を生成し、この結合エッジ画像４を用いてテンプレートマッチングを行う。

位置制御部１６は、物体認識部１４のテンプレートマッチングにより認識された対象物１の位置に基づき、搬送装置１８を制御する。
搬送装置１８は、位置制御部１６により制御され、対象物１を把持して所定の場所に搬送する。

なお、図１の搬送装置１８と撮像装置１２の座標系は同一、または予め同期するものとする。
また、上述した照明装置１１、位置制御部１６、および搬送装置１８は必須でなく、これらの一部または全部を省略することができる。

図２は、図１の撮像装置の構成図である。この図において、撮像装置１２は、単一のレンズ２２（又はレンズ系）、分割器２４、及び複数のＣＣＤ２６ａ，２６ｂ（又はＣＭＯＳ）を有する。

単一のレンズ２２（又はレンズ系）は、対象物１を撮影するための光学レンズであり、対象物１の画像を複数のＣＣＤ２６ａ，２６ｂ（又はＣＭＯＳ）に結像するようになっている。単一レンズ２２は、単焦点レンズでもズームレンズでもよい。

分割器２４は、レンズ２２を通過した対象物１の画像を複数の同一画像に分割する。分割器２４はこの例では、スプリッタであるが、ハーフミラーでも、３ＣＣＤに用いられるダイクロイックプリズムでもよい。
ここで複数とは、２以上を意味し、この例では、２つであるが、３つ以上の画像でもよい。
また、同一画像とは、同一の対象物１の画像を意味し、それぞれの明るさは相違してもよい。

複数（この例では２つ）のＣＣＤ２６ａ，２６ｂ（又はＣＭＯＳ）は、分割された複数の同一画像をそれぞれ電子画像に変換する。また、各ＣＣＤ２６ａ，２６ｂ（又はＣＭＯＳ）は、それぞれ異なるシャッタースピードの電子シャッターを有する。
この電子シャッターは、ＣＣＤ２６ａの電子画像（以下、「第１電子画像」と呼ぶ）が対象物全体に対して適正な露出で撮影した画像となり、ＣＣＤ２６ｂの電子画像（以下、「第２電子画像」と呼ぶ）が対象物１の一部にハレーションが生じる場合にハレーション部分１ａに対して適正な露出で撮影した画像となるように設定する。

図２において、電子シャッターの代わりに、或いはこれと併用して分割器２４と複数のＣＣＤ２６ａ，２６ｂ（又はＣＭＯＳ）との間に複数（この例では２つ）の絞り２８ａ，２８ｂを設けてもよい。複数の絞り２８ａ，２８ｂは、それぞれ異なる開口を有する。
この開口は、単独で、或いは電子シャッターと併用して、ＣＣＤ２６ａの第１電子画像が対象物全体に対して適正な露出で撮影した画像となり、ＣＣＤ２６ｂの第２電子画像が対象物１の一部にハレーションが生じる場合にハレーション部分１ａに対して適正な露出で撮影した画像となるように設定する。

さらに、分割器１４により、レンズ２２を通過した画像を、明るさの異なる複数の同一画像に分割してもよい。
この場合、明るさの分割比率は、単独で、或いは電子シャッター及び／又は絞りと併用して、ＣＣＤ２６ａの第１電子画像が対象物全体に対して適正な露出で撮影した画像となり、ＣＣＤ２６ｂの第２電子画像が対象物１の一部にハレーションが生じる場合にハレーション部分１ａに対して適正な露出で撮影した画像となるように設定する。

なお、撮像装置１２は、図２の構成に限定されず、その他の構成であってもよい。例えば、２台の独立したカメラを用いて、同時または位置をずらしてそれぞれ独立した第１電子画像と第２電子画像を取得するようにしてもよい。

図３は、本発明による物体認識方法の全体フロー図であり、図４は、図３の説明図である。

図３において、本発明の物体認識方法は、撮像ステップＳ１と物体認識ステップＳ２を有する。

撮像ステップＳ１では、第１電子画像２と第２電子画像３を撮影する。第１電子画像２は、対象物１を撮影して、対象物全体に対して適正な露出で撮影した電子画像であり、第２電子画像３は、対象物１の一部１ａにハレーションが生じる場合にハレーション部分１ａに対して適正な露出で撮影した電子画像である。
第２電子画像３は、実際にハレーションが生じているか否かにかかわらず、ハレーションが生じる場合を想定して、予め適正な露出を設定する。この設定は、上述した電子シャッターの高速化、絞り２８ｂの設定、分割器１４における明るさの分割比率、いずれかを単独に或いは組み合わせて行う。
図４（Ａ）は、第１電子画像２の模式図であり、図４（Ｂ）は第２電子画像３の模式図である。第１電子画像２ではハレーション部分１ａは画像が得られないが、第２電子画像３ではハレーション部分１ａの画像が得られている。

物体認識ステップＳ２では、まず第１電子画像２と第２電子画像３のそれぞれについてエッジ抽出を行う（Ｓ２１，Ｓ２２）。これにより、図４（Ｃ），図４（Ｄ）に示すように、第１電子画像２からはハレーション部分１ａ以外のエッジ画像２ａが得られ、第２電子画像３からは少なくともハレーション部分１ａのエッジ画像３ａが得られる。
次いで、得られた２枚のエッジ画像２ａ，３ａから結合エッジ画像４を生成する（Ｓ２３）。この結合エッジ画像４は、ハレーション部分１ａを含む対象物１全体のエッジ画像である。
次に、この結合エッジ画像４を用いてテンプレートマッチングを行う（Ｓ２４）。

上述した本発明の装置および方法によれば、対象物１の一部１ａにハレーションが生じる場合でも、ハレーション部分１ａに対して適正な露出で撮影した第２電子画像３にはハレーション部分１ａの画像が含まれ、対象物１の全体に対して適正な露出で撮影した第１電子画像２にはハレーション部分を除く画像が含まれている。
次いで、物体認識部１４により、第１電子画像２と第２電子画像３のそれぞれについてエッジ抽出（Ｓ２１，Ｓ２２）を行い、得られた２枚のエッジ画像２ａ，３ａから結合エッジ画像４を生成することにより、ハレーションの影響を除去した結合エッジ画像を得ることができる。
従って、この結合エッジ画像４を用いてテンプレートマッチングを行うことにより、ハレーションの検出処理および認識処理を行うことなく、ハレーションの影響を除去した撮影画像を検出することができる。

特に本発明は以下の効果も有する。
（１） ハレーション発生時も単純な形状の検出対象に対して良好な認識結果が得られる。
（２） エッジ画像に対してテンプレートマッチングを行うため、元画像に対してテンプレートマッチングを行うよりも計算負荷が小さく高速に処理できる。

また、撮像装置１２を、単一のレンズ２２、分割器２４、および複数のＣＣＤ２６ａ，２６ｂ（又はＣＭＯＳ）で構成することにより、ハレーションの影響を除去した撮影画像をリアルタイムに検出することができ、動きの早い対象物の検出にも適用することができる。

なお、本発明は上述した実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々の変更を加え得ることは勿論である。

本発明による物体認識装置の全体構成図である。 図１の撮像装置の構成図である。 本発明による物体認識方法の全体フロー図である。 図３の説明図である。 特許文献１の発明の構成図である。 特許文献２の発明の構成図である。

符号の説明

１ 対象物、１ａ ハレーション部分、
２ 第１電子画像、３ 第２電子画像、
４ エッジ画像、５ 結合エッジ画像、
１０ 物体認識装置、１１ 照明装置、
１２ 撮像装置、１３ 撮像装置制御部、
１４ 物体認識部、１６ 位置制御部、
１８ 搬送装置、２２ レンズ（レンズ系）、
２４ 分割器（ハーフミラー、スプリッタ、ダイクロイックプリズム）、
２６ａ，２６ｂ ＣＣＤ（又はＣＭＯＳ）、
２８ａ，２８ｂ 絞り

Claims (6)

1. 照明装置で照明された対象物を撮影して、対象物の一部にハレーションが生じる場合に、ハレーション部分以外に対して適正な露出で撮影した第１電子画像と、ハレーション部分に対して予め想定された適正な露出で撮影した第２電子画像とを取得する撮像装置と、
   前記第１電子画像と第２電子画像のそれぞれについてエッジ抽出を行い、得られた２枚のエッジ画像から結合エッジ画像を生成し、該結合エッジ画像を用いてテンプレートマッチングを行う物体認識部と、を備えることを特徴とする物体認識装置。
2. 前記撮像装置は、対象物を撮影する単一のレンズと、該レンズを通過した画像を複数の同一画像に分割する分割器と、分割された複数の同一画像をそれぞれ電子画像に変換する複数のＣＣＤ又はＣＭＯＳとを有する、ことを特徴とする請求項１に記載の物体認識装置。
3. 前記ＣＣＤ又はＣＭＯＳは、それぞれ異なるシャッタースピードの電子シャッターを有する、ことを特徴とする請求項２に記載の物体認識装置。
4. 前記分割器は、レンズを通過した画像を、明るさの異なる複数の同一画像に分割する、ことを特徴とする請求項２に記載の物体認識装置。
5. 前記分割器と複数のＣＣＤ又はＣＭＯＳとの間に、それぞれ異なる開口の絞りを有する、ことを特徴とする請求項２に記載の物体認識装置。
6. 照明装置で照明された対象物を撮影して、対象物の一部にハレーションが生じる場合に、ハレーション部分以外に対して適正な露出で撮影した第１電子画像と、ハレーション部分に対して予め想定された適正な露出で撮影した第２電子画像とを取得する撮像ステップと、
   前記第１電子画像と第２電子画像のそれぞれについてエッジ抽出を行い、得られた２枚のエッジ画像から結合エッジ画像を生成し、該結合エッジ画像を用いてテンプレートマッチングを行う物体認識ステップと、を有することを特徴とする物体認識方法。
   

Images