JP4830696B2 - 物体認識装置、監視システム、物体認識方法、物体認識プログラム、および該プログラムを記録した記録媒体 - Google Patents

Description

本発明は、１または複数の物体の画像を含む撮影画像から物体を認識する物体認識装置、該装置を用いた監視システム、物体認識方法、物体認識プログラム、および該プログラムを記録した記録媒体に関するものである。特に、本発明は、前記物体認識装置を利用して、生産現場における自動化機械(生産設備)による労働災害を未然に防止する安全監視システムに関するものである。

以前から、プレス機やロボットアームなどの自動化機械(生産設備)を用いる生産現場において、作業員が上記生産設備に巻き込まれるなどの労働災害が発生している。この労働災害の対策として、作業員が安全であるかを監視する安全監視装置を生産現場に導入することが進められている。

一般に、生産現場で作業員の安全を確保するには、災害が発生する虞のある生産設備およびその周辺の領域(危険領域)に対し、作業者の侵入を検知した時に、安全が損なわれたとして生産設備を停止すること（侵入検知）と、作業者の存在を検知した時に、上記危険領域の安全が確認されるまで生産設備を停止すること（存在検知）との２つが必要である。したがって、安全監視装置では、侵入検知および存在検知の両方を実現できることが望ましい。

従来の安全監視装置には、マットセンサ、光電センサ、レーザスキャナ、画像センサなどが利用されており、各センサの検知原理に基づく安全監視が行われている。

例えば、マットセンサは、該センサに印加される荷重の変動を検知する。したがって、マットセンサを用いた安全監視装置では、危険領域内に存在する作業員の荷重を検知するように、マットセンサを危険領域の床面に配置することで存在検知を実現している。

また、光電センサは、投受光器間の遮光状態を検知する。したがって、光電センサを用いた安全監視装置では、作業員の侵入により上記遮光状態を惹起するように、光電センサを危険領域の境界に配置することで侵入検知を実現している。

また、レーザスキャナは、レーザ光を出射してから、反射物にて反射し、その反射光を受光するまでの光の伝搬時間を計測することにより、レーザ光源と反射物との距離を測定できる。さらに、レーザ光を走査することにより、測定可能な反射物の存在領域を拡大することができる。したがって、レーザスキャナを用いた安全監視装置では、レーザスキャナが測定可能な反射物の存在領域が、危険領域を包含するようにレーザスキャナを配置し、測定した距離が作業者の有無によって異なることを利用して、侵入検知および存在検知を同時に実現している。

また、画像センサは、２Ｄ（２次元）輝度情報の配列と時系列変化とを監視することにより、視覚的変化を検知する。したがって、画像センサを用いた安全監視装置では、危険領域を俯瞰するようにカメラを配置することで、レーザスキャナと同様に、侵入検知および存在検知を同時に実現している。

また、最近では、画像センサの応用技術としてステレオカメラを用いた技術が提案されている（例えば、特許文献１を参照）。これによると、従来の画像センサは、１台のカメラによって撮影された２Ｄ画像を利用し、輝度情報の２Ｄ的配列と時系列的変化とを用いて計測しているため、周辺環境光の影響により検知性能が低下することがあり安全監視装置としての信頼度が低下するとされている。

これに対し、ステレオカメラを用いた場合には、カメラ間の視差情報を用いた三角測量の原理より、画像中の物体の３Ｄ情報を取得することができる。このため、従来の単眼画像センサよりも一般的に環境変動に強くなると考えられている。
国際公開第ＷＯ０１／０３９５１３号パンフレット（２００１年５月３１日公開） 特開平５−５０３９０号公報（１９９３年３月２日公開） 特開平１１−６６３１９号公報（１９９９年３月９日公開）

上述の既存センサから得られる情報は、基本的には、物体の有無により何らかの物理量に変化が生じたことを検知したバイナリ−情報である。したがって、上記情報のみを用いて、検知した物体（検知オブジェクト）がワークおよび作業者の何れであるかを区別することは出来ない。このため、従来は、検知オブジェクトが全て作業者であると判断し、生産設備の運転制御（具体的には運転停止）を行うことで作業員の安全確保を図っていた。

しかしながら、実際の生産現場では、ワークが危険領域に搬入されるなど危険領域内に作業員以外の物体が存在する場合は十分考えられる。このような場合でも、従来は、検知オブジェクトを全て作業者と判断して生産設備の運転制御を行うため、ワークが侵入した場合でも設備が毎回停止することになり生産効率が低下するという問題が生じていた。

この問題点を解決するには、検知オブジェクトがワークおよび作業者の何れであるかを区別して、すなわち物体の種類を特定して、物体の種類毎に生産設備を運転制御する必要がある。例えば、特許文献２に記載の光電センサを用いた安全監視方法では、ワークが周期的に搬送される生産ラインで、その搬送周期に従わない検知オブジェクトを作業者と判定し、この場合のみ生産設備を停止することで、生産性を維持している。

しかしながら、上記の安全監視方法では、ワークの搬送周期に同期しながら、もしくはワークと共に作業者が危険領域へ侵入する場合、作業者の存在を特定する搬送周期外の検知信号が得られないため、ワークおよび作業者の区別が困難となり、その結果作業者の危険領域への侵入を見落とすことになる。つまり、作業者が危険領域へ侵入しても生産設備が稼動したままという状況が発生し安全監視装置として不十分である。

本発明は、上記の問題点に鑑みてなされたものであり、物体の種類を確実に特定できる物体認識装置などを提供することにある。

本発明に係る物体認識装置は、上記課題を解決するため、１または複数の物体の画像を含む撮影画像から物体を認識する物体認識装置であって、撮影画像を取得する画像取得手段と、取得した撮影画像から特徴点を抽出する特徴点抽出手段と、抽出した特徴点の空間位置を算出する空間位置算出手段と、算出した特徴点の空間位置に基づいて、前記物体を認識する物体認識手段とを備えており、前記物体認識手段は、前記算出した特徴点の空間位置に基づいてクラスタリングを行うクラスタリング手段と、該クラスタリングにより生成されたクラスタのサイズに基づいて、該クラスタに対応する物体を判定する物体判定手段とを備えることを特徴としている。

上記の構成によると、撮影画像を取得し、取得した撮影画像から特徴点を抽出し、抽出した特徴点の空間位置を算出し、算出した特徴点の空間位置に基づいてクラスタリングを行う。これにより、物体の形状に類似するクラスタが生成される。

ところで、一般に、物体は、物体の種類によってサイズ（幅、奥行き、高さ）が異なる。例えば、足っているヒトであれば、幅および奥行きが３０〜８０ｃｍ程度であり、高さが１５０〜１８０ｃｍ程度である。すなわち、物体のサイズから物体の種類を特定できることになる。したがって、本発明によると、物体の形状に類似する前記クラスタのサイズから、前記物体の種類を特定することができる。

本発明に係る物体認識装置では、前記クラスタリング手段は、或る物体に対応するサイズでクラスタリングを行い、前記物体判定手段は、前記クラスタが前記物体に対応するか否かを判定し、前記クラスタリング手段は、前記物体判定手段が前記物体に対応しないと判定したクラスタを構成する特徴点に関して、別の物体に対応するサイズで再度クラスタリングを行うことが好ましい。この場合、物体のサイズごとにクラスタリングを繰り返すことになるので、各クラスタに対応する物体の種類を確実に特定することができる。

本発明に係る物体認識装置では、前記クラスタリング手段は、認識すべき複数の物体に対応する複数のサイズのうち、最大のサイズでクラスタリングを行い、前記物体判定手段が前記物体に対応しないと判定したクラスタを構成する特徴点に関して、前記複数のサイズのうち最小のサイズで再度クラスタリングを行うことがさらに好ましい。

この場合、最大のサイズでのクラスタリングでクラスタを作成できなかった特徴点、または最小のサイズでのクラスタリングでクラスタを作成できなかった特徴点をクラスタリングの繰返しの初期の段階で除外できるので、物体の種類を迅速に特定することができる。

なお、撮影画像から特徴点を抽出し、抽出した特徴点の空間位置を算出する手法の一例としては、ステレオカメラからの２つの撮影画像を取得して、前記２つの撮影画像における特徴点を利用して、特徴点の空間位置を算出することが挙げられる。また、別の例としては、アクティブセンサからの撮影画像を取得すると共に、前記撮影画像に関する空間位置の情報を前記アクティブセンサから取得し、取得した空間位置の情報に基づいて、前記特徴点の空間位置を算出することが挙げられる。

本発明に係る物体認識装置では、前記物体判定手段は、前記クラスタリングにより生成されたクラスタのサイズと、該クラスタに関する存在位置、進行方向、移動速度、および個数の中の少なくとも１つとに基づいて、前記クラスタに対応する物体を判定することが好ましい。

一般に、物体は、物体の種類によって、存在位置、進行方向、移動速度、および個数が規定されることが多い。例えば、搬送機上には、ワークが搬送方向に所定の搬送速度で移動している。また、搬送機が搬送可能な重量には限界があるため、搬送機上に存在するワークの個数にも限度がある。

したがって、上記の場合のように、物体の形状に類似するクラスタのサイズだけでなく、該クラスタに関する存在位置、進行方向、移動速度、および個数の中の少なくとも１つを用いて、クラスタに対応する物体を判定することにより、物体の種類をさらに確実に特定することができる。

なお、クラスタのサイズ、存在位置、進行方向、移動速度、および個数のそれぞれによって、物体判定の確からしさは異なっている。そこで、前記物体判定手段は、前記クラスタのサイズによる物体判定と、前記クラスタに関する存在位置、進行方向、移動速度、および個数の中の少なくとも１つによる物体判定とに対し統計的処理を施すことによって、前記クラスタに対応する物体を判定することがより好ましい。

本発明に係る物体認識装置では、前記物体の表面には、物体を識別可能なマークが施されており、前記物体判定手段は、前記クラスタリングにより生成されたクラスタの空間位置に対応する前記撮影画像の領域から前記マークを抽出し、抽出したマークと、前記クラスタのサイズとに基づいて、前記クラスタに対応する物体を判定してもよい。この場合、クラスタのサイズと、前記マークとを用いてクラスタに対応する物体を判定することにより、物体の種類をさらに確実に特定することができる。なお、上記クラスタの空間位置は、クラスタが占める空間領域でもよいし、クラスタの重心位置でもよい。

本発明に係る物体認識装置では、物体を検知するセンサから検知信号を取得する検知信号取得手段をさらに備えており、前記物体判定手段は、前記クラスタのサイズによる物体の判定と、前記検知信号取得手段による物体の検知とに基づいて、前記クラスタに対応する物体を判定してもよい。

ここで、物体を検知するセンサとしては、物体の温度情報を取得できる赤外線カメラや、物体の荷重を検知できるマットセンサなどが挙げられる。

上記の場合では、クラスタのサイズによる物体の判定と、前記センサによる物体の検知とに基づいて、クラスタに対応する物体を判定するので、物体の種類をさらに確実に特定することができる。

また、前記クラスタリングにより生成されたクラスタの空間位置の履歴情報を記憶する記憶手段と、前記クラスタの空間位置の履歴情報に基づいて、前記クラスタが次に位置する空間領域を推定する推定手段と、前記特徴点抽出手段が抽出した特徴点のうち、前記推定手段が推定した前記クラスタの空間領域に含まれる特徴点を抽出して、前記クラスタに統合するクラスタ統合手段とをさらに備えることが好ましい。この場合、過去のクラスタの空間位置から現在のクラスタの空間領域を推定し、推定した空間領域に含まれる特徴点を予めクラスタに統合するので、これらの特徴点を、クラスタリング処理の対象から除外でき、その結果、クラスタリング処理を迅速化できる。

本発明に係る監視システムは、上記の課題を解決するため、所定領域の監視を行う監視システムであって、前記所定領域の撮影を行う撮影手段と、該撮影手段が撮影した撮影画像から物体を認識する上記構成の物体認識装置とを備えることを特徴としている。

上記の構成によると、所定領域を撮影した撮影画像から物体認識装置が物体を認識できる。したがって、所定領域内に存在する物体を、種類を特定した上で監視することができる。

本発明に係る監視システムでは、前記物体認識装置が認識した物体に基づいて、所定領域に設けられた設備の動作を制御する設備制御手段をさらに備えることが好ましい。ここで、設備の例としては、生産現場における生産設備、警告などを発するアラーム、所定領域に対し進入または退出を行うための自動扉などが挙げられる。上記の場合では、物体認識装置が認識した物体に応じた設備の動作を行うことができる。

特に、上記設備が生産設備であり、認識する物体が作業者である場合には、作業者を認識した場合のみ生産設備を停止し、その他の場合に稼働することにより、生産設備の生産性を維持できる。また、所定領域内に存在する作業者を確実に認識できるので、作業者の安全性を確保できる。

本発明に係る監視システムでは、前記所定領域への物体の進入を検知する進入検知センサをさらに備えており、前記物体認識装置は、前記進入検知センサが前記物体の進入を検知すると、動作を開始することが好ましい。ここで、進入検知センサの例としては、超音波、電波、赤外線などの波動を所定領域の境界付近に出射し、上記波動を物体が遮蔽または反射することにより、物体の存在を検知するセンサが挙げられる。上記の場合では、所定領域内に特定の物体が進入するまで物体認識装置が停止しているので、消費電力を抑えることができる。

本発明に係る物体認識方法は、上記の課題を解決するため、１または複数の物体の画像を含む撮影画像から物体を認識する物体認識方法であって、撮影画像を取得する画像取得ステップと、取得した撮影画像から特徴点を抽出する特徴点抽出ステップと、抽出した特徴点の空間位置を算出する空間位置算出ステップと、算出した特徴点の空間位置に基づいて、前記物体を認識する物体認識ステップとを含んでおり、前記物体認識ステップは、前記算出した特徴点の空間位置に基づいてクラスタリングを行うクラスタリングステップと、該クラスタリングにより生成されたクラスタのサイズに基づいて、該クラスタに対応する物体を判定する物体判定ステップとを含むことを特徴としている。

上記の方法によると、撮影画像を取得し、取得した撮影画像から特徴点を抽出し、抽出した特徴点の空間位置を算出し、算出した特徴点の空間位置に基づいてクラスタリングを行う。これにより、物体の形状に類似するクラスタが生成される。そして、物体のサイズから物体の種類を特定できるので、上記クラスタのサイズから、前記物体の種類を特定することができる。

なお、上記物体認識装置における各手段を、物体認識プログラムによりコンピュータ上で実行させることができる。さらに、上記物体認識プログラムをコンピュータ読取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で上記物体認識プログラムを実行させることができる。

以上のように、本発明に係る物体認識装置は、撮影画像を取得し、取得した撮影画像から特徴点を抽出し、抽出した特徴点の空間位置を算出し、算出した特徴点の空間位置に基づいてクラスタリングを行うことにより、物体の形状に類似するクラスタを生成するので、生成したクラスタのサイズから、前記物体の種類を特定できるという効果を奏する。

〔実施の形態１〕
本発明の一実施形態について図１〜図１０を参照しつつ説明する。図２は、本実施形態における監視システム１０の概要を示している。図示のように、本実施形態の監視システム１０は、自動化機械（生産設備Ｐ）を用いて生産を行う生産現場に適用されている。この生産現場では、生産設備Ｐに所定形状のワークＷが搬送機Ｃにより搬送されている。

図２に示されるように、監視システム１０は、生産設備Ｐの周辺の危険領域Ｄを俯瞰するように撮影するステレオカメラ（撮像装置、撮影手段）１１と、ステレオカメラ１１が撮影した撮影画像に基づいて、危険領域Ｄ内の作業員Ｍを認識することにより、危険領域Ｄに対する作業者Ｍの存在検知および侵入検知を実行する監視装置（物体認識装置）１２とを備える構成である。

図３は、監視システム１０におけるステレオカメラ１１および監視装置１２内の具体的構成を示している。図示のように、ステレオカメラ１１は、危険領域の撮影を行う複数台のカメラを備えている。本実施形態では、ステレオカメラ１１は、２台のカメラによって構成され、それぞれ「第１画像入力装置１３」および「第２画像入力装置１４」と称する。第１および第２画像入力装置１３・１４は、それぞれ、上記撮影により取得した撮影画像信号を監視装置１２に送信する。

なお、本実施形態では、撮影画像として、輝度情報のみを有する濃淡画像を利用しているが、輝度情報および色情報を有するカラー画像を利用することもできる。また、第１および第２画像入力装置１３・１４は、上記撮影に必要な各種パラメータが予め相互に校正されているものとする。

また、図３に示されるように、監視装置１２は、ＰＣ（Personal Computer）ベースのコンピュータによって構成される。すなわち、監視装置１２は、各種機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）２０、上記プログラムを格納したＲＯＭ（read only memory）２１、上記プログラムを展開するＲＡＭ（random access memory）２２、上記プログラムおよび各種データを格納するメモリ２３、外部から各種情報を受信する受信部２４、および外部に各種情報を出力する出力部２５を備えている。ＣＰＵ２０、ＲＯＭ２１、ＲＡＭ２２、メモリ２３、および出力部２５は、バス２６を介して相互に接続されている。

本実施形態では、メモリ２３は、第１画像入力装置１３が撮影した第１入力画像のデータを保存する第１入力画像メモリ３０と、第２画像入力装置１４が撮影した第２入力画像のデータを保存する第２入力画像メモリ３１と、各種の画像のデータを保存する画像保存メモリ３２と、特徴点座標を保存するメモリ３３と、クラスタ座標を保存するクラスタ座標保存メモリ（記憶手段）３４とを含んでいる。

一方、受信部２４は、第１および第２画像入力装置１３・１４からの撮影画像信号をそれぞれ取得してＡ／Ｄ（Analog to Digital）変換するＡ／Ｄ変換回路３５・３６を含んでいる。Ａ／Ｄ変換回路３５・３６は、変換した撮影画像データを、第１および第２入力画像データとしてそれぞれ第１および第２入力画像メモリ３０・３１に送信する。

図１は、監視装置１２の機能的構成を示している。図示のように、監視装置１２は、制御部４０、第１入力画像取得部（画像取得手段）４１、第２入力画像取得部（画像取得手段）４２、および出力部（設備制御手段）２５を備える構成である。

制御部４０は、監視装置１２の各種構成の動作を統括的に制御するものであり、ＣＰＵ２０、ＲＯＭ２１、ＲＡＭ２２、およびメモリ２３を備える構成である。なお、制御部４０の詳細については後述する。

第１入力画像取得部４１は、ステレオカメラ１１の第１画像入力装置１３が撮影した撮影画像を第１入力画像として取得して保存するものであり、Ａ／Ｄ変換回路３５および第１入力画像メモリ３０を備える構成である。同様に、第２入力画像取得部４２は、ステレオカメラ１１の第２画像入力装置１４が撮影した撮影画像を第２入力画像として取得して保存するものであり、Ａ／Ｄ変換回路３６および第２入力画像メモリ３１を備える構成である。

出力部２５は、上述のように、外部に各種情報を出力するものである。出力部２５の具体的構成の一例としては、表示出力を行うディスプレイ、音声出力を行うスピーカ、警報を発する警報器、印刷出力を行うプリンタ、外部へ出力信号を送信する送信デバイス、生産設備の稼働および稼働停止を制御する制御デバイスなどが挙げられる。

さらに、出力部２５は、制御部４０が生成したワーク用出力信号を出力するワーク用出力部４３と、制御部４０が生成した作業者用出力信号を出力する作業者用出力部４４とを備える構成である。

次に、制御部４０の詳細について説明する。図１に示されるように、制御部４０は、３Ｄ（３次元）情報算出部（特徴点抽出手段、空間位置算出手段）５０、オブジェクト認識部（物体認識手段）５１、および出力信号生成部５２を備える構成である。

３Ｄ情報算出部５０は、第１および第２の入力画像取得部４１・４２が取得した第１入力画像および第２入力画像を用いて、オブジェクト（物体）の特徴点の空間位置を算出するものである。３Ｄ情報算出部５０は、算出した空間位置を示す３Ｄ情報をオブジェクト認識部５１に送信する。

オブジェクト認識部５１は、３Ｄ情報算出部５０から全特徴点の３Ｄ情報を取得し、取得した全特徴点の３Ｄ情報に基づいてオブジェクトを認識するものである。具体的には、オブジェクト認識部５１は、クラスタリング部（クラスタリング手段）５４およびサイズ判定部（物体判定手段）５５を備える構成である。

クラスタリング部５４は、３Ｄ情報算出部５０から取得した全特徴点の３Ｄ情報に基づいて、特徴点のクラスタリング処理を行うものである。また、クラスタリング部５４は、上記クラスタリング処理により生成される各クラスタｊに関して、高さ・幅などの３Ｄサイズ情報ＳＯｊを算出してクラスタ座標保存メモリ３４に記憶する。

サイズ判定部５５は、クラスタリング部５４が算出した各クラスタｊの３Ｄサイズ情報ＳＯｊと所定の判定基準とを比較して、クラスタｊに対応するオブジェクトの種類を特定するものである。より詳細には、サイズ判定部５５は、各クラスタｊの３Ｄサイズ情報ＳＯｊとオブジェクトｉのサイズ判定閾値ＴＨｉとの差が所定値ＴＨ以内であるとき、すなわち｜ＳＯｊ−ＴＨｉ｜≦ＴＨであるとき、クラスタｊに対応するオブジェクトの種類が、サイズ判定閾値ＴＨｉが示すオブジェクトの種類（ワークまたは作業者）であると判定するものである。これにより、オブジェクトの形状に類似するクラスタのサイズから、オブジェクトの種類を特定することができる。

さらに、本実施形態では、クラスタリング部５４は、サイズ判定部５５がオブジェクトを判定できなかったクラスタを構成する特徴点に対し、クラスタサイズを小さくしてクラスタリング処理を行っている。このように、本実施形態では、クラスタリングおよびサイズ判定を、クラスタサイズを変更して繰り返すことにより、各クラスタに対応するオブジェクトの種類を確実に特定することができる。

出力信号生成部５２は、オブジェクト認識部５１が認識したオブジェクトに対応する出力信号を生成するものである。より詳細には、出力信号生成部５２は、上記クラスタがワークＷに対応するとサイズ判定部５５が判定した場合、ワーク用出力信号を生成するワーク用出力信号生成部５６と、上記クラスタが作業者Ｍに対応するとサイズ判定部５５が判定した場合、作業者用出力信号を生成する作業者用出力信号生成部５７とを備える構成である。

ワーク用出力信号生成部５６は、生成したワーク用出力信号を出力部２５のワーク用出力部４３に送信する。一方、作業者用出力信号生成部５７は、生成した作業者用出力信号を出力部２５の作業者用出力部４４に送信する。

例えば、ワーク用出力信号として、生産設備Ｐの稼働を継続することを指示する信号を出力する一方、作業者用出力信号として、生産設備Ｐの稼働を停止することを指示する信号を出力する。この場合、ワークＷの搬入時でも生産設備Ｐの稼働を停止することが無いので、生産性が維持される。また、作業者Ｍが存在する時に生産設備Ｐの稼働を停止するので、作業員の安全性が確保される。

次に、上記構成の監視装置１２の制御部４０における処理動作について図４〜図９を参照しつつ説明する。図４は、制御部４０の３Ｄ情報算出部５０における処理動作の流れを示している。

図４に示されるように、３Ｄ情報算出部５０は、第１入力画像取得部４１の第１入力画像メモリ３０と、第２入力画像取得部４２の第２入力画像メモリ３１とからそれぞれ第１入力画像データおよび第２入力画像データを読み出すと、予め設定されたオブジェクト出現領域内を対象に、Ｈａｒｒｉｓオペレータなどのエッジ抽出オペレータによって特徴点を自動的に抽出する（ステップＳ１０。以下、単に「Ｓ１０」と記載することがある。他のステップについても同様である。）。なお、特徴点を抽出するアルゴリズムはこれに限定されるものではなく、例えばＳｏｂｅｌオペレータ、ラプラシアンオペレータなどの公知の手法を用いることもできる。

次に、３Ｄ情報算出部５０は、第１入力画像の特徴点と、第２入力画像の特徴点との対応付けを行う（Ｓ１１）。この対応付けには、エピポーラライン上を走査して正規化相関などの一般的な対応づけ手法を用いて行うことができる。

次に、３Ｄ情報算出部５０は、対応付けた特徴点同士の視差から、特徴点の空間位置を示す３Ｄ情報を算出する（Ｓ１２）。この３Ｄ情報は、撮影画像（第１および第２の入力画像）の座標系である撮像素子（ＣＣＤ）を基準とするＣＣＤ中心座標系から、２つのカメラを基準とするカメラ座標系に変換し、さらに、世界座標系に変換されることにより、実際の空間位置を示す情報となる。

図５（ａ）〜（ｃ）は、それぞれ、ＣＣＤ中心座標系、カメラ座標系、および世界座標系を示している。同図（ａ）に示されるＣＣＤ中心座標系は、次式（１）を利用することにより、同図（ｂ）に示されるカメラ座標系に変換できる。

同様に、図５（ｂ）に示されるカメラ座標系は、次式（２）を利用することにより、同図（ｃ）に示される世界座標系に変換できる。

そして、３Ｄ情報算出部５０は、算出した各特徴点の３Ｄ情報を特徴点座標保存メモリ３３に保存する。

図６は、制御部４０における処理動作の流れを示している。また、図７は、図６に示される各種パラメータの意味を示している。図示のように、本実施形態において認識すべきオブジェクトは、オブジェクトＩＤ（ｉ）が１であるワークＷと、オブジェクトＩＤが２である作業者Ｍとの２種類である。また、ワークＷのサイズは作業者Ｍのサイズよりも大きい。このため、本実施形態では、まず、ワークＷのサイズでクラスタリングを行って、クラスタがワークＷであるか否かを判定し、ワークＷではない場合に、作業者Ｍのサイズでクラスタリングを行って、クラスタが作業者Ｍであるか否かを判定している。

図６に示されるように、オブジェクト認識部５１は、特徴点座標保存メモリ３３から各特徴点の３Ｄ情報を読み出すと、オブジェクトＩＤ（ｉ）およびクラスタＩＤ（ｊ）の初期化を行う（Ｓ２０）。

次に、クラスタリング部５４は、全特徴点について、上記特許文献３に記載のように、ユークリッド距離などの特徴点間距離を算出し（Ｓ２１）、大きい方のクラスタリング閾値であるワークＷのクラスタリング閾値ＴＨ１を用いたクラスタリング処理を行う（Ｓ２２）。具体的には、上記特徴点間距離が上記クラスタリング閾値ＴＨ１以下である複数の特徴点を、１つのオブジェクトから抽出された特徴点であると仮定して同一クラスタに統合する。

次に、クラスタリング部５０は、上記クラスタリング処理により作成されたクラスタの個数Ｎと、各クラスタの属性とをクラスタ座標保存メモリ３４に記憶し（Ｓ２３）、各クラスタの高さ・幅などの３Ｄサイズ情報（ＳＯｊ）（但し、１≦ｊ≦Ｎ、かつＮは整数である。）を算出してクラスタ座標保存メモリ３４に記憶する（Ｓ２４）。

次に、サイズ判定部５５は、各クラスタの３Ｄサイズ情報（ＳＯｊ）を読み出し（Ｓ２５）、３Ｄサイズ情報（ＳＯｊ）とサイズ判定閾値（＝クラスタリング閾値）（ＴＨｉ）との差が所定範囲（ＴＨ）未満であるか否かを判断する（Ｓ２６）。

上記差が所定範囲未満である場合には（Ｓ２６にてＹＥＳ）、上記クラスタのオブジェクトの種類をクラスタリング閾値（ＴＨｉ）が示すオブジェクトの種類（ワークＷまたは作業者Ｍ）であると判定する。これによりオブジェクトが認識される。そして、サイズ判定部５５は、判定したオブジェクトの種類が作業者であるか否かを判断し（Ｓ２７）、作業者であると判断した場合には（Ｓ２７にてＹＥＳ）、作業者用出力信号生成部５７が、作業者Ｍその他を示す出力信号を生成して、作業者用出力部４４を介して外部に出力する（Ｓ２８）。その後、処理動作を終了する。

一方、作業者でないと判断した場合には（Ｓ２７にてＮＯ）、クラスタＩＤ（ｊ）がＮ以上であるか否かを判断する（Ｓ２９）。クラスタＩＤ（ｊ）がＮより小さい場合には（Ｓ２９にてＮＯ）、調べるべきクラスタが残っているので、クラスタＩＤ（ｊ）を増分した後（Ｓ３０）、ステップＳ２４に戻って上記処理動作を繰り返す。一方、クラスタＩＤ（ｊ）がＮ以上である場合には（Ｓ２９にてＹＥＳ）、調べるべきクラスタが残っていないので、全てのクラスタがワークＷに対応することになる。したがって、ワーク用出力信号生成部５６が、ワークＷを示す出力信号を生成して、ワーク用出力部４３を介して外部に出力する（Ｓ３１）。その後、処理動作を終了する。

ステップＳ２６に戻って、クラスタの３Ｄサイズ情報（ＳＯｊ）とサイズ判定閾値（＝クラスタリング閾値）（ＴＨｉ）との差が所定範囲（ＴＨ）以上である場合には（Ｓ２６にてＮＯ）、当該クラスタは、クラスタリング閾値（ＴＨｉ）に対応するオブジェクトではないと判断して、クラスタ解除を行う（Ｓ３２）。

次に、クラスタリング部５４は、オブジェクトＩＤ（ｉ）を増分して、クラスタリングの対象となるオブジェクトを変更する（Ｓ３３）。次に、クラスタリング部５４は、増分したオブジェクトＩＤ（ｉ）が、オブジェクトの種類の数Ｍ以下であるか否かを判断する（Ｓ３４）。オブジェクトの種類の数Ｍよりも多い場合には（Ｓ３４にてＮＯ）、オブジェクト認識部５１は、対象としているオブジェクト以外のオブジェクトが存在すると判断して、作業者用出力信号生成部５７が、作業者Ｍその他を示す出力信号を生成して、作業者用出力部４４を介して外部に出力する（Ｓ２８）。その後、処理動作を終了する。

一方、オブジェクトＩＤ（ｉ）がオブジェクトの種類の数Ｍ以下である場合には（Ｓ３４にてＹＥＳ）、オブジェクト認識部５１は、クラスタリングすべきオブジェクトが存在するので、オブジェクトＩＤ（ｉ）のクラスタリング閾値ＴＨｉを用いたクラスタリング（部分クラスタリング）を行う（Ｓ３５）。その後、ステップＳ２４に戻って上記処理動作を繰り返す。

図８は、クラスタリング部５４が行うクラスタリング処理を示している。図示のように、まず、最長距離法によるクラスタリングを行う（Ｓ４０）。次に、クラスタの年齢を更新し（Ｓ４１）、クラスタ間の距離行列を作成する（Ｓ４２）。そして、クラスタを統合して（Ｓ４３）、各種リストを更新する（Ｓ４４）。その後、クラスタリング処理を終了する。

図９は、クラスタリング部５４が行うクラスタリング処理をさらに詳細に示している。図示において、ｉは特徴点の番号を示しており、ｎは特徴点の数を示している。まず、初期設定を行う（Ｓ５０）。次に、或る特徴点について以下の処理を行い、これを全ての特徴点に関して行う（Ｓ５１）。

すなわち、まず、該当特徴点と前回のクラスタの組合せとに関して、最小距離と該当クラスタ番号とを求める（Ｓ５２）。次に、最小距離が閾値よりも小さいか否かを判断し（Ｓ５３）、最小距離が閾値以上である場合には（Ｓ５３にてＮＯ）、次の特徴点に移る（Ｓ５７）。

一方、最小距離が閾値よりも小さい場合には（Ｓ５３にてＹＥＳ）、該当特徴点が未だクラスタに対応付けられていないかどうかを判断する（Ｓ５４）。対応付けられていない場合には（Ｓ５４にてＹＥＳ）、クラスタの番号と特徴点の番号とをリンクすることにより、該当特徴点をクラスタに対応付ける（Ｓ５５）。一方、対応付けられている場合には（Ｓ５４にてＮＯ）、クラスタとの距離を最小値に設定する（Ｓ５６）。ステップＳ５５またはステップＳ５６の処理の後に、次の特徴点に移る（Ｓ５７）。

図１０（ａ）〜（ｆ）は、危険領域Ｄに１個のワークＡと作業者Ｍとが存在する場合に、監視装置１２が行う処理を具体的に示すものである。同図（ａ）に示されるように、まず、第１および第２入力画像取得部４１・４２にて撮影画像を取得する。

次に、図１０（ｂ）に示されるように、３Ｄ情報算出部５０が、取得した撮影画像から特徴点を抽出し、３Ｄ情報を算出する。次に、同図（ｃ）に示されるように、クラスタリング部５４が、ワークＡのサイズでクラスタリングを行う。これにより、２つのクラスタが生成される。

次に、図１０（ｄ）に示されるように、クラスタリング部５４が、各クラスタの３Ｄサイズ（幅、高さ、および奥行き）を取得し、サイズ判定部５５が、各クラスタがワークであるか否かを判定基準に基づいて判定する。

例えば、図１０（ｄ）に示されるように、クラスタ１は、高さが１７５ｃｍ、幅が５０ｃｍ、かつ奥行きが５０ｃｍであり、クラスタ２は、高さが１７０ｃｍ、幅が１７０ｃｍ、かつ奥行きが１７０ｃｍであるとする。そして、ワークの判定基準は、高さが１６５ｃｍ〜１７５ｃｍ、幅が１６５ｃｍ〜１７５ｃｍ、かつ奥行きが１６５ｃｍ〜１７５ｃｍであるとする。この場合、サイズ判定部５５は、クラスタ１がワークＡではないと判定し、クラスタ２がワークＡであると判定する。

次に、クラスタリング部５４は部分クラスタリングを行う。すなわち、図１０（ｅ）に示されるように、ワークＡではないと判定されたクラスタ１の特徴点に対し、クラスタを解除して、作業者Ｍのサイズで再度クラスタリングを行う。これにより新たなクラスタ３が生成される。

次に、図１０（ｆ）に示されるように、クラスタリング部５４が、クラスタ３の３Ｄサイズ（幅、高さ、および奥行き）を取得し、サイズ判定部５５が、クラスタ３が作業者Ｍであるか否かを判定基準に基づいて判定する。

例えば、図１０（ｆ）に示されるように、クラスタ３は、高さが１７５ｃｍ、幅が５０ｃｍ、かつ奥行きが５０ｃｍであるとする。そして、作業者Ｍの判定基準は、高さが１６５ｃｍ〜１７５ｃｍ、幅が４５ｃｍ〜５５ｃｍ、かつ奥行きが４５ｃｍ〜５５ｃｍであるとする。この場合、サイズ判定部５５は、クラスタ３が作業者Ｍであると判定する。

そして、サイズ判定部５５の判定結果に作業者Ｍが含まれる場合には、作業者用出力信号生成部５７は、作業者用出力信号として危険信号を生成して出力する。一方、上記判定結果に作業者Ｍが含まれない場合には、ワーク用出力信号生成部５６は、ワーク用出力信号として安全確認信号を生成して出力する。
〔実施の形態２〕
次に、本発明の別の実施形態について、図１１〜図１３を参照しつつ説明する。本実施形態の監視システムは、図１〜図１０に示される監視システム１０に比べて、ワークＷよりも作業者Ｍの方がサイズが大きい点が異なり、その他の構成は同様である。なお、上記実施形態で説明した構成と同様の構成には同一の符号を付して、その説明を省略する。

図１１は、図６に示される各種パラメータの意味を示している。図示のように、本実施形態において認識すべきオブジェクトは、オブジェクトＩＤ（ｉ）が１である作業者Ｍと、オブジェクトＩＤが２であるワークＷとの２種類である。また、作業者ＭのサイズがワークＷのサイズよりも大きいので、本実施形態では、まず、作業者Ｍのサイズでクラスタリングを行って、クラスタが作業者Ｍであるか否かを判定し、作業者Ｍではない場合に、ワークＷのサイズでクラスタリングを行って、クラスタがワークＷであるか否かを判定している。

図１２（ａ）〜（ｄ）は、危険領域Ｄに１個のワークＢと作業者Ｍとが存在する場合に、監視装置１２が行う処理を具体的に示すものである。また、図１３（ａ）〜（ｃ）は、危険領域Ｄに作業者Ｍが存在せず、１個のワークＢのみが存在する場合に、監視装置１２が行う処理を具体的に示すものである。

まず、図１２（ａ）に示されるように、第１および第２入力画像取得部４１・４２にて撮影画像を取得する。次に、図１２（ｂ）に示されるように、３Ｄ情報算出部５０が、取得した撮影画像から特徴点を抽出し、３Ｄ情報を算出する。次に、同図（ｃ）に示されるように、クラスタリング部５４が、作業者Ｍのサイズでクラスタリングを行う。これにより、２つのクラスタが生成される。

次に、図１２（ｄ）に示されるように、クラスタリング部５４が、各クラスタの３Ｄサイズを取得し、サイズ判定部５５が、各クラスタが作業者であるか否かを判定基準に基づいて判定する。

例えば、図１２（ｄ）に示されるように、クラスタ１は、高さが１７５ｃｍ、幅が５０ｃｍ、かつ奥行きが５０ｃｍであり、クラスタ２は、高さが３０ｃｍ、幅が３０ｃｍ、かつ奥行きが３０ｃｍであるとする。そして、作業者の判定基準は、高さが１５０ｃｍ〜１８０ｃｍ、幅が３０ｃｍ〜８０ｃｍ、かつ奥行きが３０ｃｍ〜８０ｃｍであるとする。この場合、サイズ判定部５５は、クラスタ１が作業者Ｍであると判定し、クラスタ２が作業者Ｍではないと判定する。サイズ判定部５５の判定結果に作業者Ｍが含まれるので、作業者用出力信号生成部５７は、作業者用出力信号として危険信号を生成して出力する。

なお、図１３（ａ）に示されるように、危険領域Ｄに作業者Ｍが存在せず、１個のワークＢのみが存在する場合、上記判定結果に作業者Ｍが含まれないので、クラスタリング部５４は、クラスタを解除して、同図（ｂ）に示されるように、ワークＢのサイズで再度クラスタリングを行う。これにより、新たなクラスタ１が生成される。

次に、図１３（ｃ）に示されるように、クラスタリング部５４が、クラスタ１の３Ｄサイズを取得し、サイズ判定部５５が、クラスタ１がワークＢであるか否かを判定基準に基づいて判定する。

例えば、図１３（ｃ）に示されるように、クラスタ１は、高さが３０ｃｍ、幅が３０ｃｍ、かつ奥行きが３０ｃｍであるとする。そして、ワークＢの判定基準は、高さが２５ｃｍ〜３５ｃｍ、幅が２５ｃｍ〜３５ｃｍ、かつ奥行きが２５ｃｍ〜３５ｃｍであるとする。この場合、サイズ判定部５５は、クラスタ１がワークＢであると判定する。以上より、サイズ判定部５５は、判定結果に作業者Ｍが含まれず、ワークＢが含まれるので、ワーク用出力信号生成部５６は、ワーク用出力信号として安全確認信号を生成して出力する。

したがって、本実施形態でも、上記実施形態と同様に、オブジェクトの形状に類似するクラスタのサイズから、オブジェクトの種類を特定することができる。また、オブジェクトのサイズごとにクラスタリングを繰り返すことになるので、各クラスタに対応するオブジェクトの種類を確実に特定することができる。
〔実施の形態３〕
次に、本発明の別の実施形態について、図１４〜図１７を参照しつつ説明する。本実施形態の監視システムは、図１〜図１０に示される監視システム１０に比べて、認識すべきオブジェクト数が異なり、その他の構成は同様である。なお、上記実施形態で説明した構成と同様の構成には同一の符号を付して、その説明を省略する。

図１４および図１５は、制御部４０における処理動作の流れを示している。また、図１６は、図１４および図１５に示される各種パラメータの意味を示している。図示のように、本実施形態において認識すべきオブジェクトは、オブジェクトＩＤ（ｉ）が１であるワークＡと、オブジェクトＩＤが２である作業者Ｍと、オブジェクトＩＤが３であるワークＢとの３種類である。また、ワークＡのサイズは作業者Ｍのサイズよりも大きく、作業者ＭのサイズはワークＢのサイズよりも大きい。

このため、本実施形態では、まず、ワークＡのサイズでクラスタリングを行って、クラスタがワークＡであるか否かを判定し、ワークＡではない場合に、作業者Ｍのサイズでクラスタリングを行って、クラスタが作業者Ｍであるか否かを判定し、作業者Ｍではない場合に、ワークＢのサイズでクラスタリングを行って、クラスタがワークＢであるか否かを判定している。

具体的には、図１４および図１５に示されるように、まず、クラスタリング部５４は、特徴点座標保存メモリ３３から各特徴点の３Ｄ情報を読み出して、上記特許文献３に記載のように、ユークリッド距離などの特徴点間距離を算出し、最も大きいクラスタリング閾値であるワークＡの上限のクラスタリング閾値ＴＨ１maxを用いたクラスタリング処理を行う（Ｓ６０）。具体的には、上記特徴点間距離が上記クラスタリング閾値ＴＨ１max以下である複数の特徴点を、１つのオブジェクトから抽出された特徴点であると仮定して同一クラスタに統合する。

次に、クラスタリング部５０は、上記クラスタリング処理により作成された各クラスタの高さ・幅などの３Ｄサイズ情報を求める（Ｓ６１）。次に、或るクラスタに関して、サイズ判定部５５は、上記クラスタの３Ｄサイズ情報が、ワークＡのサイズ判定閾値（＝クラスタリング閾値）の上限値ＴＨ１maxおよび下限値ＴＨ１min（図１６参照）の間に含まれるか否か、すなわちワークＡのサイズ判定閾値の範囲内であるか否かを判断する（Ｓ６２）。

上記クラスタの３Ｄサイズ情報が、ワークＡのサイズ判定閾値の範囲内である場合には（Ｓ６２にてＹＥＳ）、サイズ判定部５５は、上記クラスタのオブジェクトをワークＡであると判定して、ワーク用出力信号生成部５６がワークＡ出力信号を生成して出力する（Ｓ６３）する。これによりオブジェクトが認識される。その後、ステップＳ７５に進む。

一方、上記クラスタの３Ｄサイズ情報が、ワークＡのサイズ判定閾値の範囲外である場合には（Ｓ６２にてＮＯ）、サイズ判定部５５は、さらに、上記クラスタの３Ｄサイズ情報が、ワークＡのサイズ判定閾値の上限値ＴＨ１maxよりも小さいか否かを判断する（Ｓ６４）。上記クラスタの３Ｄサイズ情報が、ワークＡのサイズ判定閾値の上限値ＴＨ１max以上である場合には、サイズ判定部５５は、上記クラスタが、ワークＡよりも大きいオブジェクト、すなわち、ワークＡ、作業者、およびワークＢの何れよりも大きいオブジェクトであると判断して、出力信号生成部５２は、その他の出力信号を生成する（Ｓ６５）。その後、ステップＳ７５に進む。

一方、上記クラスタの３Ｄサイズ情報が、ワークＡのサイズ判定閾値の上限値ＴＨ１maxよりも小さい場合には、クラスタリング部５４は、上記クラスタを構成する特徴点に関して、最も小さいクラスタリング閾値であるワークＢの上限のクラスタリング閾値ＴＨ２maxを用いて、上述のようにクラスタリング処理を行う（Ｓ６６）。次に、クラスタリング部５０は、上記クラスタリング処理により作成された各クラスタの高さ・幅などの３Ｄサイズ情報を求める（Ｓ６７）。

次に、或るクラスタに関して、サイズ判定部５５は、上記クラスタの３Ｄサイズ情報が、ワークＢのサイズ判定閾値（＝クラスタリング閾値）の上限値ＴＨ２maxおよび下限値ＴＨ２min（図１６参照）の間に含まれるか否か、すなわちワークＢのサイズ判定閾値の範囲内であるか否かを判断する（Ｓ６８）。

上記クラスタの３Ｄサイズ情報が、ワークＢのサイズ判定閾値の範囲内である場合には（Ｓ６８にてＹＥＳ）、サイズ判定部５５は、上記クラスタのオブジェクトをワークＢであると判定して、ワーク用出力信号生成部５６がワークＢ出力信号を生成して出力する（Ｓ６９）。これによりオブジェクトが認識される。その後、ステップＳ７５に進む。

一方、上記クラスタの３Ｄサイズ情報が、ワークＢのサイズ判定閾値の範囲外である場合には（Ｓ６８にてＮＯ）、サイズ判定部５５は、さらに、上記クラスタの３Ｄサイズ情報が、ワークＢのサイズ判定閾値の下限値ＴＨ１minよりも大きいか否かを判断する（Ｓ７０）。上記クラスタの３Ｄサイズ情報が、ワークＢのサイズ判定閾値の下限値ＴＨ２min以下である場合には（Ｓ７０にてＮＯ）、サイズ判定部５５は、ワークＢよりも小さいオブジェクト、すなわち、ワークＡ、作業者、およびワークＢの何れよりも小さいオブジェクトであると判断して、出力信号生成部５２は、その他の出力信号を生成する（Ｓ６５）。その後、ステップＳ７５に進む。

一方、上記クラスタの３Ｄサイズ情報が、ワークＢのサイズ判定閾値の下限値ＴＨ２minよりも大きい場合には（Ｓ７０にてＹＥＳ）、クラスタリング部５４は、上記クラスタを構成する特徴点に関して、中間のクラスタリング閾値である作業者Ｍの上限のクラスタリング閾値ＴＨ３maxを用いて、上述のようにクラスタリング処理を行う（Ｓ７１）。次に、クラスタリング部５０は、上記クラスタリング処理により作成された各クラスタの高さ・幅などの３Ｄサイズ情報を求める（Ｓ７２）。

次に、或るクラスタに関して、サイズ判定部５５は、上記クラスタの３Ｄサイズ情報が、作業者Ｍのサイズ判定閾値（＝クラスタリング閾値）の上限値ＴＨ３maxおよび下限値ＴＨ３min（図１６参照）の間に含まれるか否か、すなわち作業者Ｍのサイズ判定閾値の範囲内であるか否かを判断する（Ｓ７３）。

上記クラスタの３Ｄサイズ情報が、作業者Ｍのサイズ判定閾値の範囲内である場合には（Ｓ７３にてＹＥＳ）、サイズ判定部５５は、上記クラスタのオブジェクトを作業者Ｍであると判定して、作業者用出力信号生成部５７が作業者出力信号を生成して出力する（Ｓ７４）。これによりオブジェクトが認識される。その後、ステップＳ７５に進む。

一方、上記クラスタの３Ｄサイズ情報が、作業者Ｍのサイズ判定閾値の範囲外である場合には（Ｓ７３にてＮＯ）、オブジェクトの認識ができなかったとして、出力信号生成部５２は、その他の出力信号を生成する（Ｓ６５）。その後、ステップＳ７５に進む。

ステップＳ７５において、ワークＡに関してステップＳ６０により生成されたクラスタの全てが上記判定処理（Ｓ６２〜Ｓ７４）を行うまで繰り返す。同様に、ワークＢに関してステップＳ６６により生成されたクラスタの全てが上記判定処理（Ｓ６５・Ｓ６８〜Ｓ７４）を行うまで繰り返す（Ｓ７６）。さらに、作業者Ｍに関してステップＳ７１により生成されたクラスタの全てが上記判定処理（Ｓ６５・Ｓ７３・Ｓ７４）を行うまで繰り返す（Ｓ７７）。その後、処理動作を終了する。

図１７（ａ）〜（ｈ）は、危険領域Ｄに１個のワークＡと１個のワークＢと１人の作業者Ｍとが存在する場合に、監視装置１２が行う処理を具体的に示すものである。同図（ａ）に示されるように、まず、第１および第２入力画像取得部４１・４２にて撮影画像を取得する。

次に、図１７（ｂ）に示されるように、３Ｄ情報算出部５０は、取得した撮影画像から特徴点を抽出し、３Ｄ情報を算出する。次に、同図（ｃ）に示されるように、クラスタリング部５４は、ワークＡのサイズでクラスタリングを行う。これにより、２つのクラスタ１・２が生成される。

次に、図１７（ｄ）に示されるように、クラスタリング部５４は、クラスタ１・２の３Ｄサイズ（幅、高さ、および奥行き）を取得する。次に、サイズ判定部５５は、クラスタ１がワークＡであるか否かを判定基準に基づいて判定する。図示の場合、サイズ判定部５５は、クラスタ１がワークＡではないと判定するので、クラスタリング部５４は、同図（ｅ）に示されるように、クラスタ１を構成する特徴点に対して、ワークＢのサイズでクラスタリングを行う。これにより、２つのクラスタ３・４が生成される。

次に、クラスタリング部５４は、クラスタ３・４の３Ｄサイズ（幅、高さ、および奥行き）を取得する。次に、サイズ判定部５５は、クラスタ３がワークＢであるか否かを判定基準に基づいて判定する。図示の場合、サイズ判定部５５は、クラスタ３がワークＢであると判定する。

同様に、サイズ判定部５５は、クラスタ４がワークＢであるか否かを判定基準に基づいて判定する。図示の場合、サイズ判定部５５は、クラスタ４がワークＡであると判定するので、クラスタリング部５４は、クラスタ４を構成する特徴点に対して、作業者Ｍのサイズでクラスタリングを行う。これにより、１つのクラスタ４’が生成される。次に、クラスタリング部５４は、クラスタ４’の３Ｄサイズ（幅、高さ、および奥行き）を取得し、サイズ判定部５５は、クラスタ４’が作業者Ｍであるか否かを判定基準に基づいて判定する。図示の場合、サイズ判定部５５は、クラスタ４’が作業者Ｍであると判定する。

したがって、オブジェクト認識部５１は、図１７（ｆ）に示されるように、クラスタ３をワークＢとして認識し、クラスタ４’を作業者Ｍとして認識する。

次に、サイズ判定部５５は、図１７（ｇ）に示されるように、クラスタ２がワークＡであるか否かを判定基準に基づいて判定する。図示の場合、サイズ判定部５５は、クラスタ２がワークＡであると判定する。

以上より、オブジェクト認識部５１は、図１７（ｈ）に示されるように、クラスタ２をワークＡとして認識し、クラスタ３をワークＢとして認識し、クラスタ４’を作業者Ｍとして認識して、出力信号生成部５２は、それぞれのオブジェクトに対応する出力信号を出力する。

したがって、本実施形態では、まず、特定すべきオブジェクトのうち、最大サイズのオブジェクトに関して、該オブジェクトのサイズに対応するクラスタサイズでクラスタリングを行った後、上記オブジェクトのサイズに対応するサイズ基準でクラスタのサイズ判定を行っている。次に、特定すべきオブジェクトのうち、最小サイズのオブジェクトに関して、同様にクラスタリングおよびサイズ判定を行っている。これにより、特定すべき物体のサイズ範囲を逸脱するサイズのクラスタを取得した場合に、直ちに異常を報せることができる。
〔実施の形態４〕
次に、本発明のさらに別の実施形態について、図１８および図１９を参照しつつ説明する。本実施形態の監視システムは、図１〜図１０に示される監視システム１０に比べて、或るクラスタがワークであるかを判定する判定条件に、クラスタの存在位置を追加する点が異なり、その他の構成は同様である。なお、上記実施形態で説明した構成と同様の構成には同一の符号を付して、その説明を省略する。

上記の実施形態では、或るクラスタがワークであるか否かを判定する判定条件として、クラスタの３Ｄサイズを利用している。しかしながら、ワークと作業者との３Ｄサイズが類似している場合、上記３Ｄサイズによる判定結果が確実とは言い難い場合がある。

一方、ワークは、通常、生産現場において所定の領域内を移動している。例えば、図２に示される例では、ワークＷは、搬送機Ｃ上を移動している。このため、ワークＷは、存在位置が搬送機Ｃ上に限定されることになる。そこで、本実施形態では、上記判定条件として、クラスタの３Ｄサイズとともに、クラスタの存在位置を利用している。

図１８は、本実施形態の監視システム１０における制御部４０の概略構成を示している。本実施形態の制御部４０は、図１に示される制御部４０に比べて、クラスタの重心位置が所定の範囲内に存在するか否かを判定する位置判定部（物体判定手段）６０を、オブジェクト認識部５１に含む点が異なり、その他の構成は同様である。この位置判定部６０は、サイズ判定部５５と出力信号生成部５２との間に設けられている。

位置判定部６０は、サイズ判定部５５がワークと判定したクラスタの重心位置を算出し、算出した重心位置が、ワークが通常移動する領域に含まれるか否かを判断し、含まれる場合に上記クラスタをワークと判定し、含まれない場合に上記クラスタをワーク以外（例えば作業者）と判定するものである。

図１９は、図６に示される制御部４０の処理動作に対し、本実施形態において追加される処理動作を示している。本実施形態では、サイズ判定部５５は、判定したオブジェクトの種類が作業者ではないと判断した場合には（Ｓ２７にてＮＯ）、位置判定部６０は、判定したオブジェクトの種類に対応するクラスタの重心位置を算出する（Ｓ８０）。次に、位置判定部６０は、算出した重心位置が、ワークが通常移動する領域に含まれるか否か、すなわち、ワークの存在範囲内にあるか否かを判断する（Ｓ８１）。

ワークの存在範囲内にある場合には（Ｓ８１にてＹＥＳ）、上記クラスタがワークであると判断して、ステップＳ２９に進む。一方、ワークの存在範囲外にある場合には（Ｓ８１にてＮＯ）、上記クラスタがワークではなく、作業者であると判断して、ステップＳ２８に進む。

したがって、本実施形態の監視システム１０では、クラスタのサイズと、クラスタの存在位置とに基づいてオブジェクトの種類を判定するので、オブジェクトのさらに確実な判定結果を得ることができる。

なお、位置情報としては、危険領域Ｄを含む検知空間における絶対的な３Ｄ情報でもよいし、或るオブジェクトを基準とする相対的な３Ｄ情報でもよい。

また、ワークが通常移動する領域には、作業者が入ることができない場合が考えられる。そこで、位置判定部６０は、サイズ判定部５５が作業者と判定したクラスタの重心位置を算出し、算出した重心位置が、ワークが通常移動する領域に含まれるか否かを判断し、含まれる場合に上記クラスタを作業者以外と判定し、含まれない場合に上記クラスタを作業者と判定することもできる。
〔実施の形態５〕
次に、本発明のさらに別の実施形態について、図２０および図２１を参照しつつ説明する。本実施形態の監視システムは、図１８および図１９に示される監視システム１０に比べて、或るクラスタがワークであるかを判定する判定条件に、クラスタの存在位置の代わりに、クラスタの移動速度を利用する点が異なり、その他の構成は同様である。なお、上記実施形態で説明した構成と同様の構成には同一の符号を付して、その説明を省略する。

通常、ワークは、生産現場において所定の速度範囲で移動している。例えば、図２に示される例では、ワークＷの速度は、搬送機Ｃの搬送速度となる。そこで、本実施形態では、上記判定条件として、クラスタの３Ｄサイズとともに、クラスタの速度を利用している。

図２０は、本実施形態の監視システム１０における制御部４０の概略構成を示している。本実施形態における制御部４０は、図１８に示される制御部４０に比べて、位置判定部６０の代わりに、クラスタの重心位置の移動速度が所定の範囲内であるか否かを判定する速度判定部（物体判定手段）６１を、オブジェクト認識部５１に含む点が異なり、その他の構成は同様である。この速度判定部６１は、サイズ判定部５５と出力信号生成部５２との間に設けられている。

具体的には、速度判定部６１は、サイズ判定部５５がワークと判定したクラスタの重心位置を算出してクラスタ座標保存メモリ３４に保存する。また、速度判定部６１は、上記クラスタに対応する前回のクラスタを３Ｄサイズ等によって特定し、特定した前回のクラスタの重心位置をクラスタ座標保存メモリ３４から読み出す。

次に、速度判定部６１は、算出した重心位置と読み出した重心位置とに基づいてクラスタの移動距離を算出し、前回の画像を取得した時刻と今回の画像を取得した時刻との期間を用いて、クラスタの移動速度を算出する。そして、速度判定部６１は、算出したクラスタの移動速度が、ワークが通常移動する移動速度の範囲内に含まれるか否かを判断し、含まれる場合に上記クラスタをワークと判定し、含まれない場合に上記クラスタをワーク以外と判定する。

図２１は、図６に示される制御部４０の処理動作に対し、本実施形態において追加される処理動作を示している。図示のように、本実施形態では、サイズ判定部５５は、判定したオブジェクトの種類が作業者ではないと判断した場合には（Ｓ２７にてＮＯ）、速度判定部６１は、判定したオブジェクトの種類に対応するクラスタの重心位置を算出する（Ｓ８０）。次に、速度判定部６１は、上述のように、上記クラスタの移動距離を算出して（Ｓ８２）、上記クラスタの移動速度を算出し、算出した移動速度が、ワークが通常移動する移動速度の範囲内に含まれるか否かを判断する（Ｓ８３）。

ワークの移動速度の範囲内にある場合には（Ｓ８３にてＹＥＳ）、上記クラスタがワークであると判断して、ステップＳ２９に進む。一方、ワークの移動速度の範囲外にある場合には（Ｓ８３にてＮＯ）、上記クラスタがワークではなく、作業者であると判断して、ステップＳ２８に進む。

したがって、本実施形態の監視システム１０では、クラスタのサイズと、クラスタの移動速度とに基づいてオブジェクトの種類を判定するので、オブジェクトのさらに確実な判定結果を得ることができる。
〔実施の形態６〕
次に、本発明のさらに別の実施形態について、図２２および図２３を参照しつつ説明する。本実施形態の監視システムは、図１８および図１９に示される監視システム１０に比べて、或るクラスタがワークであるかを判定する判定条件に、クラスタの存在位置の代わりに、クラスタの進行方向を追加する点が異なり、その他の構成は同様である。なお、上記実施形態で説明した構成と同様の構成には同一の符号を付して、その説明を省略する。

通常、ワークは、生産現場において所定の軌跡で搬送される。例えば、図２に示される例では、ワークＷの進行方向は、搬送機Ｃの搬送方向となる。そこで、本実施形態では、上記判定条件として、クラスタの３Ｄサイズとともに、クラスタの進行方向を利用している。

図２２は、本実施形態の監視システム１０における制御部４０の概略構成を示している。本実施形態における制御部４０は、図１８に示される制御部４０に比べて、位置判定部６０の代わりに、クラスタの重心位置の進行方向が所定の範囲内であるか否かを判定する進行方向判定部（物体判定手段）６２を、オブジェクト認識部５１に含む点が異なり、その他の構成は同様である。この進行方向判定部６２は、サイズ判定部５５と出力信号生成部５２との間に設けられている。

具体的には、進行方向判定部６２は、サイズ判定部５５がワークと判定したクラスタの重心位置を算出してクラスタ座標保存メモリ３４に保存する。また、進行方向判定部６２は、上記クラスタに対応する前回のクラスタを３Ｄサイズ等によって特定し、特定した前回のクラスタの重心位置をクラスタ座標保存メモリ３４から読み出す。

次に、進行方向判定部６２は、算出した重心位置と読み出した重心位置とに基づいてクラスタの進行方向を算出する。そして、進行方向判定部６２は、算出したクラスタの進行方向が、ワークが通常移動する進行方向の範囲内に含まれるか否かを判断し、含まれる場合に上記クラスタをワークと判定し、含まれない場合に上記クラスタをワーク以外と判定する。

図２３は、図６に示される制御部４０の処理動作に対し、本実施形態において追加される処理動作を示している。図示のように、本実施形態では、サイズ判定部５５は、判定したオブジェクトの種類が作業者ではないと判断した場合には（Ｓ２７にてＮＯ）、進行方向判定部６２は、判定したオブジェクトの種類に対応するクラスタの重心位置を算出する（Ｓ８０）。次に、進行方向判定部６２は、上述のように、上記クラスタの進行方向を算出し（Ｓ８４）、算出した進行方向が、ワークが通常移動する進行方向の範囲内に含まれるか否かを判断する（Ｓ８５）。

ワークの進行方向の範囲内にある場合には（Ｓ８５にてＹＥＳ）、上記クラスタがワークであると判断して、ステップＳ２９に進む。一方、ワークの進行方向の範囲外にある場合には（Ｓ８５にてＮＯ）、上記クラスタがワークではなく、作業者であると判断して、ステップＳ２８に進む。

したがって、本実施形態の監視システム１０では、クラスタのサイズと、クラスタの進行方向とに基づいてオブジェクトの種類を判定するので、オブジェクトのさらに確実な判定結果を得ることができる。
〔実施の形態７〕
次に、本発明のさらに別の実施形態について、図２４および図２５を参照しつつ説明する。本実施形態の監視システムは、図１８および図１９に示される監視システム１０に比べて、或るクラスタがワークであるかを判定する判定条件に、クラスタの存在位置の代わりに、クラスタの個数を利用する点が異なり、その他の構成は同様である。なお、上記実施形態で説明した構成と同様の構成には同一の符号を付して、その説明を省略する。

通常、ワークは、生産現場において、ワークを搬送する搬送機の搬送容量(単位時間当たりの個数もしくは、単位面積当たりの個数)が限定される。例えば、図２に示される例では、危険領域Ｄ内にあるワークＷの個数は４個である。そこで、本実施形態では、上記判定条件として、クラスタの３Ｄサイズとともに、クラスタの個数を利用している。

図２４は、本実施形態の監視システム１０における制御部４０の概略構成を示している。本実施形態における制御部４０は、図１８に示される制御部４０に比べて、位置判定部６０の代わりに、クラスタの個数が所定の範囲内であるか否かを判定する個数判定部（物体判定手段）６３を、オブジェクト認識部５１に含む点が異なり、その他の構成は同様である。この個数判定部６３は、サイズ判定部５５と出力信号生成部５２との間に設けられている。

具体的には、個数判定部６３は、サイズ判定部５５がワークと判定したクラスタの重心位置を算出し、上記クラスタの個数を算出する。次に、個数判定部６３は、算出した個数が、ワークが危険領域Ｄ内に通常存在する個数の範囲内に含まれるか否かを判断し、含まれる場合に上記クラスタをワークと判定し、含まれない場合に上記クラスタをワーク以外と判定する。

図２５は、図６に示される制御部４０の処理動作に対し、本実施形態において追加される処理動作を示している。図示のように、本実施形態では、サイズ判定部５５は、判定したオブジェクトの種類が作業者ではないと判断した場合には（Ｓ２７にてＮＯ）、個数判定部６３は、上述のように、判定したオブジェクトの種類に対応するクラスタの個数を算出する（Ｓ８６）。次に、個数判定部６３は、算出した個数が、ワークが危険領域Ｄ内に通常存在する個数（規定値）の範囲内に含まれるか否かを判断する（Ｓ８７）。

上記個数の範囲内にある場合には（Ｓ８７にてＹＥＳ）、上記クラスタがワークであると判断して、ステップＳ２９に進む。一方、上記個数の範囲外にある場合には（Ｓ８７にてＮＯ）、ワークが所定数では無い異常状態と判断して、作業者Ｍを検知したときと同様に、ステップＳ２８に進む。

したがって、本実施形態の監視システム１０では、クラスタのサイズと、クラスタの個数とに基づいてオブジェクトの種類を判定するので、オブジェクトのさらに確実な判定結果を得ることができる。
〔実施の形態８〕
次に、本発明のさらに別の実施形態について、図２６および図２７を参照しつつ説明する。本実施形態の監視システム１０は、上述の実施形態に記載された判定条件を組み合わせて統計的処理を行うことにより、或るクラスタがワークであるかを判定している。なお、上記実施形態で説明した構成と同様の構成には同一の符号を付して、その説明を省略する。

図２６は、本実施形態の監視システム１０における制御部４０の概略構成を示している。本実施形態における制御部４０は、図１に示される制御部４０に比べて、組合せ判定部（物体判定手段）６４および統計的判定処理部（物体判定手段）６５を、オブジェクト認識部５１に含む点が異なり、その他の構成は同様である。これらの組合せ判定部６４および統計的判定処理部６５は、サイズ判定部５５から出力信号生成部５２までの間に順番に設けられている。

組合せ判定部６４は、図１８に示される位置判定部６０、図２０に示される速度判定部６１、図２２に示される進行方向判定部６２、および図２４に示される個数判定部６３を含むものである。すなわち、組合せ判定部６４は、サイズ判定部５５がワークと判定したクラスタに関して、クラスタの存在位置、移動速度、進行方向、および個数から、上記クラスタがワークであるか否かをそれぞれ判定するものである。組合せ判定部６４は、各判定結果を統計的判定処理部６５に通知する。

統計的判定処理部６５は、組合せ判定部６４の各判定結果に対し、統計的処理を施すことにより、上記クラスタがワークであるかの判定を行うものである。具体的には、統計的判定処理部６５は、次式（３）の評価関数を用いて演算することにより、上記判定を行っている。
ｆ＝αs×ｆs＋αp×ｆp＋αv×ｆv＋αd×ｆd＋αn×ｆn ・・・（３）
ここで、ｆxは、各判定結果を示している。また、αxは、各判定結果の重み係数であり、各判定処理の判定信頼度を表現している。また、添字ｓ・ｐ・ｖ・ｄ・ｎは、それぞれ、サイズ判定、存在位置判定、速度判定、進行方向判定、および個数判定を示すものである。なお、判定信頼度は、システム設計者などによって設定可能である。

図２７は、図６に示される制御部４０の処理動作に対し、本実施形態において追加される処理動作を示している。図示のように、本実施形態では、サイズ判定部５５は、判定したオブジェクトの種類が作業者ではないと判断した場合には（Ｓ２７にてＮＯ）、組合せ判定部６４は、上述のように、判定したオブジェクトの種類に対応するクラスタの重心位置を算出する（Ｓ８０）。次に、組合せ判定部６４は、図１９に示されるような存在位置の判定処理Ｓ８１と、図２１に示されるような移動速度の判定処理Ｓ８２・Ｓ８３と、図２３に示されるような進行方向の判定処理Ｓ８４・Ｓ８５と、図２５に示されるような存在個数の判定処理Ｓ８６・Ｓ８７とを行って、それぞれの判定結果を取得する。

次に、統計的判定処理部６５は、組合せ判定部６４が取得した各判定結果を上式（３）の評価関数に代入して算出し、その算出結果を最終的な判定結果とする（Ｓ８８）。そして、上記クラスタがワークであるという判定結果の場合には（Ｓ８８にてＹＥＳ）、ステップＳ２９に進む。一方、上記クラスタがワークではないという判定結果の場合には（Ｓ８８にてＮＯ）、上記クラスタが作業者であると判断して、ステップＳ２８に進む。

したがって、本実施形態の監視システム１０では、種々の判定結果を利用するので、多種多様な環境下においても、クラスタがワークであるかを判定することが可能である。すなわち、よりロバストな判定が可能である。
〔実施の形態９〕
次に、本発明のさらに別の実施形態について、図２８および図２９を参照しつつ説明する。本実施形態の監視システム１０は、図１８および図１９に示される監視システム１０に比べて、或るクラスタがワークであるかを判定する判定条件に、クラスタの存在位置の代わりに、クラスタの２Ｄ（２次元）情報を追加する点が異なり、その他の構成は同様である。なお、上記実施形態で説明した構成と同様の構成には同一の符号を付して、その説明を省略する。

上記実施形態では、３Ｄ情報の中にワークを判定する基準となる特徴が存在する場合を想定しているが、上記特徴が存在しない場合も考えられる。この場合、上記実施形態ではワークの判定が困難となる。そこで、本実施形態では、オブジェクトの種類を識別可能な２Ｄマークを、ワークの表面の所定位置に予め施しておき、２Ｄ画像の中から上記２Ｄマークを抽出して認識することにより、ワークであるかを判定することができる。

図２８は、本実施形態の監視システム１０における制御部４０の概略構成を示している。本実施形態における制御部４０は、図１８に示される制御部４０に比べて、位置判定部６０の代わりに、２Ｄ画像情報からワークを判定する２Ｄ情報判定部（物体判定手段）６６を、オブジェクト認識部５１に含む点が異なり、その他の構成は同様である。この２Ｄ情報判定部６６は、サイズ判定部５５と出力信号生成部５２との間に設けられている。

具体的には、２Ｄ情報判定部６６は、サイズ判定部５５がオブジェクトの種類を特定できなかったクラスタの重心位置を算出する。次に、２Ｄ情報判定部６６は、算出したクラスタの重心位置が、画像中の所定領域（図２に示される例では、搬送機Ｃ上においてワークが搬送される領域）にあり、かつ、画像中の上記クラスタに２Ｄマークが含まれるか否かを判断し、含まれる場合に上記クラスタをワークと判定し、含まれない場合に上記クラスタをワーク以外と判定する。

なお、上記画像は、２Ｄ画像でよいから、第１入力画像取得部４１が取得した第１入力画像、および第２入力画像取得部４２が取得した第２入力画像の何れか一方でよい。

図２９は、図６に示される制御部４０の処理動作に対し、本実施形態において追加される処理動作を示している。図示のように、本実施形態では、サイズ判定部５５は、判定したオブジェクトの種類が作業者ではないと判断した場合には（Ｓ２７にてＮＯ）、２Ｄ情報判定部６６は、判定したオブジェクトの種類に対応するクラスタの重心位置を算出する（Ｓ８０）。

次に、２Ｄ情報判定部６６は、算出した重心位置が、２Ｄマークの読取位置、すなわち２Ｄマークの施されたワークが移動する領域に存在するか否かを判断する（Ｓ９０）。ワークが移動する領域に存在しない場合には（Ｓ９０にてＮＯ）、上記クラスタがワークではなく、作業者であると判断して、ステップＳ２８に進む。

一方、ワークが移動する領域に存在する場合には（Ｓ９０にてＹＥＳ）、２Ｄ情報判定部６６は、２Ｄ画像における上記領域から２Ｄマークを抽出して（Ｓ９１）、認識する（Ｓ９２）。この２Ｄマークの認識は、一般的なテンプレートマッチング技法を用いることにより実現できる。

そして、２Ｄ情報判定部６６は、認識した２Ｄマークが規定のマークであるか否かを判断し（Ｓ９３）、規定のマークである場合には（Ｓ９３にてＹＥＳ）、上記クラスタがワークであると判断して、ステップＳ２９に進む。一方、規定のマークでは無い場合には（Ｓ９３にてＮＯ）、上記クラスタがワークではなく、作業者であると判断して、ステップＳ２８に進む。

したがって、本実施形態の監視システム１０では、３Ｄ情報にワーク判定の基準となる特徴的な情報が存在しない場合でも、２Ｄ情報からワークを判定することができる。
〔実施の形態１０〕
次に、本発明のさらに別の実施形態について、図３０〜図３３を参照しつつ説明する。本実施形態の監視システム１０は、図１〜図１０に示される監視システム１０に比べて、クラスタの追跡を行う点が異なり、その他の構成は同様である。なお、上記実施形態で説明した構成と同様の構成には同一の符号を付して、その説明を省略する。

図３０は、本実施形態の監視システム１０における制御部４０の概略構成を示している。本実施形態における制御部４０は、図１に示される制御部４０に比べて、クラスタの追跡を行う追跡処理部（推定手段、クラスタ統合手段）６７をオブジェクト認識部５１に含む点が異なり、その他の構成は同様である。この追跡処理部６７は、クラスタリング部５４と通信している。

追跡処理部６７は、クラスタリング部５４が上述のクラスタリング処理を行った後に、１または全てのクラスタに関する３Ｄ情報およびクラスタＩＤをクラスタ履歴情報としてクラスタ座標保存メモリ３４に記憶する。また、追跡処理部６７は、クラスタ座標保存メモリ３４に記憶した過去の複数のフレームにおける上記クラスタ履歴情報を用いて、クラスタの移動量を算出し、これにより、現在のフレームにおけるクラスタの存在位置を推定する。そして、追跡処理部６７は、推定したクラスタの存在位置に出現する現在のフレームの特徴点を、クラスタリング部５４がクラスタリング処理を行う前に統合する。

図３１は、本実施形態における制御部４０の処理動作の流れを示している。本実施形態における制御部４０処理動作は、図６に示される制御部４０の処理動作に比べて、追跡処理部６７における処理動作が追加されている点が異なり、その他の処理動作は同様である。

図３１に示されるように、追跡処理部６７は、クラスタＩＤごとに、クラスタ座標保存メモリ３４から３Ｄ情報を読み出して移動量を算出する（Ｓ９４）。次に、追跡処理部６７は、次のフレームにおけるクラスタの出現位置を推定する（Ｓ９５）。次に、追跡処理部６７は、推定した出現位置のクラスタのクラスタリング対象となる特徴点を特徴点座標保存メモリ３３から読み出して抽出する（Ｓ９６）。次に、追跡処理部６７は、抽出した特徴点を追跡クラスタとして事前に統合し（Ｓ９７）、追跡クラスタの３Ｄ情報と、追跡クラスタを構成する特徴点の情報とをクラスタリング部５４に通知する。

したがって、本実施形態の監視システム１０では、クラスタの過去の移動履歴から現在のクラスタの存在位置を推定するため、クラスタを精度良く特定でき、クラスタに対応するオブジェクトの種類を精度良く特定できる。また、推定したクラスタの存在位置に出現する特徴点を、クラスタリング部５４がクラスタリング処理を行う前に統合するので、ユークリッド距離の算出など、クラスタリング処理にて実行される演算を軽減することができ、処理の高速化が可能になる。

図３２および図３３は、上記追跡処理を具体的に示すものである。図３２（ａ）に示されるように、まず、第１および第２入力画像取得部４１・４２にて、時刻ｔにおける撮影画像を取得する。

次に、３Ｄ情報算出部５０が、取得した撮影画像から特徴点を抽出して、３Ｄ情報を算出し、図３２（ｂ）に示されるように、クラスタリング部５４が、クラスタリングの対象領域にある特徴点に対してクラスタリングを行う。このときのクラスタリングの対象領域は、通常の広い領域である。クラスタリングの結果、同図（ｃ）に示されるようなクラスタが生成され、生成されたクラスタの３Ｄ情報および重心位置がクラスタ座標保存メモリ３４に記憶される。

次に、図３３（ａ）に示されるように、第１および第２入力画像取得部４１・４２にて、時刻ｔ＋１における撮影画像を取得する。次に、３Ｄ情報算出部５０が、取得した撮影画像から特徴点を抽出して、３Ｄ情報を算出する。

次に、追跡処理部６７が、時刻ｔにおけるクラスタの３Ｄ情報および重心位置をクラスタ座標保存メモリ３４から読み出して、時刻ｔ＋１におけるクラスタの出現領域を推定する。これにより、図３３（ｂ）に示されるように、クラスタリングの対象領域を限定することができる。

そして、クラスタリング部５４が上記クラスタリングの対象領域においてクラスタリングを行うことにより、図３３（ｃ）に示されるようなクラスタが生成され、生成されたクラスタの３Ｄ情報および重心位置がクラスタ座標保存メモリ３４に記憶される。

クラスタ座標保存メモリ３４に記憶された時刻ｔにおけるクラスタの重心位置と時刻ｔ＋１におけるクラスタの重心位置とを用いて、クラスタの移動量を算出できる。したがって、追跡処理部６７が、算出した移動量を利用することにより、次回のクラスタの出現領域を精度良く推定できる。
〔実施の形態１１〕
次に、本発明のさらに別の実施形態について、図３４を参照しつつ説明する。本実施形態の監視システム１０は、図１〜図１０に示される監視システム１０に比べて、ステレオカメラの代わりにアクティブセンサを利用する点が異なり、その他の構成は同様である。なお、上記実施形態で説明した構成と同様の構成には同一の符号を付して、その説明を省略する。アクティブセンサは、所定のパターンを有する光線をオブジェクトに照射し、オブジェクトを撮影して、オブジェクトの２Ｄ撮影画像を取得することにより、オブジェクトの３Ｄ情報を算出するものである。

図３４は、本実施形態の監視システム１０の概略構成を示している。本実施形態の監視システム１０は、図１に示される監視システム１０に比べて、ステレオカメラ１１の代わりにアクティブセンサ（撮影手段）７０を利用している。

アクティブセンサ７０は、投光機７１、画像入力装置７２、および３Ｄ情報算出部７３を備える構成である。投光機７１は、所定のパターンを有する光線をオブジェクトに照射するものである。

画像入力装置７２は、所定のパターンが照射されたオブジェクトを撮影して、オブジェクトの２Ｄ撮影画像を取得するものである。画像入力装置７２は、取得した２Ｄ撮影画像の情報を３Ｄ情報算出部７３に送信する。

３Ｄ情報算出部７３は、画像入力装置７２から取得した２Ｄ撮影画像を用いて、オブジェクトの３Ｄ情報を算出するものである。３Ｄ情報算出部７３は、算出した３Ｄ情報をクラスタリング部５４に送信する。なお、クラスタリング部５４から下流側の構成は図１に示される構成と同様である。

したがって、本実施形態の監視システム１０のように、ステレオカメラ１１の代わりにアクティブセンサ７０を利用することができる。この場合、アクティブセンサ７０がオブジェクトの３Ｄ情報を算出するので、監視装置１２は、図１に示されるような第１入力画像取得部４１、第２入力画像取得部４２、および３Ｄ情報算出部５０を省略できる。
〔実施の形態１２〕
次に、本発明のさらに別の実施形態について、図３５〜図３７を参照しつつ説明する。本実施形態の監視システム１０は、図１〜図１０に示される監視システム１０に比べて、或るクラスタがワークであるかを判定する判定条件に、他センサからの検知信号を追加する点が異なり、その他の構成は同様である。なお、上記実施形態で説明した構成と同様の構成には同一の符号を付して、その説明を省略する。

図３５は、本実施形態における監視システム１０の概要を示している。本実施形態の監視システム１０は、図２に示される監視システム１０に比べて、赤外線カメラ（物体検知センサ）７５が追加されている点が異なり、その他の構成は同様である。赤外線カメラ７５は、ステレオカメラ１１が撮影する領域、すなわちオブジェクトの検知領域を俯瞰するように設置される。赤外線カメラ７５は、上記検知領域を撮影し、撮影した赤外線画像の情報を監視装置１２に送信する。

図３６は、監視装置１２の要部の概略構成を示している。本実施形態の監視装置１２は、図１に示される監視装置１２に比べて、赤外線画像取得部（検知信号取得手段）７６をさらに備える点と、他センサ判定部７７（物体判定手段）をオブジェクト認識部５１に含む点が異なり、その他の構成は同様である。この他センサ判定部７７は、サイズ判定部５５と出力信号生成部５２との間に設けられている。

赤外線画像取得部７６は、赤外線カメラ７５から赤外線画像を取得するものである。赤外線画像取得部７６は、取得した赤外線画像の情報を他センサ判定部７７に送信する。

他センサ判定部７７は、赤外線画像取得部７６から受信した赤外線画像を用いて、各クラスタの温度を求め、求めた温度に基づいてオブジェクトの種類を判定するものである。例えば、或るクラスタの温度が３６℃付近であれば、他センサ判定部７７は、当該クラスタが作業者であると判定できる。

図３７は、図６に示される制御部４０の処理動作に対し、本実施形態において追加される処理動作を示している。本実施形態では、サイズ判定部５５は、判定したオブジェクトの種類が作業者ではないと判断した場合には（Ｓ２７にてＮＯ）、他センサ判定部７７は、判定したオブジェクトの種類に対応するクラスタの重心位置を算出する（Ｓ８０）。

次に、他センサ判定部７７は、赤外線画像取得部７６が取得した赤外線画像から、各クラスタの重心位置における領域を抽出することにより、各クラスタの測定温度を求める（Ｓ１００）。次に、各クラスタの測定温度が所定の温度範囲（人体の体温の範囲）内であるか否かを判断する（Ｓ１０１）。

所定の温度範囲内である場合には（Ｓ１０１にてＹＥＳ）、上記クラスタが作業者であると判断して、ステップＳ２８に進む。一方、所定の温度範囲外である場合には（Ｓ１０１にてＮＯ）、上記クラスタがワークであると判断して、ステップＳ２９に進む。

したがって、本実施形態の監視システム１０では、クラスタのサイズと、クラスタの測定温度とに基づいてオブジェクトの種類を判定するので、オブジェクトのさらに確実な判定結果を得ることができる。
〔実施の形態１３〕
次に、本発明のさらに別の実施形態について、図３８を参照しつつ説明する。本実施形態の監視システム１０は、図１〜図１０に示される監視システム１０に比べて、検知領域にオブジェクトが進入すると、監視動作を開始する点が異なり、その他の構成は同様である。なお、上記実施形態で説明した構成と同様の構成には同一の符号を付して、その説明を省略する。

図３８は、本実施形態における監視システム１０の概要を示している。本実施形態の監視システム１０は、図２に示される監視システム１０に比べて、検知領域にオブジェクトが進入したことを検知する進入検知センサ８０を、検知領域の境界に設ける点が異なり、その他の構成は同様である。

進入検知センサ８０としては、超音波、電波、赤外線などの波動を境界付近に出射し、上記波動をオブジェクトが遮蔽または反射することにより、オブジェクトの存在を検知するものが利用される。進入検知センサ８０は、オブジェクトの進入を検知すると、監視装置１２に通知する。これにより、監視装置１２は、ステレオカメラ１１の撮影を開始させ、監視装置１２内の各種構成の動作を開始させることにより、監視動作を開始する。

したがって、本実施形態の監視システム１０では、検知領域にオブジェクトが存在しない場合には、監視動作を停止しているので、無駄な処理動作を回避できる。
〔実施の形態１４〕
次に、本発明のさらに別の実施形態について、図３９を参照しつつ説明する。図３９は、本実施形態における監視システム１０の概要を示している。本実施形態の監視システム１０は、図２に示される監視システム１０に比べて、オブジェクトの存在を検知するマットセンサ（物体検知センサ）８１が設けられている点が異なり、その他の構成は同様である。なお、上記実施形態で説明した構成と同様の構成には同一の符号を付して、その説明を省略する。

ステレオカメラ（撮像装置）１１が撮影を行う場合、図３９に示されるように、オブジェクトａの裏側は死角となり、オブジェクトａの裏側に存在するオブジェクトｂを認識することができない。そこで、本実施形態では、監視装置１２は、ステレオカメラ１１からの撮影画像に死角領域が存在する場合には、上記撮影画像を用いたオブジェクトの認識とともに、マットセンサ８１によるオブジェクトの検知結果を利用している。これにより、ステレオカメラ１１の撮影において死角となる領域でもオブジェクトを認識して安全性を確保することができる。
〔実施の形態１５〕
次に、本発明の他の実施形態について、図４０を参照しつつ説明する。本実施形態の監視システム１０は、図１〜図１０に示される監視システム１０の応用例を示している。なお、上記実施形態で説明した構成と同様の構成には同一の符号を付して、その説明を省略する。

図４０は、本実施形態における監視システム１０の概要を示している。本実施形態の監視システム１０は、図２に示される監視システム１０に比べて、検知領域の周囲に壁が設けられ、一部の壁が開設されて自動扉８２が設けられている。

監視装置１２は、自動扉８２付近で作業者（ヒト）を認識する場合に自動扉８２を動作させ、その他の場合に自動扉８２の動作を停止するように制御している。これにより、自動扉８２付近で、ヒト以外のワークや小動物が存在しても、自動扉８２が開閉することを防止できる。

なお、監視装置１２は、自動扉８２付近でワークを認識する場合に自動扉８２を動作させ、その他の場合に自動扉８２の動作を停止するように制御することもできる。この場合、自動扉８２から出ていくものをワークのみに限定することができる。これは、ワークが生産現場から、例えば滅菌室のようなヒトや小動物が進入することが好ましくない部屋に運搬される場合などに好適である。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

最後に、校正装置１３の各ブロック、特に制御部１６は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、校正装置１３は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである校正装置１３の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、校正装置１３に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、校正装置１３を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は、撮影画像の特徴点からクラスタを作成して物体を特定するだけでなく、物体の空間位置を特定できるので、物体の追跡を行う監視システムにも適用可能である。

本発明の一実施形態である監視システムにおける監視装置の概略構成を示すブロック図である。 上記監視システムの概要を示す斜視図である。 監視システムにおけるステレオカメラおよび監視装置内の具体的構成を示すブロック図である。 上記監視装置の制御部の３Ｄ情報算出部における処理動作の流れを示すフローチャートである。 上記３Ｄ情報算出部で利用される座標系を示す図であり、同図（ａ）はＣＣＤ中心座標系を示しており、同図（ｂ）はカメラ座標系を示しており、同図（ｃ）は世界座標系を示している。 上記制御部における処理動作の流れを示すフローチャートである。 図６に示される各種パラメータの意味を表形式で示す図である。 上記制御部のクラスタリング部における処理動作の流れを示すフローチャートである。 上記クラスタリング部における処理動作の流れをさらに詳細に示すフローチャートである。 同図（ａ）〜（ｆ）は、１個のワークと１人の作業者とが危険領域に存在する場合に、上記監視装置が行う処理を具体的に示す図である。 本発明の別の実施形態である監視システムにおいて、図６に示される各種パラメータの意味を表形式で示す図である。 同図（ａ）〜（ｄ）は、１個のワークと１人の作業者とが危険領域に存在する場合に、上記監視システムの監視装置が行う処理を具体的に示す図である。 同図（ａ）〜（ｃ）は、１個のワークのみが危険領域に存在する場合に、上記監視装置が行う処理を具体的に示す図である。 本発明のさらに別の実施形態である監視システムの監視装置の制御部における処理動作の流れを示すフローチャートである。 上記制御部における処理動作の流れを示すフローチャートである。 図１４および図１５に示される各種パラメータの意味を表形式で示す図である。 同図（ａ）〜（ｈ）は、２個のワークと１人の作業者とが危険領域に存在する場合に、監視装置１２が行う処理を具体的に示す図である。 本発明のさらに別の実施形態である監視システムの監視装置における制御部の概略構成を示すブロック図である。 上記制御部の処理動作を示すフローチャートであり、図６に示される処理動作に追加される処理動作を示している。 本発明のさらに別の実施形態である監視システムの監視装置における制御部の概略構成を示すブロック図である。 上記制御部の処理動作を示すフローチャートであり、図６に示される処理動作に追加される処理動作を示している。 本発明のさらに別の実施形態である監視システムの監視装置における制御部の概略構成を示すブロック図である。 上記制御部の処理動作を示すフローチャートであり、図６に示される処理動作に追加される処理動作を示している。 本発明のさらに別の実施形態である監視システムの監視装置における制御部の概略構成を示すブロック図である。 上記制御部の処理動作を示すフローチャートであり、図６に示される処理動作に追加される処理動作を示している。 本発明のさらに別の実施形態である監視システムの監視装置における制御部の概略構成を示すブロック図である。 上記制御部の処理動作を示すフローチャートであり、図６に示される処理動作に追加される処理動作を示している。 本発明のさらに別の実施形態である監視システムの監視装置における制御部の概略構成を示すブロック図である。 上記制御部の処理動作を示すフローチャートであり、図６に示される処理動作に追加される処理動作を示している。 本発明のさらに別の実施形態である監視システムの監視装置における制御部の概略構成を示すブロック図である。 上記制御部の処理動作を示すフローチャートである。 同図（ａ）〜（ｃ）は、上記制御部における追跡処理部が行う処理を具体的に示す図である。 同図（ａ）〜（ｃ）は、上記追跡処理部が行う処理を具体的に示す図である。 本発明のさらに別の実施形態である監視システムの概略構成を示すブロック図である。 本発明のさらに別の実施形態である監視システムの概要を示す斜視図である。 上記監視システムにおける監視装置の要部の概略構成を示すブロック図である。 上記監視装置の制御部の処理動作を示すフローチャートであり、図６に示される処理動作に追加される処理動作を示している。 本発明のさらに別の実施形態である監視システムの概要を示す斜視図である。 本発明のさらに別の実施形態である監視システムの概要を示す斜視図である。 本発明の他の実施形態である監視システムの概要を示す斜視図である。

符号の説明

１０ 監視システム
１１ ステレオカメラ（撮影手段）
１２ 監視装置（物体認識装置）
２５ 出力部（設備制御手段）
３４ クラスタ座標保存メモリ（記憶手段）
４１ 第１入力画像取得部（画像取得手段）
４２ 第２入力画像取得部（画像取得手段）
５０ ３Ｄ情報算出部（特徴点抽出手段、空間位置算出手段）
５１ オブジェクト認識部（物体認識手段）
５４ クラスタリング部（クラスタリング手段）
５５ サイズ判定部（物体判定手段）
６０ 位置判定部（物体判定手段）
６１ 速度判定部（物体判定手段）
６２ 進行方向判定部（物体判定手段）
６３ 個数判定部（物体判定手段）
６４ 組合せ判定部（物体判定手段）
６５ 統計的判定処理部（物体判定手段）
６６ ２Ｄ情報判定部（物体判定手段）
６７ 追跡処理部（推定手段、クラスタ統合手段）
７０ アクティブセンサ（撮影手段）
７５ 赤外線カメラ（物体検知センサ）
７６ 赤外線画像取得部（検知信号取得手段）
７７ 他センサ判定部（物体判定手段）
８０ 進入検知センサ
８１ マットセンサ（物体検知センサ）

Claims (14)

1. 所定領域における１または複数の物体の画像を含む撮影画像から物体を認識する物体認識装置であって、
   撮影画像を取得する画像取得手段と、
   取得した撮影画像からエッジ抽出オペレータによって特徴点を抽出する特徴点抽出手段と、
   抽出した特徴点の空間位置を算出する空間位置算出手段と、
   算出した特徴点の空間位置に基づいて、前記物体を認識する物体認識手段とを備えており、
   前記物体認識手段は、前記算出した特徴点の空間位置に基づいてクラスタリングを行うクラスタリング手段と、
   該クラスタリングにより生成されたクラスタのサイズに基づいて、該クラスタに対応する物体が人か否かを判定する物体判定手段と、
   前記物体判定手段により判定された物体に応じて、前記所定領域に配置された外部機器の稼動状態を制御する稼動制御手段と、を備え、
   前記クラスタリング手段は、前記特徴点抽出手段により抽出された複数の特徴点のうち、前記空間位置算出手段により算出された前記複数の特徴点それぞれの空間位置間の特徴点間距離が或る物体に対して定められたクラスタリング閾値以下である特徴点を同一のクラスタとして統合するクラスタリングを行い、
   前記物体判定手段は、前記クラスタが前記或る物体に対応するか否かを判定し、
   前記クラスタリング手段は、前記物体判定手段が前記或る物体に対応しないと判定したクラスタを構成する特徴点に関して、別の物体に対して定められたクラスタリング閾値で再度クラスタリングを行い、
   前記或る物体および前記別の物体のいずれかは人であることを特徴とする物体認識装置。
2. 前記クラスタリング手段は、
   認識すべき複数の物体に対応する複数のサイズのうち、最大のサイズでクラスタリングを行い、
   前記物体判定手段が前記物体に対応しないと判定したクラスタを構成する特徴点に関して、前記複数のサイズのうち最小のサイズで再度クラスタリングを行うことを特徴とする請求項１に記載の物体認識装置。
3. 前記画像取得手段は、ステレオカメラからの２つの撮影画像を取得しており、
   前記空間位置算出手段は、前記２つの撮影画像における特徴点を利用して、特徴点の空間位置を算出することを特徴とする請求項１に記載の物体認識装置。
4. 前記画像取得手段は、アクティブセンサからの撮影画像を取得しており、
   前記空間位置算出手段は、前記撮影画像に関する空間位置の情報を前記アクティブセンサから取得し、取得した空間位置の情報に基づいて、前記特徴点の空間位置を算出することを特徴とする請求項１に記載の物体認識装置。
5. 前記物体判定手段は、前記クラスタリングにより生成されたクラスタのサイズと、該クラスタに関する存在位置、進行方向、移動速度、および個数の中の少なくとも１つとに基づいて、前記クラスタに対応する物体を判定することを特徴とする請求項１に記載の物体認識装置。
6. 前記物体判定手段は、前記クラスタのサイズによる物体判定と、前記クラスタに関する存在位置、進行方向、移動速度、および個数の中の少なくとも１つによる物体判定とに対し統計的処理を施すことによって、前記クラスタに対応する物体を判定することを特徴とする請求項５に記載の物体認識装置。
7. 前記物体の表面には、物体を識別可能なマークが施されており、
   前記物体判定手段は、前記クラスタリングにより生成されたクラスタの空間位置に対応する前記撮影画像の領域から前記マークを抽出し、抽出したマークと、前記クラスタのサイズとに基づいて、前記クラスタに対応する物体を判定することを特徴とする請求項１に記載の物体認識装置。
8. 物体を検知するセンサから検知信号を取得する検知信号取得手段をさらに備えており、
   前記物体判定手段は、前記クラスタのサイズによる物体の判定と、前記検知信号取得手段による物体の検知とに基づいて、前記クラスタに対応する物体を判定することを特徴とする請求項１に記載の物体認識装置。
9. 前記クラスタリングにより生成されたクラスタの空間位置の履歴情報を記憶する記憶手段と、
   前記クラスタの空間位置の履歴情報に基づいて、前記クラスタが次に位置する空間領域を推定する推定手段と、
   前記特徴点抽出手段が抽出した特徴点のうち、前記推定手段が推定した前記クラスタの空間領域に含まれる特徴点を抽出して、前記クラスタに統合するクラスタ統合手段とをさらに備えることを特徴とする請求項１に記載の物体認識装置。
10. 前記所定領域の監視を行う監視システムであって、
    前記所定領域の撮影を行う撮影手段と、
    該撮影手段が撮影した撮影画像から物体を認識する請求項１ないし９の何れか１項に記載の物体認識装置とを備えることを特徴とする監視システム。
11. 前記所定領域への物体の進入を検知する進入検知センサをさらに備えており、
    前記物体認識装置は、前記進入検知センサが前記物体の進入を検知すると、動作を開始することを特徴とする請求項１０に記載の監視システム。
12. 所定領域における１または複数の物体の画像を含む撮影画像から物体を認識する物体認識方法であって、
    撮影画像を取得する画像取得ステップと、
    取得した撮影画像からエッジ抽出オペレータによって特徴点を抽出する特徴点抽出ステップと、
    抽出した特徴点の空間位置を算出する空間位置算出ステップと、
    算出した特徴点の空間位置に基づいて、前記物体を認識する物体認識ステップとを含んでおり、
    前記物体認識ステップは、前記算出した特徴点の空間位置に基づいてクラスタリングを行うクラスタリングステップと、
    該クラスタリングにより生成されたクラスタのサイズに基づいて、該クラスタに対応する物体が人か否か判定する物体判定ステップと、
    前記判定された物体に応じて、前記所定領域に配置された外部機器の稼動状態を制御するステップと、を含み、
    前記クラスタリングステップは、前記特徴点抽出ステップにより抽出された複数の特徴点のうち、前記空間位置算出ステップにより算出された前記複数の特徴点それぞれの空間位置間の特徴点間距離が或る物体に対して定められたクラスタリング閾値以下である特徴点を同一のクラスタとして統合するクラスタリングを行い、
    前記物体判定ステップは、前記クラスタが前記或る物体に対応するか否かを判定し、
    前記クラスタリングステップは、前記物体判定ステップが前記或る物体に対応しないと判定したクラスタを構成する特徴点に関して、別の物体に対して定められたクラスタリング閾値で再度クラスタリングを行い、
    前記或る物体および前記別の物体のいずれかは人であることを特徴とする物体認識方法。
13. 請求項１ないし９の何れか１項に記載の物体認識装置を動作させるための物体認識プログラムであって、コンピュータを上記各手段として機能させるための物体認識プログラム。
14. 請求項１３に記載の物体認識プログラムが記録されたコンピュータ読取り可能な記録媒体。

Images