JP7259674B2 - 物体検出装置、物体検出方法およびプログラム - Google Patents

Description

本発明は、物体検出装置、物体検出方法およびプログラムに関する。

従来、工事現場（例えば、建設工事または土木工事などの作業工事現場）の安全性の確保または作業の効率化のために、工事現場にセンサを設置し、設置したセンサによる物体（例えば、作業者または重機など）の検出結果を用いて、物体の動きを可視化したいという要望がある。センサの種類は様々であるが、特に近年では、レーザーを用いたセンサ（ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ））の普及に伴い、より正確に物体の位置を検出できるＬｉＤＡＲを工事現場に設置して工事現場内の作業場所（以下、「監視エリア」とも言う。）の監視を行うようになってきている。

ところで、ＬｉＤＡＲを用いた物体検出には、ＬｉＤＡＲから照射されたレーザーが物体において反射されて得られる３次元の点群データが用いられる。このとき、単一のＬｉＤＡＲを用いただけでは、物体の表面全体にレーザーを当てることができないため、物体の外形を正確に検出することはできない。そこで、複数のＬｉＤＡＲを設置し、複数のＬｉＤＡＲそれぞれによって計測された点群データを統合し、統合後の点群データに基づいて物体を検出すれば、物体の外形をより正確に検出することが可能となる。

しかし、複数のＬｉＤＡＲ間では、ＬｉＤＡＲの設置位置および設置向きが異なるため、点群データ同士はそのまま統合され得ない。そこで、複数のＬｉＤＡＲ間の設置位置および設置向きの相違を吸収すべく、点群データ同士の統合には、複数のＬｉＤＡＲの相対的な位置関係に基づくキャリブレーションによってあらかじめ算出されたキャリブレーションパラメータが用いられる。

特開２０１０－１７５４２３号公報 国際公開第２００５／０８０９１４号

複数のＬｉＤＡＲそれぞれによって計測された点群データは、その少なくともいずれか一方に対してキャリブレーションパラメータが乗じられた上で統合される。したがって、何らかの理由（例えば、キャリブレーション自体が高精度に行われない場合、または、キャリブレーション実行後に複数のＬｉＤＡＲ間の位置関係が変化した場合など）によって、キャリブレーションパラメータと現実の値との間にある程度以上のずれが存在すると（すなわち、キャリブレーションパラメータが異常であると）、点群データの統合が高精度に行われない。そのため、統合後の点群データに基づく物体検出の精度が低下してしまう。また、統合後の点群データに基づく物体の外形または物体のサイズの検出精度も低下してしまうため、物体の種類の識別精度も低下してしまう。

また、複数のＬｉＤＡＲそれぞれによって計測された点群データを見るだけでは、キャリブレーションパラメータの異常に気づくことが難しい。

そこで、複数のＬｉＤＡＲの相対的な位置関係に基づくキャリブレーションパラメータの異常を容易に把握することを可能とする技術が提供されることが望まれる。

上記問題を解決するために、本発明のある観点によれば、互いの計測エリアに共通の監視エリアが含まれるよう設置された複数のＬｉＤＡＲそれぞれから点群データを取得するデータ取得部と、前記複数のＬｉＤＡＲそれぞれから取得された点群データを、前記複数のＬｉＤＡＲの相対的な位置関係に基づくキャリブレーションパラメータに基づいて統合して統合後の点群データを得る点群統合部と、前記統合後の点群データに基づいて前記監視エリア内の物体を検出する物体検出部と、前記物体の特徴量を検出特徴量として算出する特徴量算出部と、前記検出特徴量とあらかじめ登録された登録特徴量との照合を行う照合部と、前記照合が失敗した場合に前記キャリブレーションパラメータが異常であることを出力する出力部と、を備える、物体検出装置が提供される。

前記物体検出装置は、前記照合が失敗した場合に前記キャリブレーションパラメータを補正するキャリブレーション補正部を備えてもよい。

前記照合部は、前記検出特徴量が前記登録特徴量に基づく所定の適正範囲内に収まっている場合には、前記照合を成功とし、前記検出特徴量が前記適正範囲内に収まっていない場合には、前記照合を失敗としてもよい。

前記物体検出装置は、前記物体の種類を識別する物体識別部を備え、前記照合部は、前記検出特徴量と前記物体の種類に対応付けられた前記登録特徴量とを照合してもよい。

前記物体検出装置は、撮像範囲に前記監視エリアが含まれるよう設置されたカメラによって撮像された画像データに基づいて、前記画像データに写る物体の種類を識別する画像処理部を備え、前記物体識別部は、前記画像処理部によって識別された物体の種類と、前記統合後の点群データに基づいて検出された前記物体の位置とに基づいて、前記物体の種類を識別してもよい。

また、本発明の別の観点によれば、互いの計測エリアに共通の監視エリアが含まれるよう設置された複数のＬｉＤＡＲそれぞれから点群データを取得することと、前記複数のＬｉＤＡＲそれぞれから取得された点群データを、前記複数のＬｉＤＡＲの相対的な位置関係に基づくキャリブレーションパラメータに基づいて統合して統合後の点群データを得ることと、前記統合後の点群データに基づいて前記監視エリア内の物体を検出することと、前記物体の特徴量を検出特徴量として算出することと、前記検出特徴量とあらかじめ登録された登録特徴量との照合を行うことと、前記照合が失敗した場合に前記キャリブレーションパラメータが異常であることを出力することと、を含む、物体検出方法が提供される。

また、本発明の別の観点によれば、コンピュータを、互いの計測エリアに共通の監視エリアが含まれるよう設置された複数のＬｉＤＡＲそれぞれから点群データを取得するデータ取得部と、前記複数のＬｉＤＡＲそれぞれから取得された点群データを、前記複数のＬｉＤＡＲの相対的な位置関係に基づくキャリブレーションパラメータに基づいて統合して統合後の点群データを得る点群統合部と、前記統合後の点群データに基づいて前記監視エリア内の物体を検出する物体検出部と、前記物体の特徴量を検出特徴量として算出する特徴量算出部と、前記検出特徴量とあらかじめ登録された登録特徴量との照合を行う照合部と、前記照合が失敗した場合に前記キャリブレーションパラメータが異常であることを出力する出力部と、を備える物体検出装置として機能させるためのプログラムが提供される。

以上説明したように本発明によれば、複数のＬｉＤＡＲの相対的な位置関係に基づくキャリブレーションパラメータの異常を容易に把握することを可能とする技術が提供される。

本発明の第１の実施形態に係る作業監視システムの概要を説明するための図である。 複数のＬｉＤＡＲが物体検出に用いられる場合において改善すべき点について説明するための図である。 本発明の第１の実施形態に係る作業監視システムの機能構成例を示すブロック図である。 同実施形態に係る作業監視システムの動作例を示すフローチャートである。 本発明の第２の実施形態に係る作業監視システムの機能構成例を示すブロック図である。 同実施形態に係る作業監視システムの動作例を示すフローチャートである。 同実施形態に係る作業監視システムの機能構成例を示すブロック図である。 本発明の第３の実施形態に係る作業監視システムの動作例を示すフローチャートである。 本発明の実施形態に係る物体検出装置の例としての情報処理装置のハードウェア構成を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一の機能構成を有する複数の構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、異なる実施形態の類似する構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。

＜１．第１の実施形態＞
まず、本発明の第１の実施形態について説明する。

（１－１．システムの概要）
まず、本発明の第１の実施形態に係る作業監視システムの概要について説明する。本発明の実施形態では、作業の例として工事が行われる場合を主に想定する。しかし、作業の種類は、センサによる監視が必要な作業であれば工事に限定されない。

図１は、本発明の第１の実施形態に係る作業監視システムの概要を説明するための図である。図１に示されるように、作業監視システム１Ａは、物体検出装置１０Ａ、複数のＬｉＤＡＲ２０（ＬｉＤＡＲ２０－１、２０－２）、提示装置３０およびネットワーク４０を有する。物体検出装置１０Ａ、複数のＬｉＤＡＲ２０および提示装置３０それぞれは、ネットワーク４０に接続されている。複数のＬｉＤＡＲ２０は、工事現場に設置されている。ＬｉＤＡＲ２０－１によって計測されるエリアが計測エリアＲ１であり、ＬｉＤＡＲ２０－２によって計測されるエリアが計測エリアＲ２である。

このように、本発明の実施形態では、工事を監視するセンサの例としてＬｉＤＡＲ２０が用いられる場合を主に想定する。しかし、工事を監視するセンサは、ＬｉＤＡＲ２０に限定されない。工事を監視するセンサは、物体の動きを非接触により検知可能なセンサであればよく、カメラであってもよいし、デプスセンサであってもよいし、レーダ測距センサであってもよい。

本発明の実施形態では、工事現場にＬｉＤＡＲ２０が２台設置される場合を主に想定する（すなわち、工事現場にＬｉＤＡＲ２０－１、２０－２が設置される場合を主に想定する）。しかし、ＬｉＤＡＲ２０は、工事現場に３台以上設置されてもよい。ＬｉＤＡＲ２０－１、２０－２は、計測エリアＲ１および計測エリアＲ２に、共通の監視エリアＲ０が含まれるように設置される。監視エリアＲ０は、工事現場内の作業場所に該当し、ＬｉＤＡＲ２０－１、２０－２による監視対象のエリアである。

監視エリアＲ０には、工事に用いられる物体Ｂ１が存在している。したがって、ＬｉＤＡＲ２０－１、２０－２によって、監視エリアＲ０に存在する物体Ｂ１も監視される。本発明の実施形態では、ＬｉＤＡＲ２０－１、２０－２によって監視される物体Ｂ１の例として重機が用いられる場合を主に想定する。しかし、ＬｉＤＡＲ２０によって監視される物体Ｂ１は、重機に限定されず、作業者などであってもよい。また、重機の種類も限定されず、ダンプトラック、ショベルカーまたは掘削機などであってよい。また、ＬｉＤＡＲ２０によって監視される物体Ｂ１の数も１つに限定されず、複数であってもよい。

図１に示されたように、複数のＬｉＤＡＲ２０（ＬｉＤＡＲ２０－１、２０－２）が設置されれば、物体検出装置１０Ａは、複数のＬｉＤＡＲ２０それぞれによって計測された点群データを統合し、統合後の点群データに基づいて物体Ｂ１を検出し得る。物体検出装置１０Ａは、統合後の点群データに基づいて物体Ｂ１を検出する場合には、単一のＬｉＤＡＲ２０によって計測された点群データに基づいて物体Ｂ１を検出する場合と比較して、物体Ｂ１の外形をより正確に検出し得る。しかし、複数のＬｉＤＡＲ２０が物体検出に用いられる場合には、改善すべき点がある。

図２は、複数のＬｉＤＡＲ２０が物体検出に用いられる場合において改善すべき点について説明するための図である。図２を参照すると、ＬｉＤＡＲ２０－１、２０－２が設置されている。

ここで、ＬｉＤＡＲ２０－１の設置位置は、実空間における３次元座標（Ｐｘ１，Ｐｙ１，Ｐｚ１）によって表現されている。また、ＬｉＤＡＲ２０－１の設置向きは、実空間における３軸周りの回転角度（θｘ１，θｙ１，θｚ１）によって表現されている。一方、ＬｉＤＡＲ２０－２の設置位置は、実空間における３次元座標（Ｐｘ２，Ｐｙ２，Ｐｚ２）によって表現されている。また、ＬｉＤＡＲ２０－２の設置向きは、実空間における３軸周りの回転角度（θｘ２，θｙ２，θｚ２）によって表現されている。

このように、ＬｉＤＡＲ２０－１とＬｉＤＡＲ２０－２との間では、設置位置および設置向きが異なっている。そのため、ＬｉＤＡＲ２０－１およびＬｉＤＡＲ２０－２それぞれによって計測された点群データ同士はそのまま統合され得ない。

そこで、ＬｉＤＡＲ２０－１とＬｉＤＡＲ２０－２との間の設置位置および設置向きの相違を吸収すべく、点群データ同士の統合には、ＬｉＤＡＲ２０－１とＬｉＤＡＲ２０－２との相対的な位置関係に基づくキャリブレーションによってあらかじめ算出されたキャリブレーションパラメータが用いられる。キャリブレーションパラメータとしては、一例として行列が用いられ得るため、以下では、キャリブレーションパラメータを「変換行列」とも表現する。

ＬｉＤＡＲ２０－１およびＬｉＤＡＲ２０－２それぞれによって計測された点群データは、その少なくともいずれか一方に対して変換行列が乗じられた上で統合される。本発明の実施形態では、ＬｉＤＡＲ２０－１によって計測された点群データに、ＬｉＤＡＲ２０－１とＬｉＤＡＲ２０－２との相対的な位置関係に基づく変換行列Ｋ１が乗じられ、ＬｉＤＡＲ２０－２によって計測された点群データには変換行列が乗じられない場合を主に想定する。これによって、ＬｉＤＡＲ２０－１によって計測された点群データが、ＬｉＤＡＲ２０－２によって計測されたように変換される。

しかし、ＬｉＤＡＲ２０－１によって計測された点群データに、ＬｉＤＡＲ２０－１と実空間における所定の位置および所定の向きとの位置関係に基づく変換行列が乗じられ、ＬｉＤＡＲ２０－２によって計測された点群データに、ＬｉＤＡＲ２０－２と当該所定の位置および当該所定の向きとの位置関係に基づく変換行列が乗じられてもよい。これによって、各点群データが、実空間における当該所定の位置から当該所定の向きに計測されたように変換される。

キャリブレーションは、物体検出装置１０Ａによって実行されてよく、キャリブレーションの手法（すなわち、変換行列Ｋ１を算出する手法）は特に限定されない。一例として、キャリブレーションは、ＬｉＤＡＲ２０－１とＬｉＤＡＲ２０－２が設置された後、作業者による所定のキャリブレーション開始操作に基づいて、物体検出装置１０Ａによって実行されてよい。

より詳細には、物体検出装置１０Ａは、ＬｉＤＡＲ２０－１によって計測された点群データに対して行列Ｅ１を乗じることによって変換後の点群データを得る。そして、物体検出装置１０Ａは、変換後の点群データに基づいてＬｉＤＡＲ２０－１を基準とした物体Ｂ０の相対位置を算出する。一方、物体検出装置１０Ａは、ＬｉＤＡＲ２０－２によって計測された点群データに基づいてＬｉＤＡＲ２０－２を基準とした物体Ｂ０の相対位置を算出する。そして、物体検出装置１０Ａは、ＬｉＤＡＲ２０－１を基準とした物体Ｂ０の相対位置とＬｉＤＡＲ２０－２を基準とした物体Ｂ０の相対位置とが一致する場合における行列Ｅ１を変換行列Ｋ１として特定すればよい。

図２を参照すると、ＬｉＤＡＲ２０－１によって計測された点群データの変換前には、ＬｉＤＡＲ２０－１を基準とした物体Ｂ０の相対位置は（ｘ１，ｙ１，ｚ１）である。一方、ＬｉＤＡＲ２０－２を基準とした物体Ｂ０の相対位置は（ｘ２，ｙ２，ｚ２）である。すなわち、ＬｉＤＡＲ２０－１によって計測された点群データの変換前には、ＬｉＤＡＲ２０－１を基準とした物体Ｂ０の相対位置（ｘ１，ｙ１，ｚ１）とＬｉＤＡＲ２０－２を基準とした物体Ｂ０の相対位置（ｘ２，ｙ２，ｚ２）とは異なっている。

このとき、ＬｉＤＡＲ２０－１によって計測された点群データに対して、３軸周りの回転変換と、３次元的な平行移動とが行われる場合を想定する。ここで、回転変換を示す行列を回転行列Ａとし、平行移動を示す行列を平行移動行列Ｂとし、ｘ軸周りの回転角度をαｘとし、ｙ軸周りの回転角度をαｙとし、ｚ軸周りの回転角度をαｚとすると、回転行列Ａおよび平行移動行列Ｂは、下記の式（１）および式（２）に示されるように表現される。

一例として、下記の式（３）に示されるように、回転行列Ａおよび平行移動行列Ｂの双方が組み込まれた行列E１を想定する。

このとき、例えば、物体検出装置１０Ａは、ＬｉＤＡＲ２０－１を基準とした物体Ｂ０の相対位置（ｘ１，ｙ１，ｚ１）に対して、定数要素を追加して（ｘ１，ｙ１，ｚ１，１）を算出する。一方、物体検出装置１０Ａは、ＬｉＤＡＲ２０－２を基準とした物体Ｂ０の相対位置（ｘ２，ｙ２，ｚ２）に対して、定数要素を追加して（ｘ２，ｙ２，ｚ２，１）を算出する。そして、物体検出装置１０Ａは、（ｘ１，ｙ１，ｚ１，１）^Ｔに対して行列Ｅ１が乗じられたＥ１（ｘ１，ｙ１，ｚ１，１）^Ｔと、（ｘ２，ｙ２，ｚ２，１）^Ｔとが一致するという条件を満たすαｘ、αｙ、αｚ、ｂ１、ｂ２、ｂ３を特定すればよい。かかる条件は、下記の式（４）のように表現される。

そして、物体検出装置１０Ａは、式（４）に示された条件を満たすαｘ、αｙ、αｚ、ｂ１、ｂ２、ｂ３によって構成される行列Ｅ１を変換行列Ｋ１として特定すればよい。図２を参照すると、ＬｉＤＡＲ２０－１を基準とした物体Ｂ０の相対位置（ｘ１，ｙ１，ｚ１）に対して変換行列Ｋ１が乗じられて得られる変換後の位置Ｋ１（ｘ１，ｙ１，ｚ１）は、ＬｉＤＡＲ２０－２を基準とした物体Ｂ０の相対位置（ｘ２，ｙ２，ｚ２）と一致している。

なお、ここでは、回転行列Ａおよび平行移動行列Ｂの双方が組み込まれた行列E１を（ｘ１，ｙ１，ｚ１，１）に対して作用させる場合を想定した。しかし、下記の式（５）に示されるように、回転行列Ａと平行移動行列Ｂとを別の行列として（ｘ１，ｙ１，ｚ１）に対して作用させてもよい。すなわち、下記の式（５）を満たす回転行列Ａと平行移動行列Ｂとの組み合わせが、変換行列Ｋ１として特定されてもよい。

なお、行列Ｅ１の探索範囲は限定されない。しかし、キャリブレーションをより短時間で完了させるために、作業者によって初期値が物体検出装置１０Ａに入力されてもよい。作業者によって初期値が入力された場合には、物体検出装置１０Ａは、作業者によって入力された初期値を基準とした所定の範囲内において行列Ｅ１を探索すればよい。なお、初期値は、ＬｉＤＡＲ２０－１とＬｉＤＡＲ２０－２との相対的な位置関係であってよく、作業者による目視によって判断されてよい。例えば、ＬｉＤＡＲ２０－１とＬｉＤＡＲ２０－２との相対的な位置関係は、ＬｉＤＡＲ２０－１の設置位置を基準としたＬｉＤＡＲ２０－２の相対的な設置位置を含んでよい。

このようにしてキャリブレーションが行われても、何らかの理由（例えば、キャリブレーション自体が高精度に行われない場合、または、キャリブレーション実行後にＬｉＤＡＲ２０－１とＬｉＤＡＲ２０－２との相対的な位置関係が変化した場合など）によって、キャリブレーションパラメータと現実の値との間にある程度以上のずれが存在すると（すなわち、キャリブレーションパラメータが異常であると）、点群データの統合が高精度に行われない。そのため、統合後の点群データに基づく物体検出の精度が低下してしまう。また、統合後の点群データに基づく物体の外形または物体のサイズの検出精度も低下してしまうため、物体の種類の識別精度も低下してしまう。

また、ＬｉＤＡＲ２０－１およびＬｉＤＡＲ２０－２それぞれによって計測された点群データを見るだけでは、キャリブレーションパラメータ（変換行列）の異常に気づくことが難しい。そこで、本明細書においては、ＬｉＤＡＲ２０－１およびＬｉＤＡＲ２０－２の相対的な位置関係に基づくキャリブレーションパラメータ（変換行列）の異常を容易に把握することを可能とする技術について主に提案する。

以上、本発明の第１の実施形態に係る作業監視システム１Ａの概要について説明した。

（１－２．作業監視システムの機能構成例）
続いて、図３を参照しながら（適宜図１および図２も参照）、本発明の第１の実施形態に係る作業監視システム１Ａの機能構成例について説明する。図３は、本発明の第１の実施形態に係る作業監視システム１Ａの機能構成例を示すブロック図である。図３に示されるように（図１にも示されているように）、本発明の第１の実施形態に係る作業監視システム１Ａは、物体検出装置１０Ａ、ＬｉＤＡＲ２０－１、２０－２、提示装置３０およびネットワーク４０を備える。

ＬｉＤＡＲ２０－１は、計測エリアＲ１を連続的にセンシングすることによって点群データを得る。そして、ＬｉＤＡＲ２０－１は、センシングによって得た点群データを物体検出装置１０Ａに出力する。同様に、ＬｉＤＡＲ２０－２は、計測エリアＲ２を連続的にセンシングすることによって点群データを得る。そして、ＬｉＤＡＲ２０－２は、センシングによって得た点群データを物体検出装置１０Ａに出力する。

上記したように、ＬｉＤＡＲ２０は、３台以上設置されてもよい。かかる場合には、３台以上のＬｉＤＡＲ２０それぞれが、ネットワーク４０に接続され、３台以上のＬｉＤＡＲ２０それぞれによって得られた点群データがネットワーク４０を介して物体検出装置１０Ａに出力される。

物体検出装置１０Ａは、コンピュータによって構成される。本発明の実施形態では、物体検出装置１０Ａが工事現場（ＬｉＤＡＲ２０の近隣）に設置される場合を主に想定する。しかし、物体検出装置１０Ａが設置される場所は限定されない。例えば、物体検出装置１０Ａは、工事現場から離された場所（例えば、作業を監視する監視者が存在する監視室など）に設置されてもよい。ここで、物体検出装置１０Ａは、図示しない制御部、図示しない記憶部および図示しない通信部を備える。

図示しない制御部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などを含み、記憶部により記憶されているプログラムがＣＰＵによりＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、図示しない制御部は、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。

図示しない制御部は、データ取得部２００、ＬｉＤＡＲ点群統合部３００、ＬｉＤＡＲ物体検出部５００、物体識別部６００、検出物体特徴量算出部７００、物体照合部８００、および、出力部１０００を備える。

図示しない記憶部は、図示しない制御部を動作させるためのプログラムおよびデータを記憶することが可能な記憶装置である。また、図示しない記憶部は、図示しない制御部の動作の過程で必要となる各種データを一時的に記憶することもできる。例えば、記憶装置は、不揮発性の記憶装置であってよい。図示しない記憶部は、キャリブレーションパラメータ記憶部４００を備え、物体特徴量ＤＢ（データベース）９００を備える。

図示しない通信部は、通信インタフェースによって構成されており、ネットワーク４０と接続されている。例えば、図示しない通信部は、ＬｉＤＡＲ２０－１から送信された点群データを、ネットワーク４０を介して受信し、ＬｉＤＡＲ２０－２から送信された点群データを、ネットワーク４０を介して受信する。また、図示しない通信部は、出力部１０００によって出力された情報を、ネットワーク４０を介して提示装置３０に送信する。

キャリブレーションパラメータ記憶部４００は、キャリブレーションによってあらかじめ算出されたキャリブレーションパラメータ（変換行列Ｋ１）を記憶している。

物体特徴量ＤＢ９００には、監視対象の物体に関する特徴量（登録特徴量）があらかじめ登録されている。より詳細に、物体特徴量ＤＢ９００には、監視対象の物体に関する特徴量が物体の種類ごとにあらかじめ登録されている。ここでは、監視対象の物体に関する特徴量として、特徴量の適正範囲の上限値と下限値とが物体特徴量ＤＢ９００にあらかじめ登録されている場合を主に想定する。しかし、物体特徴量ＤＢ９００にあらかじめ登録されている特徴量は、かかる例に限定されない。例えば、物体特徴量ＤＢ９００にあらかじめ登録されている特徴量は、監視対象の物体の特徴量の平均値などであってもよい。かかる場合には、平均値を基準として所定の幅だけ加算した値が適正範囲の上限値として扱われ、平均値を基準として所定の幅だけ減算した値が適正範囲の下限値として扱われてもよい。

データ取得部２００は、ＬｉＤＡＲ２０－１によって計測された計測エリアＲ１の点群データをＬｉＤＡＲ２０－１から取得する。また、データ取得部２００は、ＬｉＤＡＲ２０－２によって計測された計測エリアＲ２の点群データをＬｉＤＡＲ２０－２から取得する。データ取得部２００は、ＬｉＤＡＲ２０－１によって計測された点群データとＬｉＤＡＲ２０－２によって計測された点群データとをＬｉＤＡＲ点群統合部３００に出力する。

ＬｉＤＡＲ点群統合部３００は、キャリブレーションパラメータ記憶部４００からキャリブレーションパラメータを取得し、ＬｉＤＡＲ２０－１によって計測された点群データとＬｉＤＡＲ２０－２によって計測された点群データとを、キャリブレーションデータに基づいて統合する。より詳細に、ＬｉＤＡＲ点群統合部３００は、ＬｉＤＡＲ２０－１によって計測された点群データに対して変換行列Ｋ１を乗じることによって変換後の点群データを得る。そして、ＬｉＤＡＲ点群統合部３００は、変換後の点群データとＬｉＤＡＲ２０－２によって計測された点群データとを重ね合わせることによって、互いの点群データを統合する。

なお、上記したように、ＬｉＤＡＲ２０は、３台以上であってもよい。かかる場合であっても、ＬｉＤＡＲ点群統合部３００は、ＬｉＤＡＲ２０が２台である場合と同様に、３台以上のＬｉＤＡＲ２０それぞれから入力された点群データを統合し得る。

また、ＬｉＤＡＲ点群統合部３００は、３台以上のＬｉＤＡＲ２０から選択した２台のＬｉＤＡＲ２０それぞれによって計測された点群データのみを統合してもよい。ここで、ＬｉＤＡＲ２０の選択はどのようになされてもよい。例えば、ＬｉＤＡＲ点群統合部３００は、３台以上のＬｉＤＡＲ２０からあらかじめ決められた２台のＬｉＤＡＲを選択してもよい。あるいは、ＬｉＤＡＲ点群統合部３００は、物体の外形をより正確に検出すべく、３台以上のＬｉＤＡＲ２０から、物体との距離が近い順に２台のＬｉＤＡＲ２０を選択してもよいし、設置向きが異なる２台のＬｉＤＡＲ２０を選択してもよい。

ＬｉＤＡＲ物体検出部５００は、統合後の点群データに基づいて監視エリアＲ０内の物体Ｂ１を検出する。ここで、物体の検出手法は限定されない。例えば、ＬｉＤＡＲ物体検出部５００は、統合後の点群データから背景部分（例えば、地面など）の点群データを除去した後に、所定の距離内に存在する点群の位置に同一物体が存在するとして物体を検出してもよい。このとき、ＬｉＤＡＲ物体検出部５００は、所定のサイズ以上の大きさを持つ点群の集まりを物体として検出してもよい。

物体識別部６００は、ＬｉＤＡＲ物体検出部５００によって検出された物体の種類を識別する。ここで、物体の種類を識別する手法は限定されない。例えば、物体の種類ごとに物体の既知の点群データがあらかじめ登録されている場合、物体識別部６００は、統合後の点群データと最も類似度の高い既知の点群データに対応する物体の種類を、ＬｉＤＡＲ物体検出部５００によって検出された物体の種類として識別すればよい。なお、監視エリアＲ０に存在する物体があらかじめ１種類に決まっている場合などには、物体識別部６００による物体の種類の識別は行われなくてもよい。

検出物体特徴量算出部７００は、ＬｉＤＡＲ物体検出部５００によって検出された物体の特徴量（検出特徴量）を算出する。ここで、物体の特徴量を算出する手法は限定されない。例えば、検出物体特徴量算出部７００は、ＬｉＤＡＲ物体検出部５００によって検出された物体を構成する点群に外接する直方体の体積、および／または、当該直方体の縦横奥行の３辺それぞれの長さを物体の特徴量として算出してもよい。あるいは、検出物体特徴量算出部７００は、ＬｉＤＡＲ物体検出部５００によって検出された物体を構成する点群を頂点とする３次元モデルに基づく形状特徴量を物体の特徴量として算出してもよい。

物体照合部８００は、検出物体特徴量算出部７００によって算出された物体の特徴量（検出特徴量）を取得するとともに、物体識別部６００によって識別された物体の種類に対応付けられた物体の特徴量（登録特徴量）を物体特徴量ＤＢ９００から取得する。そして、物体照合部８００は、検出特徴量と登録特徴量との照合を行う。より詳細に、物体照合部８００は、検出特徴量が登録特徴量に基づく所定の適正範囲内に収まっている場合には、照合を成功とする。一方、物体照合部８００は、検出特徴量が登録特徴量に基づく適正範囲内に収まっていない場合には、照合を失敗とする。

ここでは、登録特徴量として、物体の特徴量の適正範囲の上限値と下限値とが物体特徴量ＤＢ９００にあらかじめ登録されている場合を主に想定する。このとき、物体照合部８００は、下限値以上かつ上限値以下の範囲を適正範囲として扱ってもよい。しかし、上記したように、登録特徴量は、かかる例に限定されない。例えば、登録特徴量として、物体の特徴量の平均値が物体特徴量ＤＢ９００にあらかじめ登録されていてもよい。このとき、物体照合部８００は、平均値を基準として所定の幅だけ加算した値を適正範囲の上限値として扱い、平均値を基準として所定の幅だけ減算した値を適正範囲の下限値として扱ってもよい。

物体照合部８００による照合が成功した場合には、キャリブレーションパラメータと現実の値との間のずれがある程度よりも小さい（すなわち、キャリブレーションパラメータが正常である）ことが想定される。一方、物体照合部８００による照合が失敗した場合には、何らかの理由によってキャリブレーションパラメータと現実の値との間にある程度以上のずれが存在する（すなわち、キャリブレーションパラメータが異常である）ことが想定される。

なお、上記したように、監視エリアＲ０に存在する物体があらかじめ１種類に決まっている場合などには、物体識別部６００による物体の種類の識別は行われなくてよい。したがって、かかる場合には、物体照合部８００は、物体の種類の識別は行われないままに、物体特徴量ＤＢ９００から物体の特徴量を取得すればよい。

出力部１０００は、物体照合部８００による照合が失敗した場合には、キャリブレーションパラメータが異常であることを提示装置３０に出力する。ここでは、キャリブレーションパラメータが異常であることが、テキストデータによって出力される場合を想定する。例えば、テキストデータは、「検出物体の特徴量が異常です。キャリブレーションパラメータを見直してください。」などといったメッセージであってもよい。しかし、キャリブレーションパラメータが異常であることは、画像データ、音声データなどといった他の形態によって出力されてもよい。一方、出力部１０００は、物体照合部８００による照合が成功した場合には、キャリブレーションパラメータが異常であることを提示装置３０に出力しなくてよい。

提示装置３０は、出力部１０００から出力されたキャリブレーションパラメータが異常であることを提示する。ここでは、提示装置３０が、テキストデータ（または画像データ）を表示するディスプレイである場合を主に想定する。しかし、提示装置３０の形態は特に限定されない。例えば、提示装置３０は、音声を出力するスピーカであってもよい。なお、本発明の実施形態では、提示装置３０が工事現場から離された場所（例えば、作業を監視する監視者が存在する監視室など）に設置される場合を主に想定する。かかる場合には、監視者が作業者に再度のキャリブレーションを指示してもよい。しかし、提示装置３０が設置される場所は限定されない。例えば、提示装置３０は、工事現場（ＬｉＤＡＲ２０の近隣）に設置されてもよい。かかる場合には、作業者が再度のキャリブレーションが必要であることを直接把握することができる。

なお、データ取得部２００による点群データの取得以降の動作が、繰り返し実行されてよい。また、図３に示された例では、データ取得部２００、ＬｉＤＡＲ点群統合部３００、キャリブレーションパラメータ記憶部４００、ＬｉＤＡＲ物体検出部５００、物体識別部６００、検出物体特徴量算出部７００、物体照合部８００、物体特徴量ＤＢ９００、および、出力部１０００が、物体検出装置１０Ａの内部に設けられている。しかし、これらの機能ブロックの一部または全部は、物体検出装置１０Ａの外部に設けられていてもよい。

以上、本発明の第１の実施形態に係る作業監視システム１Ａの機能構成例について説明した。

（１－３．作業監視システムの動作例）
続いて、本発明の第１の実施形態に係る作業監視システム１Ａの動作例について説明する。図４は、本発明の第１の実施形態に係る作業監視システム１Ａの動作例を示すフローチャートである。なお、図４に示された動作例は、本発明の第１の実施形態に係る作業監視システム１Ａの動作の一例に過ぎない。したがって、本発明の第１の実施形態に係る作業監視システム１Ａの動作は、図４に示された動作例に限定されない。

まず、ＬｉＤＡＲ２０－１は、計測エリアＲ１を連続的にセンシングすることによって点群データを得る。そして、ＬｉＤＡＲ２０－１は、センシングによって得た点群データを物体検出装置１０Ａに出力する。同様に、ＬｉＤＡＲ２０－２は、計測エリアＲ２を連続的にセンシングすることによって点群データを得る。そして、ＬｉＤＡＲ２０－２は、センシングによって得た点群データを物体検出装置１０Ａに出力する。そして、図４に示されるように、データ取得部２００は、複数のＬｉＤＡＲ２０（ＬｉＤＡＲ２０－１およびＬｉＤＡＲ２０－２）それぞれによって計測された点群データを取得する（Ｓ１０１）。

続いて、ＬｉＤＡＲ点群統合部３００は、キャリブレーションパラメータ記憶部４００からキャリブレーションパラメータを取得し、取得したキャリブレーションパラメータに基づいて、データ取得部２００によって取得された複数の点群データを統合する（Ｓ１０２）。ＬｉＤＡＲ物体検出部５００は、統合後の点群データに基づいて、物体を検出する（Ｓ１０３）。そして、物体識別部６００は、ＬｉＤＡＲ物体検出部５００によって検出された物体の種類を識別する（Ｓ１０４）。なお、上記したように、監視エリアＲ０に存在する物体があらかじめ１種類に決まっている場合などには、物体識別部６００による物体の種類の識別は行われなくてもよい。

続いて、検出物体特徴量算出部７００は、ＬｉＤＡＲ物体検出部５００によって検出された物体の特徴量（検出特徴量）を算出する（Ｓ１０５）。物体照合部８００は、検出物体特徴量算出部７００によって算出された物体の特徴量（検出特徴量）と、物体の種類に対応して物体特徴量ＤＢ９００に登録された特徴量（登録特徴量）とを照合する（Ｓ１０６）。照合が成功した場合には（Ｓ１０７において「ＮＯ」）、動作が終了する。一方、照合が失敗した場合（Ｓ１０７において「ＹＥＳ」）、出力部１０００は、キャリブレーションパラメータが異常であることを提示装置３０に出力し（Ｓ１０８）、動作が終了する。なお、動作が終了した後、データ取得部２００による点群データの取得以降の動作が、繰り返し実行されてよい。

以上、本発明の第１の実施形態に係る作業監視システム１Ａの動作例について説明した。

（１－４．作業監視システムが奏する効果）
以上に説明したように、本発明の第１の実施形態によれば、データ取得部２００と、ＬｉＤＡＲ点群統合部３００と、ＬｉＤＡＲ物体検出部５００と、検出物体特徴量算出部７００と、物体照合部８００と、出力部１０００とを備える、物体検出装置１０Ａが提供される。

ここで、データ取得部２００は、互いの計測エリアに共通の監視エリアが含まれるよう設置された複数のＬｉＤＡＲそれぞれから点群データを取得する。ＬｉＤＡＲ点群統合部３００は、複数のＬｉＤＡＲそれぞれから取得された点群データを、複数のＬｉＤＡＲの相対的な位置関係に基づくキャリブレーションパラメータに基づいて統合して統合後の点群データを得る。

ＬｉＤＡＲ物体検出部５００は、統合後の点群データに基づいて監視エリア内の物体を検出する。検出物体特徴量算出部７００は、物体の特徴量を検出特徴量として算出する。物体照合部８００は、検出特徴量とあらかじめ登録された登録特徴量との照合を行う。出力部１０００は、照合が失敗した場合にキャリブレーションパラメータが異常であることを出力する。

かかる構成によれば、作業者は、複数のＬｉＤＡＲの相対的な位置関係に基づくキャリブレーションパラメータの異常を容易に把握することが可能となる。一例として、作業者は、キャリブレーションパラメータを把握した場合、再度のキャリブレーションパラメータを物体検出装置１０Ａに実行させることが可能である。

以上、本発明の第１の実施形態について説明した。

＜２．第２の実施形態＞
続いて、本発明の第２の実施形態について説明する。

（２－１．作業監視システムの機能構成例）
続いて、図５を参照しながら、本発明の第２の実施形態に係る作業監視システム１Ｂの機能構成例について説明する。図５は、本発明の第２の実施形態に係る作業監視システム１Ｂの機能構成例を示すブロック図である。図５に示されるように、本発明の第２の実施形態に係る作業監視システム１Ｂは、本発明の第１の実施形態に係る物体検出装置１０Ａ（図３）の代わりに物体検出装置１０Ｂを備える。

物体検出装置１０Ｂは、本発明の第１の実施形態に係る物体検出装置１０Ａとは異なり、キャリブレーション補正部１１００を備える。以下では、キャリブレーション補正部１１００を中心に説明する。

キャリブレーション補正部１１００は、物体照合部８００による照合が失敗した場合にキャリブレーションパラメータを補正する。ここで、キャリブレーションパラメータの補正手法は限定されない。例えば、キャリブレーション補正部１１００は、ＬｉＤＡＲ点群統合部３００によって得られた変換後の点群データに対して行列を用いて再変換を行った場合に、再変換後の点群データとＬｉＤＡＲ２０－２によって計測された点群データとの統合後の点群データから検出される物体の特徴量（検出特徴量）が適正範囲に収まるような当該再変換を示す行列を補正用の変換行列として特定する。物体の特徴量を算出する手法は、上記と同様に限定されない。

このとき、ＬｉＤＡＲ点群統合部３００によって得られた変換後の点群データに対する再変換として、３軸周りの回転変換と、３次元的な平行移動とが行われる場合を想定する。ここで、回転変換を示す行列を回転行列Ｃとし、平行移動を示す行列を平行移動行列Ｄとし、ｘ軸周りの回転角度をβｘとし、ｙ軸周りの回転角度をβｙとし、ｚ軸周りの回転角度をβｚとすると、回転行列Ｃおよび平行移動行列Ｄは、下記の式（６）および式（７）に示されるように表現される。

一例として、下記の式（８）に示されるように、回転行列Ｃおよび平行移動行列Ｄの双方が組み込まれた行列Ｅ２を想定する。

このとき、例えば、キャリブレーション補正部１１００は、ＬｉＤＡＲ点群統合部３００によって得られた変換後の点群データＫ１（ｘ１，ｙ１，ｚ１，１）^Ｔに対して行列Ｅ２が乗じられたＥ２・Ｋ１（ｘ１，ｙ１，ｚ１，１）^Ｔと、ＬｉＤＡＲ２０－２によって計測された点群データとの統合後の点群データから検出される物体の特徴量（検出特徴量）が適正範囲に収まるという条件を満たすβｘ、βｙ、βｚ、ｄ１、ｄ２、ｄ３を特定すればよい。

そして、キャリブレーション補正部１１００は、特定したβｘ、βｙ、βｚ、ｄ１、ｄ２、ｄ３によって構成される行列Ｅ２を補正用の変換行列Ｋ２として特定すればよい。なお、行列Ｅ２の探索範囲は限定されない。例えば、補正用のキャリブレーションパラメータをより短時間で算出するために、キャリブレーション補正部１１００は、βｘ、βｙ、βｚそれぞれの探索範囲を±ｅ１（例えば、ｅ１は１°以上の整数の角度）とし、ｄ１、ｄ２、ｄ３それぞれの探索範囲を±ｅ２（例えば、ｅ２は１以上の整数）などと定めてもよい。

また、物体の特徴量が適正範囲に収まるような再変換を示す行列が複数見つかる場合も想定される。かかる場合などには、キャリブレーション補正部１１００は、当該複数の行列のうちから適正範囲の中央に特徴量を変換させる行列を補正用の変換行列として特定してもよい。あるいは、物体の特徴量が適正範囲に収まるような再変換を示す行列が見つからない場合も想定される。かかる場合には、キャリブレーション補正部１１００は、キャリブレーションパラメータを補正しなくてもよいし（手動でキャリブレーションパラメータを補正してもよいし）、探索範囲を広げた上で、補正用のキャリブレーションパラメータを再度探索してもよい。

出力部１０００は、キャリブレーション補正部１１００によってキャリブレーションパラメータが補正された場合には、キャリブレーションパラメータが異常であることの他、キャリブレーションパラメータを補正したことを提示装置３０に出力する。ここでは、キャリブレーションパラメータを補正したことが、テキストデータによって出力される場合を想定する。例えば、テキストデータは、「検出物体の特徴量が異常です。キャリブレーションパラメータを自動補正しました。」などといったメッセージであってもよい。しかし、キャリブレーションパラメータを補正したことは、画像データ、音声データなどといった他の形態によって出力されてもよい。一方、出力部１０００は、キャリブレーション補正部１１００によってキャリブレーションパラメータが補正されない場合には、キャリブレーションパラメータを補正したことを提示装置３０に出力しなくてよい。

以上、本発明の第２の実施形態に係る作業監視システム１Ｂの機能構成例について説明した。

（２－２．作業監視システムの動作例）
続いて、本発明の第２の実施形態に係る作業監視システム１Ｂの動作例について説明する。図６は、本発明の第２の実施形態に係る作業監視システム１Ｂの動作例を示すフローチャートである。なお、図６に示された動作例は、本発明の第２の実施形態に係る作業監視システム１Ｂの動作の一例に過ぎない。したがって、本発明の第２の実施形態に係る作業監視システム１Ｂの動作は、図６に示された動作例に限定されない。

まず、図６に示されるように、Ｓ１０１～Ｓ１０７が実行されるが、Ｓ１０１～Ｓ１０７は、本発明の第１の実施形態に係る作業監視システム１Ａによって実行されるＳ１０１～Ｓ１０７（図４）と同様に実行される。照合が成功した場合には（Ｓ１０７において「ＮＯ」）、動作が終了する。一方、照合が失敗した場合（Ｓ１０７において「ＹＥＳ」）、キャリブレーション補正部１１００は、キャリブレーションパラメータを補正する（Ｓ２０１）。そして、出力部１０００は、キャリブレーションパラメータが異常であることの他、補正結果を提示装置３０に通知し、動作が終了する。なお、動作が終了した後、データ取得部２００による点群データの取得以降の動作が、繰り返し実行されてよい。

以上、本発明の第２の実施形態に係る作業監視システム１Ｂの動作例について説明した。

（２－３．作業監視システムが奏する効果）
以上に説明したように、本発明の第２の実施形態に係る物体検出装置１０Ｂは、本発明の第１の実施形態に係る物体検出装置１０Ａと同様な構成を有する。さらに、本発明の第２の実施形態に係る物体検出装置１０Ｂは、統合後の点群データに基づいて検出された物体の特徴量（検出特徴量）とあらかじめ登録された登録特徴量との照合が失敗した場合にキャリブレーションパラメータを補正するキャリブレーション補正部１１００を備える。

かかる構成によれば、本発明の第１の実施形態が奏する効果と同様の効果が奏され得る。また、かかる構成によれば、キャリブレーションパラメータがキャリブレーション補正部１１００によって自動的に補正されるため、キャリブレーションパラメータを作業者が手動で補正するために要する手間が低減される。

以上、本発明の第２の実施形態について説明した。

＜３．第３の実施形態＞
続いて、本発明の第３の実施形態について説明する。

（３－１．作業監視システムの機能構成例）
続いて、図７を参照しながら、本発明の第３の実施形態に係る作業監視システム１Ｃの機能構成例について説明する。図７は、本発明の第３の実施形態に係る作業監視システム１Ｃの機能構成例を示すブロック図である。図７に示されるように、本発明の第３の実施形態に係る作業監視システム１Ｃは、カメラ１２００を備えるとともに、本発明の第１の実施形態に係る物体検出装置１０Ａ（図３）の代わりに物体検出装置１０Ｃを備える。

物体検出装置１０Ｃは、本発明の第１の実施形態に係るデータ取得部２００の代わりに、データ取得部２０１を備える。また、物体検出装置１０Ｃは、本発明の第１の実施形態に係る物体識別部６００の代わりに、物体識別部６０１を備える。その他、物体検出装置１０Ｃは、本発明の第１の実施形態に係る物体検出装置１０Ａとは異なり、画像処理部１３００を備える。以下では、カメラ１２００、データ取得部２０１、物体識別部６０１および画像処理部１３００を中心に説明する。

カメラ１２００は、撮像範囲に監視エリアＲ０が含まれるよう設置されており、ネットワーク４０に接続されている。カメラ１２００は、監視エリアＲ０を連続的に撮像することによって画像データを得る。そして、カメラ１２００は、撮像によって得た画像データを、ネットワーク４０を介して物体検出装置１０Ｃに出力する。ここでは、１台のカメラ１２００がネットワーク４０に接続される場合を主に想定する。しかし、複数のカメラ１２００がネットワーク４０に接続されてもよい。かかる場合には、複数のカメラ１２００それぞれによって得られた画像データが物体検出装置１０Ｃによって合成されればよい。

データ取得部２０１は、本発明の第１の実施形態と同様に、計測エリアＲ１の点群データをＬｉＤＡＲ２０－１から取得し、計測エリアＲ２の点群データをＬｉＤＡＲ２０－２から取得する。さらに、データ取得部２０１は、画像データをカメラ１２００から取得する。データ取得部２０１は、計測エリアＲ１の点群データと計測エリアＲ２の点群データの他、カメラ１２００から得られた画像データをＬｉＤＡＲ点群統合部３００に出力する。なお、ＬｉＤＡＲ２０－１、ＬｉＤＡＲ２０－２およびカメラ１２００の間で同期がとられていれば、同時刻のデータが各センサから取得され得る。

画像処理部１３００は、カメラ１２００によって撮像された画像データに基づいて、画像データに写る物体の種類を識別する。物体識別部６０１は、画像処理部１３００によって識別された物体の種類と、統合後の点群データに基づいて検出された物体の位置とに基づいて、物体の種類を識別する。例えば、物体識別部６０１は、統合後の点群データに基づいて検出された物体の座標を画像データにおける座標に変換し、画像処理部１３００によって、変換後の座標の範囲内において画像データから物体の種類が識別された場合、画像処理部１３００によって識別された物体の種類を得ればよい。画像処理部１３００による物体の種類の識別はどのようにして行われてもよく、機械学習によって行われてもよい。

以上、本発明の第３の実施形態に係る作業監視システム１Ｃの機能構成例について説明した。

（３－２．作業監視システムの動作例）
続いて、本発明の第３の実施形態に係る作業監視システム１Ｃの動作例について説明する。図８は、本発明の第３の実施形態に係る作業監視システム１Ｃの動作例を示すフローチャートである。なお、図８に示された動作例は、本発明の第３の実施形態に係る作業監視システム１Ｃの動作の一例に過ぎない。したがって、本発明の第３の実施形態に係る作業監視システム１Ｃの動作は、図８に示された動作例に限定されない。

まず、図８に示されるように、データ取得部２０１は、複数のＬｉＤＡＲ２０（ＬｉＤＡＲ２０－１およびＬｉＤＡＲ２０－２）それぞれによって計測された点群データと、カメラ１２００によって得られた画像データとを取得する（Ｓ３０１）。続いて、Ｓ１０２、Ｓ１０３が実行されるが、Ｓ１０２、Ｓ１０３は、本発明の第１の実施形態に係る作業監視システム１Ａによって実行されるＳ１０２、Ｓ１０３（図４）と同様に実行される。続いて、画像処理部１３００は、画像データに基づいて検出物体の種類を識別し（Ｓ３０４）、物体識別部６０１は、かかる識別結果を得る。

続いて、Ｓ１０５～Ｓ１０８が実行されるが、Ｓ１０５～Ｓ１０８は、本発明の第１の実施形態に係る作業監視システム１Ａによって実行されるＳ１０５～Ｓ１０８（図４）と同様に実行される。ただし、本発明の第３の実施形態では、統合後の点群データに基づいて検出された物体の種類がより高精度に識別されるため、キャリブレーションデータが異常であるかもより高精度に判定され得る。

以上、本発明の第３の実施形態に係る作業監視システム１Ｃの動作例について説明した。

（３－３．作業監視システムが奏する効果）
以上に説明したように、本発明の第３の実施形態に係る物体検出装置１０Ｃは、本発明の第１の実施形態に係る物体検出装置１０Ａと同様な構成を有する。さらに、本発明の第３の実施形態に係る物体検出装置１０Ｃは、撮像範囲に監視エリアが含まれるよう設置されたカメラ１２００によって撮像された画像データに基づいて、画像データに写る物体の種類を識別する画像処理部１３００を備える。そして、物体識別部６０１は、画像処理部１３００によって識別された物体の種類と、統合後の点群データに基づいて検出された物体の位置とに基づいて、物体の種類を識別する。

かかる構成によれば、一般にカメラ１２００はＬｉＤＡＲ２０に比べて解像度が高いため、ＬｉＤＡＲ２０だけを用いて物体の種類を特定する場合と比較して、統合後の点群データに基づいて検出された物体の種類がより高精度に識別される。したがって、かかる構成によれば、物体の種類がより高精度に識別されるため、キャリブレーションデータが異常であるかもより高精度に判定され得る。

以上、本発明の第３の実施形態について説明した。

＜４．ハードウェア構成例＞
続いて、本発明の実施形態に係る物体検出装置１０のハードウェア構成例について説明する。以下では、本発明の実施形態に係る物体検出装置１０のハードウェア構成例として、情報処理装置９００のハードウェア構成例について説明する。なお、以下に説明する情報処理装置９００のハードウェア構成例は、物体検出装置１０のハードウェア構成の一例に過ぎない。したがって、物体検出装置１０のハードウェア構成は、以下に説明する情報処理装置９００のハードウェア構成から不要な構成が削除されてもよいし、新たな構成が追加されてもよい。

図９は、本発明の実施形態に係る物体検出装置１０の例としての情報処理装置９００のハードウェア構成を示す図である。情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力装置９０８と、出力装置９０９と、ストレージ装置９１０と、通信装置９１１と、を備える。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等から構成されるホストバス９０４により相互に接続されている。

ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５および外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置９０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバー等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等から構成されている。情報処理装置９００を操作するユーザは、この入力装置９０８を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置９０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、ランプ等の表示装置およびスピーカ等の音声出力装置を含む。

ストレージ装置９１０は、データ格納用の装置である。ストレージ装置９１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置９１０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置９１０は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。

通信装置９１１は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１１は、無線通信または有線通信のどちらに対応してもよい。

以上、本発明の実施形態に係る物体検出装置１０のハードウェア構成例について説明した。

＜５．まとめ＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記では、本発明の第１の実施形態から本発明の第３の実施形態までを順に説明したが、これらの各実施形態は適宜に組み合わされてよい。例えば、本発明の第２の実施形態と本発明の第３の実施形態とが組み合わされてもよい。すなわち、本発明の第３の実施形態に係る物体検出装置１０Ｃが、本発明の第２の実施形態に係る物体検出装置１０Ｂのキャリブレーション補正部１１００を有してもよい。かかる構成によれば、本発明の第２の実施形態および本発明の第３の実施形態それぞれによって奏される効果が、同時に享受され得る。

１Ａ、１Ｂ、１Ｃ 作業監視システム
１０、１０Ａ、１０Ｂ、１０Ｃ 物体検出装置
２０ ＬｉＤＡＲ
３０ 提示装置
４０ ネットワーク
２００、２０１ データ取得部
３００ ＬｉＤＡＲ点群統合部
４００ キャリブレーションパラメータ記憶部
５００ ＬｉＤＡＲ物体検出部
６００、６０１ 物体識別部
７００ 検出物体特徴量算出部
８００ 物体照合部
１０００ 出力部
１１００ キャリブレーション補正部
１２００ カメラ
１３００ 画像処理部

Claims (7)

1. 互いの計測エリアに共通の監視エリアが含まれるよう設置された複数のＬｉＤＡＲそれぞれから点群データを取得するデータ取得部と、
   前記複数のＬｉＤＡＲそれぞれから取得された点群データを、前記複数のＬｉＤＡＲの相対的な位置関係に基づくキャリブレーションパラメータに基づいて統合して統合後の点群データを得る点群統合部と、
   前記統合後の点群データに基づいて前記監視エリア内の物体を検出する物体検出部と、
   前記物体の特徴量を検出特徴量として算出する特徴量算出部と、
   前記検出特徴量とあらかじめ登録された登録特徴量との照合を行う照合部と、
   前記照合が失敗した場合に前記キャリブレーションパラメータが異常であることを出力する出力部と、
   を備える、物体検出装置。
2. 前記物体検出装置は、前記照合が失敗した場合に前記キャリブレーションパラメータを補正するキャリブレーション補正部を備える、
   請求項１に記載の物体検出装置。
3. 前記照合部は、前記検出特徴量が前記登録特徴量に基づく所定の適正範囲内に収まっている場合には、前記照合を成功とし、前記検出特徴量が前記適正範囲内に収まっていない場合には、前記照合を失敗とする、
   請求項１または２に記載の物体検出装置。
4. 前記物体検出装置は、前記物体の種類を識別する物体識別部を備え、
   前記照合部は、前記検出特徴量と前記物体の種類に対応付けられた前記登録特徴量とを照合する、
   請求項１～３のいずれか一項に記載の物体検出装置。
5. 前記物体検出装置は、撮像範囲に前記監視エリアが含まれるよう設置されたカメラによって撮像された画像データに基づいて、前記画像データに写る物体の種類を識別する画像処理部を備え、
   前記物体識別部は、前記画像処理部によって識別された物体の種類と、前記統合後の点群データに基づいて検出された前記物体の位置とに基づいて、前記物体の種類を識別する、
   請求項４に記載の物体検出装置。
6. 互いの計測エリアに共通の監視エリアが含まれるよう設置された複数のＬｉＤＡＲそれぞれから点群データを取得することと、
   前記複数のＬｉＤＡＲそれぞれから取得された点群データを、前記複数のＬｉＤＡＲの相対的な位置関係に基づくキャリブレーションパラメータに基づいて統合して統合後の点群データを得ることと、
   前記統合後の点群データに基づいて前記監視エリア内の物体を検出することと、
   前記物体の特徴量を検出特徴量として算出することと、
   前記検出特徴量とあらかじめ登録された登録特徴量との照合を行うことと、
   前記照合が失敗した場合に前記キャリブレーションパラメータが異常であることを出力することと、
   を含む、物体検出方法。
7. コンピュータを、
   互いの計測エリアに共通の監視エリアが含まれるよう設置された複数のＬｉＤＡＲそれぞれから点群データを取得するデータ取得部と、
   前記複数のＬｉＤＡＲそれぞれから取得された点群データを、前記複数のＬｉＤＡＲの相対的な位置関係に基づくキャリブレーションパラメータに基づいて統合して統合後の点群データを得る点群統合部と、
   前記統合後の点群データに基づいて前記監視エリア内の物体を検出する物体検出部と、
   前記物体の特徴量を検出特徴量として算出する特徴量算出部と、
   前記検出特徴量とあらかじめ登録された登録特徴量との照合を行う照合部と、
   前記照合が失敗した場合に前記キャリブレーションパラメータが異常であることを出力する出力部と、
   を備える物体検出装置として機能させるためのプログラム。
   

Images