JP7205179B2 - 監視システム - Google Patents

監視システム Download PDF

Info

Publication number
JP7205179B2
JP7205179B2 JP2018216366A JP2018216366A JP7205179B2 JP 7205179 B2 JP7205179 B2 JP 7205179B2 JP 2018216366 A JP2018216366 A JP 2018216366A JP 2018216366 A JP2018216366 A JP 2018216366A JP 7205179 B2 JP7205179 B2 JP 7205179B2
Authority
JP
Japan
Prior art keywords
information
detection
laser radar
partial information
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018216366A
Other languages
English (en)
Other versions
JP2020085521A (ja
Inventor
啓 片山
謙一 ▲濱▼口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IHI Corp
Original Assignee
IHI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IHI Corp filed Critical IHI Corp
Priority to JP2018216366A priority Critical patent/JP7205179B2/ja
Publication of JP2020085521A publication Critical patent/JP2020085521A/ja
Application granted granted Critical
Publication of JP7205179B2 publication Critical patent/JP7205179B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Optical Radar Systems And Details Thereof (AREA)

Description

本開示は、監視システムに関する。
車両の運転及び歩行者の安全を支援するために、交差点等の監視領域において車両及び歩行者等の情報を収集し、利用者に情報を提供する交通情報監視システムが開発されている。例えば、特許文献1には、レーザ光で交差点を走査することで複数の計測点情報を取得し、複数の計測点情報に基づいて交差点内に存在する車両を検出するレーザレーダが記載されている。
特開2010-197341号公報
レーザレーダは、遮蔽物の影となる範囲(死角)にはレーザ光を照射できないので、このような範囲における物体の検出が不能となるおそれがある。例えば、大型のトラック等が交差点を横切る場合に、トラックの影となる範囲に存在するバイク及び歩行者等を検出できないことがある。この現象をオクルージョンという。このような問題に対し、検出精度を向上させるために、複数台のレーザレーダが設置され、各レーザレーダによって取得された計測点情報を用いて物体検出が行われることがある。しかしながら、一般に、レーザレーダによって取得される複数の計測点情報のデータ量は大きいので、通信に時間を要し、監視領域での検出結果が得られるまで時間を要するおそれがある。
本開示は、検出精度を向上させつつ、検出に要する時間の増加を抑制可能な監視システムを説明する。
本開示の一側面に係る監視システムは、それぞれが地上に設置されるとともに監視領域の少なくとも一部を含む照射可能領域に向けてレーザ光を照射してレーザ光の反射光を受光することで照射可能領域内の各計測点の位置座標を含む計測点情報を生成する第1レーザセンサ及び第2レーザセンサを用いて、監視領域を監視するシステムである。この監視システムは、第1レーザセンサによって生成された複数の計測点情報を含む第1点群情報を処理することで第1部分情報を生成する第1処理装置と、第2レーザセンサによって生成された複数の計測点情報を含む第2点群情報を処理することで第2部分情報を生成する第2処理装置と、第1部分情報及び第2部分情報に基づいて、監視領域における検出結果を生成する検出装置と、を備える。第1処理装置は、第1点群情報から、予め設定された検出除外範囲に含まれる計測点の計測点情報を削除することによって、第1部分情報を生成する。
本開示によれば、検出精度を向上させつつ、検出に要する時間の増加を抑制することができる。
図1は、一実施形態に係る監視システムの構成を概略的に示す図である。 図2は、図1に示されるマスタレーザレーダ装置及びスレーブレーザレーダ装置の配置例を示す図である。 図3は、図2の斜視図である。 図4は、点群情報の一例を示す図である。 図5は、図1に示される処理装置のハードウェア構成を示す図である。 図6は、スレーブレーザレーダ装置が行う部分情報生成処理を示すフローチャートである。 図7は、マスタレーザレーダ装置が行う部分情報生成処理を示すフローチャートである。 図8は、マスタレーザレーダ装置が行う検出処理を示すフローチャートである。
[1]実施形態の概要
本開示の一側面に係る監視システムは、それぞれが地上に設置されるとともに監視領域の少なくとも一部を含む照射可能領域に向けてレーザ光を照射してレーザ光の反射光を受光することで照射可能領域内の各計測点の位置座標を含む計測点情報を生成する第1レーザセンサ及び第2レーザセンサを用いて、監視領域を監視するシステムである。この監視システムは、第1レーザセンサによって生成された複数の計測点情報を含む第1点群情報を処理することで第1部分情報を生成する第1処理装置と、第2レーザセンサによって生成された複数の計測点情報を含む第2点群情報を処理することで第2部分情報を生成する第2処理装置と、第1部分情報及び第2部分情報に基づいて、監視領域における検出結果を生成する検出装置と、を備える。第1処理装置は、第1点群情報から、予め設定された検出除外範囲に含まれる計測点の計測点情報を削除することによって、第1部分情報を生成する。
この監視システムでは、地上に設置された第1レーザセンサ及び第2レーザセンサを用いて、監視領域が監視される。これにより、監視領域における死角が少なくなるので、検出精度を向上させることができる。また、第1処理装置が、第1レーザセンサによって生成された複数の計測点情報を含む第1点群情報から、検出除外範囲に含まれる計測点の計測点情報を削除することで、第1部分情報を生成する。このため、第1部分情報のデータ量は、第1点群情報のデータ量よりも小さくなる。これにより、第1処理装置から検出装置に第1点群情報を送信する場合と比較して、第1処理装置から検出装置に第1部分情報を送信するために要する時間を短縮することができる。その結果、検出精度を向上させつつ、検出に要する時間の増加を抑制することが可能となる。
[2]実施形態の例示
以下、本開示の実施形態について、図面を参照しながら説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明を省略する。
図1は、一実施形態に係る監視システムの構成を概略的に示す図である。図2は、図1に示されるマスタレーザレーダ装置及びスレーブレーザレーダ装置の配置例を示す図である。図3は、図2の斜視図である。図4は、点群情報の一例を示す図である。図5は、図1に示される処理装置のハードウェア構成を示す図である。
図1に示される監視システム1は、後述のレーザセンサ4,6を用いて、監視領域Rdを監視するシステムである。より具体的には、監視システム1は、監視領域Rdに存在する物体(移動体)を検出する。監視領域Rdは、監視対象となる領域である。監視領域Rdは、道路上の任意の場所に設定され得る。監視領域Rdの設定場所として、例えば、交差点、合流地点、及び道路の途中が選択される。図2及び図3に示されるように、本実施形態では、監視領域Rdは、交差点Cに設定される。監視対象の物体としては、車両、及び歩行者(人)が挙げられる。
監視システム1は、スレーブレーザレーダ装置2と、マスタレーザレーダ装置3と、を備えている。スレーブレーザレーダ装置2及びマスタレーザレーダ装置3は、監視領域Rdの近傍に設置されている。本実施形態では、スレーブレーザレーダ装置2とマスタレーザレーダ装置3とは、交差点Cの対角線上に設けられている。交差点Cは、4本の道路Tr1~Tr4が合流する地点である。道路Tr1と道路Tr2とは、一方向に沿って延びており、交差点Cを介して互いに接続されている。道路Tr3と道路Tr4とは、道路Tr1,Tr2とは交差する方向に延びており、交差点Cを介して互いに接続されている。スレーブレーザレーダ装置2及びマスタレーザレーダ装置3は、地上に設置された支持部材P(図3参照)に固定されている。支持部材Pは、例えば、交差点C付近の路側に設けられた柱状構造体である。支持部材Pは、電柱、及び倉庫の壁であってもよい。
スレーブレーザレーダ装置2とマスタレーザレーダ装置3とは、通信回線Nによって互いに通信可能に接続されている。通信回線Nは、有線及び無線のいずれで構成されてもよい。通信回線Nは、インターネット回線及び移動体通信網等の非専用回線でもよく、専用回線でもよい。なお、交差点C等においてはスレーブレーザレーダ装置2とマスタレーザレーダ装置3との距離が長いので、通信回線Nとして専用回線を有線で配線することが困難であることがある。このため、本実施形態では、通信回線Nとして無線の通信回線が用いられ得る。
スレーブレーザレーダ装置2は、レーザセンサ4と、処理装置5と、を備えている。レーザセンサ4は、支持部材Pに固定されている。つまり、レーザセンサ4は、地上に設置されている。レーザセンサ4は、照射可能領域Raに向けてレーザ光を照射し、照射したレーザ光の反射光を受光することで、照射可能領域Ra内の各計測点の計測点情報を生成する。照射可能領域Raは、レーザセンサ4がレーザ光を照射可能な領域であり、例えば150m程度の範囲である。照射可能領域Raは、監視領域Rdの少なくとも一部を含む。
図4に示されるように、計測点情報は、時刻情報、及び位置情報を含む。時刻情報は、位置情報で示される計測点の計測点情報を生成した(反射光を受光した)時刻を示す情報である。位置情報は、計測点の位置座標を示す情報である。位置座標には、ヨー角、ピッチ角、及び深度で表される極座標系が用いられてもよく、x座標、y座標、及びz座標で表される3次元座標系が用いられてもよい。本実施形態で用いられる座標系CSは、3次元座標系である。座標系CSのx軸は、道路Tr1及び道路Tr2に沿って延び、道路Tr1から道路Tr2に向かう方向が正となるように設定される。座標系CSのy座標は、道路Tr3及び道路Tr4に沿って延び、道路Tr3から道路Tr4に向かう方向が正となるように設定される。座標系CSのz軸は、地表を基準(z=0)とし、地表よりも上方が正となるように設定される。計測点情報は、反射強度情報をさらに含んでもよい。反射強度情報は、位置情報で示される計測点から、時刻情報で示される時刻に受光した反射光の強度を示す情報である。
レーザセンサ4は、レーザ光の照射方向を変えることで、照射可能領域Raを主走査方向及び副走査方向に走査する。これにより、照射可能領域Raに含まれる複数の計測点にレーザ光が順に照射される。照射可能領域Raに含まれるすべての計測点へのレーザ光の一巡の照射は、1フレームと称される場合がある。照射可能領域Raへのレーザ光の照射は、所定の時間間隔で繰り返される。レーザセンサ4は、1フレーム分の複数の計測点情報を含む点群情報Dm1(第1点群情報)を1フレームごとに処理装置5に出力する。レーザセンサ4は、例えば、図4に示されるテーブル形式で点群情報Dm1を処理装置5に出力する。点群情報Dm1は、フレームID(Identifier)をさらに含んでもよい。フレームIDは、フレームを一意に識別可能な識別情報である。フレームIDとして、例えば、フレームの順番を示すフレーム番号が用いられ得る。
処理装置5は、レーザセンサ4によって生成された複数の計測点情報を含む点群情報Dm1を処理することで部分情報Dp1(第1部分情報)を生成する装置である。処理装置5は、例えば、コンピュータ等の情報処理装置によって構成される。
図5に示されるように、処理装置5は、物理的には、1又は複数のプロセッサ101、RAM(Random Access Memory)及びROM(Read Only Memory)等の主記憶装置102、ハードディスク装置等の補助記憶装置103、並びに、データ送受信デバイスである通信装置104等のハードウェアを備えるコンピュータとして構成され得る。処理装置5の図1に示される各機能部は、各機能を実現させるためのプログラムモジュールが処理装置5を構成するコンピュータにおいて実行されることにより実現される。これらのプログラムモジュールを含むプログラムは、例えば、ROM又は半導体メモリ等のコンピュータ読み取り可能な記録媒体によって提供される。また、プログラムは、データ信号としてネットワークを介して提供されてもよい。
処理装置5は、機能的には、取得部51と、記憶部52と、処理部53と、出力部54と、を備えている。
取得部51は、レーザセンサ4から点群情報Dm1を取得する。取得部51は、取得した点群情報Dm1を処理部53に出力する。
記憶部52は、各種設定情報を記憶する。各種設定情報には、検出除外範囲を示す除外情報が含まれる。検出除外範囲は、監視対象外となる範囲である。検出除外範囲は、監視領域Rd外の範囲、及び監視領域Rdのうちの監視不要な範囲を含む。検出除外範囲は、予め設定されている。例えば、入力装置(不図示)を用いて、ユーザが検出除外範囲を設定する。例えば、交差点Cを模擬した3次元空間がディスプレイ等の出力装置(不図示)に表示され、ユーザが枠等によって検出除外範囲を設定する。
例えば、地面以下、及び道路の上空は、監視されなくてもよい。このため、地面以下を除外するために、検出除外範囲の高さとして、地表を基準として所定の高さより低い範囲が設定されてもよい。例えば、z<20cmの範囲が検出除外範囲として設定される。上空を除外するために、検出除外範囲の高さとして、地表を基準として所定の高さより高い範囲が設定されてもよい。例えば、z>500cmの範囲が検出除外範囲として設定される。また、交差点C内及び交差点Cの周囲には、信号機、支柱、電柱、街路樹、及び高架等の固定物(静止物)がある。これらの固定物は、監視不要であるので、これらの固定物を除外するために、検出除外範囲として固定物の範囲が設定されてもよい。固定物の範囲は、xy平面における固定物の境界を示す座標(x,y)として設定されてもよい。
処理部53は、点群情報Dm1を処理することで部分情報Dp1を生成する。具体的には、処理部53は、取得部51から点群情報Dm1を受け取ると、記憶部52から読み出した除外情報によって示される検出除外範囲に含まれる計測点の計測点情報を、点群情報Dm1から除外(削除)する。これにより、監視対象外の計測点が除外されるとともに、ノイズ等に起因する異常な計測点情報が除外される。処理部53は、残りの計測点情報を含む部分情報Dp1を出力部54に出力する。部分情報Dp1は、フレームIDをさらに含んでもよい。
出力部54は、処理装置5の外部に部分情報Dp1を出力する。具体的には、出力部54は、処理部53から部分情報Dp1を受け取ると、通信回線Nを介して、部分情報Dp1をマスタレーザレーダ装置3に送信する。
このように、処理装置5は、点群情報Dm1から、検出除外範囲に含まれる計測点の計測点情報を削除することによって、部分情報Dp1を生成し、部分情報Dp1をマスタレーザレーダ装置3に送信する。このため、部分情報Dp1のデータ量は、点群情報Dm1のデータ量よりも小さくなる。
マスタレーザレーダ装置3は、レーザセンサ6と、処理装置7と、検出装置8と、を備えている。レーザセンサ6は、支持部材Pに固定されている。つまり、レーザセンサ6は、地上に設置されている。レーザセンサ6は、レーザセンサ4と同様に、照射可能領域Rbに向けてレーザ光を照射し、照射したレーザ光の反射光を受光することで、照射可能領域Rb内の各計測点の計測点情報を生成する。照射可能領域Rbは、レーザセンサ6がレーザ光を照射可能な領域であり、例えば150m程度の範囲である。照射可能領域Rbは、監視領域Rdの少なくとも一部を含む。レーザセンサ6においても、レーザセンサ4と同一の座標系CSが用いられる。レーザセンサ6は、1フレーム分の複数の計測点情報を含む点群情報Dm2(第2点群情報)を1フレームごとに処理装置7に出力する。点群情報Dm2は、フレームIDをさらに含んでもよい。
なお、レーザセンサ6の時刻は、レーザセンサ4の時刻と同期している。レーザセンサ4の時刻とレーザセンサ6の時刻との同期は、例えば、NTP(Network Time Protocol)を用いて行われる。このため、レーザセンサ6の1フレームの開始時刻及び終了時刻は、レーザセンサ4の1フレームの開始時刻及び終了時刻と一致している。1フレームの開始時刻は、そのフレームの最初の計測点情報の生成(取得)時刻である。1フレームの終了時刻は、そのフレームの最後の計測点情報の生成(取得)時刻である。
処理装置7は、レーザセンサ6によって生成された複数の計測点情報を含む点群情報Dm2を処理することで部分情報Dp2(第2部分情報)を生成する装置である。処理装置7は、例えば、コンピュータ等の情報処理装置によって構成される。処理装置7の物理的な構成は、処理装置5の物理的な構成と同様である。処理装置7の図1に示される各機能部は、各機能を実現させるためのプログラムモジュールが処理装置7を構成するコンピュータにおいて実行されることにより実現される。これらのプログラムモジュールを含むプログラムは、例えば、ROM又は半導体メモリ等のコンピュータ読み取り可能な記録媒体によって提供される。また、プログラムは、データ信号としてネットワークを介して提供されてもよい。処理装置7は、機能的には、取得部71と、記憶部72と、処理部73と、出力部74と、を備えている。
取得部71は、レーザセンサ6から点群情報Dm2を取得する。取得部71は、取得した点群情報Dm2を処理部73に出力する。
記憶部72は、各種設定情報を記憶する。各種設定情報には、検出除外範囲を示す除外情報が含まれる。検出除外範囲は、予め設定されている。例えばスレーブレーザレーダ装置2と同様に、入力装置を用いて、ユーザが検出除外範囲を設定する。処理装置7に設定されている検出除外範囲は、処理装置5に設定されている検出除外範囲と同一であってもよく、異なっていてもよい。処理装置5及び処理装置7で同じ検出除外範囲を設定する場合には、処理装置7は、処理装置7に設定された検出除外範囲を示す除外情報を処理装置5に送信してもよい。
処理部73は、点群情報Dm2を処理することで部分情報Dp2を生成する。具体的には、処理部73は、取得部71から点群情報Dm2を受け取ると、記憶部72から読み出した除外情報によって示される検出除外範囲に含まれる計測点の計測点情報を点群情報Dm2から除外する。これにより、監視対象外の計測点が除外されるとともに、ノイズ等に起因する異常な計測点情報が除外される。処理部73は、残りの計測点情報を含む部分情報Dp2を出力部74に出力する。部分情報Dp2は、フレームIDをさらに含んでもよい。
出力部74は、処理装置7の外部に部分情報Dp2を出力する。具体的には、出力部74は、処理部73から部分情報Dp2を受け取ると、部分情報Dp2を検出装置8に出力する。
このように、処理装置7は、点群情報Dm2から、検出除外範囲に含まれる計測点の計測点情報を削除することによって、部分情報Dp2を生成し、部分情報Dp2を検出装置8に出力する。このため、部分情報Dp2のデータ量は、点群情報Dm2のデータ量よりも小さくなる。
検出装置8は、部分情報Dp1及び部分情報Dp2に基づいて、監視領域Rdにおける検出結果を生成する装置である。検出装置8は、例えば、コンピュータ等の情報処理装置によって構成される。検出装置8の物理的な構成は、処理装置5の物理的な構成と同様である。検出装置8の図1に示される各機能部は、各機能を実現させるためのプログラムモジュールが検出装置8を構成するコンピュータにおいて実行されることにより実現される。これらのプログラムモジュールを含むプログラムは、例えば、ROM又は半導体メモリ等のコンピュータ読み取り可能な記録媒体によって提供される。また、プログラムは、データ信号としてネットワークを介して提供されてもよい。なお、処理装置7と検出装置8とが1つの情報処理装置によって構成されてもよい。この場合、処理装置7及び検出装置8の各機能部の機能を実現させるためのプログラムモジュールを含むプログラムが提供されてもよい。
検出装置8は、機能的には、取得部81と、記憶部82と、合成部83と、検出部84と、出力部85と、を備えている。
取得部81は、処理装置5から部分情報Dp1を取得するとともに、処理装置7から部分情報Dp2を取得する。送信遅延等に起因して、同一フレームであっても、取得部81が部分情報Dp1を受信するタイミングと、取得部81が部分情報Dp2を受信するタイミングと、が互いに異なることがある。本実施形態では、部分情報Dp1は通信回線Nを介して送信されるのに対し、部分情報Dp2はマスタレーザレーダ装置3の内部通信線を介して送信されるので、取得部81は、部分情報Dp2を受信した後に、部分情報Dp1を受信する。このため、取得部81は、部分情報Dp2を記憶部82に出力し、記憶部82に記憶する。取得部81は、部分情報Dp1を合成部83に出力する。
記憶部82は、フレームごとに部分情報Dp2を記憶する。記憶部82は、フレームごとに異なるファイルに部分情報Dp2を記憶してもよい。記憶部82は、処理装置7から受信した部分情報Dp2に含まれる複数の計測点情報を、それぞれの計測点情報の時刻情報で示される時刻でソートして、各フレームの部分情報Dp2を記憶してもよい。この場合、計測点の座標からフレームが識別され得るので、フレームIDは省略されてもよい。
合成部83は、部分情報Dp1と、部分情報Dp1のフレームと同じフレームの部分情報Dp2とを合成(マージ)することにより、合成情報を生成する。具体的に説明すると、まず、合成部83は、取得部81から部分情報Dp1を受け取ると、その部分情報Dp1に含まれる複数の計測点情報の時刻情報によって示される時刻のうち、最古時刻と、最新時刻と、を抽出する。レーザセンサ4の1フレームの開始時刻及び終了時刻と、レーザセンサ6の1フレームの開始時刻及び終了時刻とは一致しているので、同一フレームでは、部分情報Dp1の最古時刻及び最新時刻は、部分情報Dp2の最古時刻及び最新時刻とおおよそ一致している。このため、合成部83は、記憶部82に記憶されている複数のフレームの部分情報Dp2のうち、抽出した最古時刻及び最新時刻に近い最古時刻及び最新時刻を有するフレームの部分情報Dp2を取得する。
記憶部82には、各フレームの開始時刻及び終了時刻が予め記憶されていてもよい。この場合、合成部83は、部分情報Dp1の最古時刻及び最新時刻によって規定される時間帯を、その開始時刻と終了時刻との間に含むフレームを特定し、当該フレームの部分情報Dp2を取得する。また、部分情報Dp1及び部分情報Dp2がフレームIDを含む場合には、合成部83は、記憶部82に記憶されている複数のフレームの部分情報Dp2のうち、部分情報Dp1のフレームIDと同一のフレームIDを含む部分情報Dp2を取得する。
合成部83は、部分情報Dp1と取得した部分情報Dp2とを合成する。より具体的には、合成部83は、部分情報Dp1に含まれる複数の計測点情報と、部分情報Dp2に含まれる複数の計測点情報と、を含む合成情報を生成する。合成情報は、例えば、部分情報Dp1に含まれる複数の計測点情報と、部分情報Dp2に含まれる複数の計測点情報と、をリスト化(配列)したテーブルの形式で表現され得る。部分情報Dp1及び部分情報Dp2は、互いに同一の計測点の計測点情報を含み得る。このため、2つの計測点情報が互いに同一の計測点の計測点情報である場合には、合成部83は、いずれか一方を削除してもよい。合成部83は、例えば、2つの計測点情報の位置座標間の距離が、予め設定された距離以下である場合に、これら2つの計測点情報は同一の計測点の計測点情報と判定してもよい。合成部83は、合成情報を検出部84に出力する。
検出部84は、合成情報に基づいて、物体を検出する。具体的には、検出部84は、合成部83から合成情報を受け取ると、合成情報に含まれる複数の計測点情報をクラスタリングする。つまり、検出部84は、監視領域Rd内の複数の計測点のうち、近傍の計測点同士をつなぎ合わせ、クラスタ(塊)に分割する。検出部84は、得られたクラスタを単一の検出物体(車両及び人等)として検出する。検出部84は、検出物体の寸法(幅、奥行き、及び高さ)及び位置を計算する。検出物体の位置は、検出物体の四隅(前方右端、前方左端、後方右端、及び後方左端)の座標でもよく、クラスタに含まれる計測点情報の位置の平均でもよく、検出物体の重心位置でもよい。
検出部84は、検出物体について、検出結果を出力部85に出力する。検出結果は、検出物体の寸法を示す寸法情報、検出物体の位置を示す位置情報、及び検出物体を検出した検出時刻を示す検出時刻情報を含む。検出時刻は、例えば、クラスタに含まれる各計測点の計測点情報が有する時刻情報によって示される時刻の平均時刻である。
なお、検出部84は、検出物体を追跡してもよい。つまり、検出部84は、異なるフレーム(異なる時刻)において検出された検出物体に対し、物体IDの対応付けを行ってもよい。物体IDは、検出物体を一意に識別可能な識別情報である。具体的には、検出部84は、検出物体の位置及び寸法、並びに、過去の観測結果から推定される速度及び角速度等に基づいて、現在のフレームにおいて検出された検出物体が、過去のフレームにおいて検出された検出物体のいずれかと対応しているかを判定する。
検出部84は、現在のフレームにおいて検出された検出物体が、過去のフレームにおいて検出された検出物体のいずれとも対応しないと判定した場合に、新規の検出物体として当該検出物体に新しい物体IDを付与する。検出部84は、現在のフレームにおいて検出された検出物体が、過去のフレームにおいて検出された検出物体と対応すると判定した場合に、対応する検出物体に付与されている物体IDを現在のフレームにおいて検出された検出物体に付与する。検出部84は、物体IDが付与されている検出物体のうち、長時間検出されていない検出物体について、物体IDを削除する。
なお、複数の検出物体を追跡する(ID付けする)問題は、マルチターゲットトラッキング問題と称される。検出部84は、公知のアルゴリズムを用いて、各検出物体を追跡する。公知のアルゴリズムとしては、SNN(Suboptimal Nearest Neighbor)、GNN(Global Nearest Neighbor)、及びJPDAF(Joint Probabilistic Data Association Filter)等が挙げられる。この場合、検出部84は、物体ID、物体位置情報、及び検出時刻情報等を、検出結果として出力部85に出力する。
出力部85は、検出装置8(マスタレーザレーダ装置3)の外部に検出結果を出力する。出力部85は、例えば、不図示の外部装置に検出結果を送信する。外部装置の例としては、上位管理システム、及び交通管制システムが挙げられる。検出結果の送信は、無線通信で行われてもよく、有線通信で行われてもよい。なお、出力部85は、検出結果のデータ形式を外部装置が処理しやすいデータ形式に変換し、変換された検出結果を外部装置に送信してもよい。
次に、スレーブレーザレーダ装置2が行う処理について説明する。図6は、スレーブレーザレーダ装置が行う部分情報生成処理を示すフローチャートである。図6に示される部分情報生成処理は、例えば、スレーブレーザレーダ装置2が起動されることによって開始される。
まず、レーザセンサ4が、レーザセンサ4の時刻とレーザセンサ6の時刻とを一致させるために、時刻の同期を行う(ステップS11)。例えば、レーザセンサ4は、NTPを用いて時刻を設定する。
時刻の同期が行われた後、レーザセンサ4は、照射可能領域Raに含まれる複数の計測点にレーザ光を順に照射し、照射したレーザ光の反射光を受光することで、照射可能領域Ra内の各計測点の計測点情報を生成する。なお、レーザセンサ4は、レーザセンサ6がレーザ光の照射を開始するタイミングと同じタイミングで、レーザ光の照射を開始する。このため、レーザセンサ4の各フレームの開始時刻及び終了時刻は、レーザセンサ6の各フレームの開始時刻及び終了時刻と一致する。そして、レーザセンサ4は、1フレーム分の複数の計測点情報を含む点群情報Dm1を処理装置5に出力する。
続いて、取得部51は、レーザセンサ4から点群情報Dm1を取得する(ステップS12)。そして、取得部51は、取得した点群情報Dm1を処理部53に出力する。
続いて、処理部53は、点群情報Dm1のデータ量を削減する(ステップS13)。具体的には、処理部53は、取得部51から点群情報Dm1を受け取ると、記憶部52から読み出した除外情報によって示される検出除外範囲に含まれる計測点の計測点情報を点群情報Dm1から除外する。そして、処理部53は、残りの計測点情報を含む部分情報Dp1を出力部54に出力する。
続いて、出力部54は、処理部53から部分情報Dp1を受け取ると、通信回線Nを介して、部分情報Dp1をマスタレーザレーダ装置3に送信する(ステップS14)。そして、スレーブレーザレーダ装置2は、処理を終了するか否かを判定する(ステップS15)。スレーブレーザレーダ装置2が処理を終了しないと判定した場合(ステップS15;NO)、レーザセンサ4による照射が再び行われ、ステップS12~ステップS15の処理が行われる。一方、スレーブレーザレーダ装置2が処理を終了すると判定した場合(ステップS15;YES)、スレーブレーザレーダ装置2が行う部分情報生成処理は終了する。なお、スレーブレーザレーダ装置2は、ユーザが監視を停止するための操作を行った場合等に、処理を終了すると判定する。
次に、マスタレーザレーダ装置3が行う処理について説明する。図7は、マスタレーザレーダ装置が行う部分情報生成処理を示すフローチャートである。図7に示される部分情報生成処理は、例えば、マスタレーザレーダ装置3が起動されることによって開始される。
まず、レーザセンサ6が、レーザセンサ4の時刻とレーザセンサ6の時刻とを一致させるために、時刻の同期を行う(ステップS31)。例えば、レーザセンサ6は、NTPを用いて時刻を設定する。
時刻の同期が行われた後、レーザセンサ6は、照射可能領域Rbに含まれる複数の計測点にレーザ光を順に照射し、照射したレーザ光の反射光を受光することで、照射可能領域Rb内の各計測点の計測点情報を生成する。そして、レーザセンサ6は、1フレーム分の複数の計測点情報を含む点群情報Dm2を処理装置7に出力する。
続いて、取得部71は、レーザセンサ6から点群情報Dm2を取得する(ステップS32)。そして、取得部71は、取得した点群情報Dm2を処理部73に出力する。
続いて、処理部73は、点群情報Dm2のデータ量を削減する(ステップS33)。具体的には、処理部73は、取得部71から点群情報Dm2を受け取ると、記憶部72から読み出した除外情報によって示される検出除外範囲に含まれる計測点の計測点情報を点群情報Dm2から除外する。そして、処理部73は、残りの計測点情報を含む部分情報Dp2を出力部74に出力する。
続いて、出力部74は、処理部73から部分情報Dp2を受け取ると、部分情報Dp2を検出装置8に出力する。そして、検出装置8の取得部81は、処理装置7(出力部74)から部分情報Dp2を受け取ると、部分情報Dp2を記憶部82に出力し、記憶部82に記憶する(ステップS34)。
続いて、マスタレーザレーダ装置3は、処理を終了するか否かを判定する(ステップS35)。マスタレーザレーダ装置3が処理を終了しないと判定した場合(ステップS35;NO)、レーザセンサ6による照射が再び行われ、ステップS32~ステップS35の処理が行われる。一方、マスタレーザレーダ装置3が処理を終了すると判定した場合(ステップS35;YES)、マスタレーザレーダ装置3が行う部分情報生成処理は終了する。なお、マスタレーザレーダ装置3は、ユーザが監視を停止するための操作を行った場合等に、処理を終了すると判定する。
次に、マスタレーザレーダ装置3が行う検出処理について説明する。図8は、マスタレーザレーダ装置が行う検出処理を示すフローチャートである。図8に示される検出処理は、例えば、マスタレーザレーダ装置3が起動されることによって開始される。
まず、取得部81は、通信回線Nを介してスレーブレーザレーダ装置2から部分情報Dp1を受信したか否かを判定する(ステップS41)。取得部81は、部分情報Dp1を受信していないと判定した場合(ステップS41;NO)、部分情報Dp1を受信するまでステップS41の判定を繰り返す。一方、取得部81は、部分情報Dp1を受信したと判定した場合(ステップS41;YES)、受信した部分情報Dp1を合成部83に出力する。
続いて、合成部83は、取得部81から部分情報Dp1を受け取ると、部分情報Dp1と、当該部分情報Dp1と同一フレームの部分情報Dp2とを合成する(ステップS42)。具体的には、まず、合成部83は、部分情報Dp1に含まれる複数の計測点情報の時刻情報によって示される時刻のうち、最古時刻と、最新時刻と、を抽出する。そして、合成部83は、記憶部82に記憶されている複数のフレームの部分情報Dp2のうち、抽出した最古時刻及び最新時刻を含むフレームの部分情報Dp2を取得する。そして、合成部83は、部分情報Dp1と、記憶部82から取得した部分情報Dp2とを合成することで、合成情報を生成する。このとき、2つの計測点情報が同一の計測点の計測点情報である場合には、合成部83は、いずれか一方を削除してもよい。そして、合成部83は、合成情報を検出部84に出力する。
続いて、検出部84は、合成情報に基づいて、物体を検出する(ステップS43)。そして、検出部84は、検出結果を出力部85に出力する。続いて、出力部85は、外部装置に検出結果を送信する(ステップS44)。なお、出力部85は、検出結果のデータ形式を外部装置が処理しやすいデータ形式に変換し、変換された検出結果を外部装置に送信してもよい。以上により、マスタレーザレーダ装置3の検出処理が終了する。
以上説明したように、監視システム1では、地上に設置されたレーザセンサ4及びレーザセンサ6を用いて、監視領域Rdが監視される。例えば、監視領域Rdのうち、レーザセンサ4で計測点情報を取得できない範囲を、レーザセンサ6によって補完することができる。これにより、監視領域Rdにおける死角が少なくなるので、検出精度を向上させることができる。
また、レーザセンサ4によって取得(生成)される点群情報Dm1のデータ量及びレーザセンサ6によって取得(生成)される点群情報Dm2のデータ量は、一般に大きいので、スレーブレーザレーダ装置2の設置数が増えるほど、また通信回線Nの通信速度が遅いほど、リアルタイムでの処理が困難となる。これに対して、監視システム1では、検出除外範囲に含まれる計測点の計測点情報が、マスタレーザレーダ装置3に送信されるデータから除外される。つまり、処理装置5が、レーザセンサ4によって生成された複数の計測点情報を含む点群情報Dm1から、検出除外範囲に含まれる計測点の計測点情報を削除することで、部分情報Dp1を生成する。このため、部分情報Dp1のデータ量は、点群情報Dm1のデータ量よりも小さくなる。これにより、処理装置5から検出装置8に点群情報Dm1を送信する場合と比較して、処理装置5から検出装置8に部分情報Dp1を送信するために要する時間を短縮することができる。その結果、検出精度を向上させつつ、検出に要する時間の増加を抑制することが可能となる。
このように、監視システム1では、部分情報Dp1の送信に要する時間が短縮されるので、レーザセンサの数を抑えつつ、広い交差点Cをリアルタイムに監視することが可能となる。また、スレーブレーザレーダ装置2とマスタレーザレーダ装置3との間の通信データ量が削減されるので、通信回線Nの通信速度が遅い(通信帯域が狭い)場合でも、検出に要する時間の増加を抑えることができる。
同様に、処理装置7が、レーザセンサ6によって生成された複数の計測点情報を含む点群情報Dm2から、検出除外範囲に含まれる計測点の計測点情報を削除することで、部分情報Dp2を生成する。このため、部分情報Dp2のデータ量は、点群情報Dm2のデータ量よりも小さくなる。これにより、処理装置7から検出装置8に点群情報Dm2を送信する場合と比較して、処理装置7から検出装置8に部分情報Dp2を送信するために要する時間を短縮することができる。その結果、検出精度を向上させつつ、検出に要する時間の増加を抑制することが可能となる。
以上、本開示の実施形態について説明したが、本開示は上記実施形態に限定されない。
例えば、交差点Cは、T字路でもよい。監視領域Rdの設定場所は、交差点に限られず、2以上の道路が合流する合流地点でもよく、ビル等の施設の出口と道路との合流地点でもよく、道路の途中地点でもよい。監視領域Rdは、一般道に設定されてもよく、高速道路に設定されてもよい。また、監視領域Rdは、踏切、工場、及び作業現場等に設定されてもよい。
スレーブレーザレーダ装置2及びマスタレーザレーダ装置3の配置は、図2及び図3に示された配置に限られない。監視システム1は、2以上のスレーブレーザレーダ装置2を備えてもよい。各スレーブレーザレーダ装置2は、検出装置8を備えていてもよい。例えば、マスタレーザレーダ装置3が故障した場合に、マスタレーザレーダ装置3を停止させ、いずれかのスレーブレーザレーダ装置2がマスタレーザレーダ装置として動作することで、検出処理を継続してもよい。
上記実施形態では、スレーブレーザレーダ装置2及びマスタレーザレーダ装置3はそれぞれ、1つの装置として構成されているが、2以上の装置で構成されてもよい。例えば、処理装置5は、スレーブレーザレーダ装置2とは別体であってもよい。処理装置7及び検出装置8は、マスタレーザレーダ装置3とは別体であってもよい。
また、検出装置8がレーザレーダとしての機能を有しない個別の計算機(情報処理装置)で構成されてもよい。この場合、マスタレーザレーダ装置3に代えてスレーブレーザレーダ装置2が設けられる。
上記実施形態では、スレーブレーザレーダ装置2及びマスタレーザレーダ装置3が、支持部材Pに固定されているが、処理装置5,7及び検出装置8は、支持部材Pに固定されていなくてもよい。
監視システム1(スレーブレーザレーダ装置2)は、レーザセンサ4を備えていなくてもよい。この場合、処理装置5は、外部のレーザセンサ4から点群情報Dm1を取得する。同様に、監視システム1(マスタレーザレーダ装置3)は、レーザセンサ6を備えていなくてもよい。この場合、処理装置7は、外部のレーザセンサ6から点群情報Dm2を取得する。
処理装置5は、レーザセンサ4を備えていてもよい。処理装置7は、レーザセンサ6を備えていてもよい。
レーザセンサ4,6として、全周囲方向にレーザ光を照射できるタイプの3次元レーザレーダが用いられてもよい。
上記実施形態では、レーザセンサ4は、1フレーム分の複数の計測点情報を1フレームごとに処理装置5に出力しているが、複数の計測点情報を1フレーム以外の単位で処理装置5に出力してもよい。レーザセンサ4は、計測点情報を1つずつ順に処理装置5に出力してもよい。同様に、レーザセンサ6は、複数の計測点情報を1フレーム以外の単位で処理装置7に出力してもよい。レーザセンサ6は、計測点情報を1つずつ順に処理装置7に出力してもよい。
上記実施形態では、処理装置5は、1フレーム分の部分情報Dp1を検出装置8に送信しているが、2以上のフレーム分の部分情報Dp1をまとめて検出装置8に送信してもよい。同様に、上記実施形態では、処理装置7は、1フレーム分の部分情報Dp2を検出装置8に送信しているが、2以上のフレーム分の部分情報Dp2をまとめて検出装置8に送信してもよい。
マスタレーザレーダ装置3は、検出結果を用いて、さらなる処理を行ってもよい。例えば、マスタレーザレーダ装置3は、検出結果を用いて交通違反車両の監視を行ってもよい。
例えば、2つの交差点の距離が短い場合、2つの交差点のそれぞれにマスタレーザレーダ装置3が設置され、2つの交差点を結ぶ道路の中間地点に1つのスレーブレーザレーダ装置2が設置されることがある。このとき、1つのスレーブレーザレーダ装置2は、2つの監視システムに属し、各監視システムのマスタレーザレーダ装置3に部分情報Dp1を送信してもよい。この例では、2つの監視システムにおける監視領域Rdは互いに異なっている。
処理装置7は、通信回線Nを介することなく、マスタレーザレーダ装置3内部の通信線(有線)を用いて部分情報Dp2を検出装置8に出力している。このため、マスタレーザレーダ装置3では、点群情報Dm2のデータ量が削減されなくてもよい。つまり、処理部73は、点群情報Dm2を部分情報Dp2として出力部74に出力してもよい。
1 監視システム
4 レーザセンサ(第1レーザセンサ)
5 処理装置(第1処理装置)
6 レーザセンサ(第2レーザセンサ)
7 処理装置(第2処理装置)
8 検出装置
Dm1 点群情報(第1点群情報)
Dm2 点群情報(第2点群情報)
Dp1 部分情報(第1部分情報)
Dp2 部分情報(第2部分情報)
Ra 照射可能領域
Rb 照射可能領域
Rd 監視領域

Claims (1)

  1. それぞれが地上に設置されるとともに監視領域の少なくとも一部を含む照射可能領域に向けてレーザ光を照射して前記レーザ光の反射光を受光することで前記照射可能領域内の各計測点の位置座標を含む計測点情報を生成する第1レーザセンサ及び第2レーザセンサを用いて、前記監視領域を監視する監視システムであって、
    第1レーザレーダ装置と、
    前記第1レーザレーダ装置と通信回線によって通信可能に接続されている第2レーザレーダ装置と、
    を備え、
    前記第1レーザレーダ装置は、前記第1レーザセンサによって生成された複数の計測点情報を含む第1点群情報を処理することで第1部分情報を生成する第1処理装置を備え
    前記第2レーザレーダ装置は、前記第2レーザセンサによって生成された複数の計測点情報を含む第2点群情報を第2部分情報として出力する第2処理装置と、前記第1部分情報及び前記第2部分情報に基づいて、前記監視領域における検出結果を生成する検出装置と、を備え、
    前記第1処理装置は、前記第1点群情報から、予め設定された検出除外範囲に含まれる計測点の計測点情報を削除することによって、前記第1部分情報を生成し、前記通信回線を介して前記第1部分情報を前記検出装置に出力し、
    前記第2処理装置は、前記第2レーザレーダ装置の内部通信線を介して前記第2部分情報を前記検出装置に出力する、監視システム。
JP2018216366A 2018-11-19 2018-11-19 監視システム Active JP7205179B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018216366A JP7205179B2 (ja) 2018-11-19 2018-11-19 監視システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018216366A JP7205179B2 (ja) 2018-11-19 2018-11-19 監視システム

Publications (2)

Publication Number Publication Date
JP2020085521A JP2020085521A (ja) 2020-06-04
JP7205179B2 true JP7205179B2 (ja) 2023-01-17

Family

ID=70909904

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018216366A Active JP7205179B2 (ja) 2018-11-19 2018-11-19 監視システム

Country Status (1)

Country Link
JP (1) JP7205179B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022138211A (ja) * 2021-03-10 2022-09-26 オムロン株式会社 物体検出システム、制御装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003149322A (ja) 2001-11-08 2003-05-21 Toshiba Corp 物体位置検出装置
JP2006047134A (ja) 2004-08-05 2006-02-16 Advanced Telecommunication Research Institute International 歩行者位置検出装置
JP2008051599A (ja) 2006-08-23 2008-03-06 Mitsubishi Electric Corp 通信制御方法及びこれを用いたレーダシステム
CN101387700A (zh) 2008-10-12 2009-03-18 北京大学 基于多激光扫描仪的数据融合方法及系统
JP2009085927A (ja) 2007-10-03 2009-04-23 Hitachi Information & Communication Engineering Ltd 物体検知システム及びその方法
JP2017067756A (ja) 2015-10-02 2017-04-06 パナソニック株式会社 物体検出装置及び物体検出方法
JP2017166846A (ja) 2016-03-14 2017-09-21 株式会社デンソー 物体認識装置
JP2021043475A (ja) 2017-12-25 2021-03-18 住友電気工業株式会社 送信装置、点群データ収集システムおよびコンピュータプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3376864B2 (ja) * 1997-07-23 2003-02-10 株式会社デンソー 車両用障害物認識装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003149322A (ja) 2001-11-08 2003-05-21 Toshiba Corp 物体位置検出装置
JP2006047134A (ja) 2004-08-05 2006-02-16 Advanced Telecommunication Research Institute International 歩行者位置検出装置
JP2008051599A (ja) 2006-08-23 2008-03-06 Mitsubishi Electric Corp 通信制御方法及びこれを用いたレーダシステム
JP2009085927A (ja) 2007-10-03 2009-04-23 Hitachi Information & Communication Engineering Ltd 物体検知システム及びその方法
CN101387700A (zh) 2008-10-12 2009-03-18 北京大学 基于多激光扫描仪的数据融合方法及系统
JP2017067756A (ja) 2015-10-02 2017-04-06 パナソニック株式会社 物体検出装置及び物体検出方法
JP2017166846A (ja) 2016-03-14 2017-09-21 株式会社デンソー 物体認識装置
JP2021043475A (ja) 2017-12-25 2021-03-18 住友電気工業株式会社 送信装置、点群データ収集システムおよびコンピュータプログラム

Also Published As

Publication number Publication date
JP2020085521A (ja) 2020-06-04

Similar Documents

Publication Publication Date Title
JP7205181B2 (ja) 監視システム及び処理装置
US20220277557A1 (en) Target detection method based on fusion of vision, lidar, and millimeter wave radar
EP3283843B1 (en) Generating 3-dimensional maps of a scene using passive and active measurements
JP4486737B2 (ja) モービルマッピング用空間情報生成装置
TWI710798B (zh) 被搭載於移動體處之雷射掃描系統、被搭載於移動體處之雷射掃描器之雷射掃描方法及雷射掃描程式
JP2004529343A (ja) 画像解析装置
Wisultschew et al. 3D-LIDAR based object detection and tracking on the edge of IoT for railway level crossing
JPH08313632A (ja) 警報発生装置および方法,ならびにこの警報発生装置を搭載した車両
US20210223363A1 (en) Object detection on a path of travel and obstacle detection on railway tracks using free space information
US11609314B2 (en) Lidar system design to mitigate Lidar cross-talk
JP5712900B2 (ja) 周辺物体検出装置
JP7277256B2 (ja) 作業分析システム、作業分析装置、および作業分析プログラム
WO2022198637A1 (zh) 点云滤噪方法、系统和可移动平台
JP2016125843A (ja) 移動体、測定システム、測定方法及びプログラム
JP2006012178A (ja) 駐車車両検知方法及び駐車車両検知システム
JP7205179B2 (ja) 監視システム
JP2013114610A (ja) 画像処理装置、運転支援装置、画像処理方法及び画像処理プログラム
JP7205180B2 (ja) 監視システム及び処理装置
JP2023037355A (ja) 監視システム、監視方法、及び、監視プログラム
JP2021086298A (ja) 移動体の制御装置及び方法
JP3740531B2 (ja) 駐車車両検知方法、検知システム及び駐車車両検出装置
JP2006258507A (ja) 前方物体認識装置
KR101947581B1 (ko) 포인트 클라우드 정보 공유 장치
JP2010249569A (ja) 障害物検出方法及びレーザ距離測定装置
WO2020054110A1 (ja) 物体検出システム、および物体検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210708

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221212

R151 Written notification of patent or utility model registration

Ref document number: 7205179

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151