JP7043738B2 - 対象物検知システム - Google Patents

Description

本開示は、対象物検知システムに関する。

従来、センサによって対象物を検出し、検出された対象物について危険であるか否かを判定する物体認識装置がある（例えば、特許文献１参照）。特許文献１の物体認識装置は、車両に搭載され、レーザを照射して車両前方の対象物を探知し、衝突の可能性がある物体を検出している。

特開２０１０－１８１２４６号公報

従来技術において、移動体の移動速度が上昇すると、移動体自体の振動が大きくなり、移動体に搭載されているセンサによって取得されたデータは、振動の影響を受けたものとなる。また、センサが移動体に搭載されておらず、移動体の周囲の対象物を検出するシステムにおいても、移動体の移動速度が上昇すると、移動体自体の振動が大きくなり、複数のデータ間における同一対象物の位置関係の把握が難しくなる。

本発明は、移動体の移動に伴う振動の影響を抑制して、対象物の検出精度の低下を抑えることが可能な対象物検知システムを提供することを目的とする。

本開示の一態様に係る対象物検知システムは、少なくとも移動体の周囲の線状又は帯状の第１領域の情報を取得する第１センサと、少なくとも第１領域の一部を含む第２領域の画像情報を取得する第２センサと、第１センサで取得した情報に基づいて対象物を検出する第１処理部と、第２センサで取得した画像情報及び第１処理部で検出された対象物の情報を第１処理部から出力された動作開始信号を受信することをきっかけとして照合する第２処理部と、隣り合う複数の第１領域同士の情報について相対的な位置関係を補正する第１補正部と、を含み、第１領域の情報は、移動体の移動方向に連続する連続体に関する情報を含み、第１補正部は、隣り合う複数の第１領域の連続体同士が連続するように、複数の第１領域同士の情報について相対的な位置関係を補正する。

この対象物検知システムでは、移動体を移動させながら第１センサ及び第２センサによって移動体の周囲の第１領域の情報を取得する。第２処理部は、第２センサで取得された画像情報と、第１処理部で検出された対象物の情報を照合するので、対象物の画像情報に基づいて対象物を確認することができる。この対象物検知システムは、第１補正部を含むので、隣り合う複数の第１領域同士の情報について相対的な位置関係を補正することができる。これにより、移動体の移動によって移動体が振動して、隣り合う複数の第１領域の情報の相対的な位置関係にズレが生じても第１補正部によって補正することができる。なお、「少なくとも第１領域の一部を含む第２領域」とは、第２領域の画像情報を取得する際に第１領域の一部を含むものに限定されず、第２領域の画像情報を取得した後に、第１領域に第２領域の一部が含まれることで、第１領域の一部を含むように第２領域が設定されるものでもよい。移動体が移動方向と交差する方向に位置ズレしても、移動方向に連続する連続体の位置に基づいて、複数の第１領域同士の情報の相対的な位置関係のズレを補正することができる。

いくつかの態様において、対象物検知システムは、移動体の位置情報を取得する位置情報センサを更に含み、第１補正部は、位置情報に基づいて、複数の第１領域同士の情報について相対的な位置関係を補正してもよい。これにより、第１センサによって取得された第１領域の情報に、位置情報センサによって取得された位置情報を紐付けて、複数の第１領域同士の相対的な位置関係のズレを補正することができる。その結果、移動体の移動に伴う振動の影響を抑制して、対象物の検出精度の低下を抑制することができる。

いくつかの態様において、第１領域の情報に位置情報を関連づけて記憶する第１記憶部を更に備える構成でもよい。これにより、第１領域の情報に位置情報を関連づけて記憶させることで、移動体の移動中にリアルタイムで第１領域の情報を使用することに加えて、オフラインで第１領域の情報を使用することもできる。

いくつかの態様において、第２領域の画像情報に前記位置情報を関連づけて記憶する第２記憶部を更に備える構成でもよい。これにより、第２領域の画像情報に位置情報を関連づけて記憶させることで、移動体の移動中にリアルタイムで第２領域の画像情報を使用することに加えて、オフラインで第２領域の画像情報を使用することもできる。

いくつかの態様において、対象物検知システムは、隣り合う複数の第２領域同士の情報について相対的な位置関係を補正する第２補正部を含んでもよい。これにより、第２補正部によって、隣り合う複数の第２領域同士の画像情報について相対的な位置関係を補正することができる。そのため、移動体の移動によって移動体が振動して、隣り合う複数の第２領域同士の画像情報について相対的な位置関係にズレが生じても、第２補正部によって位置関係を補正してズレを小さくすることができる。

いくつかの態様において、対象物検知システムは、移動体の移動経路上に存在する既知物体に関する情報を記憶する既知情報記憶部を更に備え、第１処理部は、既知物体に関する情報に基づいて、対象物から既知物体を除外して、対象物を検出してもよい。これにより、既知物体が除外された後の情報に基づいて、対象物を検出するので、対象物の危険性を判定する際の判定精度を向上させることができる。また、対象物検知システムにおける負荷を軽減することができる。

いくつかの態様において、第１センサは、第１領域の情報として、凹凸形状に関する情報を取得するものでもよい。これにより、凹凸形状に関する情報に基づいて、対象物を検出することができる。また、第２センサで取得した画像情報と、第１センサで検出された凹凸形状に関する情報とを照合することで、対象物の危険性を判定する際の判定精度を向上させることができる。

本開示によれば、移動体の移動に伴う振動の影響を抑制して、対象物の検出精度の低下を抑えることが可能な対象物検知システムを提供することができる。

本開示の実施形態に係る支障物検知装置を搭載する車両が高速道路を走行する状態を示す斜視図である。 図１中の車両下部を示す正面図である。 図１中の車両前部を示す側面図である。 第１領域Ｅ及び第２領域Ｆの配置を示す図である。 本開示の実施形態に係る支障物検知装置を示すブロック構成図である。 高速ラインスキャンセンサによるデータ取得について模式的に示す図である。 図７（ａ）及び図７（ｂ）は振動補正部による補正前のイメージを模式的に示す図である。 図８（ａ）は振動補正部による補正前のイメージを模式的に示す図である。図８（ｂ）は振動補正部による補正後のイメージを模式的に示す図である。 支障物検知処理部で実行される処理手順を示すフローチャートである。 監視処理部で実行される処理手順を示すフローチャートである。

以下、本発明の好適な実施形態について、図面を参照しながら詳細に説明する。なお、各図において同一部分又は相当部分には同一の符号を付し、重複する説明は省略する。

図１及び図２に示される支障物検知装置（対象物検知システム）１は、例えば、車両（移動体）Ｍに搭載されて、車両前方の対象物（例えば落下物Ｂ）を検出するものである。支障物検知装置１は、高速ラインスキャンセンサ（第１センサ）２、高精細カメラ（第２センサ）３、支障物検知ユニット（図４参照）４を備えている。

また、支障物検知装置１は、検出された対象物Ｂが支障物であるか否かを判定する。「支障物」とは、車両の走行の妨げになるおそれがある対象物であり、当該対象物を回避するように走行を変更したり、停止して取り除いたりすることが必要となるものである。

高速ラインスキャンセンサ２は、図４に示されるように、車両Ｍの周囲の線状又は帯状の第１領域Ｅの情報を取得する。高速ラインスキャンセンサ２は、図２及び図３に示されるように、車両Ｍの前部に設けられ、下方に向けられている。高速ラインスキャンセンサ２は、路面の上方から下方にレーザを照射して、路面上の対象物Ｂで反射した反射レーザを受信する。高速ラインスキャンセンサ２で受信した反射レーザに関する情報（検出データ）は、支障物検知ユニット４に入力される。

第１領域Ｅは、例えば、車両Ｍの移動方向Ｙと交差する方向に長手方向を有する。第１領域は、例えば、車両Ｍの移動方向に沿って所定の長さを有する。また、高速ラインスキャンセンサ２は、複数（例えば２個）設けられていてもよい。複数の高速ラインスキャンセンサ２は、車両Ｍの車幅方向Ｘの中央Ｏを挟んで離間して配置されている。

例えば、車両Ｍの速度が一定である場合には、図４に示されるように、第１領域Ｅの移動方向Ｙにおける長さ及び間隔は一定となる。なお、複数の第１領域Ｅは、移動方向Ｙにおいて、部分的に重なり合うように設定されてもよく、隙間が生じるように設定されてもよく、隙間がなく隣接するように設定されてもよい。

高精細カメラ３は、第１領域Ｅを含むように設定された面状の第２領域Ｆの情報を取得する。高精細カメラ３は、図２及び図３に示されるように、車両Ｍの前側上部に設けられ、前方の路面に向けられている。高精細カメラ３は、車両Ｍの前方の路面を撮影することができる。高精細カメラ３で撮影された第２領域Ｆの画像情報は、支障物検知ユニット４に入力される。第２領域Ｆは、第１領域Ｅの一部を含むものでもよい。

なお、高速ラインスキャンセンサ２及び高精細カメラ３により情報を取得する時点において、高精細カメラ３により画像情報が取得される第２領域Ｆは、高速ラインスキャンセンサ２により情報が取得される第１領域Ｅよりも前方に配置されている。すなわち、画像情報が取得される時点において、第２領域Ｆは第１領域Ｅを含んでいない状態である。しかしながら、車両Ｍが前進することで、その後の第１領域Ｅは第２領域Ｆに含まれるようになる。同一地点を含む第１領域Ｅ及び第２領域Ｆの情報は、同時に取得されてもよく、第１領域Ｅの情報が先に取得されて、その後に第２領域Ｆの画像情報が取得されてもよい。

また、支障物検知装置１は、図５に示されるように、定点検出センサ（位置情報センサ）５、車輪速センサ６及び加速度センサ７を備える。これらの定点検出センサ５、車輪速センサ６及び加速度センサ７は、支障物検知ユニット４と電気的に接続されている。

定点検出センサ５は、車両Ｍの位置情報を取得する。例えば、走行路には予め一定間隔で、例えば１ｋｍごとに複数の定点が設けられている。定点は地上に設置されていてもよく、地中に埋め込まれていてもよい。定点検出センサ５は、車両Ｍの移動に合わせて、複数の定点を検出する。定点検出センサ５で検出された定点に関する情報は、支障物検知ユニット４に入力される。なお、支障物検知装置１は、定点検出センサ５に代えて、例えば自車位置を検出可能なＧＰＳセンサなどを備える構成でもよい。

車輪速センサ６は、車両Ｍの車輪の回転角度に関する情報を取得するセンサである。車輪速センサ６は、例えばエンコーダを備え、このエンコーダは、車輪の回転パルスを計測する。車輪の回転パルスに関する信号は、支障物検知ユニット４に入力される。

加速度センサ（車両運動計測センサ）７は、車両Ｍに生じた加速度に関する情報を取得するセンサである。加速度センサ７は、例えば、車両Ｍの加速における速度変化及び減速における速度変化に関する情報を検出する。加速度センサ７で検出された車両Ｍの加速度に関する情報は、支障物検知ユニット４に入力される。

また、支障物検知装置１は、車両Ｍの運動状態を検出するその他のセンサとして、例えばジャイロセンサ、角加速度センサなどを備えていてもよい。これらのセンサで取得された情報に基づいて、車両Ｍの姿勢について算出することができる。

支障物検知ユニット４は、図５に示されるように、支障物検知処理部（第１処理部）１０及び監視処理部（第２処理部）２０を備える。支障物検知ユニット４は、ＣＰＵ（Central Processing Unit)、ＲＯＭ(Read Only Memory)、およびＲＡＭ(Random Access Memory)等のハードウェアと、ＲＯＭに記憶されたプログラム等のソフトウェアとから構成されたコンピュータである。支障物検知ユニット４は、入力信号回路、出力信号回路、電源回路などを含む。

また、支障物検知ユニット４は、各種情報を記憶する記憶部（第１記憶部、第２記憶部）３１を備える。記憶部３１は、移動経路上に存在する既知物体に関する情報を記憶する既知情報記憶部として機能する。記憶部３１に記憶されている既知物体に関する情報は、後述するマスク処理部１５で利用することができる。

支障物検知処理部１０は、定点計数部１１、形状計測部１２、振動補正部（第１補正部）１３、支障物判定部１４、マスク処理部１５を備えている。支障物検知処理部１０は、高速ラインスキャンセンサ２で取得した情報に基づいて対象物Ｂを検出する。例えば、路面より上方に天面が存在する物体を対象物Ｂとして検出することができる。

定点計数部１１は、定点検出センサ５で検出された定点に関する情報に基づいて、定点を検出した数量を算出する。これにより、定点計数部１１は、走行路において、基点からの車両Ｍの移動距離を算出することができる。

形状計測部１２は、高速ラインスキャンセンサ２から出力された第１領域Ｅの情報に基づいて、第１領域Ｅの凹凸形状（断面形状）を作成する。形状計測部１２は、定点計数部１１で算出された車両Ｍの位置情報に関するデータを、第１領域Ｅの情報が取得された位置の位置情報として関連付ける。これにより、第１領域Ｅの位置を特定することができる。また、形状計測部１２は、車輪速センサ６から出力された情報に基づいて、第１領域Ｅの情報が取得された位置を特定してもよい。支障物検知処理部１０は、路面よりも高い位置で検出信号を検出した場合には、その位置に対象物Ｂが存在すると判定できる。

また、形状計測部１２は、図６（ａ）に示されるように、移動方向Ｙに隣り合う複数の第１領域Ｅの情報について、図６（ｂ）に示されるように、移動方向Ｙに沿って順次配列する。

振動補正部１３は、移動方向Ｙに隣り合う複数の第１領域Ｅ同士の情報について相対的な位置関係を補正する。詳しくは後述する。

支障物判定部１４は、複数の第１領域Ｅの凹凸形状に基づいて、対象物Ｂを検出し、検出された対象物Ｂが支障物であるか否かを判定する。支障物判定部１４は、車両Ｍが走行する走行路に沿う建築物の建築限界内に支障物が存在するか否かを判定してもよい。

マスク処理部１５は、複数の第１領域Ｅの凹凸形状に基づいて検出された対象物Ｂが、所定の条件を満足する場合に、その対象物Ｂは支障物ではないと判定する。これにより、支障物検知処理部１０における計算負荷を軽減する。所定の条件としては、例えば、検出された対象物の危険度が低く、車両Ｍの走行に影響を与えないものと判定できる条件である。また、マスク処理部１５は、記憶部３１に記憶されている既知物体である対象物Ｂを支障物ではないと判定することができる。

監視処理部２０は、定点計数部２１、映像取得部２２、振動補正部（第２補正部）２３、支障物抽出部２４、画像処理部２５を備えている。監視処理部２０は、「高精細カメラ３で取得した画像情報」及び「支障物検知処理部１０で検出された対象物Ｂの情報」を照合する。

定点計数部２１は、定点検出センサ５で検出された定点に関する情報に基づいて、定点を検出した数量を算出する。これにより、車両Ｍの基点からの移動距離を算出することができる。監視処理部２０は、例えば、支障物検知処理部１０の定点計数部１１で算出されたデータを利用してもよい。

映像取得部２２は、高精細カメラ３から出力された複数の第２領域Ｆの画像情報を取得する。また、映像取得部２２は、定点計数部２１で算出された車両Ｍの位置情報に関するデータを、第２領域Ｆの情報が取得された位置の位置情報として関連付ける。これにより、第２領域Ｆの位置を特定することができる。また、映像取得部２２は、車輪速センサ６から出力された情報に基づいて、第２領域Ｆの画像情報が取得された位置を特定してもよい。

また、映像取得部２２は、車両Ｍの移動方向Ｙに隣り合う複数の第２領域Ｆの画像情報について、移動方向Ｙに沿って順次配列される。図６（ａ）では、第１領域Ｅについて図示しているが、第２領域Ｆについても、同様に、移動方向Ｙに沿って順次並べられる。

振動補正部２３は、移動方向Ｙに隣り合う複数の第２領域Ｆ同士の情報について相対的な位置関係を補正する。振動補正部２３は、対象となる領域が異なるだけであり振動補正部１３と同様の機能を有する。詳しくは後述する。

支障物抽出部２４は、支障物検知処理部１０から支障物に関する情報を取得する共に、振動補正部２３から補正後の画像情報を取得して、第２領域Ｆの画像情報から支障物を抽出する。支障物抽出部２４は、高精細カメラ３で取得した画像情報及び支障物検知処理部１０で検出された対象物Ｂの情報を照合する。支障物抽出部２４は、支障物検知処理部１０で検出された対象物Ｂの情報を、画像情報に重ね合わせ、画像情報から支障物を抽出することができる。抽出された支障物に関する画像情報は、位置情報と共に、例えば、記憶部３１に記憶される。

画像処理部２５は、高精細カメラ３から入力した第２領域Ｆの画像情報について、画像処理を行う。画像処理部２５は、画像処理として、例えば２値化処理を行い、対象物に関する情報、道路の白線に関する情報を検知する。

また、支障物検知ユニット４には、表示部３２及び操作部３３が電気的に接続されている。表示部３２は、例えば、液晶表示装置であり、高精細カメラ３で取得した画像を表示する。操作部３３は、例えば、液晶表示装置のタッチパネルであり、運転者の操作入力に基づく信号を支障物検知ユニット４に出力する。使用者は、例えば、支障物ではないと確認された対象物について入力操作する際に、操作部３３を操作する。

また、支障物検知ユニット４には、取り外し可能な記憶媒体として記録デバイス３４を電気的に接続することができる。記録デバイス３４としては、例えばＵＳＢメモリ（Universal Serial Bus memory）を使用することができる。これにより、記憶部３１に記憶されている情報を、記録デバイス３４に書き込むことができる。また、この記録デバイス３４に記憶されている情報について、オフラインで他の端末を用いて処理することができる。

監視処理部２０は、例えば支障物検知処理部１０から出力された動作開始信号（トリガー）を受信することをきっかけとして、「高精細カメラ３で取得した画像情報」及び「支障物検知処理部１０で検出された対象物Ｂの情報」を照合する。このとき、高精細カメラ３で取得した画像情報の第２領域Ｆの位置と、同時刻において高速ラインスキャンセンサ２で取得した情報の第１領域Ｅの位置とが前後にずれているときは、動作開始信号又は高精細カメラ３で取得した画像情報をバッファリングしておき（一時的に記憶させておき）、高速ラインスキャンセンサ２で、画像情報の第２領域Ｆの位置と同じ位置の情報を取得した段階で、画像情報と対象物Ｂの情報を照合して、表示部３２に表示させてもよい。

次に図４、図７及び図８を参照して、振動補正部１３、２３における振動補正について説明する。

支障物検知処理部１０の振動補正部１３は、隣り合う複数の第１領域Ｅ同士の情報について相対的な位置関係を補正する。図４に示す状態は、例えば、一定の速度で車両Ｍが移動した場合において、振動がなく理想的な状態で並ぶ第１領域Ｅ及び第２領域Ｆを示している。

図７（ａ）では、車両Ｍが振動して、複数の第１領域Ｅが車幅方向Ｘに相対的に位置ズレしている場合を示している。このような場合、振動補正部１３は、走行路において、車両Ｍの移動方向Ｙに連続する連続体の位置に基づいて、隣り合う第１領域Ｅの相対的な位置関係を補正する。振動補正部１３は、連続体の位置が車幅方向Ｘにおいて同じ位置となるように、第１領域Ｅの情報について相対的な位置関係を補正する。移動方向Ｙに連続する連続体としては、例えば、路面上の白線、道路の脇に設置されている縁石、ブロック体、中央分離体などが挙げられる。また、移動方向Ｙに一定間隔で配置され、車幅方向Ｘにおいて同じ位置に配置されているポール、反射体、その他の物体の位置に基づいて、隣り合う第１領域Ｅの情報について相対的な位置関係を補正してもよい。補正後の状態として、図４に示されるように、複数の第１領域Ｅは車幅方向Ｘにおいて、同じ位置に配置される。

図７（ｂ）では、車両Ｍが振動して、複数の第１領域Ｅが上下方向に延在する軸回りに相対的に位置ズレしている場合を示している。このような場合、振動補正部１３は、各種センサから入力された車両Ｍの運動状態に関する情報に基づいて、隣り合う第１領域Ｅの相対的な位置関係を補正する。振動補正部１３は、例えば、加速度センサ７やジャイロセンサから入力した情報に基づいて、車両Ｍの上下方向に延在する軸回りの姿勢変化を算出して、第１領域Ｅの情報について相対的な位置関係を補正する。振動補正部１３は、第１領域Ｅの上下方向に延在する軸回りの傾斜を補正する。振動補正部１３は、移動方向Ｙに連続する連続体が、車幅方向Ｘにおいて同じ位置となるように、複数の第１領域Ｅの情報の相対的な位置関係を補正する。

図８（ａ）では、車両Ｍが振動して、複数の第１領域Ｅが移動方向Ｙにおける間隔がずれた場合を示している。このような場合、振動補正部１３は、定点Ｇの位置に基づいて、隣り合う第１領域Ｅの相対的な位置関係を補正する。振動補正部１３は、定点Ｇの位置が移動方向Ｙにおいて、一定間隔となるように、第１領域Ｅの位置をずらす。振動補正部１３は、例えば、第１領域Ｅの移動方向Ｙにおける長さを変えたり、間隔を変えたりする。例えば、振動補正部１３は、車両Ｍの移動速度に応じて、移動方向Ｙにおける第１領域Ｅの長さ、間隔を変更することができる。図８（ｂ）は、補正後の第１領域Ｅの配置を示している。

なお、振動補正部２３による振動補正は、振動補正部１３による振動補正と対象が異なっている。振動補正部２３は、第１領域Ｅに代えて、第２領域Ｆの画像情報の相対的な位置を補正するものである。振動補正部２３の振動補正の説明については省略する。

次に、支障物検知装置１の動作について、図９及び図１０に示すフローチャートに沿って説明する。図９は、支障物検知処理部１０における処理手順を示すフローチャートである。図１０は、監視処理部２０における処理手順を示すフローチャートである。

まず、図９を参照して、支障物検知処理部１０における処理について説明する。支障物検知処理部１０は、各種センサからセンサデータを入力する（ステップＳ１）。具体的には、支障物検知処理部１０は、定点検出センサ５から定点に関する情報を入力する。また、支障物検知処理部１０は、車輪速センサ６から車両Ｍの車輪の回転角度に関する情報を入力する。また、支障物検知処理部１０は、加速度センサ７から車両Ｍに作用する加速度に関する情報を取得する。

次に支障物検知処理部１０の定点計数部１１は、自車位置を算出する（ステップＳ２）。支障物検知処理部１０は、定点に関する情報に基づいて、車両Ｍの基点からの移動距離を算出して、自車位置を算出する。また、支障物検知処理部１０は、車両Ｍの車輪の回転角度に基づいて、車両Ｍの移動距離を算出してもよい。

次に支障物検知処理部１０は高速ラインスキャンセンサ２から第１領域Ｅの情報を入力し（ステップＳ３）、形状計測部１２が第１領域Ｅの凹凸形状（断面形状）を作成する。また、形状計測部１２は、第１領域Ｅの凹凸形状に、当該第１領域Ｅの位置情報を関連付ける。

次に支障物検知処理部１０の振動補正部１３は、形状計測部１２で作成された凹凸形状について、振動補正を行う（ステップＳ４）。具体的には、隣り合う複数の第１領域Ｅ同士の凹凸形状の情報について、相対的な位置関係を補正する。例えば、第１領域Ｅの位置情報に基づいて、正しい位置となるように、第１領域Ｅ同士の相対的な位置関係を補正する。

次に支障物検知処理部１０の支障物判定部１４は、複数の第１領域Ｅの凹凸形状に基づいて、対象物Ｂを検出し、検出された対象物Ｂが支障物であるか否かを判定する（ステップＳ５）。そして、支障物判定部１４は、建築限界内の支障物の存在の有無を判定する。

次に支障物検知処理部１０のマスク処理部１５は、複数の第１領域Ｅの凹凸形状に基づいて検出された対象物Ｂが、所定の条件を満足する場合に、その対象物Ｂは支障物ではないと判定する（ステップＳ６）。例えば、対象物Ｂの大きさが基準の寸法より小さい場合には、マスク処理部１５は、その対象物Ｂを支障物ではないと判定することができる。

次に支障物検知処理部１０は、算出された第１領域Ｅの凹凸形状の情報、対象物Ｂに関する情報、支障物に関する情報、マスク処理された対象物Ｂに関する情報を位置情報と共に記憶部３１に保存する（ステップＳ７）。

次に、図１０を参照して、監視処理部２０における処理について説明する。監視処理部２０は、各種センサからセンサデータを入力する（ステップＳ１１）。具体的には、監視処理部２０は、定点検出センサ５から定点に関する情報を入力する。また、監視処理部２０は、車輪速センサ６から車両Ｍの車輪の回転角度に関する情報を入力する。また、監視処理部２０は、加速度センサ７から車両Ｍに作用する加速度に関する情報を取得する。監視処理部２０は、例えばジャイロセンサから車両Ｍの運動に関する情報を取得する。

次に監視処理部２０の定点計数部２１は、自車位置を算出する（ステップＳ１２）。監視処理部２０は、定点に関する情報に基づいて、車両Ｍの基点からの移動距離を算出して、自車位置を算出する。また、監視処理部２０は、車両Ｍの車輪の回転角度に基づいて、車両Ｍの移動距離を算出してもよい。

次に監視処理部２０は高精細カメラ３から第２領域Ｆの画像情報を入力する（ステップＳ１３）。例えば、高精細カメラ３で撮影されたカラー画像を取得する。また、監視処理部２０は、第２領域Ｆの画像情報に、当該第２領域Ｆの位置情報を関連付ける。

次に監視処理部２０の振動補正部２３は、高精細カメラ３から入力した画像情報について、振動補正を行う（ステップＳ１４）。具体的には、隣り合う複数の第２領域Ｆ同士の画像情報について、相対的な位置関係を補正する。例えば、第２領域Ｆの位置情報に基づいて、正しい位置となるように、第２領域Ｆ同士の相対的な位置関係を補正する。

次に監視処理部２０の支障物抽出部２４は、相対的な位置関係が補正された複数の第２領域Ｆの画像情報から支障物を抽出する（ステップＳ１５）。具体的には、支障物検知処理部１０で検出された支障物の情報に基づいて、画像情報から当該支障物を抽出する。

ステップＳ１５の処理では、支障物検知処理部１０から出力された動作開始信号を受信することをきっかけとして、画像情報から支障物の情報を抽出する。このとき画像情報の位置と、高速ラインスキャンセンサで取得した情報の位置とが前後にずれているときは、動作開始信号又は高精細カメラ３で取得した画像情報をバッファリングしておき、高速ラインスキャンセンサ２で、画像情報の位置と同じ位置の情報を取得した段階で、画像情報から支障物を抽出してもよい。

次に監視処理部２０の画像処理部２５は、画像処理を行い（ステップＳ１６）、補正後の画像情報を表示部３２に出力し、（リアルタイム）表示を行う。また、画像処理部２５は、抽出された支障物について、例えば強調表示を行ってもよい。また、画像処理部２５は、マスク処理された対象物について、表示しないようにすることができる。

次に監視処理部２０は、補正後の第２領域Ｆの画像情報、対象物Ｂに関する情報、抽出された支障物に関する情報、マスク処理された対象物Ｂに関する情報を位置情報と共に記憶部３１に保存する（ステップＳ１７）。

このような支障物検知装置１は車両Ｍを移動させながら高速ラインスキャンセンサ２及び高精細カメラ３によって車両Ｍの周囲の路面及び路面上の対象物Ｂの情報を取得する。この支障物検知装置１は、振動補正部１３を備え、隣り合う複数の第１領域Ｅ同士の情報について相対的な位置関係を補正することができる。これにより、車両Ｍの移動によって車両Ｍが振動して、隣り合う複数の第１領域Ｅの相対的な位置関係にズレが生じても振動補正部１３によって補正することができる。この結果、支障物検知装置１は、車両Ｍの移動に伴う振動の影響を抑制して、対象物Ｂの検出精度の低下を抑えることができる。また、支障物検知装置１では、振動の影響を抑制することができるので、車両Ｍの移動速度を増加させて、対象物Ｂを検出することができる。また、車両Ｍが走行する路面の凹凸による振動の影響を抑制することができる。

また、支障物検知装置１は、車両Ｍの位置情報を取得する定点検出センサ５を備え、振動補正部１３は、位置情報に基づいて、複数の第１領域Ｅ同士の情報について相対的な位置関係を補正することができる。これにより、高速ラインスキャンセンサによって取得された第１領域Ｅの情報に、定点検出センサ５によって取得された位置情報を紐付けて、複数の第１領域Ｅ同士の相対的な位置関係のズレを補正することができる。その結果、車両Ｍの移動に伴う振動の影響を抑制して、対象物Ｂの検出精度の低下を抑制することができる。

また、支障物検知装置１は、第１領域Ｅの情報に位置情報を関連づけて記憶する記憶部３１を備えている。これにより、支障物検知装置１は、車両Ｍの移動中にリアルタイムで第１領域Ｅの情報を使用することに加えて、オフラインで第１領域Ｅの情報を使用することもできる。支障物検知装置１は、オフラインで、対象物Ｂの存在の有無、対象物Ｂの位置、大きさ等を確認することができる。

また、支障物検知装置１の記憶部３１は、第２領域Ｆの画像情報に位置情報を関連づけて記憶することができる。これにより、支障物検知装置１は、オフラインで第２領域Ｆの画像情報を使用することもできる。支障物検知装置１は、オフラインで、対象物Ｂの存在の有無、対象物Ｂの位置、大きさ等を確認することができる。

また、支障物検知装置１は、記憶部３１に、過去に検出された対象物（既知物体）Ｂに関する情報が記憶されているので、この既知物体に関する情報に基づいて、次回の測定の際に検出された対象物Ｂから既知物体を除外することができる。これにより、既知物体が除外された後（マスク処理された後）の情報に基づいて、対象物Ｂを検出するので、対象物Ｂの危険性を判定する際の判定精度を向上させることができる。

また、支障物検知装置１の高速ラインスキャンセンサ２は、第１領域Ｅの情報として、凹凸形状に関する情報を取得する。これにより、凹凸形状に関する情報に基づいて、対象物Ｂを検出することができる。また、支障物検知装置１は、高精細カメラ３で取得した画像情報と、高速ラインスキャンセンサ２で検出された凹凸形状に関する情報とを照合することで、対象物Ｂの危険性を判定する際の判定精度を向上させることができる。凹凸形状に関する情報に、画像情報を重ね合わせることで、対象物Ｂの質感や材質等を考慮して、対象物Ｂが危険物であるか否かを判定することができる。

本発明は、前述した実施形態に限定されず、本発明の要旨を逸脱しない範囲で下記のような種々の変形が可能である。

例えば、上記の実施形態では、第１センサを高速ラインスキャンセンサとしているが、第１センサはその他のセンサでもよい。例えば、電磁波や超音波など、対象物を検出可能な検出波を出力するセンサを、第１センサとして使用してもよい。また、第１センサは、車両Ｍの前部に設置されるものに限定されず、例えば車両Ｍの後部、底部、側部に設けられているものでもよい。

また、上記の実施形態では、第２センサを高精細カメラ３としているが、第２センサはその他のセンサでもよい。例えば、カラーではなくモノクロの画像を取得するカメラを第２センサとしてもよい。また、第２センサは、高精細ではない画像情報を取得するものでもよい。また、対象物検知システムは、第２センサとして、複数種類のカメラを備える構成でもよい。

また、移動体の周囲の第１領域及び第２領域は、移動体が移動する路面（移動体より下方の領域）に限定されず、移動体より側方の領域でもよく、移動体より上方の領域でもよい。

また、支障物検知システムは、オンライン検査に限定されず、支障物を判定するためのパラメータや条件を変えてオフラインで処理（オフラインシミュレート機能）を実施してもよい。

また、上記実施形態では、支障物検知システムを車両に搭載した場合について説明しているが、支障物検知装置システムを車両以外の移動体に搭載してもよい。例えば、ロボット、飛行機、船舶、鉄道などに、支障物検知システムを搭載してもよい。また、支障物検知システムは、移動体に搭載せずに、その他の場所や物に設置してもよい。例えば、工場、店舗、病院、空港、駅、走行路周辺の建築物などに、支障物検知システムを設置して、危険のおそれがある対象物を支障物として検知してもよい。なお、対象物は静止物に限定されず、移動する物、人、動物でもよい。また、支障物は、危険な対象物に限定されず、障害となる対象物、特定の条件に合致する対象物でもよい。

１ 支障物検知装置（対象物検知システム）
２ 高速ラインスキャンセンサ（第１センサ）
３ 高精細カメラ（第２センサ）
４ 支障物検知ユニット
５ 定点検出センサ（位置情報センサ）
１０ 支障物検知処理部（第１処理部）
１３ 振動補正部（第１補正部）
２０ 監視処理部（第２処理部）
２３ 振動補正部（第２補正部）
３１ 記憶部（第１記憶部、第２記憶部、既知情報記憶部）
Ｂ 落下物（対象物、支障物）
Ｅ 第１領域
Ｆ 第２領域
Ｍ 車両（移動体）

Claims (7)

1. 少なくとも移動体の周囲の線状又は帯状の第１領域の情報を取得する第１センサと、
   少なくとも前記第１領域の一部を含む第２領域の画像情報を取得する第２センサと、
   前記第１センサで取得した情報に基づいて対象物を検出する第１処理部と、
   前記第２センサで取得した画像情報及び前記第１処理部で検出された前記対象物の情報を前記第１処理部から出力された動作開始信号を受信することをきっかけとして照合する第２処理部と、
   隣り合う複数の前記第１領域同士の情報について相対的な位置関係を補正する第１補正部と、を含み、
   前記第１領域の情報は、前記移動体の移動方向に連続する連続体に関する情報を含み、
   前記第１補正部は、前記隣り合う複数の前記第１領域の前記連続体同士が連続するように、前記複数の第１領域同士の情報について相対的な位置関係を補正する対象物検知システム。
2. 前記移動体の位置情報を取得する位置情報センサを更に含み、
   前記第１補正部は、前記位置情報に基づいて、複数の前記第１領域同士の情報について相対的な位置関係を補正する請求項１に記載の対象物検知システム。
3. 前記第１領域の情報に前記位置情報を関連づけて記憶する第１記憶部を更に備える請求項２に記載の対象物検知システム。
4. 前記第２領域の画像情報に前記位置情報を関連づけて記憶する第２記憶部を更に備える請求項２又は３に記載の対象物検知システム。
5. 隣り合う複数の前記第２領域同士の画像情報について相対的な位置関係を補正する第２補正部を含む請求項１～３の何れか一項に記載の対象物検知システム。
6. 前記移動体の移動経路上に存在する既知物体に関する情報を記憶する既知情報記憶部を更に備え、
   前記第１処理部は、前記既知物体に関する情報に基づいて、前記対象物から前記既知物体を除外して、前記対象物を検出する請求項１～４の何れか一項に記載の対象物検知システム。
7. 前記第１センサは、前記第１領域の情報として、凹凸形状に関する情報を取得する請求項１～６の何れか一項に記載の対象物検知システム。

Images