JP6530685B2 - 物体検出装置、物体検出システム、物体検出方法および物体検出プログラム - Google Patents

物体検出装置、物体検出システム、物体検出方法および物体検出プログラム Download PDF

Info

Publication number
JP6530685B2
JP6530685B2 JP2015181774A JP2015181774A JP6530685B2 JP 6530685 B2 JP6530685 B2 JP 6530685B2 JP 2015181774 A JP2015181774 A JP 2015181774A JP 2015181774 A JP2015181774 A JP 2015181774A JP 6530685 B2 JP6530685 B2 JP 6530685B2
Authority
JP
Japan
Prior art keywords
distance
pixel
measuring device
clustering
distance measuring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015181774A
Other languages
English (en)
Other versions
JP2017058189A (ja
Inventor
高野 岳
岳 高野
渉 小堀
渉 小堀
岩崎 哲也
哲也 岩崎
松本 恵治
恵治 松本
伊藤 邦彦
邦彦 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Denso Wave Inc
Denso IT Laboratory Inc
Original Assignee
Denso Corp
Denso Wave Inc
Denso IT Laboratory Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Denso Wave Inc, Denso IT Laboratory Inc filed Critical Denso Corp
Priority to JP2015181774A priority Critical patent/JP6530685B2/ja
Publication of JP2017058189A publication Critical patent/JP2017058189A/ja
Application granted granted Critical
Publication of JP6530685B2 publication Critical patent/JP6530685B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、物体を検出する物体検出装置、物体検出システム、物体検出方法および物体検出プログラムに関する。
測距装置を用いて3次元空間中を2次元走査し、監視対象領域内の孤立した物体を検出する技術が知られている。測距装置としては種々のものがすでに開示されている(例えば、特許文献1〜4、非特許文献1)。
単に測距装置による観測値である2次元距離画像を取得しただけでは、監視対象領域内に孤立した3次元物体があるかどうかや、その大きさ、形状、数が分からないため、3次元物体検出処理が必要となる。3次元物体検出処理として、3次元格子への投票および隣接格子のグループ化を組み合わせた方式がある(例えば、特許文献4)。この方式について説明する。
3次元空間中の監視対象領域は複数の3次元格子で近似される。ここで、3次元格子とは、例えばXYZ直交座標系の座標軸に沿って3次元空間を格子状に切った際の箱のことであり、ボクセルとも呼ばれる。
物体の検出処理は以下のようにして行う。まず、距離データである2次元距離画像中の監視対象画素をXYZ座標系の物体候補検出点に変換し、物体検出候補点が含まれる3次元格子に投票する。次に、物体検出候補点が含まれる隣接3次元格子同士をグループ化し、個々のグループを3次元物体として検出する。
特許第4837413号 特許第4703830号 特開2012−242189号公報 特開2014−142288号公報
Andreas Nuchter (2009), 3D Robotic Mapping, The Simultaneous Localization and Mapping Problem with Six Degrees of Freedom, Springer Science & Business Media
ところで、3次元格子を粗く設定すると、測距装置から近い位置における物体検出の解像度を確保できない。一方、3次元格子を細かく設定すると、測距装置から遠い位置では疎に投票されることとなり、グループ化の精度が低下してしまう。
このように、3次元格子に投票する方式では、必ずしも精度よく物体を検出できないという問題がある。1次元走査型の測距装置を用いて2次元空間中を1次元走査して物体を検出する場合にも、同様の問題がある。
本発明はこのような問題点に鑑みてなされたものであり、本発明の課題は、測距装置から近い位置においても遠い位置においても、精度よく監視対象領域内の孤立した物体を検出できる物体検出装置、物体検出システム、物体検出方法および物体検出プログラムを提供することである。
本発明の一態様によれば、2次元走査型の測距装置によって3次元空間を測距して生成される観測距離画像であって、各画素の値が、該画素に対応する方向にある対象物と前記測距装置との距離を示す前記観測距離画像を取得する観測距離画像取得部と、前記観測距離画像から監視対象画素を抽出し、該監視対象画素に対応する方向、および、当該監視対象画素が示す前記対象物と前記測距装置との距離を特定する監視対象画素抽出部と、隣接する前記監視対象画素が示す対象物どうしの距離を、前記画素の方向と前記画素が示す前記対象物と前記測距装置との距離とに基づいて算出し、該距離に基づいてクラスタリングを行うクラスタリング部と、を備える物体検出装置が提供される。
本態様によれば、3次元空間に対して3次元格子を適用することなく、監視対象画素が示す対象物どうしの距離に基づいてクラスタリングを行うので、物体が遠方にある場合にも、物体検出候補点が疎に投票されるという問題がなく、測距装置から物体までの遠近にかかわらず、適切なクラスタリングを行うことができる。
望ましくは、前記測距装置は、第1方向および第2方向に2次元走査を行い、前記クラスタリング部は、前記観測距離画像を、前記第1方向に対応させて複数の領域に分割し、分割された各領域内で1次元クラスタリングを行ってセグメントを生成する第1クラスタリング部と、所定の領域で生成された前記セグメントと、前記第2方向において前記所定の領域と隣接する領域で生成された前記セグメントとの距離に基づいてクラスタリングを行って物体クラスタを生成する第2クラスタリング部と、を有する。
このような構成によれば、領域内で1次元クラスタリングを行うため、クラスタリングの計算量を抑えることができる。
望ましくは、前記第1クラスタリング部は、前記測距装置による2次元走査座標系を歪ませた座標系における画素の隣接関係を考慮して、隣接する前記監視対象画素が示す対象物どうしの距離に基づいて、各領域内でクラスタリングを行う。
前記第1クラスタリング部は、前記測距装置による2次元走査座標系を歪ませた座標系における画素の隣接関係を定義した第1クラスタリングマップに基づいて、各領域内でクラスタリングを行ってもよい。
このような構成によれば、測距装置による走査の順に関わらず、領域内で適切にクラスタリングを行うことができる。
望ましくは、前記領域は、実空間において、前記測距装置を通る鉛直な線を中心とする円柱面上で、地面と平行な所定領域に対応する領域であり、より望ましくは、前記所定領域は、前記測距装置と地面との距離を半径とする前記円柱面における、前記地面からの距離が略一定となる対象物から構成される領域である。
このような構成によれば、適切に領域を設定することができ、物体検出の精度が向上する。
前記第2クラスタリング部は、前記所定の領域で生成された前記セグメントに含まれる画素が示す対象物と、前記所定の領域と隣接する領域で生成された前記セグメントに含まれる画素が示す対象物と、の間の距離のうちの最小値を算出し、この最小値に基づいてクラスタリングを行って前記物体クラスタを生成してもよい。
このような構成によれば、領域間でのクラスタリングを高精度かつ効率的に行うことができる。
望ましくは、前記第2クラスタリング部は、前記複数の領域の隣接関係を定義した第2クラスタリングマップに基づいて、前記物体クラスタを生成し、より望ましくは、前記領域は、実空間において、前記測距装置を通る鉛直な線を中心とする円柱面上で、地面と平行な所定領域に対応する領域であり、前記第2クラスタリングマップは、実空間において隣接する矩形領域が隣接するよう、前記複数の領域の隣接関係を定義する。
このような構成によれば、適切に領域の隣接関係を定義でき、物体検出の精度が向上する。
物体検出装置は、前記物体クラスタに含まれる、前記観測距離画像における各画素が示す点を、XYZ座標系に変換するXYZ座標系変換部を備えるのが望ましい。
このような構成によれば、XYZ座標系に変換するため、物体クラスタの大きさや形状が分かる。
また、本発明の別の態様によれば、1次元走査型の測距装置によって2次元空間を測距して生成される観測距離画像であって、各画素の値が、該画素に対応する方向にある対象物と前記測距装置との距離を示す前記観測距離画像を取得する観測距離画像取得部と、前記観測距離画像から監視対象画素を抽出し、該監視対象画素に対応する方向、および、当該監視対象画素が示す前記対象物と前記測距装置との距離を特定する監視対象画素抽出部と、前記測距装置による走査座標系とは異なる座標系における画素の隣接関係を考慮して、隣接する前記監視対象画素が示す対象物どうしの距離を、前記画素の方向と前記画素が示す前記対象物と前記測距装置との距離とに基づいて算出し、該距離に基づいてクラスタリングを行うクラスタリング部と、を備える物体検出装置が提供される。
本態様によれば、2次元空間に対して2次元格子を適用することなく、監視対象画素が示す対象物どうしの距離に基づいてクラスタリングを行うので、物体が遠方にある場合にも、物体検出候補点が疎に投票されるという問題がなく、測距装置から物体までの遠近にかかわらず、適切なクラスタリングを行うことができる。さらに、測距装置による走査座標系とは異なる座標系における距離を用いるため、測距装置による走査の順に関わらず、クラスタリングを行うことができる。
望ましくは、前記クラスタリング部は、前記監視対象画素の1つである第1画素の値が示す距離と、前記第1画素に対応する方向と、前記監視対象画素の1つであって前記第1画素と隣接する第2画素の値が示す距離と、前記第2画素に対応する方向と、に基づいて、隣接する前記第1画素および前記第2画素が示す対象物どうしの距離を算出する。
具体的には、前記クラスタリング部は、前記第1画素が示す対象物と、前記第2画素が示す対象物と、前記測距装置の位置と、を3頂点とする三角形に余弦定理を適用して、隣接する前記第1画素および前記第2画素が示す対象物どうしの距離を算出してもよい。
さらに具体的には、前記クラスタリング部は、下式に基づいて隣接する前記第1画素および前記第2画素が示す対象物どうしの距離を算出してもよい。

ここで、Rrltv((ims1,ims2),(i’ms1,i’ms2))は前記第1画素および前記第2画素が示す対象物どうしの距離、R(ims1,ims2)は、前記第1画素の値が示す距離、D(ims1,ims2)は、前記第1画素に対応する方向を示すベクトル、R(i’ms1,i’ms2)は、前記第2画素の値が示す距離、D(i’ms1,i’ms2)は、前記第2画素に対応する方向を示すベクトルである。
このような構成によれば、座標変換を行う必要がないため、計算量を削減できる。
前記監視対象画素抽出部は、前記観測距離画像と背景画像とを比較して、前記観測距離画像のうち背景でない画素を前記監視対象画素とし、前記背景画像は、背景となるもの以外の物体がない状態で前記測距装置によって生成された距離画像であるか、前記測距装置によって生成された複数の距離画像の平均であり、前記背景画像の各画素の値は、該画素に対応する方向にある対象物と前記測距装置との距離を示すのが望ましい。
このような構成によれば、適切な背景画像を用いることができ、精度よく監視対象画素を抽出できる。
また、本発明の別の態様によれば、前記観測距離画像を生成する測距装置と、上記物体検出装置と、を備える物体検出システムが提供される。
また、本発明の別の態様によれば、2次元走査型の測距装置によって3次元空間を測距して生成される観測距離画像であって、各画素の値が、該画素に対応する方向にある対象物と前記測距装置との距離を示す前記観測距離画像を取得するステップと、前記観測距離画像から監視対象画素を抽出し、該監視対象画素に対応する方向、および、当該監視対象画素が示す前記対象物と前記測距装置との距離を特定するステップと、隣接する前記監視対象画素が示す対象物どうしの距離を、前記画素の方向と前記画素が示す前記対象物と前記測距装置との距離とに基づいて算出し、該距離に基づいてクラスタリングを行うステップと、を備える物体検出方法が提供される。
また、本発明の別の態様によれば、1次元走査型の測距装置によって2次元空間を測距して生成される観測距離画像であって、各画素の値が、該画素に対応する方向にある対象物と前記測距装置との距離を示す前記観測距離画像を取得するステップと、前記観測距離画像から監視対象画素を抽出し、該監視対象画素に対応する方向、および、当該監視対象画素が示す前記対象物と前記測距装置との距離を特定するステップと、前記測距装置による走査座標系とは異なる座標系における画素の隣接関係を考慮して、隣接する前記監視対象画素が示す対象物どうしの距離を、前記画素の方向と前記画素が示す前記対象物と前記測距装置との距離とに基づいて算出し、該距離に基づいてクラスタリングを行うステップと、を備える物体検出方法が提供される。
また、本発明の別の態様によれば、コンピュータに、2次元走査型の測距装置によって3次元空間を測距して生成される観測距離画像であって、各画素の値が、該画素に対応する方向にある対象物と前記測距装置との距離を示す前記観測距離画像を取得するステップと、前記観測距離画像から監視対象画素を抽出し、該監視対象画素に対応する方向、および、当該監視対象画素が示す前記対象物と前記測距装置との距離を特定するステップと、隣接する前記監視対象画素が示す対象物どうしの距離を、前記画素の方向と前記画素が示す前記対象物と前記測距装置との距離とに基づいて算出し、該距離に基づいてクラスタリングを行うステップと、を実行させる物体検出プログラムが提供される。
また、本発明の別の態様によれば、コンピュータに、1次元走査型の測距装置によって2次元空間を測距して生成される観測距離画像であって、各画素の値が、該画素に対応する方向にある対象物と前記測距装置との距離を示す前記観測距離画像を取得するステップと、前記観測距離画像から監視対象画素を抽出し、該監視対象画素に対応する方向、および、当該監視対象画素が示す前記対象物と前記測距装置との距離を特定するステップと、前記測距装置による走査座標系とは異なる座標系における画素の隣接関係を考慮して、隣接する前記監視対象画素が示す対象物どうしの距離を、前記画素の方向と前記画素が示す前記対象物と前記測距装置との距離とに基づいて算出し、該距離に基づいてクラスタリングを行うステップと、を実行させる物体検出プログラムが提供される。
測距装置から近い位置においても遠い位置においても、精度よく物体を検出できる。
本発明の第1の実施形態に係る物体検出システムの概略構成を示すブロック図。 測距装置1を詳しく説明する図。 監視対象画素抽出部12の処理動作を模式的に示す図。 主方向クラスタリング走査マップMclstr1を模式的に説明する図。 主方向クラスタリング部13の処理動作を模式的に説明する図。 画素間の相対距離Rrltvを算出する手法を説明する図。 主方向クラスタリング部13による線セグメント形成の手順の一例を示すフローチャート。 副方向クラスタリング部14の処理動作を模式的に説明する図。 副方向クラスタリング部14による物体クラスタ形成の手順の一例を示すフローチャート。 物体検出処理を、3次元格子をグループ化する方式で行った場合の計算時間と、本実施形態による方式で行った場合の計算時間とを比較する図。 第2の実施形態における主方向クラスタリング走査マップMclstr1を模式的に説明する図。 図11のように主方向クラスタリング走査マップMclstr1を定義する場合の、主方向クラスタリング部13の処理動作を模式的に説明する図。 第2の実施形態における副方向クラスタリングマップMclstr2を模式的に説明する図。 図12および図13のように主方向クラスタリングマップMclstr1および副方向クラスタリングマップMclstr2をそれぞれ定義する場合の、副方向クラスタリング部14の処理動作を模式的に説明する図。 本発明の第3の実施形態に係る物体検出システムの概略構成を示すブロック図。 図2に示した測距装置1の観測位置の関係を示す図。
以下、本発明に係る実施形態について、図面を参照しながら具体的に説明する。
(第1の実施形態)
図1は、本発明の第1の実施形態に係る物体検出システムの概略構成を示すブロック図である。物体検出システムは、測距装置1と、物体検出装置2とを備えている。
測距装置1は、ある方向を測距すべく、その方向に測定光を照射し、対象物からの反射光に基づいて当該方向にある対象物との距離を算出する。測距装置1は2次元走査型の測距装置であり、3次元空間を2次元方向に走査しながら、走査方向ごとに、対象物と測距装置1との距離を算出する。その結果として、測距装置1は、各方向にある対象物と、測距装置1との距離を示す観測距離画像Robsを生成する。観測距離画像Robsは2次元画像であり、走査方向の一方(主方向)のインデックスをims1とし、他方(副方向)のインデックスをims2とする。観測距離画像Robsの主方向および副方向の画素数をそれぞれNms1,Nms2とすると、インデックスims1は1〜Nms1の値をとり得、インデックスims2は1〜Nms2の値をとり得る。
図2は、測距装置1を詳しく説明する図である。測距装置1は、物体検出領域内の遮蔽物をできるだけ避けられるよう、物体検出領域の上方に設置されるのが望ましい。そして、本実施形態の測距装置1は、2次元方向として、水平方向および垂直方向に走査を行う。すなわち、測距装置1は、水平方向に走査する走査系を、さらに垂直方向に走査する。
水平方向の測距角度θms1は正面を0度として−95〜+95度をとり得る。垂直方向の測距角度θms2は水平方向を0度として0〜−90度をとり得る。測距角度の組(θms1,θms2)は、測距の方向を示す。
測距装置1はある測距角度の組(θms1,θms2)が示す方向に測定光を照射する。そして、測距装置1は、反射光に基づいて、この方向にある対象物と測距装置1との距離Rを算出する。そして、測距装置1は、算出された距離Rを、当該測距角度の組(θms1,θms2)と対応する、観測距離画像Robsにおける画素(ims1,ims2)の値とする。以下、観測距離画像Robsにおける画素(ims1,ims2)が示す距離(値)をR(ims1,ims2)と表記する。
なお、ある測距角度の組(θms1,θms2)と、観測距離画像Robsにおける画素(ims1,ims2)との対応関係は予め一意に定められている。逆にいうと、観測距離画像Robsにおける画素(ims1,ims2)に対して、測距角度の組(θms1,θms2)が定まる。そして、測距角度の組(θms1,θms2)は、測距装置1を原点とする測距走査方向ベクトルD(ims1,ims2)と対応するものとする。測距走査方向ベクトルD(ims1,ims2)は、例えば大きさが1の3次元ベクトルである。観測距離画像Robsにおける画素(ims1,ims2)と測距走査方向ベクトル(ims1,ims2)の対応関係は、例えば測距走査方向ベクトルテーブルDmsに記憶される。
測距装置1は、水平方向の測距角度θms1を−95〜+95度の間で、かつ、垂直方向の測距角度θms2を0〜−90度の間で離散的に走査しながら、上記の処理を行う。これにより、観測距離画像Robsにおける全画素(ims1,ims2)に、当該画素と対応する測距走査方向ベクトルD(ims1,ims2)の方向にある対象物との距離R(ims1,ims2)が設定される。
よって、観測距離画像Robsにおける画素(ims1,ims2)の値は、この画素と対応する測距走査方向ベクトルD(ims1,ims2)の方向を測距して得られた、測距装置1からの距離R(ims1,ims2)を示している。言い換えると、観測距離画像Robsにおける各画素(ims1,ims2)は、測距走査方向ベクトルD(ims1,ims2)の方向に、測距装置1から距離R(ims1,ims2)だけ離れた点(位置)に、対象物があることを示している。
測距方式としては、公知の手法(例えば、特許文献1,2や非特許文献1)を適用すればよい。例えば特許文献1に記載のTOF(Time of Flight)方式は、物体検出領域に向かってパルス状の測定光を照射し、照射時と反射光検出時との時間差に基づいて、対象物との距離を算出するものである。また、特許文献2に記載のAM(Amplitude Modulation)方式は、物体検出領域に向かって振幅変調された測定光を照射し、測定光と反射光の位相差に基づいて、対象物との距離を算出するものである。
なお、測距装置1の構成や測距方式に特に制限はなく、上述した例とは異なるものであっても構わない。
図1に戻り、物体検出装置2は、観測距離画像取得部11と、監視対象画素抽出部12と、主方向クラスタリング部13および副方向クラスタリング部14を含むクラスタリング部20とを有する。これら各部の一部または全部は、ハードウェアで構成されてもよいし、コンピュータのプロセッサが所定のプログラムを実行することによって実現されてもよい。
観測距離画像取得部11は測距装置1によって生成された観測距離画像Robsを取得する。上述したように、観測距離画像Robsの各画素(ims1,ims2)の値は、距離R(ims1,ims2)を示す。
監視対象画素抽出部12は、観測距離画像Robsから監視対象となる画素(ims1,ims2)を抽出し、各監視対象画素に対応する方向、および、監視対象画素が示す対象物と測距装置1との距離R(ims1,ims2)を特定する。なお、方向は、各画素(ims1,ims2)と角度の組(θms1,θms2)との対応関係から特定される。監視対象画素抽出部12は全画素を監視対象画素としてもよいし、予め定めた画素を監視対象画素としてもよいが、以下では、非背景画素を監視対象画素とする例を説明する。
すなわち、監視対象画素抽出部12は、観測距離画像Robsと、予め用意された背景画像Rbgとを比較して、観測距離画像Robsのうちの背景でない画素を抽出する。そして、監視対象画素抽出部12は、観測距離画像Robsにおける背景でない画素のインデックス(非背景インデックスともいう)の集合SnbgIdxを抽出する。より具体的には、監視対象画素抽出部12は、観測距離画像Robsの画素(ims1,ims2)が示す距離R(ims1,ims2)と、非背景画像Rbgの画素(ims1,ims2)が示す距離との差が所定値以上であれば、当該インデックスの組(ims1,ims2)を非背景インデックスとする。
なお、監視対象画素抽出部12は観測距離画像Robsの全画素を非背景画素として扱ってもよい。
そして、監視対象画素抽出部12は観測距離画像Robsの画素数と同じサイズの行列MnbgIdxを生成する。すなわち、監視対象画素抽出部12は、この行列MnbgIdxにおける各要素のうち、非背景インデックスの集合SnbgIdxに含まれるインデックスに対応する要素を1値に、他の要素を0値に設定する。
なお、背景とは、測距装置1の測距対象となり得るが、3次元物体として検出する必要がないものであり、例えば床や天井、固定された家具などである。
ここで、背景画像Rbgは、例えば物体検出領域内に何らの3次元物体がない状態で、測距装置1によって生成された観測距離画像とすることができる。あるいは、測距装置1によって生成された多数の観測距離画像を画素ごとに平均した平均距離画像であってもよい。後者の場合、測距装置1のノイズの影響を抑えることができるし、物体検出領域内に何らの3次元物体がない状態を実現することが難しい場合でも、背景画像Rbgを生成できる。なお、平均としては、算術平均のほか、幾何平均や刈り込み平均などを用いることができる。
図3は、監視対象画素抽出部12の処理動作を模式的に示す図である。この例では、観測距離画像Robsにおける画素(3,2)が示す距離R(3,2)は180であるのに対し、背景画像Rbgにおける画素(3,2)が示す距離は0であり、両者は大きく異なっている。よって、監視対象画素抽出部12は、行列MnbgIdxにおける要素(3,2)を1値に設定する。一方、観測距離画像Robsにおける他の画素が示す距離は、背景画像Rbgにおける対応画素が示す距離とそれぞれ等しい。よって、監視対象画素抽出部12は行列MnbgIdxにおける他の要素を0値に設定する。
図1に戻り、クラスタリング部20は、ある監視対象画素(画素(ims1,ims2)とする)が示す対象物と、隣接する監視対象画素(画素(i’ms1,i’ms2)とする)が示す対象物と、の距離を算出し、この距離に基づいてクラスタリングを行う。この距離は、監視対象画素(ims1,ims2)が示す対象物と測距装置1との距離R(i’ms1,i’ms2)と、隣接する監視対象画素(i’ms1,i’ms2)が示す対象物と測距装置1との距離R(i’ms1,i’ms2)と、に基づいて算出される。
具体的には、クラスタリング部20における主方向クラスタリング部13は、観測距離画像を主方向に対応させて複数の領域(以下、そのそれぞれを主方向クラスタリング単位と呼ぶ)に分割し、各主方向クラスタリング単位内で1次元クラスタリングを行って線セグメントを生成する。すなわち、主方向クラスタリング部13は、観測距離画像Robs、非背景画素を示す行列MnbgIdxおよび測距走査方向ベクトルテーブルDmsを用いて、主方向クラスタリング走査マップMclstr1(後述)により定義される各主方向クラスタリング単位内で主方向のクラスタリングを行い、線セグメントから構成される線セグメント集合SlineSegを生成する。
主方向クラスタリング走査マップMclstr1には、観測距離画像Robsの全画素(ims1,ims2)を定義域として、各画素(ims1,ims2)がどの主方向クラスタリング単位に含まれるか、および、その主方向クラスタリング単位内の1次元の順序(すなわち、各主方向クラスタリング単位内でどの画素とどの画素とが隣接しているかを示す隣接関係)が格納されている。言い換えると、主方向クラスタリング走査マップMclstr1は、各主方向クラスタリング単位が、観測距離画像Robsのどの画素をどのような順序で並べて構成されるか、を定義している。
図4は、主方向クラスタリング走査マップMclstr1を模式的に説明する図である。図示のように、例えば観測距離画像Robsを主方向に8等分(実際は例えば60等分程度)して8つの主方向クラスタリング単位1〜8を設定し、各主方向クラスタリング単位を複数ライン(同図では3ライン)の画素から構成されるようにすることができる。
各主方向クラスタリング単位に属する画素の順序は、主方向インデックスims1の昇順とし、主方向インデックスims1が同一の画素が複数ある場合には副方向インデックスims2の降順とすることができる。例えば、画素(1,1)と画素(1,2)が隣接しているほか、画素(1,1)と画素(2,3)も隣接している。
図5は、主方向クラスタリング部13の処理動作を模式的に説明する図である。同図は図4(a)の主方向クラスタリング単位1内のクラスタリング処理を示している。
主方向クラスタリング部13は、各主方向クラスタリング単位に属し、ある非背景画素が示す対象物と、この非背景画素と隣接する別の非背景画素が示す対象物と、の間の相対距離Rrltvを算出する。なお、以下では、このような相対距離Rrltvを単に「画素間の相対距離Rrltv」ともいう。そして、相対距離Rrltvが所定の閾値Tclstr1(例えば0.20[m])以下である場合、主方向クラスタリング部13は、その2画素が同一の線セグメントに属すると判断する。相対距離が閾値Tclstr1より大きい場合、主方向クラスタリング部13は、その2画素が異なる線セグメントに属すると判断する。
例えば、図5において、観測距離画像Robsにおける画素(1,1)と画素(1,2)が隣接している。このとき、画素(1,1)と画素(1,2)との間の相対距離Rrltvが閾値Tclstr1以下であれば、両画素は同一の線セグメント(例えば線セグメント1)に属すると判断される。
一方、同図において、観測距離画像Robsにおける画素(6,1)と画素(10,1)が隣接している。画素(6,1)と画素(10,1)との間の相対距離Rrltvが閾値Tclstr1より大きければ、両画素は異なる線セグメント(例えば、画素(6,1)は線セグメント1、画素(10,1)は線セグメント2)に属すると判断される。
隣接する2つの非背景画素間の相対距離Rrltvと閾値Tclstr1との比較評価を、各主方向クラスタリング単位に属する全画素について順次行うことで、主方向クラスタリング単位ごとに1または複数の線セグメントが形成される。
図6は、画素間の相対距離Rrltvを算出する手法を説明する図である。図示のように、画素(ims1,ims2)が示す点P(ims1,ims2)は、測距装置1を原点Oとして、距離R(ims1,ims2)および測距走査方向ベクトルD(ims1,ims2)によって特定される。同様に、画素(i’ms1,i’ms2)が示す点P’(i’ms1,i’ms2)は、距離R(i’ms1,i’ms2)および測距走査方向ベクトルD(i’ms1,i’ms2)によって特定される。
そこで、主方向クラスタリング部13は、これらの距離Rおよび測距走査方向ベクトルDに基づき、三角形OPP’に余弦定理を適用して相対距離Rrltvを算出する。具体的には、下記(1)式により、画素(ims1,ims2)と、画素(i’ms1,i’ms2)との相対距離Rrltv((ims1,ims2),(i’ms1,i’ms2))が得られる。
このように、本実施形態における主方向クラスタリング部13は、各画素が示す点をXYZ座標系に変換することなく、観測距離画像Robsの各画素が示す距離Rと測距走査方向ベクトルDとに基づいて画素間の相対距離Rrltvを算出する。そのため、計算量を減らすことができる。
図7は、主方向クラスタリング部13による線セグメント形成の手順の一例を示すフローチャートである。
まず、主方向クラスタリング部13は処理対象とする1つの主方向クラスタリング単位を選択する(ステップS1)。以降、選択された主方向クラスタリング単位内での処理が行われる。
続いて、主方向クラスタリング部13は線セグメントインデックスの集合をクリアする(ステップS2)。線セグメントインデックスの集合は、ある線セグメントに属する観測距離画像Robsの画素を順次追加していくための一時的なデータである。
そして、主方向クラスタリング部13は、主方向クラスタリング単位に属する処理対象画素(ims1,ims2)を、主方向クラスタリング走査マップMclstr1における順序に従って取得する(ステップS3)。なお、主方向クラスタリング部13は、行列MnbgIndxを参照し、背景画素は取得しない。
ここで、処理対象画素(ims1,ims2)が主方向クラスタリング単位における順序1の画素である場合や、後述するステップS10で線セグメントが確定した直後の処理対象画素である場合、線セグメントインデックスの集合に画素が保存されていない(ステップS4のNO)。この場合、主方向クラスタリング部13は処理対象画素(ims1,ims2)を線セグメントの1つ目の画素として線セグメントインデックスの集合に保存する(ステップS5)。そして、ステップS12に進む。
すでに線セグメントインデックスの集合に画素が保存されている場合(ステップS4のYES)、最後に保存された画素と処理対象画素(ims1,ims2)との間の相対距離Rrltvを評価すべく、主方向クラスタリング部13は、主方向クラスタリング走査マップMclstr1を参照して、処理対象画素(ims1,ims2)と隣接する1つ前の処理済画素(i’ms1,i’ms2)(以下、単に隣接画素という)を取得する(ステップS6)。
次に、主方向クラスタリング部13は、処理対象画素(ims1,ims2)と、隣接画素(i’ms1,i’ms2)と間の相対距離Rrltvを上記(1)式に基づいて算出する(ステップS7)。
相対距離Rrltvが閾値Tclstr1以下であれば(ステップS8のYES)、処理対象画素(ims1,ims2)は隣接画素(i’ms1,i’ms2)と同一の線セグメントに属する。よって、主方向クラスタリング部13は処理対象画素(ims1,ims2)を線セグメントインデックスに追加する(ステップS9)。その後、ステップS12に進む。
一方、相対距離Rrltvが閾値Tclstr1より大きければ(ステップS8のNO)、処理対象画素(ims1,ims2)は隣接画素(i’ms1,i’ms2)とは別の線セグメントに属する。よって、主方向クラスタリング部13は、既に線セグメントインデックスの集合に保存された画素の集合を1つの線セグメントとして確定する(ステップS10)。確定した線セグメントに含まれる各画素は、線セグメント集合SlineSegの1つの要素となる。
そして、新たな線セグメントを形成すべく、主方向クラスタリング部13は、線セグメントインデックスの集合をクリアする(ステップS11)。その後、線セグメントインデックスの集合に現在の処理対象画素(ims1,ims2)を加えて(ステップS12)、ステップS13に進む。
以上により、1つの処理対象画素(ims1,ims2)についての処理が完了する。そして、主方向クラスタリング単位内に未処理の画素がある場合(ステップS13のNO)、ステップS3に戻り、主方向クラスタリング部13は主方向クラスタリング走査マップMclstr1を参照して次の処理対象画素を取得し(ステップS3)、同様の処理が行われる。
ステップS1で選択した主方向クラスタリング単位内の全画素について処理した後(ステップS13のYES)、主方向クラスタリング部13は、既に線セグメントインデックスの集合に保存された画素の集合を、処理対象の主方向クラスタリング単位における最後の線セグメントとして確定する(ステップS14)。
以上の処理を、主方向クラスタリング部13は全ての主方向クラスタリング単位について処理する(ステップS15)。これにより、線セグメント集合SlineSegが形成される。線セグメント集合SlineSegは、各主方向クラスタリング単位内で生成された線セグメントから構成される。各線セグメントは、観測距離画像Robsにおける1または複数の画素から構成される。
なお、線セグメントを構成する画素数がある閾値未満である場合には、当該線セグメントを線セグメント集合SlineSegに含めないようにしてもよい。
図1に戻り、副方向クラスタリング部14は、ある主方向クラスタリング内で生成された線セグメントと、副方向において隣接する別の主方向クラスタリング内で生成された線セグメントとの間の距離に基づいてクラスタリングを行い、物体クラスタを生成する。より具体的には、副方向クラスタリング部14は、観測距離画像Robs、測距走査方向ベクトルテーブルDmsおよび線セグメント集合SlineSegを用いて、副方向クラスタリング走査マップMclstr2(後述)により定義される順でクラスタリングを行い、物体クラスタ集合Objclstrを生成する。
副方向クラスタリング走査マップMclstr2には、全主方向クラスタリング単位を定義域として、これらの1次元順序が格納されている。すなわち、副方向クラスタリング走査マップMclstr2は主方向クラスタリング単位同士の隣接関係を定義している。一例として、本実施形態では、主方向クラスタリング単位のインデックスと1次元順序とを一致させるものとする。つまり、上にある主方向クラスタリング単位から下にある主方向クラスタリング単位に向かって昇順で1次元順序を設定する。
図8は、副方向クラスタリング部14の処理動作を模式的に説明する図である。同図(a)に示されるように、観測距離画像Robsの主方向クラスタリング単位1〜8内に線セグメント1〜10が形成されている。その詳細を線セグメント集合SlineSegとして同図(b)に示している。また、副方向クラスタリング走査マップMclstr2は同図(c)に示す通りである。
副方向クラスタリング部14は、ある主方向クラスタリング単位内の線セグメントと、隣接する主方向クラスタリング単位内の線セグメントとの間の相対距離を算出する(具体的な相対距離の算出手法は後述する)。そして、相対距離が所定の閾値Tclstr2(例えば0.50[m])以下である場合、副方向クラスタリング部14は、その2つの線セグメントが同一の物体クラスタに属すると判断する。相対距離が閾値Tclstr2より大きい場合、副方向クラスタリング部14は、その2つの線セグメントが異なる物体クラスタに属すると判断する。
例えば、図8において、副方向クラスタリング走査マップMclstr2によれば、主方向クラスタリング単位1と主方向クラスタリング単位2が隣接している。そこで、副方向クラスタリング部14は、前者に属する線セグメント1と、後者に属する線セグメント3との相対距離が閾値を算出する。この相対距離が閾値Tclstr2以下であったとすると、両線セグメントは同一の物体クラスタ(例えば物体クラスタ1)に属すると判断される。一方、相対距離が閾値Tclstr2より大きかったとすると、両線セグメントは異なる物体クラスタ(例えば、線セグメント1は物体クラスタ1、線セグメント3は物体クラスタ2)に属すると判断される。
隣接する2つの主方向クラスタリング単位に含まれる線セグメント間の相対距離と閾値Tclstr2との比較評価を、各主方向クラスタリング単位に属する全線セグメントについて順次行うことで、1または複数の物体クラスタが形成される。
線セグメント間の相対距離は、一方の線セグメントに属する画素と、他方の線セグメントに属する画素との間の相対距離Rrltvのうちの最小値とする。具体的には、下記(2)式により、主方向クラスタリング単位iclstrU1における線セグメントilineSegUE1と、主方向クラスタリング単位i’clstrU1における線セグメントi’lineSegUE1との相対距離RrltvBwLineSeg(SlineSeg(iclstrU1,ilineSegEU1),SlineSeg(i’clstrU1,i’lineSegEU1)が得られる。
上記(2)式における相対距離Rrltvは図6に示すようにして算出される。このように、本実施形態における副方向クラスタリング部14も、各画素が示す点をXYZ座標系に変換することなく、観測距離画像Robsの各画素が示す距離Rと測距走査方向ベクトルDとに基づいて画素間の相対距離を算出する。そのため、計算量を減らすことができる。
図9は、副方向クラスタリング部14による物体クラスタ形成の手順の一例を示すフローチャートである。
初期設定として、副方向クラスタリング部14は1番目の主方向クラスタリング単位内の線セグメントを物体クラスタとする(ステップS21)。ここでの物体クラスタとは、線セグメントの集合であり、より詳しくは線セグメントを構成する観測距離画像Robsの画素の集合である。
続いて、副方向クラスタリング部14は、副方向クラスタリング走査マップMclstr2を参照して、処理対象の主方向クラスタリング単位と、1つ前に隣接する主方向クラスタリング単位を取得する(ステップS22)。
その後、副方向クラスタリング部14は、処理対象の主方向クラスタリング単位内の線セグメントを取得する(ステップS23)。
そして、副方向クラスタリング部14は結合物体クラスタインデックス集合を予めクリアしておく(ステップS24)。結合物体クラスタインデックス集合は、処理対象の線セグメントからの相対距離が閾値以下の物体クラスタのインデックスを格納する集合である。
続いて、副方向クラスタリング部14は、1つ前に隣接する主方向クラスタリング単位に含まれる線セグメントが属するすべての物体クラスタから、未処理の物体クラスタを選択する(ステップS25)。
そして、副方向クラスタリング部14は、選択された物体クラスタに含まれる未処理の1つの画素を取得する(ステップS26)。副方向クラスタリング部14は、取得された画素と、ステップS23で取得された線セグメントとの相対距離を算出し、閾値Tclstr2と比較する(ステップS27)。ここでの相対距離は、線セグメントに含まれる画素と、取得された画素との間の相対距離Rrltvの最小値をいう。
相対距離が閾値Tclstr2より大きい場合(ステップS27のNO)、この時点では、物体クラスタと、ステップS23で取得された線セグメントが同一の物体クラスタとは判断できない。そこで、副方向クラスタリング部14は、物体クラスタに含まれる次の未処理画素を取得し(ステップS26)、同様の比較評価を行う(ステップS27)。ただし、すでに選択された物体クラスタに含まれる全画素との比較評価の処理が完了した場合(ステップS29のYES)、ステップS30に進む。
一方、相対距離が閾値Tclstr2以下である場合(ステップS27のYES)、物体クラスタと、ステップS23で取得された線セグメントが同一の物体クラスタと判断できる。そこで、副方向クラスタリング部14は、結合物体クラスタインデックス集合に、物体クラスタのインデックスを加える(ステップS28)。
以上を選択された物体クラスタに含まれる全画素について処理する(ステップS29のYES)。なお、ステップS29の判定およびステップS26〜S28の処理においては、計算量を減らすために、物体クラスタに含まれる全画素ではなく、1つ前に隣接する主方向クラスタリング単位に含まれる全画素についてのみ、処理してもよい。
その後、副方向クラスタリング部14は、1つ前に隣接する主方向クラスタリング単位に含まれる線セグメントが属する、次の物体クラスタについて処理する(ステップS30)。すべての物体クラスタについての処理が完了すると(ステップS30のYES)、副方向クラスタリング部14は、結合物体クラスタインデックス集合に含まれるインデックスが示す物体クラスタを結合して新たな物体クラスタを形成し、結合対象の物体クラスタを継承する(ステップS31)。
続いて、副方向クラスタリング部14は同一主方向クラスタリング単位内の別の線セグメントを処理する(ステップS32のNO、ステップS23以降)。そして、この処理を全主方向クラスタリング単位について行う(ステップS33)。
以上のようにして生成された物体クラスタが、物体クラスタ集合SobjClstrに格納される。
図8の例を用い、処理対象が主方向クラスタリング単位2であり、1つ前に隣接するのが主方向クラスタリング単位1である場合を考える。図8(a)に示すように、処理対象の主方向クラスタリング単位2内には別個の2つの線セグメント2,3がある。また、1つ前の主方向クラスタリング単位1内には長い線セグメント1がある。この場合、主方向クラスタリング単位2の処理を開始する時点(ステップS23以前)では、線セグメント1が物体クラスタとなっている。
図9のステップS23で線セグメント3が選択されると、物体クラスタである線セグメント1と、線セグメント2との間の相対距離が小さいためにこれらが結合されて1つの物体クラスタとなる。すなわち、線セグメント1および線セグメント2からなる新たな物体クラスタが生成される(ステップS31)。
次いで、ステップS23に戻って線セグメント3が選択されると、物体クラスタである線セグメント1,2と、線セグメント3との間の相対距離が小さいためにこれらが結合されて1つの物体クラスタとなる。すなわち、線セグメント1,2,3からなる新たな物体クラスタが生成される(ステップS31)。
このようにして、主方向クラスタリング単位2内では別個であった2つの線セグメント2,3が、隣接する主方向クラスタリング単位1内における1つの線セグメント1を介して接続され、合計3つの線セグメント1,2,3が同一物体クラスタとなる。
なお、最終的に求められた物体クラスタに関して、物体クラスタを構成する画素数がある閾値未満である場合には、当該物体クラスタを物体クラスタ集合SobjClstrに含めないようにしてもよい。
このように、第1の実施形態では、隣接する非背景画素どうしの距離に基づいてクラスタリングを行うので、3次元空間に3次元格子を適用する必要がない。そのため、対象物が遠方にあっても近傍にあっても、適切なクラスタリングを行うことができる。また、クラスタリングを行う際に、観測距離画像RobsをXYZ座標系に変換することなく、距離Rおよび測距走査方向ベクトルDを用いて、画素間の相対距離を算出する。そのため、物体検出に要する計算量を減らすことができる。また、主方向クラスタリング単位において1次元クラスタリングを行い、次いで、副方向において1次元クラスタリングを行うため、計算量を抑えることができる。
以下、本実施形態で説明した方式によれば、背景技術の欄で説明した3次元格子をグループ化する方式に比べて、物体検出に必要な計算量を大幅に減らせることを説明する。
まずは、3次元格子をグループ化する方式の場合の計算量を見積もる。上述したように、この方式では、
(1)すべての物体検出候補点を、測距装置を原点とするXYZ座標系に変換し
(2)すべての物体検出候補点のそれぞれについて、変換されたXYZ座標を使って、各3次元格子の内側にあるか外側にあるかを判定し、内側にあると判定された3次元格子に投票し
(3)投票済みの格子の中で隣接するものをグループ化する
という処理が必要である。
(1)の処理において、すべての物体検出候補点とは、観測距離画像における非背景画素である。そして、1つの非背景画素が示す距離Rを、測距装置を原点とするXYZ座標系に変換するには、以下のステップを経る。
(1a)予め定めた水平方向走査角テーブルθtblms1を参照し,インデックスims1から測距走査角度θms1を定める。
(1b)予め定めた垂直方向走査角テーブルθtblms2を参照し,インデックスims2から測距走査角度θms2を定める。
(1c)測距走査角度θms1,θms2から、測距走査方向ベクトルテーブルDmsを次式により決定する。
測距走査方向ベクトルテーブルDmsは、測距装置を原点にとった場合の測定光の照射方向および反射光の入射方向に相当する。
(1d)測距走査方向ベクトルテーブルDmsに距離Rを乗じることによりXYZ座標を得る。
以上から、(1)の処理をオンラインで行うのに必要な計算量は次のようになる。(1a)〜(1c)をテーブルを用いて処理する場合、インデックスの組(ims1,ims2)をキーとする1回のテーブル参照が必要である。ここでは、テーブルの参照1回を浮動小数点演算1回相当とみなす。また、ステップ(1d)の演算は浮動小数点の乗算3回と概算できる。以上から、ステップ(1a)からステップ(1d)までの計算量は、1つの物体検出候補点につき浮動小数点演算4回となる。
よって、物体検出候補点の数がNinCan個とすると、(1)の処理に要する浮動小数点演算の回数は下記(A1)式で表される。
4×NinCan ・・・(A1)
一方、(2)の処理は、具体的には以下のステップを経る。
(2a)前提として、ある3次元格子の境界をXYZ座標系での6平面に対応する6つの関数で表現し、例として次式のように表す。
ここで6平面の法線ベクトルをXYZ座標系の基底に選んだ簡易な例を示すと次式のようになる。
(2b)物体検出候補点のXYZ座標の値を上記の6つの関数に代入し、下式に示すように全て関数での評価値が0以下になれば、格子「内」と判定する。一方、6つの関数での評価値が1つでも0より大きければ格子「外」と判定する。
以上から、(2)の処理をオンラインで行うのに必要な計算量は次のようになる。(2b)の各関数の評価で乗算3回+加算3回+比較演算1回が行われる。これらを単純に足して考えると浮動小数点演算が7回発生する。関数評価は6個あるので、ステップ(2b)の計算量の概算は浮動小数点演算7回×6回=42回となる。この演算が、3次元格子の数だけ行われる。
ここで、物体検出領域のX,Y,Z方向の長さをそれぞれLMNTRX,LMNTRY,LMNTRZとする。そして、各3次元格子の寸法のX,Y,Z方向の長さをそれぞれLgridX,LgridY,LgridZとする。この場合、3次元格子の数は、(LMNTRX/LgridX)×(LMNTRY/LgridY)×(LMNTRZ/LgridZ)である。
よって、(2)の処理での合計計算量、すなわち浮動小数点演算の回数は下記(A2)式で表される。
次に、(3)の処理は、具体的には以下のステップを経る。
(3a)Y,Zを固定し、X軸方向に連なった3次元格子列毎に、隣接する投票済み格子をグループ化し、線セグメントを構成する。
(3b)Zを固定したXY平面上の線セグメント集合毎に、隣接する線セグメントをグループ化し、面セグメントを構成する。
(3c)面セグメント集合において、隣接する面セグメントをグループ化し、立体セグメントを構成する。得られた立体セグメントが物体として検出される。
上記(3a)の処理では、各3次元格子において、隣接する3次元格子が少なくとも1回は参照される。このため、参照される処理は全体で(LMNTRX/LgridX)×(LMNTRY/LgridY)×(LMNTRZ/LgridZ)回発生する。1回の参照処理は少なくとも浮動小数点演算1回程度と見積もられるため、(3a)における浮動小数点演算は(LMNTRX/LgridX)×(LMNTRY/LgridY)×(LMNTRZ/LgridZ)×1回と概算される。
上記(3b)の処理では、Zを固定したXY平面上での線セグメント間の参照であるため、Y方向に隣接する線セグメントのみを参照する場合でも、少なくとも(LMNTRY/LgridY)回の参照処理が発生する。この参照処理がZ方向に(LMNTRZ/LgridZ)回行われる。よって、(3b)における浮動小数点演算は(LMNTRY/LgridY)×(LMNTRZ/LgridZ)×1回と概算される。
上記(3c)の処理は、Z方向に隣接する面セグメントのみを参照するとして、少なくとも(LMNTRZ/LgridZ)回の参照処理が発生する。よって、(3c)における浮動小数点演算は(LMNTRZ/LgridZ)×1回と概算される。
以上から、(3)の処理に要する浮動小数点の演算の回数は下記(A3)式で表される。
上記(A1)〜(A3)式から、(1)〜(3)を合計した浮動小数点演算の回数は、下記(A4)式で表される。
物体検出の精度向上のために3次元格子を小さくした場合、格子寸法が小さくなるにつれて上記(A4)式の第2,3項の計算量が増加する。物体検出候補点の数NinCanが全3次元格子数(LMNTRX/LgridX)×(LMNTRY/LgridY)×(LMNTRZ/LgridZ)より十分に小さい場合には第2,3項が支配的となるため、例えば、3次元格子の各辺の長さLgridX,LgridY,LgridZをそれぞれ1/2倍にすると、計算量は単純には8倍になる。
すなわち、3次元格子をグループ化する従来の方式による計算量のオーダーは下記(A5)式で与えられる。
このように、物体検出の精度を上げたい場合、3次元格子をグループ化する方式では計算量が著しく増加し、実時間での処理が極めて困難となる。
続いて、本実施形態による方式の場合の計算量を見積もる。本方式でのオンライン処理は、監視対象画素抽出部12、主方向クラスタリング部13および副方向クラスタリング部14での処理である。ただし、監視対象画素抽出部12での処理は、上記3次元格子をグループ化する方式と共通であるため、考慮しない。
主方向クラスタリング部13では、非背景インデックス集合SngbIdxに対応する画素において、主方向クラスタリング単位毎に、隣接する画素間の相対距離Rrltvを算出し、相対距離Rrltvが閾値Tclstr1以下の隣接画素を線セグメントとする。この際のオンライン計算量を概算すると以下のようになる。
隣接画素間の相対距離は上記(1)式で算出されるため、その1回あたりの浮動小数点演算は、平方根の計算も含めて約50回相当と見積もられる。この演算が主方向クラスタ単位内の画素数×主方向クラスタ単位の本数分は少なくとも発生する。この回数をNms1×Nms2回と見積もると、主方向クラスタリング部13における浮動小数点の演算回数は下記(B1)式で表される。
50×Nms1×Nms2 ・・・(B1)
一方、副方向クラスタリング部14では、隣接する2つの主方向クラスタリング単位における線セグメント間の相対距離を算出し、この相対距離が閾値Tclstr2以下の線セグメントを同一物体クラスタとする。この際のオンライン計算量を概算すると以下のようになる。
線セグメントの平均長さをAveLenLinseSeg[画素]とすると、各線セグメント間での相対距離を算出する処理は、線セグメント内の全画素間で相対距離Rrltvを算出し、その最小値を得る処理となる。そのため、副方向クラスタリング部14における浮動小数点の演算回数はおおよそ下式で表される。
ここで、上式第1項は全画素間の相対距離Rrltvの算出に関するものであり、第2項は最小値を得るためのソート処理に関するものである。
1つの主方向クラスタリング単位の画素数がおおよそNms1画素と考えると、各主方向クラスタリング単位に含まれる線セグメントの本数はNms1/AveLenLineSeg本と概算される。したがって、副方向で隣接する線セグメント間で相対距離の比較を行うことを想定すると、その回数はNms1/AveLenLineSeg×Nms2回である。
以上から、副方向クラスタリング部14における浮動小数点の演算回数は下記(B2)式で表される。
上記(B1),(B2)式から、主方向クラスタリング部13および副方向クラスタリング部14の浮動小数点演算の合計回数は、おおよそ下記(B3)式で表される。
すなわち、本実施形態によれば、計算量のオーダーは下記(B4)式で与えられる。
この式から分かるように、本実施形態の方式では、計算量は観測距離画像Robsの画素数Nms1,Nms2にのみ依存する。本発明には3次元格子がないため、当然ではあるが、計算量は3次元格子の大きさに依存しない。
図10は、約50人の人間が動き回っている状況を観測し、物体検出処理を、3次元格子をグループ化する方式で行った場合の計算時間と、本実施形態による方式で行った場合の計算時間とを比較する図である。LMNTRX=30[m],LMNTRY=15[m],LMNTRZ=2[m]とした。また、CPU Core i7−3770(Ivy Bridge)4コア、3.4GHz(108GFLOPS相当)のプロセッサを使用した。
図示のように、3次元格子をグループ化する方式では、3次元格子のサイズを小さくするにしたがい、計算時間(計算量)が大幅に増加していくことが分かる。これに対し、本実施形態による方式では、そもそも3次元格子がないため、計算時間は3次元格子のサイズには全く依存しない。計算時間は人間の位置に依存して変化するが、最大となる場合であっても5.045[ms]である。3次元格子をグループ化する方式と比較すると、格子サイズが30[cm]×30[cm]×30[cm]である場合の計算時間よりは長いが、格子サイズが30[cm]×30[cm]×25[cm]である場合の計算時間よりは短い。
また、本実施形態による方式によれば、3次元格子をグループ化する方式における最も高精度な設定(3次元格子サイズ7[cm]×7[cm]×25[cm])と比べて計算時間を1/10以下に抑えつつ、同程度の精度で物体検出結果が得られた。
(第2の実施形態)
上述した第1の実施形態は、観測距離画像Robsをそのまま用いて、すなわち、測距装置1による2次元走査順(2次元走査座標系)を基準として、クラスタリングを行うものであった。これに対し、以下に説明する第2の実施形態では、観測距離画像Robsを歪ませた座標系を用いるものである。以下、第1および第2の実施形態との相違点を中心に説明する。
観測距離画像Robsを歪ませる例として、測距装置1を通る鉛直な線を中心とし、測距装置1と地面との距離を半径とする円柱面上で、地面と平行な所定領域に対応する領域を主方向クラスタリング単位としてもよい。言い換えると、このような円柱面において、地面からの距離がほぼ一定となる対象物から主方向クラスタリング単位が構成される。このような主方向クラスタリング単位を、主方向クラスタリング走査マップMclstr1で定義できる。
すなわち、実空間において、測距装置1を通る鉛直な線を中心とする円柱面において、地面と平行な矩形領域を複数設定する。そして、測距装置1の位置から測距装置1と同じ2次元走査を行って円柱面を撮影したとすると、得られる画像においては、実空間では地面と平行であった矩形領域が、歪んで映る。そこで、得られる画像における歪んだ各矩形領域を、1つの主方向クラスタリング単位とすればよい。
図11は、第2の実施形態における主方向クラスタリング走査マップMclstr1を模式的に説明する図である。上記のように観測距離画像Robsを歪ませる場合、各主方向クラスタリング単位の左右端は、図11(a)に示すように、水平ではなく中央側に湾曲して歪む。この場合、各主方向クラスタリング単位に属する画素の順序は、図11(b)に示すように、原則として主方向インデックスims1の昇順とし、主方向インデックスims1が同一の画素が複数ある場合には副方向インデックスims2の降順とすることができる。
図12は、図11のように主方向クラスタリング走査マップMclstr1を定義する場合の、主方向クラスタリング部13の処理動作を模式的に説明する図である。同図は図11(a)の主方向クラスタリング単位1内のクラスタリング処理を示している。
図12において、観測距離画像Robsにおける画素(2,4)と画素(2,3)が隣接している。このとき、画素(2,4)と画素(2,3)との間の相対距離Rrltvが閾値Tclstr1以下であれば、両画素は同一の線セグメント(例えば線セグメント1)に属すると判断される。
一方、同図において、観測距離画像Robsにおける画素(6,1)と画素(10,1)が隣接している。画素(6,1)と画素(10,1)との間の相対距離Rrltvが閾値Tclstr1より大きければ、両画素は異なる線セグメント(例えば、画素(6,1)は線セグメント1、画素(10,1)は線セグメント2)に属すると判断される。
隣接する2つの非背景画素間の相対距離Rrltvと閾値Tclstr1との比較評価を、各主方向クラスタリング単位に属する全画素について順次行うことで、主方向クラスタリング単位ごとに1または複数の線セグメントが形成される。
さらに本実施形態において、測距装置1が、正面から真下に振り下し、次いで、真下から正面に振り上げる連続した垂直走査を行う場合、次のように副方向クラスタリング走査マップMclstr2を定義することができる。
図13は、第2の実施形態における副方向クラスタリングマップMclstr2を模式的に説明する図である。同図(a)では、便宜上、測距装置1の測距対象を水平方向に8つの領域1〜8に分割するとともに、そのそれぞれに対応させて主方向クラスタリング単位1〜8を設定している(なお、簡単のために上記のように歪ませることは表現していない)。同図における四角囲み数字は実空間における上からの順序、丸囲み数字は測距装置1による走査順を示している。
図示のように、測距装置1は、正面から真下に振り下す際に、実空間における奇数番目の領域1,3,5,7をこの順に走査する。そして、測距装置1は、真下から正面に振り上げる際に、実空間における偶数番目の領域8,6,4,2をこの順に走査する。その結果、実空間における領域の並び順と、得られる観測距離画像Robsにおける主方向クラスタリング単位の並び順は異なる。
すなわち、観測距離画像Robsにおける主方向クラスタリング単位1〜8は、実空間においては領域1,3,5,7,8,6,4,2とそれぞれ対応している。しかしながら、実空間では領域1〜8の順に並んでいることを考慮すれば、観測距離画像Robsでは主方向クラスタリング単位1,8,2,7,3,6,4,5の順に隣接するはずである。よって、主方向クラスタリング単位の隣接関係として、副方向クラスタリングマップMclstr2を図13(b)のように定義すればよい。
図14は、図12および図13のように主方向クラスタリング走査マップMclstr1および副方向クラスタリング走査マップMclstr2をそれぞれ定義する場合の、副方向クラスタリング部14の処理動作を模式的に説明する図である。同図(a)に示されるように、観測距離画像Robsの主方向クラスタリング単位1〜8内に線セグメント1〜10が形成されている。その詳細を線セグメント集合SlineSegとして同図(b)に示している。また、副方向クラスタリング走査マップMclstr2は同図(c)に示す通りである。
例えば、図14において、副方向クラスタリング走査マップMclstr2によれば、主方向クラスタリング単位1と主方向クラスタリング単位8が隣接している。そこで、副方向クラスタリング部14は、前者に属する線セグメント1と、後者に属する線セグメント10との相対距離が閾値を算出する。この相対距離が閾値Tclstr2以下であったとすると、両線セグメントは同一の物体クラスタ(例えば物体クラスタ1)に属すると判断される。一方、相対距離が閾値Tclstr2より大きかったとすると、両線セグメントは異なる物体クラスタ(例えば、線セグメント1は物体クラスタ1、線セグメント10は物体クラスタ2)に属すると判断される。
主方向クラスタリング部13および副方向クラスタリング部14の処理は第1の実施形態と同様であり、単に主方向クラスタリング走査マップMclstr1および副方向クラスタリング走査マップMclstr2による主方向クラスタリングの定義が異なるだけである。
このように、第2の実施形態では、観測距離画像Robsを歪ませた座標系における画素の隣接関係に基づいて、すなわち、歪ませた座標系において隣接する監視対象画素が示す対象物どうしの距離を算出する。そのため、測距装置1の走査方向や走査順に関わらず、主方向クラスタリング単位を適切に設定でき、クラスタリングを行うことができる。
なお、上述した実施形態では2次元走査型の測距装置1を用いて3次元空間を測距することを念頭に置いていたが、1次元走査型の測距装置を用いて2次元空間を測距して得られる観測距離画像(この場合、1ラインのみの画像となる)を対象として、物体を検出することもできる。この場合も測距装置による走査座標系とは異なる座標系を用いることができ、例えば1回目の走査と2回目の走査とで測距方向が異なる場合に、1回目の走査と2回目の走査における測距方向を実空間に合わせて並び替えた座標系において、隣接する画素が示す距離に基づいてクラスタリングを行ってもよい。
(第3の実施形態)
上述した第1および第2の実施形態は、物体クラスタ集合として、物体クラスタを構成する観測距離画像Robsにおける画素を出力するものであった。これに対し、次に説明する第3の実施形態では、物体クラスタを構成する観測距離画像Robsにおける画素をXYZ座標系に変換して出力するものである。以下、第1および第2の実施形態との相違点を中心に説明する。
図15は、本発明の第3の実施形態に係る物体検出システムの概略構成を示すブロック図である。本実施形態における物体検出装置2’はさらにXYZ座標系変換部15を備えている。XYZ座標系変換部15は、副方向クラスタリング部14が出力する物体クラスタ集合に含まれる、観測距離画像Robsにおける画素(ims1,ims2)をXYZ座標に変換する。変換手法は、上記3次元格子をグループ化する方式における(1)の処理を適用すればよい。
副方向クラスタリング部14から出力された物体クラスタ集合SobjClstr内の各物体クラスタに関して、XYZ座標系変換部15は、各物体クラスタに含まれる観測距離画像Robsの画素(ims1,ims2)を参照し、XYZ座標系に変換する。
以下では、観測距離画像Robsの画素(ims1,ims2)が示す距離R(ims1,ims2)を単にRと表記する。画素(ims1,ims2)が定まると、既定の測距走査方向ベクトルテーブルDmsから測距走査方向ベクトルDms(ims1,ims2)が読み出される。このとき、この距離画像画素のXYZ座標値は次式で計算される。
以上がXYZ座標系への変換処理である。
補足のため、事前にオフラインで計算される距走査方向ベクトルテーブルDmsの構成方法について少し詳しく説明する。
図16は、図2に示した測距装置1の観測位置の関係を示す図である。画素(ims1,ims2)に対応する測距角度の組を(θms1,θms2)とする。
図16(a)に示すように、測距角度θms2=0の場合、つまり、測距装置1がZ軸周りに回転する場合、測距走査方向ベクトルDmsは下式で表される。
次に、図16(b)に示すように、測距角度θms1=0の場合、つまり、測距装置1がX軸周りに回転する場合、測距走査方向ベクトルDmsは下式で表される。
続いて、図16(c)に示すように、測距装置1がZ軸とX軸回りに同時に回転する場合は(X,Y,Z)=(1,0,0)の点を、まずZ軸回りに(π/2+θms1)[rad]回転させ、さらにX軸回りにθms2[rad]回転させたものと考えることができる。よって、測距走査方向ベクトルDmsは下式で表される。
上記の計算により、測距走査方向ベクトルテーブルDmsを事前にオフラインで構成することができる。
XYZ座標系に変換することで、各物体クラスタのXYZ座標系での分布が分かる。そのため、この分布からXYZ座標系での大きさを特定し、小さな物体クラスタを除くようにしてもよい。具体的には、XYZ座標系変換部15は、XYZ各軸での分布における最大値と最小値との差が閾値未満である場合、主成分分析を行って決定した3軸での分布における最大値と最小値との差が閾値未満である場合、床面軸とこれと直交する2軸からなる3軸での分布における最大値と最小値との差が閾値未満である場合に、当該物体クラスタが小さいとして除いてもよい。
このように、第3の実施形態では、物体クラスタをXYZ座標で出力する。そのため、物体の位置、大きさ、形状なども把握できる。なお、本実施形態ではXYZ座標に変換した後の処理がないため、第1の実施形態と比べた計算量の増加は4×NinCan回だけである(上記(A1)式参照)。
なお、各実施形態において、測距装置1は対象物からの反射光に基づいて測距を行うものであるが、場合によってはエコーによって複数の反射光が受光されることもある。その場合、いずれか1つのエコーについて上述した処理を行えばよく、例えば最も強度が高いエコーについて処理を行ってもよいし、最も手前のエコーについて処理を行ってもよいし、最も奥のエコーについて処理を行ってもよい。
上述した実施形態は、本発明が属する技術分野における通常の知識を有する者が本発明を実施できることを目的として記載されたものである。上記実施形態の種々の変形例は、当業者であれば当然になしうることであり、本発明の技術的思想は他の実施形態にも適用しうることである。したがって、本発明は、記載された実施形態に限定されることはなく、特許請求の範囲によって定義される技術的思想に従った最も広い範囲とすべきである。
1 測距装置
2,2’ 物体検出装置
11 観測距離画像取得部
12 非背景抽出部
13 主方向クラスタリング部
14 副方向クラスタリング部
15 XYZ座標系変換部
20 クラスタリング部

Claims (19)

  1. 第1方向および第2方向に2次元走査を行う2次元走査型の測距装置によって3次元空間を測距して生成される観測距離画像であって、各画素の値が、該画素に対応する方向にある対象物と前記測距装置との距離を示す前記観測距離画像を取得する観測距離画像取得部と、
    前記観測距離画像から監視対象画素を抽出し、該監視対象画素に対応する方向、および、当該監視対象画素が示す前記対象物と前記測距装置との距離を特定する監視対象画素抽出部と、
    隣接する前記監視対象画素が示す対象物どうしの距離を、前記画素の方向と前記画素が示す前記対象物と前記測距装置との距離とに基づいて算出し、該距離に基づいてクラスタリングを行うクラスタリング部と、を備え
    前記クラスタリング部は、
    前記観測距離画像を、前記第1方向に対応させて複数の領域に分割し、分割された各領域内で1次元クラスタリングを行ってセグメントを生成する第1クラスタリング部と、
    所定の領域で生成された前記セグメントと、前記第2方向において前記所定の領域と隣接する領域で生成された前記セグメントとの距離に基づいてクラスタリングを行って物体クラスタを生成する第2クラスタリング部と、
    を有する物体検出装置。
  2. 前記第1クラスタリング部は、前記測距装置による2次元走査座標系を歪ませた座標系における画素の隣接関係を考慮して、隣接する前記監視対象画素が示す対象物どうしの距離に基づいて、各領域内でクラスタリングを行う、請求項に記載の物体検出装置。
  3. 前記第1クラスタリング部は、前記測距装置による2次元走査座標系を歪ませた座標系における画素の隣接関係を定義した第1クラスタリングマップに基づいて、各領域内でクラスタリングを行う、請求項に記載の物体検出装置。
  4. 前記領域は、実空間において、前記測距装置を通る鉛直な線を中心とする円柱面上で、地面と平行な所定領域に対応する領域である、請求項乃至のいずれかに記載の物体検出装置。
  5. 前記所定領域は、前記測距装置と地面との距離を半径とする前記円柱面における、前記地面からの距離が略一定となる対象物から構成される領域である、請求項に記載の物体検出装置。
  6. 前記第2クラスタリング部は、前記所定の領域で生成された前記セグメントに含まれる画素が示す対象物と、前記所定の領域と隣接する領域で生成された前記セグメントに含まれる画素が示す対象物と、の間の距離のうちの最小値を算出し、この最小値に基づいてクラスタリングを行って前記物体クラスタを生成する、請求項乃至のいずれかに記載の物体検出装置。
  7. 前記第2クラスタリング部は、前記複数の領域の隣接関係を定義した第2クラスタリングマップに基づいて、前記物体クラスタを生成する、請求項乃至のいずれかに記載の物体検出装置。
  8. 前記領域は、実空間において、前記測距装置を通る鉛直な線を中心とする円柱面上で、地面と平行な所定領域に対応する領域であり、
    前記第2クラスタリングマップは、実空間において隣接する前記所定領域が隣接するよう、前記複数の領域の隣接関係を定義する、請求項に記載の物体検出装置。
  9. 前記物体クラスタに含まれる、前記観測距離画像における各画素が示す対象物を、XYZ座標系に変換するXYZ座標系変換部を備える、請求項乃至のいずれかに記載の物体検出装置。
  10. 1次元走査型の測距装置によって2次元空間を測距して生成される観測距離画像であって、各画素の値が、該画素に対応する方向にある対象物と前記測距装置との距離を示す前記観測距離画像を取得する観測距離画像取得部と、
    前記観測距離画像から監視対象画素を抽出し、該監視対象画素に対応する方向、および、当該監視対象画素が示す前記対象物と前記測距装置との距離を特定する監視対象画素抽出部と、
    前記測距装置による走査座標系とは異なる座標系であって、前記測距装置による走査座標系を実空間に合わせて並び替えた座標系における画素の隣接関係を考慮して、隣接する前記監視対象画素が示す対象物どうしの距離を、前記画素の方向と前記画素が示す前記対象物と前記測距装置との距離とに基づいて算出し、該距離に基づいてクラスタリングを行うクラスタリング部と、を備える物体検出装置。
  11. 前記クラスタリング部は、前記監視対象画素の1つである第1画素の値が示す距離と、前記第1画素に対応する方向と、前記監視対象画素の1つであって前記第1画素と隣接する第2画素の値が示す距離と、前記第2画素に対応する方向と、に基づいて、隣接する前記第1画素および前記第2画素が示す対象物どうしの距離を算出する、請求項1乃至1のいずれかに記載の物体検出装置。
  12. 前記クラスタリング部は、前記第1画素が示す対象物と、前記第2画素が示す対象物と、前記測距装置の位置と、を3頂点とする三角形に余弦定理を適用して、隣接する前記第1画素および前記第2画素が示す対象物どうしの距離を算出する、請求項1に記載の物体検出装置。
  13. 前記クラスタリング部は、下式に基づいて隣接する前記第1画素および前記第2画素が示す対象物どうしの距離を算出する、請求項1に記載の物体検出装置
    ここで、Rrltv((ims1,ims2),(i’ms1,i’ms2))は前記第1画素および前記第2画素が示す対象物どうしの距離、
    R(ims1,ims2)は、前記第1画素の値が示す距離、
    D(ims1,ims2)は、前記第1画素に対応する方向を示すベクトル、
    R(i’ms1,i’ms2)は、前記第2画素の値が示す距離、
    D(i’ms1,i’ms2)は、前記第2画素に対応する方向を示すベクトル。
  14. 前記監視対象画素抽出部は、前記観測距離画像と背景画像とを比較して、前記観測距離画像のうち背景でない画素を前記監視対象画素とし、
    前記背景画像は、
    背景となるもの以外の物体がない状態で前記測距装置によって生成された距離画像であるか、
    前記測距装置によって生成された複数の距離画像の平均であり、
    前記背景画像の各画素の値は、該画素に対応する方向にある対象物と前記測距装置との距離を示す、請求項1乃至1のいずれかに記載の物体検出装置。
  15. 前記観測距離画像を生成する測距装置と、
    請求項1乃至1のいずれかに記載の物体検出装置と、を備える物体検出システム。
  16. 第1方向および第2方向に2次元走査を行う2次元走査型の測距装置によって3次元空間を測距して生成される観測距離画像であって、各画素の値が、該画素に対応する方向にある対象物と前記測距装置との距離を示す前記観測距離画像を取得するステップと、
    前記観測距離画像から監視対象画素を抽出し、該監視対象画素に対応する方向、および、当該監視対象画素が示す前記対象物と前記測距装置との距離を特定するステップと、
    隣接する前記監視対象画素が示す対象物どうしの距離を、前記画素の方向と前記画素が示す前記対象物と前記測距装置との距離とに基づいて算出し、該距離に基づいてクラスタリングを行うステップと、を備え
    前記クラスタリングを行うステップは、
    前記観測距離画像を、前記第1方向に対応させて複数の領域に分割し、分割された各領域内で1次元クラスタリングを行ってセグメントを生成する第1クラスタリングステップと、
    所定の領域で生成された前記セグメントと、前記第2方向において前記所定の領域と隣接する領域で生成された前記セグメントとの距離に基づいてクラスタリングを行って物体クラスタを生成する第2クラスタリングステップと、を含む物体検出方法。
  17. 1次元走査型の測距装置によって2次元空間を測距して生成される観測距離画像であって、各画素の値が、該画素に対応する方向にある対象物と前記測距装置との距離を示す前記観測距離画像を取得するステップと、
    前記観測距離画像から監視対象画素を抽出し、該監視対象画素に対応する方向、および、当該監視対象画素が示す前記対象物と前記測距装置との距離を特定するステップと、
    前記測距装置による走査座標系とは異なる座標系であって、前記測距装置による走査座標系を実空間に合わせて並び替えた座標系における画素の隣接関係を考慮して、隣接する前記監視対象画素が示す対象物どうしの距離を、前記画素の方向と前記画素が示す前記対象物と前記測距装置との距離とに基づいて算出し、該距離に基づいてクラスタリングを行うステップと、を備える物体検出方法。
  18. コンピュータに、
    第1方向および第2方向に2次元走査を行う2次元走査型の測距装置によって3次元空間を測距して生成される観測距離画像であって、各画素の値が、該画素に対応する方向にある対象物と前記測距装置との距離を示す前記観測距離画像を取得するステップと、
    前記観測距離画像から監視対象画素を抽出し、該監視対象画素に対応する方向、および、当該監視対象画素が示す前記対象物と前記測距装置との距離を特定するステップと、
    隣接する前記監視対象画素が示す対象物どうしの距離を、前記画素の方向と前記画素が示す前記対象物と前記測距装置との距離とに基づいて算出し、該距離に基づいてクラスタリングを行うステップと、を実行させ
    前記クラスタリングを行うステップは、
    前記観測距離画像を、前記第1方向に対応させて複数の領域に分割し、分割された各領域内で1次元クラスタリングを行ってセグメントを生成する第1クラスタリングステップと、
    所定の領域で生成された前記セグメントと、前記第2方向において前記所定の領域と隣接する領域で生成された前記セグメントとの距離に基づいてクラスタリングを行って物体クラスタを生成する第2クラスタリングステップと、を含む物体検出プログラム。
  19. コンピュータに、
    1次元走査型の測距装置によって2次元空間を測距して生成される観測距離画像であって、各画素の値が、該画素に対応する方向にある対象物と前記測距装置との距離を示す前記観測距離画像を取得するステップと、
    前記観測距離画像から監視対象画素を抽出し、該監視対象画素に対応する方向、および、当該監視対象画素が示す前記対象物と前記測距装置との距離を特定するステップと、
    前記測距装置による走査座標系とは異なる座標系であって、前記測距装置による走査座標系を実空間に合わせて並び替えた座標系における画素の隣接関係を考慮して、隣接する前記監視対象画素が示す対象物どうしの距離を、前記画素の方向と前記画素が示す前記対象物と前記測距装置との距離とに基づいて算出し、該距離に基づいてクラスタリングを行うステップと、を実行させる物体検出プログラム。
JP2015181774A 2015-09-15 2015-09-15 物体検出装置、物体検出システム、物体検出方法および物体検出プログラム Active JP6530685B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015181774A JP6530685B2 (ja) 2015-09-15 2015-09-15 物体検出装置、物体検出システム、物体検出方法および物体検出プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015181774A JP6530685B2 (ja) 2015-09-15 2015-09-15 物体検出装置、物体検出システム、物体検出方法および物体検出プログラム

Publications (2)

Publication Number Publication Date
JP2017058189A JP2017058189A (ja) 2017-03-23
JP6530685B2 true JP6530685B2 (ja) 2019-06-12

Family

ID=58389762

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015181774A Active JP6530685B2 (ja) 2015-09-15 2015-09-15 物体検出装置、物体検出システム、物体検出方法および物体検出プログラム

Country Status (1)

Country Link
JP (1) JP6530685B2 (ja)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JP3522317B2 (ja) * 1993-12-27 2004-04-26 富士重工業株式会社 車輌用走行案内装置
JP3349060B2 (ja) * 1997-04-04 2002-11-20 富士重工業株式会社 車外監視装置
JPH11345336A (ja) * 1998-06-03 1999-12-14 Nissan Motor Co Ltd 障害物検出装置
JP4703830B2 (ja) * 2000-09-14 2011-06-15 北陽電機株式会社 無人搬送車の障害物検知センサ
JP3956926B2 (ja) * 2003-09-24 2007-08-08 アイシン精機株式会社 路面走行レーン検出装置
JP2007122508A (ja) * 2005-10-28 2007-05-17 Secom Co Ltd 侵入検知装置
JP4837413B2 (ja) * 2006-03-24 2011-12-14 北陽電機株式会社 測距方法および測距装置
JP5254102B2 (ja) * 2009-03-24 2013-08-07 富士重工業株式会社 環境認識装置
JP2011185664A (ja) * 2010-03-05 2011-09-22 Panasonic Electric Works Co Ltd 対象物検出装置
JP5900722B2 (ja) * 2011-05-18 2016-04-06 北陽電機株式会社 走査式測距装置の信号処理装置、信号処理方法、及び走査式測距装置
JP5668207B2 (ja) * 2013-01-25 2015-02-12 北陽電機株式会社 物体検出装置、測距装置、ドア制御装置、及び自動ドア装置
JP6054777B2 (ja) * 2013-03-01 2016-12-27 日立オートモティブシステムズ株式会社 ステレオカメラ装置

Also Published As

Publication number Publication date
JP2017058189A (ja) 2017-03-23

Similar Documents

Publication Publication Date Title
JP4883517B2 (ja) 三次元計測装置および三次元計測方法並びに三次元計測プログラム
RU2609434C2 (ru) Выявление расположения и местоположения объектов
JP6238183B2 (ja) モデリング装置、3次元モデル生成装置、モデリング方法、プログラム
JP5631025B2 (ja) 情報処理装置、その処理方法及びプログラム
JP6696083B2 (ja) 領域変位算出システム、領域変位算出方法、及び領域変位算出プログラム
JP5817422B2 (ja) 建物抽出装置、方法及びプログラム
JP2011179910A (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
US12106438B2 (en) Point cloud annotation device, method, and program
JP6381137B2 (ja) 標識検出装置、方法、及びプログラム
JP2017166933A (ja) 情報処理装置及び情報合成プログラム
JP6006179B2 (ja) データ解析装置、データ解析方法、及びプログラム
JP2018179968A (ja) 超音波スキャン・データを使った欠陥検出
JP6397386B2 (ja) 領域分割処理装置、方法、及びプログラム
CN108898629B (zh) 用于三维建模中航空行李表面纹理增强的投影编码方法
Li et al. Damage detection for historical architectures based on TLS intensity data
CN117346705A (zh) 一种水下建筑物的平整度检测方法及设备
JP2019046295A (ja) 監視装置
JP6530685B2 (ja) 物体検出装置、物体検出システム、物体検出方法および物体検出プログラム
KR101392222B1 (ko) 표적 윤곽을 추출하는 레이저 레이더, 그것의 표적 윤곽 추출 방법
JP5656018B2 (ja) 球体の検出方法
JP6388806B2 (ja) 射影画像生成装置と射影画像生成プログラムと射影画像生成方法
Prasad et al. A real-time feature-based clustering approach for vibration-based SHM of large structures
JP2015004588A (ja) データ解析装置、データ解析方法、及びプログラム
Boerner et al. Brute force matching between camera shots and synthetic images from point clouds
Guldur et al. Damage detection on structures using texture mapped laser point clouds

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190517

R150 Certificate of patent or registration of utility model

Ref document number: 6530685

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250