JP5950122B2 - キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム - Google Patents

キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム Download PDF

Info

Publication number
JP5950122B2
JP5950122B2 JP2013273079A JP2013273079A JP5950122B2 JP 5950122 B2 JP5950122 B2 JP 5950122B2 JP 2013273079 A JP2013273079 A JP 2013273079A JP 2013273079 A JP2013273079 A JP 2013273079A JP 5950122 B2 JP5950122 B2 JP 5950122B2
Authority
JP
Japan
Prior art keywords
distance sensors
pair
distance
group
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013273079A
Other languages
English (en)
Other versions
JP2015127664A5 (ja
JP2015127664A (ja
Inventor
フェアチャイルド グラス ディラン
フェアチャイルド グラス ディラン
フェレリ フローラン
フェレリ フローラン
敬宏 宮下
敬宏 宮下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATR Advanced Telecommunications Research Institute International
Original Assignee
ATR Advanced Telecommunications Research Institute International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATR Advanced Telecommunications Research Institute International filed Critical ATR Advanced Telecommunications Research Institute International
Priority to JP2013273079A priority Critical patent/JP5950122B2/ja
Priority to CN201480071352.4A priority patent/CN105874350B/zh
Priority to PCT/JP2014/084166 priority patent/WO2015098971A1/ja
Publication of JP2015127664A publication Critical patent/JP2015127664A/ja
Publication of JP2015127664A5 publication Critical patent/JP2015127664A5/ja
Priority to US15/192,118 priority patent/US10324172B2/en
Application granted granted Critical
Publication of JP5950122B2 publication Critical patent/JP5950122B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66Tracking systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87Combinations of systems using electromagnetic waves other than radio waves

Description

この発明は距離センサのキャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラムに関し、特にたとえば、或る環境に配置される2以上の距離センサの位置および向きをキャリブレーションする、距離センサのキャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラムに関する。
距離センサの1種であるレーザレンジファインダ(LRF:Laser Range Finder)は、社会環境の中で歩行者の高精度で匿名のトラッキングに使用することができる、非侵入性のセンサである。
歩行者の追跡(トラッキング)については、レーザレンジファインダには、他のタイプのセンサに対する多くの長所がある。
まず、それらの非侵入性は大きな利点である。
また、床圧力検出器のようなハードウェアを用いることは公および商業地区に破壊的かもしれないし、タグあるいは携帯型のデバイスを人々に携帯することを要求することは、研究対象の社会システム内に、活発に介入することを、しばしば要求することになる。
一方で、ビデオは、トラッキング・ツールとして時々使用されているが、LRFは、はるかに高い測定精度を提供し、要求されるデータ処理は、はるかにより少ない。
さらに、LRFは、匿名の距離情報だけを出力し、ビデオカメラよりプライバシーに対する懸念がより少ない。
これらの利点は、センサのコストと比較検討しなければならないが、LRFは、そのような点を考慮しても、高いトラフィックの公共の空間の人間の動作を分析するためのポピュラーなツールである。
人間の追跡システムが、一貫して正確なデータを提供することは重要であり、それには、センサ位置の適切な校正は不可欠である。
従来の距離センサのキャリブレーション装置の一例が特許文献1に開示されている。この特許文献1に開示される移動体推定位置システムでは、測定領域内に互いに分散して配置され、互いの移動体までの距離を3個以上の距離センサで計測し、推定位置算出装置にて、距離センサそれぞれから任意の時刻のセンサ計測値を取得し蓄積する。取得蓄積された各距離センサのセンサ計測値に対して距離に応じた信頼性の度合いを示す距離信頼度を付与し、取得蓄積されたセンサ計測値のうち信頼度の高い計測値を採用して距離センサおよび移動体それぞれの位置を推定する。また、推定位置の処理は、移動体の移動前後の位置それぞれの2個以上の距離センサから得られるセンサ計測値を用いて各距離センサの位置のキャリブレーションおよび移動体の移動位置の推定を行う。
しかし、特許文献1の移動体推定位置システムでは、各センサ位置を算出する際、各センサ位置の初期値が必要であるため、たとえば、計測する環境が変化する度に、初期値を計測等する必要があり、面倒である。
このような問題に対処するために、たとえば、初期値を与えなくても、或る環境に配置した複数の距離センサの位置および向きをキャリブレーションすることができる、キャリブレーション装置について、特許文献2に開示がある。
この特許文献2に開示の技術では、計測装置はコンピュータを含み、コンピュータには複数の距離センサが接続される。コンピュータは、各センサからの出力に基づいて、センサ毎に人観測点を検出し、その人観測点の時間変化から人間の移動軌跡を算出する。次に、各センサの出力に基づいて算出された移動軌跡を、センサ間で一致させる。一致させた移動軌跡上の2つの人観測点が所定のルールに従って抽出され、それらを用いてこの移動軌跡を生成したセンサ間の距離および相対的な角度についてのセンサ間の制約を、移動軌跡が一致されたセンサの組毎に算出する。そして、センサ間の制約を用いて、全センサの位置および向きを推定し、推定した位置が調整される。
特開2010−127650号 特開2012−88135号
特許文献2に開示された技術は、比較的、歩行者の数が少ない環境や、歩行者の移動軌跡が、それぞれ、特有の形状を有するような領域でのキャリブレーションには適している。
しかし、たとえば、ある領域に設置される距離センサの数を増加させるにしたがって、校正のための作業は、複数の距離センサから得られるデータの整合性のためには、より重要となるにも関わらず、人手によって行なうのがより難しくなってくる。
また、測距センサの配置される空間が、たとえば、廊下であると、人の移動軌跡の形状が全て似通ったものとなってしまい、複数の人が同時に歩行しているような環境では、キャリブレーションを実施しにくい、という問題があった。
本発明は、上記のような問題点を解決するためになされたものであって、その目的は、ある領域内に複数の距離センサが設置されている場合に、各距離センサの位置および方向を校正するための作業負荷を軽減することが可能なキャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラムを提供することである。
この発明の他の目的は、ある領域内に複数の距離センサが設置されている場合に、測定対象となる領域の人間の活動に、影響を与えることなく、距離センサの位置および方向を校正することが可能なキャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラムを提供することである。
この発明の1つの局面に従うと、領域内に配置される複数の距離センサの位置および向きをキャリブレーションするためのキャリブレーション装置であって、各複数の距離センサは、非接触で二点間の距離を検出するものであり、各複数の距離センサからの測定データを受け付けるインタフェース装置と、各距離センサからの測定データを時系列として格納するための記憶装置と、測定データに基づいて、キャリブレーションを実行するための演算処理装置とを備え、演算処理装置は、a)複数の距離センサごとに、領域内の移動する対象物の位置を検出、b)各距離センサごとに検出された対象物について、群として検知される対象物の組の候補と組の候補の姿勢不変な特徴量を特定c)i)対象物の組の候補と組の候補の姿勢不変な特徴量とに基づいて、距離センサのペアごとに、共通に観測される対象物の組を特定して、距離センサのペアごとの間の相対位置関係を算出し、ii)距離センサのペアごとに共通に観測される対象物の位置の誤差を極小化するように相対位置関係を調整d)極小化された誤差を有する共通に観測される対象物の位置に基づいて、複数の距離センサのネットワークにおける各複数の距離センサの位置および向きの校正を行う。
好ましくは、演算処理装置は、相対位置関係を調整するために、複数の距離センサのうちの各ペアに対して、第1の組の候補と第2の組の候補とを姿勢不変な特徴量に基づいてマッチングする群マッチング手段を含み、第1および第2の組の候補は、それぞれ、複数の距離センサのペアにより測定されたものであり、マッチングされた第1の組の候補と第2の組の候補のうちで固有な群として移動すると特定される対象物の候補の各センサで検知される位置と移動方向とに基づいて、距離センサのペアごとの間の第一次相対位置関係を算出するペア位置仮説算出手段と、複数の距離センサのうちの各ペアについて、ロバスト推定により、検知された対象物についてのマッチングを行って外れ値を除き、第一次相対位置関係を修正して、距離センサのペアの間の第二次相対位置関係を推定し、極小化された誤差を有する共通に観測される対象物の位置を算出するロバスト推定手段とを含む。
好ましくは、組の候補の姿勢不変な特徴量は、組の候補が含む対象物の数、組の候補の移動方向および組の候補の幾何学的な中心位置に対する各対象物の位置とを含む。
好ましくは、演算処理装置は、組の候補の姿勢不変な特徴両を特定する処理のために、群として検知される対象物の組の候補に含まれる対象物の少なくとも2つから構成されうるサブグループを列挙する手段と、各サブグループごとに、姿勢不変な特徴量を特定する手段とを含み、群マッチング手段は、サブグループごとにマッチングを行う。
好ましくは、ペア位置仮説算出手段は、マッチングされた第1の組の候補と第2の組の候補に基づいて、各ペアの距離センサ―のローカル座標におけるセンサのペアの相対位置関係を算出する手段と、ローカル座標において定義される離散的なビンに対して、マッチングされたすべての組の候補について、センサのペアの相対位置関係を表すビンに投票処理を行い、投票の最も多い相対位置関係を第一次相対位置関係として特定するための投票手段を含む。
好ましくは、投票手段は、マッチングされた第1の組の候補と第2の組の候補の対象物を除いて、相対位置関係により変換される位置がマッチングしていると判断される対象物の総数をコンシステンシメトリックとするとき、コンシステンシメトリックにより重みづけされた投票を行う。
好ましくは、ロバスト推定手段は、RANSAC(random sample consensus)により、第二次相対位置関係の推定を行う。
好ましくは、演算処理装置は、各複数の距離センサの位置および向きの校正を行う処理の実行のために、i)距離センサーの各ペアごとに、第二次相対位置関係に対応する正対応の共通に観測される対象物の位置を拘束条件行列へと組み合わせて、ii)拘束条件行列を校正対象の全ての複数の距離センサの相対位置に対して解くことで、各複数の距離センサの位置および向きの校正を行う手段を含む。
好ましくは、各複数の距離センサは、センサ位置から対象物までの一定の角度毎の距離を検出する2次元レーザレンジファインダである。
この発明の他の局面に従うと、領域内に配置される複数の距離センサの位置および向きをキャリブレーションするためのキャリブレーション方法であって、各複数の距離センサは非接触で二点間の距離を検出するものであり、複数の距離センサごとに、領域内の移動する対象物の位置を検出するステップと、各距離センサごとに検出された対象物について、群として検知される対象物の組の候補と組の候補の姿勢不変な特徴量を特定するステップと、対象物の組の候補と組の候補の姿勢不変な特徴量とに基づいて、距離センサのペアごとに、共通に観測される対象物の組を特定して、距離センサのペアごとの間の相対位置関係を算出するステップと、距離センサのペアごとに共通に観測される対象物の位置の誤差を極小化するように相対位置関係を調整するステップと、極小化された誤差を有する共通に観測される対象物の位置に基づいて、複数の距離センサのネットワークにおける各複数の距離センサの位置および向きの校正を行うステップとを備える。
この発明のさらに他の局面に従うと、コンピュータに、領域内に配置される複数の距離センサの位置および向きのキャリブレーションを実行させるためのプログラムであって、各複数の距離センサは非接触で二点間の距離を検出するものであり、複数の距離センサごとに、領域内の移動する対象物の位置を検出するステップと、各距離センサごとに検出された対象物について、群として検知される対象物の組の候補と組の候補の姿勢不変な特徴量を特定するステップと、対象物の組の候補と組の候補の姿勢不変な特徴量とに基づいて、距離センサのペアごとに、共通に観測される対象物の組を特定して、距離センサのペアごとの間の相対位置関係を算出するステップと、距離センサのペアごとに共通に観測される対象物の位置の誤差を極小化するように相対位置関係を調整するステップと、極小化された誤差を有する共通に観測される対象物の位置に基づいて、複数の距離センサのネットワークにおける各複数の距離センサの位置および向きの校正を行うステップとを、コンピュータに実行させる。
この発明によれば、ある領域内に複数の距離センサが設置されている場合に、各距離センサの位置および方向を校正するための作業負荷を軽減することが可能である。
また、この発明によれば、ある領域内に複数の距離センサが設置されている場合に、測定対象となる領域の人間の活動に、影響を与えることなく、距離センサの位置および方向を校正することが可能である。
また、この発明によれば、人の移動軌跡の形状が全て似通ったものとなってしまい、複数の人が同時に歩行しているような環境であっても、距離センサの位置および方向を校正することが可能である。
実施の形態の計測システム1000の構成を説明するための図である。 観測対象となる所定の領域におけるLRFによる測距データの一例を示す図である。 計測演算装置100のハードウェア構成を説明するためのブロック図である。 計測演算装置100の機能を示す機能ブロック図である。 キャリブレーション方法の流れを説明するためのフローチャートである。 レーザレンジファインダにより実際に観測されるデータを示す図である。 図5に示したフローチャートを、機能ブロックとして書き直した図である。 図7の各機能ブロックが出力するデータの例を示す図である。 7の「各センサのグループ検知処理」について説明するためのフローチャートである。 可能なオクルージョンに対応するサブグループと、グループの記述ベクトルを示す図である。 図7に示した「センサペア分析処理」を説明するための機能ブロック図である。 図11に示した相対位置関係評価処理を説明するための機能ブロック図である。 CPU56がグループ比較処理(S300−1)で行う処理を説明するためのフローチャートである。 2つの異なる距離センサ、“L”および“N”の視点から観測される、2つのグループの例を示す図である。 図14で示した各距離センサから観測されるグループの記述ベクトルを示す図である。 センサオフセット算出処理(S300−2)の処理を説明するためのフローチャートである。 「粗な相対位置関係評価処理(S310)」の処理を説明するための機能ブロック図である。 「固有なグループのマッチング処理(S3102)」の概念を説明するための図である。 「コンシステンシメトリック算出処理(S3104)」の概念を説明するための図である。 「アキュムレーター・グリッドへの投票処理(S3106)」の概念を説明するための図である。 図11に示したRANAC処理(S320)を説明するためのフローチャートである。 図7に示した「ネットワーク全体の校正処理」を説明するための機能ブロック図である。 センサ位置の位置決め精度の確認を行った場所のフロアマップである。 試行の結果を示す図である。 第1の環境の上面図(図25(a))と写真(図25(b))である。 すべてのグリッド上の平均誤差と、校正の精度の結果を示す図である。 第2の環境として採用した場所の上面図(図27(a))および写真(図27(b))である。 すべてのグリッド上の平均誤差と共に、校正精度の結果を示す図である。 アルゴリズムの各ステップの相対的有効性を示す図である。 第1〜第3の環境にいて、それぞれ評価された混同行列を示す図である。
以下、本発明の実施の形態の複数の距離センサが設置されている場合に、各距離センサの位置および方向を校正するためのキャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラムについて、図に従って説明する。なお、以下の実施の形態において、同じ符号を付した構成要素および処理工程は、同一または相当するものであり、必要でない場合は、その説明は繰り返さない。
また、以下の説明では、距離センサとして、2次元的なスキャンを行うレーザレンジファインダを例として説明するが、本発明は、このような距離センサに限らず、他の方式により、対象物までの距離を測定するための測距センサについても適用可能であり、また、測距センサによる距離の計測が、3次元的に行われる場合にも適用可能である。
(実施の形態の説明)
図1は、本実施の形態の計測システム1000の構成を説明するための図である。
図1では、所定の領域内、たとえば、ショッピングセンターの一部の領域に、複数の距離計測センサ10.1〜10.n(n:2以上の自然数)を配置した状態を示す。図1においては、2つの距離センサ10.1および10.2を代表的に示す。また、計測システム1000においては、対象の追跡および特定処理を実行するための計測演算装置100も配置される。ここで、距離計測センサとしては、非接触で二点間の距離を計る計測機器であればよいが、以下では、距離計測センサ10.1〜10.nは、上述のとおり、それぞれ、レーザレンジファインダであるものとして説明する。
図1において、所定の観測領域のショッピングセンター内の一部の領域において、人間p1〜p7が歩行している。このうち、歩行者p1およびp2は、1つのグループとして移動しており、歩行者p3〜p5も1つのグループとして移動しているものとする。
また、計測演算装置100は、特に限定されないが、汎用のコンピュータで実現することが可能であり、レーザレンジファインダ10.1〜10.nとは、所定の規格のインターフェイスを介して接続される。図1の例では、1台の計測演算装置100にすべてのレーザレンジファインダ10.1〜10.nを接続するようにしてあるが、LANのようなネットワークで接続される2台以上のコンピュータで処理を分担するようにしてもよい。その場合には、たとえば、いずれか1台のコンピュータが統括コンピュータとして機能すればよい。
さらに、図1の例では、所定の観測領域における対象を追跡するために、n個のレーザレンジファインダ10.1〜10.nを設けるようにしてあるが、これは単なる例示である。したがって、領域の大きさ、形状、障害物の位置や個数に応じて、レーザレンジファインダの数は適宜変更される。レーザレンジファインダ10.1〜10.nは、建物などの観測領域内の移動対象を検出可能な位置に配置され、レーザレンジファインダ 10.1〜10.nの各々は、少なくとも2つ以上のレーザレンジファインダ10.1〜10.nの検出領域が重なるように配置される。
レーザレンジファインダ10.1〜10.nは、レーザーを照射し、物体に反射して戻ってくるまでの時間から当該物体ための距離を計測するものである。たとえば、トランスミッタ(図示せず)から照射したレーザーを回転ミラー(図示せず)で反射させて、前方を扇状に一定角度(たとえば、0.5度)ずつスキャンする。
ここで、レーザレンジファインダ10.1〜10.nの計測範囲は、半径Rの半円形状(扇形)で示される。つまり、レーザレンジファインダ10.1〜10.nは、その正面方向を中心とした場合に、左右それぞれについて所定の角度、たとえば、90°の方向を所定の距離(R)以内で計測可能である。
また、使用しているレーザーは、日本工業規格 JIS C 6802 「レーザー製品の安全基準」におけるクラス1レーザーであり、人の眼に対して影響を及ぼさない安全なレベルであるものとする。
図2は、上述のような観測対象となる所定の領域におけるLRFによる測距データの一例を示す図である。
図2において、上段の図2aは、距離センサにより計測された生データを示し、下段の図2bは、背景となる固定物を除いて、移動中の対象物の検出結果を示す図である。
図2aにおいては、距離センサは、円ないし半円で示されている。
図2bにおいては、背景となる固定物は、灰色で示されており、検出された移動中の対象物を丸で示し、丸に負荷された直線により移動方向が示される。人間の腰の高さで移動する物体を検出しているので、移動中の対象物は、人であると推定される。また、後に説明するような方法で、この測定の時間ステップにおいて、グループとして移動していると特定された対象物は、点線の円で囲まれている。以下では、このように、環境中で、人の社会的な関係性の故にグループとして移動しているとみなされる群を、「社会的グループ(social group)」と呼ぶ。
[ハードウェアブロック]
図3は、計測演算装置100のハードウェア構成を説明するためのブロック図である。
図3に示されるように、計測演算装置100は、外部記録媒体64に記録されたデータを読み取ることができるドライブ装置52と、バス66に接続された中央演算装置(CPU:Central Processing Unit)56と、ROM(Read Only Memory) 58と、RAM(Random Access Memory)60と、不揮発性記憶装置54と、レーザレンジファインダ10.1〜10.nからの測距データを取込むためのデータ入力インタフェース(以下、データ入力I/F)68とを含んでいる。
外部記録媒体64としては、たとえば、CD−ROM、DVD−ROMのような光ディスクやメモリカードを使用することができる。ただし、記録媒体ドライブ52の機能を実現する装置は、光ディスクやフラッシュメモリなどの不揮発性の記録媒体に記憶されたデータを読み出せる装置であれば、対象となる記録媒体は、これらに限定されない。また、不揮発性記憶装置54の機能を実現する装置も、不揮発的にデータを記憶し、かつ、ランダムアクセスできる装置であれば、ハードディスクのような磁気記憶装置を使用してもよいし、フラッシュメモリなどの不揮発性半導体メモリを記憶装置として用いるソリッドステートドライブ(SSD:Solid State Drive)を用いることもできる。
このような計測演算装置100の主要部は、コンピュータハードウェアと、CPU56により実行されるソフトウェアとにより実現される。一般的にこうしたソフトウェアは、マスクROMやプログラマブルROMなどにより、計測演算装置100製造時に記録されており、これが実行時にRAM60に読みだされる構成としてもよいし、ドライブ装置52により記録媒体64から読取られて不揮発性記憶装置54に一旦格納され、実行時にRAM60に読みだされる構成としてもよい。または、当該装置がネットワークに接続されている場合には、ネットワーク上のサーバから、一旦、不揮発性記憶装置54にコピーされ、不揮発性記憶装置54からRAM60に読出されてCPU56により実行される構成であってもよい。
図3に示したコンピュータのハードウェア自体およびその動作原理は一般的なものである。したがって、本発明の最も本質的な部分の1つは、不揮発性記憶装置54等の記録媒体に記憶されたソフトウェアである。
[システムの機能ブロック]
図4は、本実施の形態の計測演算装置100において、上述したCPU56がソフトウェアを実行するにより実現する機能を示す機能ブロック図である。
以下に説明するとおり、本実施の形態の計測演算装置100では、レーザレンジファインダ10.1〜10.nからの出力(距離データ)に基づいて、トラッキングモジュール5630が、対象物(人)のトラッキングを行う。この対象物のトラッキングは、たとえば、パーティクルフィルタなどの技術を用いて、対象の位置および速度を推定することにより実行される。
このような対象物(人)のトラッキングの処理については、たとえば、以下の文献に開示があるとおり、周知な方法で実行することが可能である。
文献 : 特開2013−64671号公報明細書
以下では、このような対象物(人)のトラッキングの処理を行う前提として、複数の距離センサのそれぞれの位置および向きを、複数の距離センサからなるセンサネットワークの座標系において、校正するための処理の構成を説明する。
なお、図4に示した機能ブロックのうちのCPU56が実現する機能ブロックとしては、ソフトウェアでの処理に限定されるものではなく、その一部または全部がハードウェアにより実現されてもよい。
図4を参照して、レーザレンジファインダ10.1〜10.nからの測距信号は、データキャプチャ処理部5602により制御されてデジタルデータとして入力され、キャプチャデータ記録処理部5604により、たとえば、不揮発性記憶装置54のような記憶装置に、各レーザレンジファインダごとに時系列のデータとして格納される。時系列にデータを取得する際に、計測演算装置100の制御の下に、データの取り込みが行われる時刻を示すデータを、以下では、「タイムスタンプ」と呼ぶ。特に限定されないが、タイムスタンプのデータは、レーザレンジファインダ10.1〜10.nからの測距データの各々に関連付けられて、不揮発性記憶装置54に格納される。
ここで、各タイムスタンプの付された測距データから、以下に説明するように、各レーザレンジファインダの測定対象の中に、グループ候補が存在するか否かを判定する時間間隔のことを、「タイムステップ」と呼ぶ。以下では、簡単のために、タイムステップは、各タイムスタンプが付されるのと同一のタイミングであるものとして説明する。ただし、タイムステップは、タイムスタンプの時間間隔の所定の倍数であってもよい。
後に詳しく説明するように、計測演算装置100は、さらに、記憶装置に格納された時系列のデータに基づいて、たとえば、各レーザレンジファインダの測定対象の中から、人に対応する移動対象物を抽出する人位置抽出部5608と、各レーザレンジファインダにおいて移動測定対象の中からグループとして特定できるグループ候補を識別する社会的グループ識別部5610と、レーザレンジファインダの各ペアごとに、一致する(マッチングする)グループを特定し、特定されたマッチングするグループの位置および向きによりレーザレンジファインダの各ペアの相対位置を算出するグループ比較部5612と、レーザレンジファインダの各ペアごとに、マッチングしたグループについて、投票処理により、レーザレンジファインダのペアの相対的な位置関係についての一次相対センサ位置評価を取得するための一般化ハフ変換処理部5614と、ロバスト推定により、一次相対センサ位置評価に対応するレーザレンジファインダのペアに対して共通に観測される対象物について、外れ値を除外して相対位置の再評価を行い、各ペアから共通に観測される対象物に対する位置の誤差を最小とする二次相対センサ位置評価を算出するためのRANAC処理部5616と、二次相対センサ位置評価において、位置の誤差が最小となった各ペアから共通に観測される対象物の位置に基づいて、後に説明する拘束条件行列を生成して、各ペアから共通に観測される対象物について、複数のレーザレンジファインダをセンサネットワークとしてみたときに、そのネットワークにおいて定義される座標系(以下、「ネットワーク座標系」)での位置の誤差が最小となるように、各レーザレンジファインダのネットワーク座標系での位置および向きを校正し、校正結果を記憶装置54に格納するネットワーク位置特定部5620とを備える。
計測演算装置100は、さらに、記憶装置54に格納された各レーザレンジファインダの位置および向きに基づいて、各レーザレンジファインダの位置および向きをフロアマップ(測定領域に対応する地図)などと整合させて、検出された移動対象物をグローバル座標系で表示するための画像出力制御部5640とを含む。
以下、計測演算装置100によるレーザレンジファインダのネットワーク座標系における位置および向きの校正処理について、さらに詳しく説明する。
(センサの位置の特定のための必要条件および拘束条件)
校正のための前提となる事項をまず説明する。
以下では、各レーザレンジファインダは、固定位置にあるものとする。
このとき、レーザレンジファインダの性質により、あるセンサが、直接、他のセンサの相対的位置を検知することはできない。
この場合の校正処理において、利用可能なデータは、各距離センサからの現在および履歴(時系列)としての距離のスキャンデータである。
校正のための手続きは、さらに観測されている社会環境に干渉せずに、非侵襲性を可能にする手法であることが望ましい。
たとえば、混雑した商業エリアに大きな目標物を置くことは、消費者または配送の流れを妨害し、製品表示を妨害し、あるいは、ビジネスが養おうとしているムードや雰囲気を台無しにするかもしれない。
環境で自然に見つかった目標を使用することは、例えば、データ収集が進行中に、1つのセンサを取り除いたような場合でも、最小の労力で、しかも、いつでも、すばやくシステムを再校正することを可能にする。
そこで、本実施の形態のキャリブレーション方法では、センサ位置を測定するための特徴物として環境を通って移動する歩行者自身の移動パターンを使用する。
上述した特許文献2(特開2012−88135号)に開示された技術では、歩行者の観測に基づいた自動的なセンサ較正のための方法が提案されている。ここで、観測は、軌道形状の比較により、センサ間でマッチングされる。
この技術は、いくつかの局所的に異なる方向を向いた部分領域を備えた領域内のように、歩行の軌跡が、移動に応じて著しく変わる環境に対しては有効である。しかしながら、人々が離れた目的地を持っている長い廊下および大きな社会的空間では、上記の技術を適用しようすることは、必ずしも、効果的でない。これらの環境では、大多数の軌道は、局所的には直線に相似しており、軌道形状のみに基づいて、それらを区別することが困難だからである。
したがって、本実施の形態のキャリブレーションの方法では、異なるセンサからの同じ人々についての観測の信頼できる整合を可能にする、軌道形状以外の区別可能な特徴を特定する。
また、大きな領域で、同時に多くの人々が観測されることになると、重い計算負荷が要求されることになる。そこで、本実施の形態のキャリブレーション方法では、センサ間の観測のマッチングの手続きは、計算負荷を低減する構成となっている。
(本実施の形態のキャリブレーション手続き)
(歩行者の運動のパターン)
本実施の形態のキャリブレーション方法では、歩行者自身の移動軌道を使用するのではなく、歩行者の運動の中で現れてくる移動パターンの特徴を使用する。
複数の観測点からそのようなパターンを観測することができる場合、それらはセンサ位置の較正の中で使用することができる特徴の候補になる。
このような歩行者の移動パターンを利用することにすれば、以下の利点がある。
第1に、大多数の歩行者の軌道がジオメトリーにおいて類似するような場合にも、センサ間で共有される観測を識別することが可能となる。
第2に、全ての歩行者の移動軌跡を計算の対象とするわけではないので、歩行者の数が大きい場合、計算上の負荷を低下させるために、探索空間を縮小することが可能となる。
(社会的グループ)
多くの環境の中で、一般に観測される歩行者の移動の1つの特徴は社会的グループの形成である。
つまり、ある社会的な関係を持った歩行者が、ともに歩いている場合、このようなグループが形成される。
たとえば、親と子ども、友達のグループ、恋人同士あるいはビジネス同僚のチームといった人々からグループが成るかどうかにかかわらず、それは、歩行の流れにかかる外力にかかわらず、そのメンバーが接近していることとグループのメンバーがともに一定の範囲内にとどまるために、歩行する速度を調整するという事実によって、識別することができる。
以下では、センサ間の観測のマッチングをとるために、特徴ベクトルとして、歩行者個々の軌道ではなく、社会的グループを利用することで、計算の効率化およびノイズへの頑強性を有するキャリブレーションを実現する方法について、説明する。
まず、グループには個々の軌道より多くの識別可能な特徴があるので、誤ったマッチングを検出する可能性を小さくすることができる。
次に、社会的グループは、時間に対して安定しており、よりよいノイズ除去のための時系列データをフィルタリングする機会を提供する。
最後に、単一の時刻フレーム内の瞬間のデータ(1つのタイムスタンプに対応する測距データ)に基づいて、社会的グループは容易に検知でき、十分な軌道の整合をとるより、計算上単純な手続きである。
(校正アルゴリズム)
図5は、本実施の形態のキャリブレーション方法の流れを説明するためのフローチャートである。
図5を参照して、人位置抽出部5608は、生のスキャンデータおよび各センサからの背景モデルを使用して、移動対象物の位置(基本的に歩行者位置に対応するので、以下、単に、「歩行者位置」と呼ぶことにする)を識別し、各センサからの相対的な歩行者の位置データを出力する(S100)。ただし、典型的には、この位置データにはノイズが多い。
このような人の位置の抽出は、たとえば、タイムスタンプに対応する測距データごとに実行される。
次に、社会的グループ識別部5610は、後に説明するように、同一時刻(同一タイムスタンプ)において各センサで検出された歩行者位置について、それら歩行者位置の近接の程度および運動方向の一致(運動方向のコヒーレンス)の程度に基づいて、各センサから観測される社会的グループ候補を識別する(S200)。
続いて、グループ比較部5612は、レーザレンジファインダの各ペアごとに、運動方向によってグループを標準化して、メンバーの相対的位置を比較し、一致する(マッチングする)グループ候補を特定し、特定されたマッチングするグループ候補の位置および向きによりレーザレンジファインダの各ペアの予備的な相対位置関係の評価(「予備的なセンサ・オフセット仮説」)を算出する(S300)。ここで、グループが「一致する(マッチングする)」とは、レーザレンジファインダのペアから観測されているグループ候補が同一のグループであると特定されることをいう。
さらに、一般化ハフ変換処理部5614は、レーザレンジファインダのペアの一方を基準としたときに、レーザレンジファインダのペアの他方の位置および向きを、基準となるレーザレンジファインダのローカル座標において、複数のタイムステップに渡って同一のグループであると判断される固有グループについて「予備的なセンサ・オフセット仮説」を平均することで、「センサ・オフセット仮説」を算出する。そして、ローカル座標に設定されるビンに、レーザレンジファインダのペアについての固有グループの全てについて、センサ・オフセット仮説の投票を蓄積し、最も高いスコアとなったビンを選択する(S310)。したがって、「センサ・オフセット仮説」とは、基準となるレーザレンジファインダのローカル座標において、他方のレーザレンジファインダの位置および向きにより表現される。また、最も高いスコアとなったビンに対応するセンサ・オフセット仮説が、一次相対センサ位置評価となる。「一次相対センサ位置評価」とは、固有のグループごとのセンサ・オフセット仮説に基づいて、そのような固有のグループを共通に観測するレーザレンジファインダの各ペアに対して、後に詳しく説明するようなビンへの投票処理により決定されるものであり、レーザレンジファインダの各ペアごとに算出されるものである。
そして、RANAC処理部5616は、ロバスト推定により、一次相対センサ位置評価に対応するレーザレンジファインダのペアに対して共通に観測される対象物について、外れ値を除外して相対位置の再評価を行い、各ペアから共通に観測される対象物に対する位置の誤差を最小とする二次相対センサ位置評価を算出する。なお、ロバスト推定であれば、外れ値を除外して誤差の影響を最小にするように、一次相対センサ位置評価から、相対位置評価の再調整により二次相対センサ位置評価を算出する方法は、RANSAC以外の他の方法であってもよい。
最後に、ネットワーク位置特定部5620は、二次相対センサ位置評価において、位置の誤差が最小となった、各ペアから共通に観測される正対応の対象物の位置に基づいて、後に説明する拘束条件行列を生成して、各ペアから共通に観測される対象物の位置の誤差が最小となるように、最小自乗最小化を使用して拘束条件行列を解き、センサネットワーク全体のなかでの各レーザレンジファインダの位置および向きを校正し、校正結果を記憶装置54に格納する(S400)。
以下、図5のフローチャートの各ステップの処理について、より詳しく説明する。
(歩行者位置の検出)
図6は、レーザレンジファインダにより実際に観測されるデータを示す図である。
まず、図5のステップS100の歩行者位置の検出の処理について説明する。
図6(a)に示されるように、背景スキャンは、環境中で固定された部分をモデル化するために構築される。図6(a)では、背景領域(バックグラウンド領域)は、灰色で示され、2人の歩行者が検出される。
いくつかのスキャンにわたって、1組の観測距離が、各スキャン角度ごとに収集され、観測時間にわたって最も頻繁に観測された距離が、背景モデルを構築するために使用される。
(スキャンデータからの人間の位置の抽出)
図6(b)に示されるように、各データスキャンは、人間の位置を抽出するためにセグメントに分けられる。
本システムは、プロセスの単純化のために、腰の高さのスキャンを使用する。
好ましくは、スキャンデータに対しては、外れ値を削除し、かつスキャンデータを滑らかにするために中央値フィルタが使用されてもよい。
その結果、スキャンデータにおいて、たとえば、フォアグラウンドで、幅30cmを超える連続的なセグメントが抽出される。深さ30cm以上の不連続は、セグメント境界と見なされる。
一方で、所定の幅以下の小さなギャップは、同様の距離にあるセグメント間で削除される。また、所定のセグメントの長さの範囲、たとえば、幅5cmから80cmまでの間のセグメントは、人が存在する位置の候補と考えられる。
このような人位置の候補となるセグメントに対して、楕円形状モデル(たとえば、長軸=55cmおよび短軸=25cm)を使用して、体の中心位置が、観測される体の幅の関数として決定される。図6(b)では、簡単のために、人位置が丸で示される。
このステップS100からは、レーザレンジファインダのローカル座標での人の相対的な位置のリストが出力される。
図7は、図5に示したフローチャートを、機能ブロックとして書き直した図であり、図8は、図7の各機能ブロックが出力するデータの例を示す図である。
図7を参照して、N個のレーザレンジファインダからなるセンサネットワークを考えたときに、上述したステップS100の手続きにより、人の相対的な位置のリストが生成される。ここで、人の相対的な位置のリストは、レーザレンジファインダごとに生成されるので、ここでは、N個のリストが生成されることになる。「人の相対的な位置のリスト(以下、「人位置リスト」)」は、図8に示すように、1つのレーザレンジファインダに対して、測定された時刻を表すタイムスタンプと、そのレーザレンジファインダで検出された歩行者の位置のロカール座標(ここでは、極座標で、(r、θ))が含まれる。
図7に戻って、続いて、「各センサのグループ検知処理」では、N個のレーザレンジファインダに対して、人位置リストに基づいて、レーザレンジファインダごとにグループ候補の検知が行われる。これは、図4の社会的グループ識別部5610の処理または図5のステップS200の処理に対応する。検知されたグループ候補は、レーザレンジファインダにそれぞれ対応するN個のグループリストとして出力される。ここで、グループリストは、たとえば、同一のタイムスタンプに対応する距離データの中で検知される。図8(b)に示すように、「グループリスト」は、レーザレンジファインダごとに、1つのグループ(または、後に説明するサブグループ)について、測定された時刻を表すタイムスタンプと、検出されたグループのメンバーの数と、グループの移動速度の絶対値|v|と、グループの幾何学的中心からの各メンバーの位置(ここでは、極座標で、(r、θ))をmメンバー分含む。ここで、極座標の中心は、上述のとおり、グループの幾何学的中心であるので、たとえば、各メンバーを同じ重みで考慮したときの重心を用いることができ、極座標の方向成分の基準は、グループの移動速度の方向とすることができる。
再び、図7に戻って、「センサペア分析処理」では、グループリストに基づいて、レーザレンジファインダの各ペアごとに、ペアに共通に観測されるグループを特定し、かつ、レーザレンジファインダのペア間の相対的な位置関係が特定される。特定された相対的な位置関係により、最も位置誤りが小さくなるように、レーザレンジファインダのペアから共通に観測される歩行者の位置が特定される。この「センサペア分析」は、図5のステップS300〜S320の処理に対応する。センサペア分析では、N個のレーザレンジファインダの可能なペアの組み合わせについて実行されるので、N*(N−1)/2個の「共通に観測される対象物のリスト」が出力される。たとえば、レーザレンジファインダが4個の場合は、可能なペアの組み合わせは、6(=4*3/2)通りある。図8(c)に示すように、「共通に観測される対象物のリスト」には、共通に観測される対象物ごとに、ペアをなす一方のレーザレンジファインダのローカル座標での共通に観測される対象物の位置座標と、ペアをなす他方のレーザレンジファインダのローカル座標での同一の対象物の位置座標との組が、含まれる。
再び、図7に戻って、最後に、「ネットワーク全体の校正処理」では、「共通に観測される対象物のリスト」に基づいて、後に説明するような拘束条件行列を生成して、この拘束条件行列による条件式を最小自乗法により解くことで、N個のレーザレンジファインダのセンサネットワーク全体におけるそれぞれの位置および向きを求めることで、校正処理が実行される。この「ネットワーク全体の構成処理」は、図4のネットワーク位置特定部5620の処理または図5のステップS400に対応する。
「ネットワーク全体の構成処理」では、センサネットワーク全体における各レーザレンジファインダの位置および向きを表す「センサ位置リスト」が出力される。図8(d)に示されるように、「センサ位置リスト」には、レーザレンジファインダごとのセンサネットワーク全体における位置および方向が、含まれる。特に限定されないが、「センサネットワーク全体における位置および方向の決定」とは、たとえば、いずれか1つの距離センサ、たとえば、第1番目の距離センサの位置を基準としたときに、センサネットワーク内の他の距離センサの相対位置および相対的な向きを全て決定することを意味する。この後、このようにして決定された「各距離センサのセンサネットワーク全体における位置および方向」をフロアマップなどと整合させることで、各距離センサにより検出される対象物の位置が、グローバル座標において特定されることになる。
以下、図7に示される各処理の機能ブロックごとにその処理について、説明する。
(姿勢不変な特徴の検知)
本実施の形態では、上述したとおり、歩行者の流れの中で形成される社会的グループを、姿勢不変な特徴として採用する。
社会的グループは、個々の歩行者軌道よりも、多くの特徴を記述できるものであり、それらは時間にわたって安定している。
(姿勢不変な特徴としての社会的グループ)
姿勢不変な特徴として社会的グループを使用するために、異なる位置のレーザレンジファインダによって観測された時にも、不変に測定可能な特性の記述ベクトルを定義する。
この記述ベクトルは、グループのメンバーの数nと、その動きベクトルの絶対値|v|(vがセンサ相対座標で定義されることに注目すると、姿勢不変な特性としてその大きさだけを使用することができる)と、グループの形状の幾何学的な記述とを含んでいる。
グループの形状は、そのメンバーの位置のリストとして姿勢不変な方法に記述することができる。つまり、グループ(または後に説明するサブグループ)の幾何学的な中心(重心)に対する各メンバーの位置で表される。
この各メンバーの位置の情報は、ベクトルの集合M={m1,m2,…,mn}として記憶措置54に格納される。このベクトルの集合M={m1,m2,…,mn}は、グループの幾何学的な中心を原点としてグループの運動の方向にそのX軸を有するような極座標系中の各メンバーの位置について記述するとして格納される。
(社会的グループの検知)
図9は、図7の「各センサのグループ検知処理」について説明するためのフローチャートである。
すなわち、各センサでのグループ検知処理のためには、検知された人と人との間の距離が、所定の距離、たとえば、1.5m未満であること、および運動の方向がそろっていること(運動の方向が、所定の角度範囲内(たとえば、±30°内)で一致すること)で、歩行者の組を社会的グループであると特定する。
たとえば、初期値として、タイムステップは、t=0に設定し、処理対象の人Hを特定するためのワーキング変数も、0番目に設定されているものとする。
図9を参照して、CPU56は、「各センサのグループ検知処理」が開始されると、処理の対象となるタイムステップを次に進めるとともに、グループリストをリセットする(S2002)。
次に、CPU56は、現在の処理対象のタイムステップの「人位置リスト」における次の人Hを対象に設定し(S2004)、人Hがすでに特定されているグループ候補と、1.5m以内の距離であり、かつ、移動の方向が±30°内で一致しているかを判断する(S2006)。
CPU56は、距離および移動の方向が条件を満たす場合(S2006でYes)は、人Hを現在のグループリスト内の対応するグループ候補のメンバーとして加える(S2008)。
一方で、CPU56は、距離および移動の方向が条件を満たさない場合(S2006でNo)は、人Hが、観測されている他の人と、1.5m以内の距離であり、かつ、移動の方向が±30°内で一致しているかを判断する(S2010)。
CPU56は、距離および移動の方向が条件を満たす場合(S2010でYes)は、現在のグループリスト内に新たなグループ候補を生成する(S2012)。
一方で、CPU56は、距離および移動の方向が条件を満たさない場合(S2010でNo)は、現在の「人位置リスト」内にさらに人が登録されているときは(S2014でYes)、処理をS2004に復帰させる。
CPU56は、距離および移動の方向が条件を満たさない場合(S2010でNo)で、現在の「人位置リスト」内にもう人が登録されていないときは(S2014でNo)、まだ、観測されたタイムステップがあるかを判断する(S2016)。
CPU56は、タイムステップがまだある場合(S2016でYes)は、処理をステップS2002に復帰させる。
一方、CPU56は、タイムステップがもうない場合(S2016でNo)は、グループリストに挙げられている各グループについて、グループのサブグループと、各サブグループの記述ベクトルを算出する(S2020)。
その結果、CPU56は、すべてのタイムステップについて、レーザレンジファインダごとのグループリストを出力する。グループリストとは、各タイムステップでの1つの距離センサごとに観測される全てのグループのリストである。
(オクルージョンの影響を避けるためのサブグループの列挙)
以下では、上述した「サブグループ」について、さらに説明する。
グループの何人かのメンバーは、他者によってレーザレンジファインダの見通し範囲から遮蔽(オクルージョンと呼ぶ)されるかもしれない。
したがって、あるグループは、1つのレーザレンジファインダに対して3人のメンバーを有するものの、別のレーザレンジファインダに対しては、2人だけを有するように観測されるかもしれない。
この可能性に対処するために、CPU56は、レーザレンジファインダのペア間でのマッチングを行う候補として使用するために、観測されたグループを構成するサブグループを、すべて列挙する。
図10は、可能なオクルージョンに対応するサブグループと、グループの記述ベクトルを示す図である。
図10(a)は、レーザレンジファインダS1で観測されるグループを示し、図10(b)は、観測されたグループの可能なサブグループの列挙を示す。以下では、マッチング処理などで、単に、「グループ」と呼ぶ場合、そのグループについてのサブグループも含んでいる。また、あるグループのサブグループと他のグループ、または、あるグループのサブグループと他のグループのサブグループがマッチングした場合でも、「グループがマッチングした」と呼ぶものとする。
3人のグループについては、オクルージョンの可能性によって、元の3人のグループ、3人のうちの2人の第1のグループ、3人のうちの2人の第2のグループが、サブグループとして列挙される。3人から2人を選ぶ組み合わせは、3通りあるが、残りの1通りは、オクルージョンでは生じ得ないので、列挙の対象としない。
そして、図10(c)に示すように、CPU56は、各サブグループについて、上述した記述ベクトルを算出する。
たとえば、レーザレンジファインダS1とレーザレンジファインダS2のペアから3人のグループを観測している場合、1人のメンバーがセンサS2の視点から遮蔽される場合に、図10(b)に示すように、3つの可能なサブグループを列挙しておくことによって、レーザレンジファインダS2によって観測されたグループおよびレーザレンジファインダS1によって観測されたグループのサブグループの間のマッチングを特定することが可能となる。
図11は、図7に示した「センサペア分析処理」を説明するための機能ブロック図である。
図11では、レーザレンジファインダS1とレーザレンジファインダS2のペアについての処理を例示的に示す。
図11を参照して、相対位置関係評価処理では、レーザレンジファインダS1についてのグループリストと、レーザレンジファインダS2についてのグループリストを入力として、レーザレンジファインダS1とレーザレンジファインダS2との粗な相対位置関係評価の結果を出力する。
「相対位置関係評価処理」は、図5のステップS300〜S310に対応する。また、「粗な相対位置関係評価」の結果を、「第一次相対位置関係」と呼ぶ。
RANSAC処理では、第一次相対位置関係と、レーザレンジファインダS1についての人位置リストとレーザレンジファインダS2についての人位置リストを入力として、「共通に観測される対象物のリスト」を出力する。
RANSAC処理は、図4のRANAC処理部5616の処理または図5のステップS320の処理に対応する。
図12は、図11に示した相対位置関係評価処理を説明するための機能ブロック図である。
グループ比較処理(S300−1)では、レーザレンジファインダS1についてのグループリストと、レーザレンジファインダS2についてのグループリストを入力として、レーザレンジファインダS1とレーザレンジファインダS2のペアについて「一致するグループのリスト」を出力する。
センサオフセット算出処理(S300−2)は、一致するグループのリストを入力として、各タイムスステップでのレーザレンジファインダのペアについての「予備的な相対位置関係の評価」を出力する。この場合、「予備的な相対位置関係の評価」は、一致するグループのペアごとに算出される。なお、「相対位置関係」は、特に限定されないが、レーザレンジファインダのペアの一方の位置を基準として、この基準のレーザレンジファインダの座標系での他のレーザレンジファインダの位置と向きとを意味する。この意味で、「相対位置関係」を「センサオフセット」とも呼ぶ。
グループ比較処理(S300−1)とセンサオフセット算出処理(S300−2)との組み合わせが、図5のステップS300に対応する。
粗な相対位置関係評価処理は、「予備的な相対位置関係の評価」を入力として、「粗な相対位置関係評価」の結果、すなわち「第一次相対位置関係」を出力する。
図13は、CPU56がグループ比較処理(S300−1)で行う処理を説明するためのフローチャートである。
図13では、距離センサS1と距離センサS2とのペアについてグループを比較する処理を説明する。ここでは、各タイムステップにおいて、距離センサS1のグループリスト中の各グループが、距離センサS2のグループリスト中の各グループと比較される。このような比較は、全ての距離センサにおいて実行される。
上述したように、グループの記述ベクトルは、メンバーの人数nと、その速度ベクトルの大きさ|v|と、メンバー・ベクトルMの集合とからなる。
2つのグループ(サブグループ)間のマッチングの尤度を評価するにあたり、最初に、同一の人数のグループ、すなわち、n1=n2の場合だけを考慮する。なお、グループの人数だけでなく、グループ速度の大きさの差の大きさに基づいて、すなわち、||v1|−|v2||<Vthresholdとの条件で、フィルタリングしてもよい。ここで、Vthresholdは、所定のしきい値である。
ここでは、グループの人数によるフィルタリングのみを行うものとして説明する。
まず、初期的な設定としては、グループの選択を行う際のグループを指定するワーキング変数、およびグループ内のメンバーを指定するためのワーキング変数は、ともに、0に設定されるものとする。
図13を参照して、CPU56は、グループ比較処理が開始されると、レーザレンジファインダS1についてのグループリストと、レーザレンジファインダS2についてのグループリストを入力として、次のグループの比較処理を行う(S3102)。ここで、比較対象となるグループをグループG1およびグループG2とする。ここでは、グループとは、サブグループも含むものとする。
続いて、CPU56は、比較するグループのメンバーの人数が等しいかを判断する(S3104)。等しくない場合は、処理は、ステップS3102に復帰する。
一方、等しい場合(S3104でYes)は、比較されている2つのグループ(G1,G2)については、グループG1の第i番目のメンバーをmi G1とし、対応するグループG2のメンバーをmi G2として定義し、そのメンバー間の距離di =| mi G1−mi G2 |を計算する(S3106)。
ここでは、上述のとおり、グループの運動方向を基準(X軸)とする極座標で表現した場合、たとえば、X軸から左回りに、グループのメンバーに番号が対応付けられているものとし、同一の番号のメンバーについて、距離を計算するものとする。
続いて、CPU56は、距離di =| mi G1−mi G2 |< dthresoldであるかを判断する(S3108)。
ここで、dthresoldは、所定のしきい値である。
距離がしきい値よりも小さくない場合(S3108でNo)、処理は、ステップS3102に復帰する。
一方、距離がしきい値よりも小さい場合(S3108でYes)、CPU56は、グループ内のさらに次のメンバーがいるかを判断する(S3110)。
次のメンバーがいる場合、処理は、ステップS3106に復帰する。
一方、次のメンバーがいない場合、CPU56は、グループが一致したものとして、そのグループを「一致するグループのリスト」に加え、処理は、ステップS3102に復帰する。
全てのグループについて、比較が終了すると、「一致するグループのリスト」が出力される。
なお、「グループの運動方向を基準(X軸)とする極座標で表現した場合、たとえば、X軸から左回りに、グループのメンバーに番号が対応付けられている」として説明したが、運動方向の検知に誤差があると、この番号づけがずれてしまう可能性もある。そこで、2つのグループについて、まず、最近接なメンバーのペアを決め、この最近接なメンバーを起点として、番号づけをすることとしてもよい。
図14は、2つの異なる距離センサ、“L”および“N”の視点から観測される、2つのグループの例を示す図である。
観測された人々は、「*」で示され、遮蔽された人々は「?」で示される。
図14では、オクルージョンにより、2人の歩行者が距離センサNからは観測できない。
図15は、図14で示した各距離センサから観測されるグループの記述ベクトルを示す図である。
図15では、距離センサLから観測されるグループの人数が3人のグループ2について、サブグループが列挙されている状態を示す。
距離センサNから観測される人数が2人の「グループ3」は、距離センサLによって観測される人数が3人の「グループ2」の「サブグループ2c」とマッチングされうる。
(相対位置関係についての仮説の生成)
図16は、センサオフセット算出処理(S300−2)の処理を説明するためのフローチャートである。
このセンサオフセット算出処理では、図13の処理において、一致すると判断されたグループについての記述ベクトルが入力される。
前提として、距離センサS1によって観測された、あるグループG1の観測S1G1、および、距離センサS2によって観測された、同一のグループに対する観測S2G1については、変換マトリックスS1 S2HG1の形で、センサオフセットの仮説を定義することができるものとする。すなわち、変換マトリックスS1 S2HG1とは、同じグループG1が、距離センサS1と距離センサS2から観測されるということに基づいて、センサS1の位置を基準として、センサS2のローカル座標からセンサS1のローカル座標への変換を行う行列に対応する。
図16を参照して、センサオフセット算出処理が開始されると、CPU56は、距離センサS1によって観測された、あるグループの観測S1G1、および、センサS2によって観測された、その同一グループの観測S2G1について、回転オフセットS1θS2を、運動方向S1θG1およびS1θG1の差として算出する(S3202)。
続いて、CPU56は、2つのセンサ間の並進移動のオフセットを、グループの中心位置(S1G1S1G1)および(S2G1S2G1)の差として算出する(S3204)。
算出された変換マトリックスS1 S2HG1を、センサS1とセンサS2との間の予備的な相対位置関係の評価(「予備的なセンサオフセット仮説」)として出力する。
特定できる。
(ハフ変換投票法によるクラスター識別(S310))
図12におけるグループ比較処理(S300−1)とセンサオフセット算出処理(S300−2)について説明したので、以下では、次のステップである「粗な相対位置関係評価処理(S310)」について説明する。
「粗な相対位置関係評価処理(S310)」は、同一のセンサペアについて、グループ間のマッチングに対応する相対的なセンサオフセットをクラスターに分け、最も尤度の高いセンサオフセット(「粗な相対位置関係評価」の結果、すなわち「第一次相対位置関係」)を決定するために、以下に説明するような「一般化されたハフ変換」を使用する。
このような処理を実行するために、距離センサS1を基準として、その距離センサS1のローカル座標である(x,y,θ)空間に、離散的なアキュムレーター・グリッド(投票処理のための格子状の区画、以下、各区画をビンと呼ぶ)を定義し、識別された各社会的グループマッチングについて、そのグループによって決定される予備的な相対位置関係の評価(「予備的なセンサ・オフセット仮説」)に対応するビンに投票処理を行う。
図17は、「粗な相対位置関係評価処理(S310)」の処理を説明するための機能ブロック図である。
図17を参照して、まず、「固有なグループのマッチング処理(S3102)」では、予備的な相対位置関係の評価(「予備的なセンサ・オフセット仮説」)を入力として、後に説明する手順で、複数のタイムステップにわたって、同一の固有なグループとして移動しているグループ候補を特定する。各タイムステップでの予備的な相対位置関係の評価を、この固有なグループについて、複数の時間ステップにわたって平均することにより、ローカル座標でのセンサオフセット仮説を算出する。すなわち、「ローカル座標でのセンサオフセット仮説」とは、(x,y,θ)空間において、固有グループについて平均された距離センサS2の位置および方向を示し、これに対応する変換マトリックスをS1 S2Gnで表す。
続いて、「コンシステンシメトリック算出処理(S3104)」では、各ローカル座標でのセンサオフセット仮説の正しさを示す尤度を、コンシステンシメトリックC(x,y,θ)として算出する。
この尤度の評価のために、コンシステンシメトリックC(x,y,θ)は、距離センサS1およびS2の人位置リストも使用して、後に説明するように、2つのセンサの観測履歴に基づいて算出される。
さらに、「アキュムレーター・グリッドへの投票処理(S3106)」では、後に説明するように、コンシステンシメトリックC(x,y,θ)に従って投票の数に重みを加えて、アキュムレーター・グリッドへの投票する処理が実行される。このような重みづけを行った投票により、ノイズに対する感度を下げる(ノイズに対する耐性を上げる)ことができる。投票の結果、最も投票数の多かった「ローカル座標でのセンサオフセット仮説」が、「粗な相対位置関係評価」の結果(「第一次相対位置関係」)として出力される。
なお、図17では、固有なグループを各タイムステップのグループ候補間のマッチングを行うことにより特定するものとしているが、たとえば、周知な方法により、各歩行者の移動軌跡を求めてから、その移動軌跡の近接の程度により、固有のグループを特定することとしてもよい。
図18は、「固有なグループのマッチング処理(S3102)」の概念を説明するための図である。
図18を参照して、距離センサS1についてのタイムステップT=tにおける観測とタイムステップT=t+1とが、以下の手続きにより比較される。
すなわち、グループ(サブグループ)G1とG2とは、以下の条件が満たされるとき、同一の固有なグループであると判断される。
1)2つのグループのメンバーの数が等しい。
2)グループG1内の第i番目のメンバーmi G1は、対応するグループG2のメンバーmi G2と以下の条件のときに、一致する(マッチングする)とする。
2−1)メンバーをmi G1は、メンバーをmi G2と最近接である(距離が最も近い)。
2−2)メンバーをmi G1とメンバーをmi G2との距離が所定のしきい値以下である。
以上のような手続きにより、同一の固有なグループが抽出され、この固有なグループの移動履歴にわたっての平均処理により、「ローカル座標でのセンサオフセット仮説」が算出される。
図19は、「コンシステンシメトリック算出処理(S3104)」の概念を説明するための図である。
ここでは、記録データ中の各タイムステップに対して、距離センサS1により検知された対象物の1組の2次元位置S1p1と、距離センサS2によって検知された対象物の1組の2次元位置S2p2、および固有グループGnについての共通の観測に基づいた変換マトリックスS1 S2Gnで表される変換(「ローカル座標でのセンサオフセット仮説」)とを考える。
S1 S2GnS2p2という積を算出することにより、距離センサS1の座標系での1組の位置S1p2を得る。したがって、1組の位置S1p2は、直接に位置S1p1と比較することができ、センサオフセット仮説が正しい場合、それらは互いに重なることになる。
「コンシステンシメトリック算出処理(S3104)」では、このようにして互いに重なるといえる対象物の位置がいくつあるかを数え上げることにより算出される。
そこで、まず、このような重なりがあるかを判断する対象となる観測ペアを見つけるために、互いに運動方向がしきい値角度以内、すなわち、|S1θ(i) p2S1θ(j) p1|<θmatchの運動方向を有する観測ペアのみが、マッチングの候補であると考えるというような歩行者の運動方向によるフィルタリングを行う。
位置S1p2の中で上記フィルタリングで残った各位置(つまり、上記のフィルタリングにより判断対象の候補であるとされた各位置)については、このような位置S1p2の中のすべてのポイントについて、位置S1p1に対して最近接探索が行なわれる。
たとえば、計算上の効率のために、k−d木を、この探索に使用してもよい。
位置S1p2 (i)からその最近接の位置S1p1 (j)までの距離および2番目に近い近接位置S1p1 (k)が計算される。
そして、以下のユークリッド距離の比率が所定の値、たとえば、0.8以下である場合、最近接位置がマッチングしていると考えられる、すなわち、以下の式がなり立つ場合は、2つの位置は、重なっている(マッチングしている)と判断される。
経験上、このような判断は、所定の値を0.8とする場合、正しいマッチングの5%未満を廃棄するに過ぎない一方、誤りのマッチングの90%を除去する。
そして、コンシステンシメトリックC(x,y,θ)は、変換マトリックスS1 S2Gnを算出するのに使用したグループGn自体に含まれている観測位置を除いて、距離センサS1で観測された位置S1p1と距離センサS1で観測された位置を変換した位置S1p2の間でマッチングしている位置の総数として定義される。
変換マトリックスS1 S2Gnが、センサ間の真のオフセットから遠い場合は、メトリックCはより0に近くなり、真に近い場合は、メトリックCは高くなる。
図20は、「アキュムレーター・グリッドへの投票処理(S3106)」の概念を説明するための図である。
図20では、説明の簡単のために、「ローカル座標でのセンサオフセット仮説」を、(x,y,θ)空間のうち、(x,y)座標だけで表現している。
(x,y)空間には、図20に示すようなビンが設定されている。
図19の処理で算出したコンシステンシメトリックC(x,y,θ)を用いて、各仮説に対して、アキュムレーター・ビンにC票の投票が加えられる。
最後に、最多得点のアキュムレーター・ビンに対応する(あるいは、1つの最多得票のビンがない場合、すべての最多得票ビンと関連するペアの組を結合して得られる)仮説が、「粗な相対位置関係評価」の結果(「第一次相対位置関係」)として出力される。
(ロバスト推定による外れ値の除去)
図21は、図11に示したRANAC処理(S320)を説明するためのフローチャートである。
一旦、少なくとも1つのビンが、あるしきい値の個数の異なったグループ(たとえば、5個以上とするのが望ましい)からのデータを含んでいるだけの十分なデータが集められたならば、センサペアは一定程度信頼できる「粗な相対位置関係評価」の結果(粗なセンサオフセット仮説)を持つと考えられる。
一旦、すべてのセンサのそれぞれが、少なくとも1つの信頼できる「粗なセンサオフセット仮説」を有するようになれば、RANSAC(ランダム・サンプル・コンセンサス)技術が、外れ値を除外することで、各仮説を再調整するために使用される。
各センサペアについては、「粗な相対位置関係評価処理(S310)」で得られた最良の「粗なセンサオフセット仮説」および観測ペアの対応する組を使用して以下の処理を実行する。
図19に示されたように、この最良の「粗なセンサオフセット仮説」であっても、わずかに正しくない可能性を包含しているので、観測ペアの組は誤りのマッチング(コンシステンシメトリックに寄与しない観測位置のペア)を含んで決定されている可能性がある。
そこで、RANSAC処理の目的は、一層、センサオフセット仮説および対応する観測ペアのセットの再調整を行うことによって、これらの誤りのマッチングを除外することである。
最良の「粗なセンサオフセット仮説」を表す変換マトリックスをHで表すことにする。変換マトリックスHが距離センサペアS1およびS2に対応するものであるとき、変換マトリックスをHにより、距離センサS2のローカル座標の位置は、距離センサS1のローカル座標の位置に変換される。
図21を参照して、RANSAC処理が開始されると、CPU56は、最良の「粗なセンサオフセット仮説」に基づいて、各センサペアについて、変換マトリックスHを算出する(S3302)。
続いて、CPU56は、現在の計算の対象となっているセンサペアのうちの1つの距離センサS1についての人位置リストから、ランダムに所定人数分のサブセットを選択する(S3304)。
さらに、CPU56は、距離センサS2で観測される人位置をマトリックスHにより距離センサS1についてのローカル座標系での位置として求め、距離センサS1についての人位置リストの選択されたサブセットの各位置に対して、距離センサS2についての人位置リストから距離として最近接な人の位置を抽出する(S3306)。このようにして抽出された人の位置のペアを「共通に観測される対象物」と呼ぶ。
次に、CPU56は、「共通に観測される対象物」の各位置に最も適合するように、センサオフセットの仮説(変換マトリックスH´で表される)を算出する(S3308)。たとえば、変換マトリックスH´での変換を利用して、「共通に観測される対象物」の位置の誤差が最も小さくなるように、最小自乗法などを使用して、変換マトリックスH´を算出できる。
続いて、CPU56は、サブセットとして抽出された以外の人位置について、変換マトリックスH´により、最近接マッチングが成立するか否かに応じて、正対応(inlier)および誤対応(outlier:外れ値)であるかに分類する(S3310)。特に限定されないが、最近接マッチであるか否かは、コンシステンシメトリックの算出の際に使用したのと、同様の手続きで決定することができる。あるいは、単に、対象物の距離の差が、所定のしきい値よりも小さいかを判断することにより、最近接マッチングであると判断してもよい。
次に、CPU56は、正対応とされた観測ペアだけを用いて、これら正対応の観測ペアについて、変換マトリックスH”で変換された正対応の「共通に観測される対象物」の位置の誤差が最も小さくなるように、再調整された変換マトリックスH”を算出する(S3312)。さらに、変換マトリックスH”を用いて計算される正対応の観測ペアについての位置の誤差の和εを算出する。
続いて、所定の回数だけ、ステップS3304〜S3312までの処理を繰り返したかが判定され(S3314)、所定回数だけ反復していない場合は、処理は、ステップS3304に復帰する。
一方、すでに、所定回数だけ反復している場合は、CPU56は、位置の誤差の和εが最も小さい正対応の観測ペアの組を、対象となるセンサペアについての「共通に観測される対象物のリスト」として生成する。
ここで、位置の誤差の和εが最も小さくなる変換マトリックスH”であらわされるセンサオフセットの仮説のことを、「第二次相対位置関係」と呼ぶ。
このようなRANSAC処理は、すべてのセンサペアに対して繰り返される。
(ネットワーク拘束条件の同時解を算出する手続きとセンサ位置の校正)
図22は、図7に示した「ネットワーク全体の校正処理」を説明するための機能ブロック図である。
「ネットワーク全体の校正処理」は、各センサペアごとに、RANSAC処理で得られた「位置の誤差の和εが最も小さい正対応の観測ペアの組」の位置を拘束条件行列へと組み合わせて、その行列をネットワーク中のすべてのセンサの相対位置に対して解く。
拘束条件行列を構築するために、n番目の距離センサのネットワーク座標系での位置を(xn, yn)とし、方向をθnとする。
距離センサnのローカル座標系からネットワーク座標系(センサネットワーク全体についての座標系)へ変換することは、以下の式(1)の同次変換マトリックスによって表わされる、−θnの回転をおよび−xnおよび−ynの並進運動を要求する。
ここで、ネットワーク座標系の原点としては、たとえば、距離センサ1の位置をとるものとする。
すべての距離センサnの座標および方向は、パラメーター・ベクトルβ=[x1, y1, θ1,…,xn, yn, θn]Tとして表わすことができる。
センサnのローカル座標での各人の観測、npは、ここで、以下のようにネットワーク座標系に変換することができる:
各センサ・ペアごとに、対応する共有される観測のペア{1p, 2p}を考慮する。このペアは、ネットワーク座標系では、同じ位置を表現するものである。従って、そのペアの間のネットワーク座標系での位置の誤差は最小化されるべきである:
たとえば、距離センサ1と距離センサ2で、以下のように与えられた共通の観測の位置を考える。
このような共通の観測に対して、以下のような誤り関数を最小化することが必要になる。
次に、単一の拘束条件行列へこれら各センサペアの拘束条件を組み合わせる。
以下のような1つの6行1列の共有される観測ベクトルを考える。
このような観測ベクトルに対して、ネットワーク座標系での位置の誤差は、以下の式のように表される。
距離センサ1と距離センサ2のペアについて、m個の共通の観測の位置に対しては、以下のように位置の誤差をまとめることができる。
この式に現れる要素を3m行6列の差分マトリックスとして、以下のように定義する。
また、共有の観測行列を以下のように定義する。
他のセンサ・ペアからの観測を組み合わせれば、以下のようになる:
そして、式(2)において、最小自乗法によってε(β)を最小化するβの最適値を見つけるために、たとえば、レーベンバーグ・マーカート法(Levenberg-Marquardt Method)を使用する。
このようにして、各距離センサのネットワーク座標系での位置の情報が求められることになる。
さらに、実際には、上記のようにして求めたネットワーク座標系でのセンサ位置は、現実のフロアの地図とは、方向と位置について不定な関係にある。したがって、フロアの地図または、フロアの上面からの写真などと、上記のネットワーク座標系でのセンサ位置とを、たとえばディスプレイ上で重ねて表示した上で最終的に、手動でマッチングすることで、フロア地図と各距離センサのネットワーク座標系での位置とを整合させることができる。
(評価実験)
対照環境の中での実地調査の情報と比較して、アルゴリズムのパフォーマンスを評価するために、センサ位置の校正確度を測定した。
さらに、3つの公の場所の中で、本実施の形態の技術を使用することにより達成されるトラッキング精度を測定した。
両方の解析は、記録された生のセンサ・データを使用して、オフラインで行なわれた。
(センサ位置決め精度)
図23は、センサ位置の位置決め精度の確認を行った場所のフロアマップである。
実地調査に対する基準を提供するために、図23に示されるように、実験室の廊下の部分の正確に測定された位置に、4つのセンサをセット・アップする。
距離センサは、予定された通りの位置にできるだけ正確に設置された。
センサ・アングルを整列させるために、参照ポールが原点に置かれ、参照ポールがレーザレンジファインダによって検知された中心スキャン点と一致するまで、センサは手動で回転された。
その後、センサの正確なオフセットは、高精度レーザー測距デバイスを使用して、測定された。また、参照ポールおよび壁検知を整列させるために、センサ・アングルはソフトウェアで微調整された。
5つの試行が実行され、この試行では、5人の歩行者が、2人または3人のグループで廊下を通って10回歩いた。
各センサからのデータは、その後、オフラインで再現され、本実施の形態のシステムを使用して校正された。
図24は、このような試行の結果を示す図である。
図24に示されるように、4つのセンサについて、平均すると、34mmの平均並進誤差および0.51度の平均角度誤差という結果が得られた。
(トラッキング精度の評価)
センサ位置評価の精度は、本実施の形態の較正技術の重要な評価であるが、最終的な目的は、多数のセンサからの歩行者位置の整合的な推定値の取得を可能にすることである。
本実施の形態の技術によって可能になったトラッキング精度のレベルを評価するために、公共の空間でのシステムの3つのテストが行なわれた。
各場所については、個別のデータ・セットが、較正と評価に使用された。
ただし、トラッキング精度の評価にあたっては、歩行者の位置の絶対的な実地調査の情報は利用可能ではなかった。したがって、コンシステンシ評価は、以下に説明するような異なるセンサからの位置評価の重心に基づいて行う。
異なるセンサからのすべての観測で計算された重心位置をp^(i)(t)で、センサsによって観測された時刻tにおける人iの評価位置をps (i)(t)で表わす。
ある位置の人iを観測することができるセンサの数S(i)(t)は、その配置および動的に生じるオクルージョンに依存する。
以下の式(3)に示すようにして、重心からの平均誤差εを計算する。
1組の基準となる歩行者は、異なるセンサからの対応する軌道を手動で識別することにより得られた。150人の基準歩行者が各環境に対して識別された。
各基準歩行者に対して、歩行者が少なくとも2つのセンサによって同時に観測された各時間ステップでε(i)(t)を評価した。
空間の場所の関数としてトラッキングの一致の程度を視覚化するために、空間を所定の解像度でグリッドに分割した。
各グリッドは、それぞれ、重心がそのグリッド内に存在する全てのデータ位置に渡る平均の誤差ε(i)(t)を割り当てられ、その結果は、各環境ごとに以下に示される。
比較においては、スキャンデータの目視に基づいて最善の努力をした手動較正に対する精度の結果も含めた。それは、この技術を開発する前に、利用可能な典型的な校正精度である。
(結果)
(直線状の廊下)
分析した最初の環境は、ディアモール大阪の長さおよそ50mおよび幅7mの廊下である。
図25は、このような第1の環境の上面図(図25(a))と写真(図25(b))である。
ディアモール大阪は、大阪のいくつかの列車および地下鉄の駅の間に位置する地下のショッピング街である。
この環境は、直線の廊下に沿って並べられた16個のセンサ(図25(a)では半円で示す)でカバーされる領域がよく重なるような幾何学的に単純な領域である。
毎分27.6人の歩行者が、この環境に入ってくることが検知された。
図26は、すべてのグリッド上の平均誤差と、校正の精度の結果を示す図である。
図26(a)は、ディアモールの精度解析の中で使用される歩行者の軌道を示し、図26(b)は、マニュアル較正での空間内の誤差を示し、図26(c)は、自動校正からの空間内の誤差を示す。
自動校正により、空間内の誤差が低減しているのがわかる。
(多数のエントランスを備えた大きなスペース)
図27は、第2の環境として採用した場所の上面図(図27(a))および写真(図27(b))である。
図27に示されるように、第2の環境は、大阪ウォーターフロントの小売り、卸販売貿易の複合体である、アジア太平洋トレード・センター(ATC)である。この環境は、大きな吹き抜けの空間つながる廊下から成り、その最も広いポイントで長さ60mおよび幅25m以上のスペースであった。
毎分平均31.8人の歩行者が、この環境に入ってきた。
センサネットワークは、19個のセンサから成りました。
図28は、すべてのグリッド上の平均誤差と共に、校正精度の結果を示す図である。
図28(a)は、ATCでの精度解析の中で使用される歩行者の軌道を示し、図28(b)は、マニュアル較正での空間内の誤差を示し、図28(c)は、自動校正からの空間内の誤差を示す。
ここでも、自動校正により、空間内の誤差が低減しているのがわかる。
さらに、第3の環境として、スパーマーケット内のフロアでも同様の実験を行い、第1および第2の環境と同様の結果が得られた。
(アルゴリズムのステップの解析)
図29は、アルゴリズムの各ステップの相対的有効性を示す図である。
このような相対的な有効性を示すために、図29(a)は、ハフ変換ステップ後、図29(b)は、RANSAC処理後、図29(c)は最終較正後おける、それぞれ対応するセンサ・オフセット仮説に基づいた、1つの時間フレーム内の、2つのセンサによって検知された人間の位置のアラインメントを示す。
最終構成後では、2つのセンサでの観測位置がほとんど重なっていることがわかる。
本実施の形態のキャリブレーションのアルゴリズムでは、センサペアによる人間の観測間の1組のマッチングを生成するために、各センサ・オフセット仮説が使用され、1組の人間の観測は、拘束条件行列を生成するために最終的には使用される。
最終較正の精度は、この拘束条件行列中の誤ったマッチングを除去できるかに強く依存している。
そこで、アルゴリズムのステップがそれぞれどのように誤りのマッチングを減少させるか示すために、較正プロセスの3つのステージに対して、各ステップで生成された正確な人間観測マッチングの割合を示す混同行列を算出した。
校正を行うのに使用されたデータセットからとられた、基準歩行者の実地調査の軌道の別のセットに基づいて、グループマッチング、一般化ハフ変換およびRANSACについてこのような混同行列を算出した。
図30は、このような第1〜第3の環境にいて、それぞれ評価された混同行列を示す図である。
一般化されたハフ変換の後でも、90%以上の割合で人位置のマッチングが取れており、RANSAC処理の後では、いずれの環境でも、99%以上の割合で、人位置のマッチングが取れていることがわかる。
これらの結果が示すように、各処理ステップはそれぞれ最終較正の精度に寄与して、本質的に誤検出の数を減らすことがわかる。
この実施の形態のキャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラムによれば、ある領域内に複数の距離センサが設置されている場合に、たとえば、環境に物理的な目標物を置いて手動で距離センサを整列させるというような、各距離センサの位置および方向を校正するための作業負荷を軽減することが可能である。
また、この実施の形態のキャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラムによれば、ある領域内に複数の距離センサが設置されている場合に、測定対象となる領域の人間の活動に、影響を与えることなく、距離センサの位置および方向を校正することが可能である。
あるいは、この実施の形態のキャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラムによれば、人の移動軌跡の形状が全て似通ったものとなってしまい、複数の人が同時に歩行しているような環境であっても、距離センサの位置および方向を校正することが可能である。
今回開示された実施の形態は、本発明を具体的に実施するための構成の例示であって、本発明の技術的範囲を制限するものではない。本発明の技術的範囲は、実施の形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲の文言上の範囲および均等の意味の範囲内での変更が含まれることが意図される。
10.1〜10.n レーザレンジファインダ、52 ドライブ装置、54 不揮発性記憶装置、56 CPU、58 ROM、60 RAM、64 外部記録媒体、66 バス、100 計測演算装置、5602 データキャプチャ処理部、5604 キャプチャデータ記録処理部、5608 人位置抽出部、5610 社会的グループ識別部、5612 グループ比較部、5614 一般化ハフ変換処理部、5616 RANAC処理部、5620 ネットワーク位置特定部。

Claims (11)

  1. 領域内に配置される複数の距離センサの位置および向きをキャリブレーションするためのキャリブレーション装置であって、各複数の距離センサは非接触で二点間の距離を計るものであり、
    各前記複数の距離センサからの測定データを受け付けるインタフェース装置と、
    各前記距離センサからの前記測定データを時系列として格納するための記憶装置と、
    前記測定データに基づいて、前記キャリブレーションを実行するための演算処理装置とを備え、前記演算処理装置は、
    a)前記複数の距離センサごとに、前記領域内の移動する対象物の位置を検出し、
    b)各前記距離センサごとに検出された前記対象物について、群として検知される対象物の組の候補と前記組の候補の姿勢不変な特徴量を特定し、
    c) i)前記対象物の組の候補と組の候補の姿勢不変な特徴量とに基づいて、前記距離センサのペアごとに、共通に観測される前記対象物の組を特定して、前記距離センサのペアごとの間の相対位置関係を算出し、ii)前記距離センサのペアごとに共通に観測される対象物の位置の誤差を極小化するように前記相対位置関係を調整し、
    d)前記極小化された誤差を有する前記共通に観測される対象物の位置に基づいて、前記複数の距離センサのネットワークにおける各前記複数の距離センサの位置および向きの校正を行う、キャリブレーション装置。
  2. 前記演算処理装置は、前記相対位置関係を調整する処理の実行のために、
    前記複数の距離センサのうちの各ペアに対して、第1の組の候補と第2の組の候補とを前記姿勢不変な特徴量に基づいてマッチングする群マッチング手段を含み、前記第1および第2の組の候補は、それぞれ、前記複数の距離センサの前記ペアにより測定されたものであり、
    マッチングされた前記第1の組の候補と前記第2の組の候補のうちで固有な群として移動すると特定される対象物の候補の各センサで検知される位置と移動方向とに基づいて、前記距離センサのペアごとの間の第一次相対位置関係を算出するペア位置仮説算出手段と、
    前記複数の距離センサのうちの各ペアについて、ロバスト推定により、前記検知された対象物についてのマッチングを行って外れ値を除き、前記第一次相対位置関係を修正して、前記距離センサのペアの間の第二次相対位置関係を推定し、前記極小化された誤差を有する前記共通に観測される対象物の位置を算出するロバスト推定手段とを含む、請求項1記載のキャリブレーション装置。
  3. 前記組の候補の姿勢不変な特徴量は、前記組の候補が含む対象物の数、前記組の候補の移動方向および前記組の候補の幾何学的な中心位置に対する各対象物の位置とを含む、請求項1または2記載のキャリブレーション装置。
  4. 前記演算処理装置は、前記組の候補の姿勢不変な特徴量を特定する処理の実行のために、
    群として検知される対象物の組の候補に含まれる対象物の少なくとも2つから構成されうるサブグループを列挙する手段と、
    各前記サブグループごとに、前記姿勢不変な特徴量を特定する手段とを含み、
    前記群マッチング手段は、前記サブグループごとにマッチングを行う、請求項2記載のキャリブレーション装置。
  5. 前記ペア位置仮説算出手段は、
    前記マッチングされた前記第1の組の候補と前記第2の組の候補に基づいて、各前記ペアの距離センサのローカル座標における前記センサのペアの相対位置関係を算出する手段と、
    前記ローカル座標において定義される離散的なビンに対して、前記マッチングされたすべての組の候補について、前記センサのペアの相対位置関係を表すビンに投票処理を行い、投票の最も多い相対位置関係を前記第一次相対位置関係として特定するための投票手段を含む、請求項2記載のキャリブレーション装置。
  6. 前記投票手段は、前記マッチングされた前記第1の組の候補と前記第2の組の候補の前記対象物を除いて、前記相対位置関係により変換される位置がマッチングしていると判断される対象物の総数をコンシステンシメトリックとするとき、前記コンシステンシメトリックにより重みづけされた投票を行う、請求項5記載のキャリブレーション装置。
  7. 前記ロバスト推定手段は、RANSAC(random sample consensus)により、前記第二次相対位置関係の推定を行う、請求項2記載のキャリブレーション装置。
  8. 前記演算処理装置は、各前記複数の距離センサの位置および向きの校正を行う処理の実行のために、
    i)前記距離センサの各ペアごとに、前記第二次相対位置関係に対応する正対応の前記共通に観測される対象物の位置を拘束条件行列へと組み合わせて、ii)前記拘束条件行列を校正対象の全ての前記複数の距離センサの相対位置に対して解くことで、各前記複数の距離センサの位置および向きの校正を行う手段を含む、請求項2記載のキャリブレーション装置。
  9. 各前記複数の距離センサは、センサ位置から対象物までの一定の角度毎の距離を検出する2次元レーザレンジファインダである、請求項1ないし8のいずれかに記載のキャリブレーション装置。
  10. 領域内に配置される複数の距離センサの位置および向きをキャリブレーションするためのキャリブレーション方法であって、各複数の距離センサは非接触で二点間の距離を計るものであり、
    前記複数の距離センサごとに、前記領域内の移動する対象物の位置を検出するステップと、
    各前記距離センサごとに検出された前記対象物について、群として検知される対象物の組の候補と前記組の候補の姿勢不変な特徴量を特定するステップと、
    前記対象物の組の候補と組の候補の姿勢不変な特徴量とに基づいて、前記距離センサのペアごとに、共通に観測される前記対象物の組を特定して、前記距離センサのペアごとの間の相対位置関係を算出するステップと、
    前記距離センサのペアごとに共通に観測される対象物の位置の誤差を極小化するように前記相対位置関係を調整するステップと、
    前記極小化された誤差を有する前記共通に観測される対象物の位置に基づいて、前記複数の距離センサのネットワークにおける各前記複数の距離センサの位置および向きの校正を行うステップとを備える、キャリブレーション方法。
  11. コンピュータに、領域内に配置される複数の距離センサの位置および向きのキャリブレーションを実行させるためのプログラムであって、各複数の距離センサは非接触で二点間の距離を計るものであり、
    前記複数の距離センサごとに、前記領域内の移動する対象物の位置を検出するステップと、
    各前記距離センサごとに検出された前記対象物について、群として検知される対象物の組の候補と前記組の候補の姿勢不変な特徴量を特定するステップと、
    前記対象物の組の候補と組の候補の姿勢不変な特徴量とに基づいて、前記距離センサのペアごとに、共通に観測される前記対象物の組を特定して、前記距離センサのペアごとの間の相対位置関係を算出するステップと、
    前記距離センサのペアごとに共通に観測される対象物の位置の誤差を極小化するように前記相対位置関係を調整するステップと、
    前記極小化された誤差を有する前記共通に観測される対象物の位置に基づいて、前記複数の距離センサのネットワークにおける各前記複数の距離センサの位置および向きの校正を行うステップとを、コンピュータに実行させるキャリブレーションプログラム。
JP2013273079A 2013-12-27 2013-12-27 キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム Active JP5950122B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013273079A JP5950122B2 (ja) 2013-12-27 2013-12-27 キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
CN201480071352.4A CN105874350B (zh) 2013-12-27 2014-12-24 校准装置、校准方法及校准程序
PCT/JP2014/084166 WO2015098971A1 (ja) 2013-12-27 2014-12-24 キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
US15/192,118 US10324172B2 (en) 2013-12-27 2016-06-24 Calibration apparatus, calibration method and calibration program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013273079A JP5950122B2 (ja) 2013-12-27 2013-12-27 キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム

Publications (3)

Publication Number Publication Date
JP2015127664A JP2015127664A (ja) 2015-07-09
JP2015127664A5 JP2015127664A5 (ja) 2016-03-03
JP5950122B2 true JP5950122B2 (ja) 2016-07-13

Family

ID=53478821

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013273079A Active JP5950122B2 (ja) 2013-12-27 2013-12-27 キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム

Country Status (4)

Country Link
US (1) US10324172B2 (ja)
JP (1) JP5950122B2 (ja)
CN (1) CN105874350B (ja)
WO (1) WO2015098971A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2015234329A1 (en) * 2015-09-30 2017-04-13 Canon Kabushiki Kaisha Method, system and apparatus for processing an image
JP6746050B2 (ja) * 2015-11-25 2020-08-26 株式会社国際電気通信基礎技術研究所 キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
JP6754574B2 (ja) * 2016-01-18 2020-09-16 株式会社日立情報通信エンジニアリング 移動体計測システム、及び計測対象の領域における人物の数を特定する方法
KR101932041B1 (ko) * 2017-03-02 2018-12-24 충북대학교 산학협력단 듀얼 라이다 센서 캘리브레이션 방법 및 장치
CN107229043B (zh) * 2017-05-22 2019-04-09 中国农业科学院农业资源与农业区划研究所 一种距离传感器外参数标定方法和系统
US20190004160A1 (en) * 2017-06-30 2019-01-03 Delphi Technologies, Inc. Lidar sensor alignment system
EP3770637B1 (en) * 2018-03-22 2024-05-08 Hitachi Astemo, Ltd. Object recognizing device
US10823845B2 (en) * 2018-06-24 2020-11-03 Mitsubishi Electric Research Laboratories, Inc. System and method for robust sensor localization based on euclidean distance matrix
WO2020010043A1 (en) * 2018-07-06 2020-01-09 Brain Corporation Systems, methods and apparatuses for calibrating sensors mounted on a device
CN109059902B (zh) 2018-09-07 2021-05-28 百度在线网络技术(北京)有限公司 相对位姿确定方法、装置、设备和介质
US20220228851A1 (en) * 2019-06-17 2022-07-21 Omron Corporation Measurement device, measurement method, and computer-readable storage medium storing a measurement program
CN110319853A (zh) * 2019-07-19 2019-10-11 广州市番通汽车检测有限公司 一种方便校准的汽车姿势测量系统
JP7363545B2 (ja) 2020-02-05 2023-10-18 沖電気工業株式会社 キャリブレーション判定結果提示装置、キャリブレーション判定結果提示方法及びプログラム
DE102020202800A1 (de) * 2020-03-05 2021-09-09 Robert Bosch Gesellschaft mit beschränkter Haftung Ermitteln von Reichweiteneinschränkungen für LIDAR-Vorrichtungen
WO2021220331A1 (ja) * 2020-04-27 2021-11-04 株式会社日立産機システム 移動体システム
JP7286586B2 (ja) * 2020-05-14 2023-06-05 株式会社日立エルジーデータストレージ 測距システム及び測距センサのキャリブレーション方法
CN112362084A (zh) * 2020-11-23 2021-02-12 北京三快在线科技有限公司 一种数据标定方法、装置及数据标定系统
CN112729317B (zh) * 2020-12-17 2023-09-19 大陆投资(中国)有限公司 用于定位车辆的方法和车载系统
CN113092681B (zh) * 2021-04-02 2023-01-17 河北先河环保科技股份有限公司 用于网格化监控网络的传感器配对方法及系统
CN113298194B (zh) * 2021-07-26 2021-10-19 中大检测(湖南)股份有限公司 一种基于多传感器的数据融合方法、系统及存储介质
CN114166133B (zh) * 2021-11-24 2023-05-23 岚图汽车科技有限公司 一种高度传感器标定方法、装置、设备及可读存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5793483A (en) * 1996-02-07 1998-08-11 Visidyne, Inc. Optical measurement system
US6522288B1 (en) * 2002-01-09 2003-02-18 M/A-Com, Inc. Method and apparatus for determining location of objects based on range readings from multiple sensors
US7433021B2 (en) * 2004-08-10 2008-10-07 Joseph Saltsman Stereoscopic targeting, tracking and navigation device, system and method
JP2010127650A (ja) * 2008-11-25 2010-06-10 Nippon Telegr & Teleph Corp <Ntt> 移動体位置推定システムと移動体位置推定方法及び移動体位置推定プログラム
WO2010132791A1 (en) * 2009-05-15 2010-11-18 Purdue Research Foundation Calibration of large camera networks
CN102906593B (zh) * 2010-05-19 2015-06-17 三菱电机株式会社 车辆后方监视装置
JP5712373B2 (ja) * 2010-10-19 2015-05-07 株式会社国際電気通信基礎技術研究所 距離センサのキャリブレーション装置、キャリブレーションプログラムおよびキャリブレーション方法
JP5879877B2 (ja) * 2011-09-28 2016-03-08 沖電気工業株式会社 画像処理装置、画像処理方法、プログラム、および画像処理システム
US10061028B2 (en) * 2013-09-05 2018-08-28 Texas Instruments Incorporated Time-of-flight (TOF) assisted structured light imaging

Also Published As

Publication number Publication date
WO2015098971A1 (ja) 2015-07-02
CN105874350A (zh) 2016-08-17
US10324172B2 (en) 2019-06-18
JP2015127664A (ja) 2015-07-09
CN105874350B (zh) 2018-08-28
US20160356882A1 (en) 2016-12-08

Similar Documents

Publication Publication Date Title
JP5950122B2 (ja) キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
JP5746477B2 (ja) モデル生成装置、3次元計測装置、それらの制御方法及びプログラム
JP5548482B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、プログラム及び記憶媒体
JP5671281B2 (ja) 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム
US10636168B2 (en) Image processing apparatus, method, and program
JP5759161B2 (ja) 物体認識装置、物体認識方法、学習装置、学習方法、プログラム、および情報処理システム
JP5803367B2 (ja) 自己位置推定装置、自己位置推定方法およびプログラム
JP6746050B2 (ja) キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
JP6349418B2 (ja) 高精度単眼移動によるオブジェクト位置特定
CN104732514A (zh) 用于处理高度图的设备、系统和方法
JP2012128661A (ja) 情報処理装置、情報処理方法及びプログラム
US11822340B2 (en) Method and system for obstacle avoidance in robot path planning using depth sensors
Ruotsalainen et al. Visual-aided two-dimensional pedestrian indoor navigation with a smartphone
JP2017004228A (ja) 軌跡推定方法、軌跡推定装置及び軌跡推定プログラム
JP6601613B2 (ja) 位置推定方法、位置推定装置及び位置推定プログラム
JP2015111128A (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
Utz et al. Improving vision-based self-localization
JP2009216480A (ja) 三次元位置姿勢計測方法および装置
Liu et al. Outdoor camera calibration method for a GPS & camera based surveillance system
Liu et al. Absolute orientation and localization estimation from an omnidirectional image
US20230260149A1 (en) Position-posture estimation device, position-posture estimation method, and storage medium storing program
Asl Sabbaghian Hokmabadi et al. Shaped-Based Tightly Coupled IMU/Camera Object-Level SLAM
US20240119620A1 (en) Posture estimation apparatus, posture estimation method, and computer-readable recording medium
JP4332629B2 (ja) 量子化誤差を軽減する距離計測方法及び距離計測システム
Prozorov et al. Self-localization of mobile robot in unknown environment

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20150817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160119

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160122

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160122

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160524

R150 Certificate of patent or registration of utility model

Ref document number: 5950122

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250