JP6746050B2 - キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム - Google Patents

キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム Download PDF

Info

Publication number
JP6746050B2
JP6746050B2 JP2015230092A JP2015230092A JP6746050B2 JP 6746050 B2 JP6746050 B2 JP 6746050B2 JP 2015230092 A JP2015230092 A JP 2015230092A JP 2015230092 A JP2015230092 A JP 2015230092A JP 6746050 B2 JP6746050 B2 JP 6746050B2
Authority
JP
Japan
Prior art keywords
dimensional distance
sensor
distance sensors
calibration
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015230092A
Other languages
English (en)
Other versions
JP2017096813A (ja
Inventor
フェアチャイルド グラス ディラン
フェアチャイルド グラス ディラン
ドラジェン ブルシュチッチ
ドラジェン ブルシュチッチ
フェレリ フローラン
フェレリ フローラン
敬宏 宮下
敬宏 宮下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATR Advanced Telecommunications Research Institute International
Original Assignee
ATR Advanced Telecommunications Research Institute International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATR Advanced Telecommunications Research Institute International filed Critical ATR Advanced Telecommunications Research Institute International
Priority to JP2015230092A priority Critical patent/JP6746050B2/ja
Publication of JP2017096813A publication Critical patent/JP2017096813A/ja
Application granted granted Critical
Publication of JP6746050B2 publication Critical patent/JP6746050B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Optical Radar Systems And Details Thereof (AREA)

Description

この発明は距離センサのキャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラムに関し、特にたとえば、或る環境に配置される2以上の距離センサの位置および向きをキャリブレーションする、距離センサのキャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラムに関する。
実際の社会環境の中で動作するロボットに対して、歩行者の正確なトラッキングを行うことは、安全性、運動プランニングおよび有効な人間・ロボット間のインタラクションに非常に重要になりえる。
距離センサの1種であるレーザーレンジファインダ(LRF:Laser Range Finder)は、社会環境の中で歩行者の高精度で匿名のトラッキングに使用することができる、非侵入性のセンサである。
歩行者の追跡(トラッキング)については、レーザーレンジファインダには、他のタイプのセンサに対する多くの長所がある。
まず、それらの非侵入性は大きな利点である。
また、床圧力検出器のようなハードウェアを用いることは公および商業地区に破壊的かもしれないし、タグあるいは携帯型のデバイスを人々に携帯することを要求することは、研究対象の社会システム内に、活発に介入することを、しばしば要求することになる。
従来の距離センサのキャリブレーション装置の一例が特許文献1に開示されている。
この特許文献1に開示の技術では、計測装置はコンピュータを含み、コンピュータには複数の距離センサが接続される。コンピュータは、各センサからの出力に基づいて、センサ毎に人観測点を検出し、その人観測点の時間変化から人間の移動軌跡を算出する。次に、各センサの出力に基づいて算出された移動軌跡を、センサ間で一致させる。一致させた移動軌跡上の2つの人観測点が所定のルールに従って抽出され、それらを用いてこの移動軌跡を生成したセンサ間の距離および相対的な角度についてのセンサ間の制約を、移動軌跡が一致されたセンサの組毎に算出する。そして、センサ間の制約を用いて、全センサの位置および向きを推定し、推定した位置が調整される。
また、特許文献2には、ある領域内に複数の距離センサが設置されている場合に、各距離センサの位置および方向を較正するための作業負荷を軽減することが可能なキャリブレーション装置が開示されている。
この特許文献2の技術では、計測演算装置において、社会的グループ識別部は、各レーザーレンジファインダにおいて移動測定対象の中からグループとして特定できるグループ候補を識別する。グループ比較部は、レーザーレンジファインダの各ペアごとに、一致するグループを特定し、特定されたマッチングするグループの位置および向きによりレーザーレンジファインダの各ペアの相対位置を算出する。ネットワーク位置特定部は、各ペアから共通に観測される対象物の位置の誤差が最小となるように、センサネットワーク座標系での各レーザーレンジファインダの位置および向きを較正する。
特開2012−88135号 特開2015−127664号
特許文献1に開示された技術は、比較的、歩行者の数が少ない環境や、歩行者の移動軌跡が、それぞれ、特有の形状を有するような領域でのキャリブレーションには適している。
また、特許文献2に開示の技術は、たとえば、ある領域に設置される距離センサの数を増加させた場合でも、較正のための作業を軽減することが可能である。
ただし、観測する領域内に存在する人間の数が多くなると、2次元の距離センサだけでは、オクルージョンの影響が大きくなる。
このような問題を解決する方法としては、天井から人間を3次元距離センサにより観察することが考えられる。
すなわち、2次元距離センサは高精度で広面積をスキャンすることができるものの、群衆の中でのオクルージョンに影響を受けやすいのに対して、天井にマウントされた3次元距離センサは、より多くのデータを集め、オクルージョンには影響されにくいが、一方で、それらの測定可能範囲は、全く制限されている。
ただし、その場合、距離センサの較正を3次元空間に対して行うことが必要となり、システムの較正作業の負荷が、増加してしまう、という問題がある。
この発明の他の目的は、ある領域内に複数の3次元距離センサが設置されている場合に、測定対象となる領域の人間の活動に、影響を与えることなく、3次元距離センサの位置および方向を較正することが可能なキャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラムを提供することである。
この発明の1つの局面に従うと、領域内に配置される複数の3次元距離センサの位置および姿勢をグローバル座標内でキャリブレーションするためのキャリブレーション装置であって、各複数の3次元距離センサは、センサ位置から対象物までの距離を検出可能なものであり、複数の3次元距離センサは、領域の天井部分に、配置されており、各複数の3次元距離センサからの測定データを受け付けるインタフェース装置と、各3次元距離センサからの測定データを時系列として格納するための記憶装置と、測定データに基づいて、キャリブレーションを実行するための演算処理手段とを備え、演算処理手段は、3次元距離センサごとに、領域内を移動する身長が既知の人物の頭頂部の位置を検出し、当該人物についての頭頂部の各時間における複数の観測を平均することにより、頭頂部の複数の観測を含む共通平面を特定するための頭頂部検出手段と、3次元距離センサごとに、共通平面を基準として、ロール角、ピッチ角および高さを較正する第1の較正手段と、3次元距離センサごとに、人物についての他の3次元距離センサとの共通の観測に基づいて、共通の観測の誤差が最小となるように、3次元距離センサの2次元での相対的な位置およびヨー角を較正する第2の較正手段と、第2の較正手段により較正された複数の3次元距離センサの相対位置を、所定の基準位置に基づいて、グローバル座標に対して整合させる第3の較正手段とを含む。
好ましくは、第2の較正手段は、3次元距離センサのすべてに対して、共通の観測をグローバル座標系に剛体変換した場合に、共通の観測間の誤差が最小となるように、3次元距離センサの2次元での相対的な位置およびヨー角を算出する手段を含む。
好ましくは、領域内には、複数の2次元距離センサが、さらに配置されており、演算処理手段は、2次元距離センサのペアごとに、人物の共通の観測に基づいて、ペアの各々の2次元距離センサによる観測の誤差が最小となるように、2次元距離センサの2次元での相対的な位置およびヨー角を較正する2次元センサ較正手段をさらに含み、第2の較正手段は、各3次元距離センサと、すべての2次元距離センサとで、人物の共通の観測の誤差が最小となるように、3次元距離センサの2次元での相対的な位置およびヨー角を較正する。
この発明の他の局面に従うと、領域内に配置される複数の3次元距離センサの位置および姿勢をグローバル座標内でコンピュータによりキャリブレーションするためのキャリブレーション方法であって、各複数の3次元距離センサは、センサ位置から対象物までの距離を検出可能なものであり、コンピュータは演算装置および記憶装置を含み、複数の3次元距離センサは、領域の天井部分に、配置されており、演算装置が、3次元距離センサからの測定データにより、3次元距離センサごとに、領域内を移動する身長が既知の人物の頭頂部の位置を検出し、当該人物についての頭頂部の各時間における複数の観測を平均することにより、頭頂部の複数の観測を含む共通平面を特定するステップと、演算装置が、3次元距離センサごとに、共通平面を基準として、ロール角、ピッチ角および高さを較正するステップと、演算装置が、3次元距離センサごとに、人物についての他の3次元距離センサとの共通の観測に基づいて、共通の観測の誤差が最小となるように、3次元距離センサの2次元での相対的な位置およびヨー角を較正するステップと、演算装置が、較正された複数の3次元距離センサの相対位置を、所定の基準位置に基づいて、グローバル座標に対して整合させ、3次元距離センサのグローバル座標における位置および向きを記憶装置に格納するステップと、を備える。
好ましくは、2次元での相対的な位置およびヨー角を較正するステップは、演算装置が、3次元距離センサのすべてに対して、共通の観測をグローバル座標系に剛体変換した場合に、共通の観測間の誤差が最小となるように、レーベンバーグ・マーカート法により、3次元距離センサの2次元での相対的な位置およびヨー角を算出するステップを含む。
好ましくは、領域内には、複数の2次元距離センサが、さらに配置されており、演算装置が、2次元距離センサのペアごとに、人物の共通の観測に基づいて、ペアの各々の2次元距離センサによる観測の誤差が最小となるように、2次元距離センサの2次元での相対的な位置およびヨー角を較正する2次元センサ較正ステップをさらに含み、2次元での相対的な位置およびヨー角を較正するステップは、各3次元距離センサと、すべての2次元距離センサとで、人物の共通の観測の誤差が最小となるように、3次元距離センサの2次元での相対的な位置およびヨー角を較正する。
この発明のさらに他の局面に従うと、領域内に配置される複数の3次元距離センサの位置および姿勢をグローバル座標内でコンピュータによりキャリブレーションするためのキャリブレーションプログラムであって、各複数の3次元距離センサは、センサ位置から対象物までの距離を検出可能なものであり、コンピュータは演算装置および記憶装置を含み、複数の3次元距離センサは、領域の天井部分に、配置されており、演算装置が、3次元距離センサからの測定データにより、3次元距離センサごとに、領域内を移動する身長が既知の人物の頭頂部の位置を検出し、当該人物についての頭頂部の各時間における複数の観測を平均することにより、頭頂部の複数の観測を含む共通平面を特定するステップと、演算装置が、3次元距離センサごとに、共通平面を基準として、ロール角、ピッチ角および高さを較正するステップと、演算装置が、3次元距離センサごとに、人物についての他の3次元距離センサとの共通の観測に基づいて、共通の観測の誤差が最小となるように、3次元距離センサの2次元での相対的な位置およびヨー角を較正するステップと、演算装置が、較正された複数の3次元距離センサの相対位置を、所定の基準位置に基づいて、グローバル座標に対して整合させ、3次元距離センサのグローバル座標における位置および向きを記憶装置に格納するステップと、をコンピュータに実行させる。
好ましくは、2次元での相対的な位置およびヨー角を較正するステップは、演算装置が、3次元距離センサのすべてに対して、共通の観測をグローバル座標系に剛体変換した場合に、共通の観測間の誤差が最小となるように、レーベンバーグ・マーカート法により、3次元距離センサの2次元での相対的な位置およびヨー角を算出するステップを含む。
好ましくは、領域内には、複数の2次元距離センサが、さらに配置されており、演算装置が、2次元距離センサのペアごとに、人物の共通の観測に基づいて、ペアの各々の2次元距離センサによる観測の誤差が最小となるように、2次元距離センサの2次元での相対的な位置およびヨー角を較正する2次元センサ較正ステップをさらに含み、2次元での相対的な位置およびヨー角を較正するステップは、各3次元距離センサと、すべての2次元距離センサとで、人物の共通の観測の誤差が最小となるように、3次元距離センサの2次元での相対的な位置およびヨー角を較正する。
この発明によれば、ある領域内に複数の3次元距離センサが設置されている場合に、各距離センサの位置および方向を較正するための作業負荷を軽減することが可能である。
2Dレンジセンサと3Dレンジセンサを、同じ領域内に配置する一例を示す図である。 天井部分に配置される3Dレンジセンサおよび2Dレンジセンサの配置を上面から見た状態を示す図である。 天井に配置される3Dレンジセンサの一例を示す図である。 各3Dレンジセンサの観測区域および複数の3Dレンジセンサの観測区域の重なりを示す図である。 3Dレンジセンサの自由度を説明する図である。 計測演算装置100のハードウェア構成を説明するためのブロック図である。 CPU56がソフトウェアを実行するにより実現する機能を示す機能ブロック図である。 較正処理の全体フローを説明するためのフローチャートである。 3Dレンジセンサのみを用いて、3Dレンジセンサの構成を行う手続きを説明するためのフロー図である。 ピッチ・ロール・z較正について説明するためのフロー図である。 回転角θ(ピッチ)およびψ(ロール)を、水平面と整合する手続きを示す概念図である。 図10のステップS202の手続きを説明する図である。 グローバル座標系での整列処理の概念を説明する図である。 計測演算装置100の処理を説明するためのフローチャートである。 図14のステップS310を説明するフローチャートである。 共通する観測についての誤差を最小化するプロセスの概念をしめす図である。 図14のステップS320を説明するフローチャートである。 2Dレンジセンサと3Dレンジセンサとで、共通する観測を導く手順を説明するための概念図である。
以下、本発明の実施の形態の複数の距離センサが設置されている場合に、各距離センサの位置および方向を較正するためのキャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラムについて、図に従って説明する。なお、以下の実施の形態において、同じ符号を付した構成要素および処理工程は、同一または相当するものであり、必要でない場合は、その説明は繰り返さない。
また、以下の説明では、距離センサとして、3次元的距離センサ(以下、3D距離センサ)として、たとえば、マイクロソフトKinect(登録商標)のような3Dレンジセンサを想定する。また、2次元的距離センサ(以下、2D距離センサ)としては、2次元的なスキャンを行うレーザーレンジファインダのような2Dレンジセンサを例として説明するが、本発明は、このような距離センサに限らず、他の方式により、対象物までの距離を2次元的または3次元的に測定するための測距センサについても適用可能である。
(実施の形態の説明)
まず、本実施の形態の説明の前提として、天井にマウントされた3Dレンジセンサに存在する、共通のセンサ・キャリブレーション方式の使用を妨げるような困難について説明する。
1)ポイントクラウドマッチング
較正のための素直な第一の選択は、すべてのセンサ間で、バックグラウンドの静止物体のポイントクラウドの登録を行うことといえる。
しかしながら、このようなアプローチが、現実には使用することができない、いくつかの理由がある。
最初に、ポイントクラウドは、それ自体が、ゆがんでいることである。
第二に、センサ間の共通される特徴を識別するのは、多くの場合は、困難あるいは不可能である。
これは、センサが固定され、その視野が比較的狭いからである。さらに、センサの多くは、床と壁をその視野に納めることになり、それはポイントクラウドを整合することに有益な特徴を供給与えない。
2)床面の抽出
床面を参照面として使用することは、少なくともセンサのピッチ、ロールおよび高さの測定のために、有望に見えるものの、床は、典型的には、センサの予定する検知範囲をはるかに越えているので、測定のひずみが再び問題となる。
さらに、床と壁とを区別する曖昧さを解決するようなうまい方法はない。
3)マーカー
3つ以上の既知の位置のマーカーがあれば、1つのセンサの6D姿勢を計算可能とするので、別のオプションとしては、環境中にマーカを配置することである。
しかしながら、測定されるためにひずみとノイズの存在し、かつ、較正すべき多くのセンサがあるという条件下では、良好な較正を達成するのには多くのマーカーが必要になる。
そこで、本実施の形態では、所定の空間内を歩行または移動する人を、一種のマーカーとして利用する。
固定されたマーカーと比較して、歩行者を較正のための参照として使用することにより、より低い労力で、より一般的な設備に対して、良好な較正を行うことができる。
さらに、追跡システムの目的が、ショッピング・モールや教室のような自然な社会環境を観測することであるとすると、マーカーあるいは較正ターゲットを備えることによりビジネスや社会環境を妨害しない較正を実現できる。
特に、3Dセンサで較正に使用する歩行者の頭部の観測は、典型的には、天井にマウントされた3Dレンジセンサの予定する検知範囲にあり、ひずみの影響を受けない。
さらに、歩行者が時間経過とともに移動するので、それらをセンサ間の共通の観測であると確認するのは簡単である。また、小さなオーバーラップがあるセンサのペアに対しても、共通の観測を生成することが可能である。
また、システムへの入力として自然な歩行者運動の受動的な検知を使用することによって、環境に非侵略的に、較正を行なうことが可能である。
[実施の形態1]
図1は、2Dレンジセンサと3Dレンジセンサを、同じ領域内に配置する一例を示す図である。
また、図2は、図1に示す領域の天井部分に配置される3Dレンジセンサ32.1〜32.m(m:2以上の自然数)および2Dレンジセンサ30.1〜30.n(n:2以上の自然数)の配置を上面から見た状態を示す図である。
図1に示されるように、典型的には、上下逆さまの3Dレンジセンサを、図2に示すような交互の方向を向くように、列状に整列して配置する。また、レンジセンサの配置される領域外に、人物(および/または移動体)のトラッキング処理をするためのコンピュータ100も配置される。
センサは相互の干渉を最小化し、かつカバーする領域を最大化するように配置される。
図3は、天井に配置される3Dレンジセンサの一例を示す図であり、図4は、各3Dレンジセンサの観測区域および複数の3Dレンジセンサの観測区域の重なりを示す図である。
図3に明示的に示されるように、3Dレンジセンサは、上下逆さまに天井に据え付けられる。
図4(a)に示されるような観測領域を有する3Dセンサが、全ての室内をカバーするように配列される場合、これらの観測区域間は、図4(b)に示すように、オーバーラップするように配置される。
3Dレンジセンサのオーバーラップが小さいために、隣接したセンサ間では共通の観測が少なくなることになり、較正を困難にする。
これらの3Dレンジセンサは、人を全体としてトラッキングするように使用されるのではなく、人々の頭頂部を検知するために使用される。
頭頂部の検知アルゴリズムの詳細は、たとえば、以下の文献に記載されている。
文献1:特開平2012‐215555号
文献2:D. Brscic, T. Kanda, T. Ikeda, and T. Miyashita, "Person Tracking in Large Public Spaces Using 3-D Range Sensors," Human-Machine Systems, IEEE Transactions on, vol. 43, pp. 522-534, 2013.
頭頂領域を最適にカバーするためには、3Dセンサは、水平からおよそ30−60度の角度を見込み、特定の部屋およびセンサ構成に適合するように選ばれた正確な角度となるように、手動で向きを調節される。
この角度が(水平近くになり)浅すぎれば、センサは人々の頭頂部を観測することができないし、一方で、角度が深すぎれば、有効な検知領域は非常に小さいものになってしまう。
2Dレーザーレンジファインダは高さ86cm金属柱の上にマウントされる。
この高さは、最適な視程のために選ばれたものである。すなわち、観測対象の人物の腰を検出対象としており、人物の腰は、脚より大きなターゲットであり、より大きな距離でより容易に識別されるものだからである。
2Dセンサが水平な床に置かれる限り、ピッチとロールを有効にゼロに固定し、センサの走査が水平面をカバーするように、センサはしっかりと固定されて配置される。
2Dセンサのポールは、移動可能であり、したがって、それらの(x,y)位置およびヨー角φは、それらが新しい位置に手動で置かれるごとに較正されなければならない。
(3Dレンジセンサについての較正)
図5は、3Dレンジセンサの自由度を説明する図である。
関心のある問題は、6自由度内の1組の3Dセンサを較正することである。
すなわち、図5に示されるような空間位置(x、y、z)、またアングルφ(ヨー角)、θ(ピッチ角)、ψ(ロール角)の6自由度である。
[ハードウェアブロック]
図6は、計測演算装置100のハードウェア構成を説明するためのブロック図である。
図6に示されるように、計測演算装置100は、外部記録媒体64に記録されたデータを読み取ることができるドライブ装置52と、バス66に接続された中央演算装置(CPU:Central Processing Unit)56と、ROM(Read Only Memory) 58と、RAM(Random Access Memory)60と、不揮発性記憶装置54と、2Dレーザーレンジファインダ30.1〜30.nからの測距データと3Dレンジセンサ32.1〜32.mからの測距データとを取込むためのデータ入力インタフェース(以下、データ入力I/F)68とを含んでいる。
外部記録媒体64としては、たとえば、CD−ROM、DVD−ROMのような光ディスクやメモリカードを使用することができる。ただし、記録媒体ドライブ52の機能を実現する装置は、光ディスクやフラッシュメモリなどの不揮発性の記録媒体に記憶されたデータを読み出せる装置であれば、対象となる記録媒体は、これらに限定されない。また、不揮発性記憶装置54の機能を実現する装置も、不揮発的にデータを記憶し、かつ、ランダムアクセスできる装置であれば、ハードディスクのような磁気記憶装置を使用してもよいし、フラッシュメモリなどの不揮発性半導体メモリを記憶装置として用いるソリッドステートドライブ(SSD:Solid State Drive)を用いることもできる。
このような計測演算装置100の主要部は、コンピュータハードウェアと、CPU56により実行されるソフトウェアとにより実現される。一般的にこうしたソフトウェアは、マスクROMやプログラマブルROMなどにより、計測演算装置100製造時に記録されており、これが実行時にRAM60に読みだされる構成としてもよいし、ドライブ装置52により記録媒体64から読取られて不揮発性記憶装置54に一旦格納され、実行時にRAM60に読みだされる構成としてもよい。または、当該装置がネットワークに接続されている場合には、ネットワーク上のサーバから、一旦、不揮発性記憶装置54にコピーされ、不揮発性記憶装置54からRAM60に読出されてCPU56により実行される構成であってもよい。
図6に示したコンピュータのハードウェア自体およびその動作原理は一般的なものである。したがって、本発明の最も本質的な部分の1つは、不揮発性記憶装置54等の記録媒体に記憶されたソフトウェアである。
[システムの機能ブロック]
図7は、本実施の形態の計測演算装置100において、上述したCPU56がソフトウェアを実行するにより実現する機能を示す機能ブロック図である。
以下に説明するとおり、本実施の形態の計測演算装置100では、2Dレーザーレンジファインダ30.1〜30.nからの出力(2D距離データ)および3Dレンジセンサ32.1〜32.mからの出力(3D測距データ)に基づいて、トラッキングモジュール5630が、対象物(人)のトラッキングを行う。この対象物のトラッキングは、たとえば、パーティクルフィルタなどの技術を用いて、対象の位置および速度を推定することにより実行される。
このような対象物(人)のトラッキングの処理については、たとえば、上述の文献1の他、以下の文献に開示があるとおり、周知な方法で実行することが可能である。
文献3 : 特開2013−64671号公報明細書
以下では、このような対象物(人)のトラッキングの処理を行う前提として、複数の3Dおよび2D距離センサの位置および向きをグローバル座標系において、較正するための処理の構成を説明する。
ここで、3D距離センサのみの測距データから、3D距離センサの較正を実行することも可能であり、また、3D距離センサおよび2D距離センサからの測距データを統合して、距離センサの較正を実行することも可能である。
なお、図7に示した機能ブロックのうちのCPU56が実現する機能ブロックとしては、ソフトウェアでの処理に限定されるものではなく、その一部または全部がハードウェアにより実現されてもよい。
図7を参照して、2Dレーザーレンジファインダ30.1〜30.nからの測距信号および3D測距センサ32.1〜32.mからの測距信号は、データキャプチャ処理部5602により制御されてデジタルデータとして入力され、キャプチャデータ記録処理部5604により、たとえば、不揮発性記憶装置54のような記憶装置に、各レーザーレンジファインダごとに時系列のデータとして格納される。時系列にデータを取得する際に、計測演算装置100の制御の下に、データの取り込みが行われる時刻を示すデータを、以下では、「タイムステップ」と呼ぶ。特に限定されないが、タイムステップのデータは、2Dレーザーレンジファインダ30.1〜30.nからの測距データおよび3Dレンジファインダ32.1〜32.mの各々に関連付けられて、不揮発性記憶装置54に格納される。
後に詳しく説明するように、計測演算装置100は、さらに、記憶装置に格納された時系列のデータに基づいて、たとえば、各3Dレンジセンサ32.1〜32.mの測定対象の中から、人の頭頂部を抽出する人頭頂部抽出部5608と、各3Dレンジセンサのパラメータθ、ψ、zを見出すために歩行者の頭部の検知によって形成された水平面を使用して、ピッチ・ロール・z較正を、各3Dレンジセンサについて独立に行う3Dピッチ・ロール・z較正部5610と、各レーザーレンジファインダ30.1〜30.nの測定対象の中から、人の位置を抽出する2D人抽出部5612と、各レーザーレンジファインダ30.1〜30.nのx・y・ヨー較正を、各2Dレーザーレンジファインダ30.1〜30.nについて独立に行う2DX・Y・ヨー較正部5614とを備える。
さらに、計測演算装置100は、3Dピッチ・ロール・z較正部5610による較正結果のみ、または、3Dピッチ・ロール・z較正部5610による較正結果と2DX・Y・ヨー較正部5614による較正結果とを統合して、全ての測距センサに対して、x、y、およびφ(ヨー角)を求めるための剛性変換を見つけ、相対的なx・y・ヨー角の較正を、センサ間の共通の観測の識別および共通の観測間の誤差を最小化する剛性変換を計算することで、実行する相対X・Y・ヨー較正部5618と、全測距センサのネットワークを、絶対的なx・y・ヨー角の較正によってグローバル座標系に対して整列させる絶対X・Y・ヨー較正部5620とを備える。
絶対X・Y・ヨー較正部5620により較正結果は、記憶装置54に格納される。
計測演算装置100は、さらに、記憶装置54に格納された各2Dレーザーレンジファインダおよび3Dレンジセンサの位置および向きに基づいて、検出された移動対象物(人または移動物体)をグローバル座標系で表示するための画像出力制御部5640とを含む。
以下、計測演算装置100による2Dレーザーレンジファインダおよび3Dレンジセンサのグローバル座標系における位置および向きの較正処理について、さらに詳しく説明する。
図8は、較正処理の全体フローを説明するためのフローチャートである。
図8を参照して、誰もいない領域(部屋)について、3Dレンジファインダ32.1〜32.mからの測距データに基づいて、床面のデータを計測する(S100)。
測定された各3Dレンジファインダ32.1〜32.mのデータは、本来、同一の床面からのデータであるはずなので、3Dレンジファインダ32.1〜32.mに共通するように、水平面を適合させる(S102)。たとえば、各3Dレンジファインダ32.1〜32.mで計測された床面までの距離を平均することで、その高さに水平な床面があるように、水平面の整合を行う。
このようにして適合された水平面に基づいて、ピッチ・ロール・z(高さ)および画像の歪みのファクターについて、3Dレンジセンサごとに粗い評価を行って粗較正を行う(S014)。
次に、計測演算装置100は、領域内を1人の人が歩行する際の観測データを記録する(S106)。
各タイムステップにおいて、計測演算装置100は、頭頂部の位置を検出する(S108)。
計測演算装置100は、一定時間にわたって観測された頭頂部の高さを平均することで、複数の頭頂部の観測に共通するように水平面を整合させる(S110)。
その上で、計測演算装置100は、頭頂部に整合された水平面により、各3Dレンジセンサについて、ピッチ・ロール・z(高さ)の精密な較正を行う(S112)。
続いて、計測演算装置100は、複数の3Dレンジセンサにより共通に観測された歩行者の観測をセンサペアごとに特定する(S114)。なお、後に説明するように、この場合の共通な観測は、2Dレンジセンサと3Dレンジセンサについて共通なものを想定することも可能である。
その上で、計測演算装置100は、後に説明するように、制約条件を満足するような剛体変換マトリックスの条件式を、センサネットワーク全体について導き出す(S116)。
続いて、計測演算装置100は、このような剛体変換マトリックスを算出することで、各3Dセンサについて、相対的なX、Y、ヨー角を決定して、X、Y、ヨー角の相対的な較正を行う(S118)。
最後に、計測演算装置100は、このようにして相対的に較正されたセンサネットワークを、絶対位置が既知の位置に整合させることで、センサネットワークの各センサ位置の絶対的な較正を実行する(S120)。
図9は、3Dレンジセンサのみを用いて、3Dレンジセンサの構成を行う手続きを説明するためのフロー図である。
以下に説明するように、このような構成の処理を、以下のように3ステップで実行する。
最初に、計測演算装置100は、各3Dレンジセンサのパラメータθ、ψ、zを見出すために、歩行者の頭部の検知によって形成された水平面を決定し、この水平面を使用して、ピッチ・ロール・z較正を、各3Dレンジセンサについて独立に行う(S200)。
次のステップでは、計測演算装置100は、全ての3Dレンジセンサに対して、センサ間の共通の観測を特定し、x、y、およびφ(ヨー角)を求めるための剛性変換を見つける。つまり、後述するように、相対的なx・y・ヨー角の較正は、共通の観測間の誤差を最小化する剛性変換を計算することで、実行される(S202)。
最後に、計測演算装置100は、全センサのネットワークは、絶対的なx・y・ヨー角の較正によってグローバル座標系に対して整列される(S204)。
以下では、図9に示した各ステップの処理について、さらに詳しく説明する。
(ピッチ・ロール・z較正)
図10は、図9のステップS200のピッチ・ロール・z較正について説明するためのフロー図である。
まず、計測演算装置100は、各3Dセンサに対してθ、ψ、zを計算するために、領域の中を歩く歩行者の検知を記録し、歩行者の頭頂部を抽出する(S2002)。
計測演算装置100は、歩行者の頭頂部についての複数の観測を含むような平面を決定する(S2004)。この手続きにあたっては、頭頂部についての複数の観測を含むような平面は、水平面を近似するだろうという事実を使用する。つまり、歩行する間の頭頂部の高周波の垂直方向の動きは時間にわたって平均すると均されてしまうと仮定する。
さらに、歩行者の身長も知られている場合、その水平面の高さも特定することができる。
較正操作を始めるために、反射率が弱いことやあるいは誤った検知によって引き起こされた外れ値を無視する一方、最適に適合した平面を見つけるために、ランダム・サンプル・コンセンサス(RANSAC)技術を使用して、頭頂部の複数の観測に平面を整合させることができる。
続いて、計測演算装置100は、一旦、そのような平面が定義されたならば、回転角θ(ピッチ)およびψ(ロール)および高さ(Z)を、その水平面と整合するように決定する(S2006)。
図11は、このような回転角θ(ピッチ)およびψ(ロール)を、水平面と整合する手続きを示す概念図である。
図11(a)に示されるように、合成回転角Ωrは、頭頂部の平面の法線ベクトルnsと水平面の法線ベクトルnzとの内積として決定することができる。
そして、回転Ωrは、回転θrと回転ψrとの合成として実行することができる。
これらの回転を適用した後には、各3Dレンジセンサの座標系は地面に関して水平である。
次に、その高さが歩行者の既知の高さと一致するまで、Z軸に沿って頭頂平面を並行移動する。
このようにして、個々の3Dレンジセンサのパラメータ(θ,ψ,z)が定義される。
その後、計測演算装置100は、頭部の検知結果はすべて、各センサの最新の姿勢に応じて、再投影する。
図11(b)左は再投影前の頭頂部の高さの分布であり、図11(b)右は、再投影後の頭頂部の高さの分布である。
(相対的なX・Y・ヨー角の較正)
図12は、図10のステップS202の手続きを説明する図である。
各3Dセンサのθ,ψ,zパラメータが、センサがすべて同一平面上にあるように修正された後に、次に、計測演算装置100は、複数の3D測距センタに共通する観測を特定し(S2020)、共通する観測間の誤差を最小化するために、共通の2D平面中で互いに相対的にセンサを並行移動し、ヨー角について回転させる(S2022)。
このような誤差を最小化には、後に説明するように、たとえば、レーベンバーグ・マーカート法(Levenberg-Marquardt method)を使用することができる。
図12(b)は、2つのセンサによって時間とともに観測された一連の歩行者位置(頭部検知)を較正にどのように使用することができるか示す。
最初に、時間経過による検知に基づいて、個別の3Dレンジセンサによる観測(検知結果)の間で、一致作業が実行される。図12(b)においては、1−5の番号でタイムステップが表現されている(図12(b)左)。
その後、計測演算装置100は、3Dレンジセンサについて、それらの対応する観測間の2次元ユークリッド距離を最小化するように回転され並行移動される(図12(b)右)。
ここで、わずかな時計のドリフトを調整するために、異なるセンサからの人検知が、互いに、所定の時間しきい値(たとえば、20ミリセカンド)以内に生じる場合、異なる3Dレンジセンサからの人の検知を同時の共通の観測とみなすものとする。
1人のみ歩行者をいつでも目に見えるように仮定していることに注意されたい。しかしながら、様々な技術を用いることで、複数の歩行者が歩いているシナリオまでこれを拡張して利用可能である。
例えば、異なるセンサによって観測された個々の歩行者は、特許文献2に記載されるように、社会集団の軌道形、速度プロファイルおよびメンバーシップに基づいて関連させることができる。
(数学的な定式化)
以下、実際に算出処理を行う場合のその処理を数式により説明する。
以下に説明する通り、基礎的な数学的な問題は、剛体的な2次元変換マトリックスを見つけることであり、コンピューター・ビジョンの中の「バンドル調節」の問題にいくつかの点において類似している。
しかしながら、少数の重要な相違がある。
バンドル調節は、カメラ映像上での3Dポイントの2D投影を扱うのに対して、本実施の形態の問題は、検知されたポイントの実際の空間位置の直接の3D測定を扱う。
より形式的には、S個のセンサから成るセンサネットワークを考慮する。人の位置は、各時間ステップt∈{1…τ}で、0個またはそれ以上のセンサにより観測される。
各センサの2D姿勢のインデックスi∈{1…S}は、以下のベクトルによりパラメータ化される。
そして、集合的には、以下のようなパラメータベクトルにより表現される。
i番目のセンサからの時刻tにおける人間の位置についての観測は、センサ座標系において以下のベクトルpt(i)によりパラメータ化される:
さらに、その位置は、剛体変換マトリックスTi(si)によってグローバル座標に変換することができる、剛体変換マトリックスは、より一般的には、Ti(β)と表記される。
最後に、記号νitは、2値変数であり、時刻tにおいて、センサiから人間が見えるときは、1であり、見えないときは、0であるものとする。
最適なセンサ位置を見つけるための手続きは、式(1)で表される。すなわち、各時間ステップで各組のセンサの対に対して、センサ姿勢の調節により、歩行者についてのそれらの同時の観測の現実空間の中への2D投影間のユークリッド距離を最小化する。
最適パラメータベクトルβを、リーベンバーグ・マーカート法を使用する最小自乗最小化によって解くことができる。
この計算では絶対的な位置を参照していないので、この問題には、拘束条件が課されておらず、有効な解は、無限に可能であることに注意が必要である。
この点では、単に相対的なセンサ位置に興味があるだけであるので、1番目のセンサ位置を(0、0、0)に固定し、残りの(S−1)個のセンサ位置について解を求めるように選ぶことができる。
最終的に、多くの共通の観測が利用可能な場合、ランダムサンプリングにより、解くべきマトリックスのサイズを縮小することができる。
たとえば、データが10,000を超える共通の観測を含んでいる場合に、このような処理を使用する。
(絶対的なX・Y・ヨー角の較正)
一旦、センサの相対的な姿勢が決定されたならば、計測演算装置100により実行されるアルゴリズムでの最終ステップは、グローバル座標系でセンサネットワークを整列させることである。
図13は、このようなグローバル座標系での整列処理の概念を説明する図である。
トラッキングのために、センサは天井に手動でマウントする必要があるので、センサのいくつかあるいは全ての近似の位置が先験的に(アプリオリに)知られていると期待することができる。
外部の座標のフレームへ測定されたセンサネットワークの最良の整合を得るために、センサ位置のみを使用して、もう一度、最小自乗最小化を行なう。
この計算では、単にそれらの姿勢方向(それらは残りのネットワークに対して相対的に固定される)ではなく、3Dレンジセンサの2次元位置を考慮する必要がある。
S個のセンサから成るネットワークを定義する。そのネットワークでは、インデックスi∈{1…S}の各センサの2次元位置は、ネットワークに相対的な座標系の中でベクトルsi=(xi,yi)によってパラメータ化される。
計測演算装置100は、グローバル座標フレームの中で、センサの位置のアプリオリな評価を表わす1セットのベクトルであるsiハット=(xiハット、yiハット)(文字cの頭部に^が付されたものを「cハット」で表す)に基づいて算出を行う。
センサネットワークに適用され、グローバル座標での変換(以下、グローバル変換と呼ぶ)を表すパラメータベクトルβ=(xi,yi,zi)を定義して、行列TG(β)でネットワーク相対座標とグローバル座標間の剛体変換を定義する。
いくつかのセンサのための位置評価が利用可能ではなかった場合、2値変数νiを定義する。この2値変数νiは、絶対的なセンサ位置評価siハットが定義されるときには1であり、それ以外では、0とする。
その後、計測演算装置100は、較正されたセンサ位置とアプリオリに評価されたセンサ位置の間の誤差を最小化する最適なグローバル変換を見つけて、式(2)に表わされる手続きを行なう。
アプリオリな評価のないセンサは拘束として使用されないが、残りのネットワークとともに、平行移動され、回転される。
アプリオリなセンサ位置評価が利用可能ではない場合では、ユーザーが手動でこのステップを行なうことを可能にするGUIを用いることもできる。
この場合、3Dレンジセンサ位置は追跡領域の地図上に投影されて表示される。また、絶対座標フレームでそれを登録するために、ユーザーは手動で、全センサネットワークをドラッグしたり、回転させることができる。
[実施の形態2]
(2Dレンジセンサおよび3Dセンサ使用する較正)
実施の形態1の較正では、3Dレンジセンサのみを使用することで実行できる。
しかしながら、センサの構成によっては、いくつかのセンサ間の共通の観測を得るのは、時として全く難しい可能性がある。
これは低い較正精度をもたらすことになるか、あるいはネットワークを較正することを不可能にすることになる。
そこで、この問題を改善するために、実施の形態2では、3Dセンサネットワークと協働する2Dレーザーレンジファインダを使用する。
2Dレーザーレンジファインダのより大きな検知範囲は、センサ間のはるかに大きな程度のオーバーラップを保証することができる。
図14は、実施の形態2における計測演算装置100の処理を説明するためのフローチャートである。
実施の形態2では、較正の演算処理において、3Dレンジセンサ以外にも、2Dレンジセンサのデータも使用することを除いては、ハードウェア等は、実施の形態1の較正と同様であるので、説明を省略する。
すなわち、実施の形態2では、同じ座標フレーム上の2Dレンジセンサと3Dレンジセンサを較正するために、2Dレンジセンサからの腰の検知位置上に、3Dレンジセンサからの頭頂部の検知位置があるとモデル化する。
このように、すべてのセンサからの人検知は共通の2D平面上に投影することができる。
2Dレンジセンサは、水平で与えられた高さで固定した面にあると考えるので、2Dレンジセンサと3Dレンジセンサのハイブリッド系で較正を行うことは、このように、たった3つの自由度(DOF)(x,y,φ)である1組の2Dレンジセンサと一緒に、6つの自由度(DOF)(x,y,z,φ,θ,ψ)で、1組の3Dセンサを較正するという問題になる。
センサの2つの種類を使用して、較正を行なう、最も単純な方法は、相対的なx−y−ヨー較正ステップでネットワークに2Dレンジセンサを加えることである。
このような手続きは可能ではあるが、最適化されるマトリックスのサイズを大幅に増加させて、計算に要する時間を増大させてしまう。
そこで、較正をより効率的に行なうために、3Dレンジセンサを単独で較正する場合、所定のセンサからの観測のごく一部分だけが、他のセンサとの間で共通の観測を較正し、残りのデータは、較正には使用しないとする。
ところが、2Dレンジセンサについての観測は、3Dレンジセンサからのデータのほぼ100%でオーバーラップする。
その結果、隣接した3Dレンジセンサ間の少数の共通の観測が、較正に小さな貢献をするのみである。また、3Dレンジセンサは、2Dレンジセンサに対して直接較正することができる。
したがって、3Dレンジセンサに対する相対的なx・y・ヨー較正は、図14に示すように、ステップS300とステップS310というように、並行して処理を行うことが可能である。
図14に示すように、最初に、3Dセンサのピッチ・ロール・z較正処理(S300)と平行に、2Dレンジセンサの組は互いに較正される(S310)。
S300の処理は、実施の形態1と同様であり、ステップS310の較正処理は、特許文献1や特許文献2に記載の方法で実行することができる。
次に、3Dレンジセンサの観測が較正された2Dレンジセンサからの観測と整合するように、3Dレンジセンサの各々は独立して調節される(S320)。
最後に、全ネットワークはグローバル座標系に沿って整列される(S330)。
図15は、図14のステップS310を説明するフローチャートである。
図15に記載されるように、全ての2Dレンジセンサに対して、2Dレンジセンサ−のペアごとに共通する観測が特定され、観測間の誤差を最小化するように、剛性変換を算出することで、各2Dレンジセンサについて、x・y・ヨー角を算出することができ、相対的なx・y・ヨー較正を実行することができる。
図16は、共通する観測についての誤差を最小化するプロセスの概念をしめす図である。
この手続きは、3Dを2Dで演算するということ以外は、図12(b)で説明したものと基本的には、同様の処理で実行することができる。
図17は、図14のステップS320を説明するフローチャートである。
3Dレンジセンサについては、ピッチ・ロール・z較正が完了しているので、以後は、領域中を移動する人の腰の高さの2次元平面(2Dレンジセンサが走査する面)で、観測データを投影することで、計測演算装置100は、まず、各3Dレンジセンサと全ての2Dレンジセンサとの間で、共通する観測を特定する。
その後、各3Dレンジセンサについて、x・y・ヨー角を決定して、相対的なx・y・ヨー較正を実行することができる。
図18は、2Dレンジセンサと3Dレンジセンサとで、共通する観測を導く手順を説明するための概念図である。
図18(a)に示すように、2Dレンジセンサ(2Dレーザーレンジファインダ)による計測では、広い範囲にわたって、領域内を移動する人の軌跡を獲得することができる。
図18(b)に示すように、3DレンジセンサAと3DレンジセンサBで計測された軌跡が、2Dレンジセンサで計測された軌跡ともっとも整合するように、X・Y・ヨー角の較正が行われる。
(評価)
2つの方法で提案された2つの技術のパフォーマンスを評価した。
最初に、手動で測定されたグランドトゥルースの情報と評価されたセンサ位置の精度を比較した。また、次に、既知の場所で歩行者の絶対的なトラッキング精度を測定した。
各測定で、3Dレンジセンサだけを使用する提案された第1の較正技術、および3Dおよび2Dレンジセンサの両方を使用する第2の技術の両方を評価した。
(センサ位置決め精度)
センサ位置のグランドトゥルースの情報を得るために、部屋の壁に関する(x,y,z)座標系の中で、各センサの場所を測定するために、レーザーレンジファインダを使用した。
その後、300秒間、部屋の中を歩く1人の歩行者からの2Dおよび3D測距データを記録した。また、2つの提案された技術の各々を使用して、評価されたセンサ位置のセットを生成した。
センサ位置の各セットについては、各センサについて、グランドトゥルースの位置間の誤差が計算された。
(歩行者トラッキング精度)
その後、我々は、床の正確に測定された10m×4mのグリッド上で2mの間隔で18個の基準点をマークしそれらのポイントの上に立ってもらうように参加者に依頼することにより、歩行者トラッキングの精度を評価した。
そのような測定には多くのノイズ(例えば頭のトップが足の中心上に直接ない場合など)があるために、参加者が毎時間異なる方角(北、南、東、西)を向くようにして、我々は各測定を4回繰り返した。
歩行者の位置の2秒間のデータの平均が、各基準点のために記録された。
合計では、5人の参加者が毎時間異なる方向をそれぞれ向いて、4回各々測定し、18個の基準点ごとに20個の測定値を合計360個の測定値として生成した。
(結果)
両方の評価については、3DにおけるRMS(root-mean-squared)誤差の合計とともに、x、yおよびz方向における二乗平均平方根の(RMS)誤差を計算した。
さらに、x-y平面における2D誤差は、2Dのトラッキングアプリケーションにより関連性のあるメトリックと考えられので、これも計算した。
センサ位置の結果(2D RMS誤差を考慮)は、3Dのみの技術では130mmの、3D+2D技術では52mmのセンサ位置決め精度を示す。
トラッキング精度は、わずかに高い誤差を示し、3Dのみでは159mmで、また3D+2Dでは104mmであった。
ピッチ・ロール・z較正については同じプロセスが使用されたので、z誤差に対する結果は両方の技術をについて似たような値となった。
z軸に沿って、センサ位置は17mm以内に較正された。また、トラッキングは71mm以内の精度となった。
この実施の形態のキャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラムによれば、ある領域内に複数の3D距離センサが設置されている場合に、各距離センサの位置および方向を較正するための作業負荷を軽減することが可能である。
また、この実施の形態のキャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラムによれば、ある領域内に複数の3D距離センサが設置されている場合に、測定対象となる領域の人間の活動に、影響を与えることなく、距離センサの位置および方向を較正することが可能である。
今回開示された実施の形態は、本発明を具体的に実施するための構成の例示であって、本発明の技術的範囲を制限するものではない。本発明の技術的範囲は、実施の形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲の文言上の範囲および均等の意味の範囲内での変更が含まれることが意図される。
30.1〜30.n 2Dレーザーレンジファインダ、32.1〜32.m 3Dレンジセンサ、52 ドライブ装置、54 不揮発性記憶装置、56 CPU、58 ROM、60 RAM、64 外部記録媒体、66 バス、100 計測演算装置、5602 データキャプチャ処理部、5604 キャプチャデータ記録処理部、5608 人頭頂部抽出部、5610 3Dピッチ・ロール・z較正部、5612 2D人抽出部、5614 2DX・Y・ヨー較正部、5618 相対X・Y・ヨー較正部、5620 絶対X・Y・ヨー較正部、5630 トラッキングモジュール、5640 画像出力制御部。

Claims (10)

  1. 領域内に配置される複数の3次元距離センサの位置および姿勢をグローバル座標内でキャリブレーションするためのキャリブレーション装置であって、各前記複数の3次元距離センサは、センサ位置から対象物までの距離を検出可能なものであり、
    前記複数の3次元距離センサは、前記領域の天井部分に、配置されており、
    各前記複数の3次元距離センサからの測定データを受け付けるインタフェース装置と、
    各前記3次元距離センサからの前記測定データを時系列として格納するための記憶装置と、
    前記測定データに基づいて、前記キャリブレーションを実行するための演算処理手段とを備え、前記演算処理手段は、
    前記3次元距離センサごとに、前記領域内を移動する身長が既知の人物の頭頂部の位置を検出し、当該人物についての頭頂部の各時間における複数の観測を平均することにより、前記頭頂部の複数の観測を含む共通平面を特定するための頭頂部検出手段と、
    前記3次元距離センサごとに、前記共通平面を基準として、ロール角、ピッチ角および高さを較正する第1の較正手段と、
    前記3次元距離センサごとに、前記人物についての他の3次元距離センサとの共通の観測に基づいて、前記共通の観測の誤差が最小となるように、前記3次元距離センサの2次元での相対的な位置およびヨー角を較正する第2の較正手段と、
    前記第2の較正手段により較正された前記複数の3次元距離センサの相対位置を、所定の基準位置に基づいて、グローバル座標に対して整合させる第3の較正手段とを含む、キャリブレーション装置。
  2. 前記第2の較正手段は、前記3次元距離センサのすべてに対して、共通の観測をグローバル座標系に剛体変換した場合に、共通の観測間の誤差が最小となるように、前記3次元距離センサの2次元での相対的な位置およびヨー角を算出する手段を含む、請求項1記載のキャリブレーション装置。
  3. 前記第2の較正手段は、レーベンバーグ・マーカート法により、前記共通の観測間の誤差が最小となるように、前記3次元距離センサの2次元での相対的な位置およびヨー角を算出する、請求項2記載のキャリブレーション装置。
  4. 前記領域内には、複数の2次元距離センサが、さらに配置されており、
    前記演算処理手段は、前記2次元距離センサのペアごとに、前記人物の共通の観測に基づいて、前記ペアの各々の2次元距離センサによる観測の誤差が最小となるように、前記2次元距離センサの2次元での相対的な位置およびヨー角を較正する2次元センサ較正手段をさらに含み、
    前記第2の較正手段は、各前記3次元距離センサと、すべての前記2次元距離センサとで、前記人物の共通の観測の誤差が最小となるように、前記3次元距離センサの2次元での相対的な位置およびヨー角を較正する、請求項1〜3のいずれか1項に記載のキャリブレーション装置。
  5. 領域内に配置される複数の3次元距離センサの位置および姿勢をグローバル座標内でコンピュータによりキャリブレーションするためのキャリブレーション方法であって、各前記複数の3次元距離センサは、センサ位置から対象物までの距離を検出可能なものであり、前記コンピュータは演算装置および記憶装置を含み、前記複数の3次元距離センサは、前記領域の天井部分に、配置されており、
    前記演算装置が、前記3次元距離センサからの測定データにより、前記3次元距離センサごとに、前記領域内を移動する身長が既知の人物の頭頂部の位置を検出し、当該人物についての頭頂部の各時間における複数の観測を平均することにより、前記頭頂部の複数の観測を含む共通平面を特定するステップと、
    前記演算装置が、前記3次元距離センサごとに、前記共通平面を基準として、ロール角、ピッチ角および高さを較正するステップと、
    前記演算装置が、前記3次元距離センサごとに、前記人物についての他の3次元距離センサとの共通の観測に基づいて、前記共通の観測の誤差が最小となるように、前記3次元距離センサの2次元での相対的な位置およびヨー角を較正するステップと、
    前記演算装置が、較正された前記複数の3次元距離センサの相対位置を、所定の基準位置に基づいて、グローバル座標に対して整合させ、前記3次元距離センサのグローバル座標における位置および向きを前記記憶装置に格納するステップと、を備えるキャリブレーション方法。
  6. 前記2次元での相対的な位置およびヨー角を較正するステップは、前記演算装置が、前記3次元距離センサのすべてに対して、共通の観測をグローバル座標系に剛体変換した場合に、共通の観測間の誤差が最小となるように、レーベンバーグ・マーカート法により、前記3次元距離センサの2次元での相対的な位置およびヨー角を算出するステップを含む、請求項5記載のキャリブレーション方法。
  7. 前記領域内には、複数の2次元距離センサが、さらに配置されており、
    前記演算装置が、前記2次元距離センサのペアごとに、前記人物の共通の観測に基づいて、前記ペアの各々の2次元距離センサによる観測の誤差が最小となるように、前記2次元距離センサの2次元での相対的な位置およびヨー角を較正する2次元センサ較正ステップをさらに含み、
    前記2次元での相対的な位置およびヨー角を較正するステップは、各前記3次元距離センサと、すべての前記2次元距離センサとで、前記人物の共通の観測の誤差が最小となるように、前記3次元距離センサの2次元での相対的な位置およびヨー角を較正する、請求項5または6記載のキャリブレーション方法。
  8. 領域内に配置される複数の3次元距離センサの位置および姿勢をグローバル座標内でコンピュータによりキャリブレーションするためのキャリブレーションプログラムであって、各前記複数の3次元距離センサは、センサ位置から対象物までの距離を検出可能なものであり、前記コンピュータは演算装置および記憶装置を含み、前記複数の3次元距離センサは、前記領域の天井部分に、配置されており、
    前記演算装置が、前記3次元距離センサからの測定データにより、前記3次元距離センサごとに、前記領域内を移動する身長が既知の人物の頭頂部の位置を検出し、当該人物についての頭頂部の各時間における複数の観測を平均することにより、前記頭頂部の複数の観測を含む共通平面を特定するステップと、
    前記演算装置が、前記3次元距離センサごとに、前記共通平面を基準として、ロール角、ピッチ角および高さを較正するステップと、
    前記演算装置が、前記3次元距離センサごとに、前記人物についての他の3次元距離センサとの共通の観測に基づいて、前記共通の観測の誤差が最小となるように、前記3次元距離センサの2次元での相対的な位置およびヨー角を較正するステップと、
    前記演算装置が、較正された前記複数の3次元距離センサの相対位置を、所定の基準位置に基づいて、グローバル座標に対して整合させ、前記3次元距離センサのグローバル座標における位置および向きを前記記憶装置に格納するステップと、をコンピュータに実行させるキャリブレーションプログラム。
  9. 前記2次元での相対的な位置およびヨー角を較正するステップは、前記演算装置が、前記3次元距離センサのすべてに対して、共通の観測をグローバル座標系に剛体変換した場合に、共通の観測間の誤差が最小となるように、レーベンバーグ・マーカート法により、前記3次元距離センサの2次元での相対的な位置およびヨー角を算出するステップを含む、請求項8記載のキャリブレーションプログラム。
  10. 前記領域内には、複数の2次元距離センサが、さらに配置されており、
    前記演算装置が、前記2次元距離センサのペアごとに、前記人物の共通の観測に基づいて、前記ペアの各々の2次元距離センサによる観測の誤差が最小となるように、前記2次元距離センサの2次元での相対的な位置およびヨー角を較正する2次元センサ較正ステップをさらに含み、
    前記2次元での相対的な位置およびヨー角を較正するステップは、各前記3次元距離センサと、すべての前記2次元距離センサとで、前記人物の共通の観測の誤差が最小となるように、前記3次元距離センサの2次元での相対的な位置およびヨー角を較正する、請求項8または9記載のキャリブレーションプログラム。
JP2015230092A 2015-11-25 2015-11-25 キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム Active JP6746050B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015230092A JP6746050B2 (ja) 2015-11-25 2015-11-25 キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015230092A JP6746050B2 (ja) 2015-11-25 2015-11-25 キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム

Publications (2)

Publication Number Publication Date
JP2017096813A JP2017096813A (ja) 2017-06-01
JP6746050B2 true JP6746050B2 (ja) 2020-08-26

Family

ID=58818105

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015230092A Active JP6746050B2 (ja) 2015-11-25 2015-11-25 キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム

Country Status (1)

Country Link
JP (1) JP6746050B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108151694A (zh) * 2017-12-20 2018-06-12 西安航天计量测试研究所 角位移传感器自动校准系统及方法
CN109059902B (zh) 2018-09-07 2021-05-28 百度在线网络技术(北京)有限公司 相对位姿确定方法、装置、设备和介质
CN112840232B (zh) * 2019-09-23 2024-03-22 北京航迹科技有限公司 用于标定相机和激光雷达的系统和方法
WO2021220331A1 (ja) * 2020-04-27 2021-11-04 株式会社日立産機システム 移動体システム
CN112362084A (zh) * 2020-11-23 2021-02-12 北京三快在线科技有限公司 一种数据标定方法、装置及数据标定系统
US11956693B2 (en) * 2020-12-03 2024-04-09 Mitsubishi Electric Corporation Apparatus and method for providing location

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005092451A (ja) * 2003-09-16 2005-04-07 Sony Corp 頭部検出装置及び頭部検出方法、並びに頭部検出プログラム
JP5879877B2 (ja) * 2011-09-28 2016-03-08 沖電気工業株式会社 画像処理装置、画像処理方法、プログラム、および画像処理システム
EP2660624A1 (en) * 2012-04-30 2013-11-06 Traficon International N.V. A traffic monitoring device and a method for monitoring a traffic stream.
JP5950122B2 (ja) * 2013-12-27 2016-07-13 株式会社国際電気通信基礎技術研究所 キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム

Also Published As

Publication number Publication date
JP2017096813A (ja) 2017-06-01

Similar Documents

Publication Publication Date Title
JP6746050B2 (ja) キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
JP5950122B2 (ja) キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
JP5548482B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、プログラム及び記憶媒体
JP5746477B2 (ja) モデル生成装置、3次元計測装置、それらの制御方法及びプログラム
US9317735B2 (en) Information processing apparatus, information processing method, and program to calculate position and posture of an object having a three-dimensional shape
KR102016636B1 (ko) 카메라와 레이더의 캘리브레이션 장치 및 방법
JP6349418B2 (ja) 高精度単眼移動によるオブジェクト位置特定
EP2438397A2 (en) Method and device for three-dimensional surface detection with a dynamic reference frame
Hansen et al. Online continuous stereo extrinsic parameter estimation
US20180283851A1 (en) Motion detection device and three-dimensional shape measurement device using same
Ruotsalainen et al. Visual-aided two-dimensional pedestrian indoor navigation with a smartphone
Zhang et al. A novel absolute localization estimation of a target with monocular vision
Isa et al. Volumetric error modelling of a stereo vision system for error correction in photogrammetric three-dimensional coordinate metrology
Wan et al. A study in 3d-reconstruction using kinect sensor
Glas et al. SNAPCAT-3D: Calibrating networks of 3D range sensors for pedestrian tracking
US11259000B2 (en) Spatiotemporal calibration of RGB-D and displacement sensors
García-Moreno et al. Error propagation and uncertainty analysis between 3D laser scanner and camera
Bikmaev et al. Improving the accuracy of supporting mobile objects with the use of the algorithm of complex processing of signals with a monocular camera and LiDAR
JP4227037B2 (ja) 撮像システム及び校正方法
Omidalizarandi et al. Comparison of target-and mutual informaton based calibration of terrestrial laser scanner and digital camera for deformation monitoring
WO2018134866A1 (ja) カメラ校正装置
Skalski et al. Metrological analysis of microsoft kinect in the context of object localization
JP2021038939A (ja) キャリブレーション装置
Kawanishi et al. Construction of 3D environment model from an omni-directional image sequence
Chin et al. Camera systems in human motion analysis for biomedical applications

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20151225

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181016

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200603

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200604

R150 Certificate of patent or registration of utility model

Ref document number: 6746050

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250