WO2024009767A1

WO2024009767A1 - キャリブレーション実行装置、キャリブレーション・システム、および方法、並びにプログラム

Info

Publication number: WO2024009767A1
Application number: PCT/JP2023/022872
Authority: WO
Inventors: 慶明佐藤
Original assignee: ソニーグループ株式会社
Priority date: 2022-07-08
Filing date: 2023-06-21
Publication date: 2024-01-11

Abstract

センサ・キャリブレーションにおいて算出した座標変換行列が正しいか否かを視覚的に確認可能な画像を生成して表示する。センサのキャリブレーションを実行するキャリブレーション実行部と、キャリブレーション実行部におけるキャリブレーション処理が成功したか否かを確認可能な画像データを生成する表示情報生成部を有する。キャリブレーション実行部は、センサ対応のセンサ座標系を他の第２座標系に変換する座標変換行列を算出し、表示情報生成部は、算出した座標変換行列が正しい座標変換行列であるか否かを視覚的に確認可能な画像データ、例えばセンサの三次元画像上にセンサ座標系を構成する原点および座標軸を重畳表示した画像データを生成して表示する。

Description

キャリブレーション実行装置、キャリブレーション・システム、および方法、並びにプログラム

　本開示は、キャリブレーション実行装置、キャリブレーション・システム、および方法、並びにプログラムに関する。さらに詳細には、ロボット等の移動装置に装着されたカメラ等のセンサのキャリブレーション処理や、キャリブレーション結果の評価処理を行うキャリブレーション実行装置、キャリブレーション・システム、および方法、並びにプログラムに関する。

　ロボットや自動運転車両等の移動装置が自律走行を行う場合、周囲の障害物の位置など、周囲状況を把握することが必要となる。
　移動装置が障害物にぶつかることなく安全に目的地まで自律走行するためには、障害物の位置や方向を正確に把握することが必要であり、この処理のためにロボットや自動運転車両等の移動装置にはカメラ等のセンサが装着されている。

　ロボット等の移動装置の多くは複数のセンサを搭載し、これら複数のセンサによる計測データを統合して処理することで、周囲環境の高精度な解析を実現している。
　移動装置に搭載されるセンサとしては、例えばカメラの他、各画素に距離を格納した距離画像を撮影できるデプスカメラ、レーザ光による障害物までの距離を計測するセンサであるＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）などがある。

　これらのセンサの各々は個別に周囲環境、例えば障害物までの距離や方向を計測する。障害物の位置や方向は、各センサ独自の座標系を用いて計測される。
　すなわち、カメラは例えばカメラのレンズ位置を原点としたカメラ座標系を用いて、障害物の座標位置を求める。
　また、ＬｉＤＡＲは、例えばＬｉＤＡＲ内のレーザ光出力位置を原点としたＬｉＤＡＲ座標系を用いて、障害物の座標位置を求める。

　さらに、ロボット自体にもロボット独自のロボット座標系がある。
　ロボット座標系は、例えばロボットの中心位置等を原点とした座標系等が用いられる。ロボットが安全走行するためには、このロボット座標系上の障害物位置を正確に算出することが必要となる。

　例えばデプスカメラの撮影画像を用いて算出したデプスカメラ座標系（Σ_Ｄ）における障害物Ｐの位置（デプスカメラ座標位置（ｘ_Ｄ，ｙ_Ｄ，ｚ_Ｄ））や、ＬｉＤＡＲによって算出されたＬｉＤＡＲ座標系（Σ_Ｌ）における障害物Ｐの位置（ＬｉＤＡＲ座標位置（ｘ_Ｌ，ｙ_Ｌ，ｚ_Ｌ））等を、ロボット座標系（Σ_Ｒ）における障害物Ｐの位置（ロボット座標位置（ｘ_Ｒ，ｙ_Ｒ，ｚ_Ｒ））に変換する座標変換処理を行うことが必要となる。
　なお、本明細書では座標系を示す記号として（Σ）を用いる。（Σ_Ａ）は、機器Ａの座標系を意味する。

　座標変換処理には、座標変換行列（Ｔ）が利用される。
　例えば、空間上のある点Ｐのカメラ座標系（Σ_Ｃ）の座標位置（ｘ_Ｃ，ｙ_Ｃ，ｚ_Ｃ）を、ロボット座標系（Σ_Ｒ）の座標位置（ｘ_Ｒ，ｙ_Ｒ，ｚ_Ｒ）に変換する座標変換処理には、座標変換行列^ＲＴ_Ｃが利用される。

　同様に、点ＰのＬｉＤＡＲ座標系（Σ_Ｌ）の座標位置（ｘ_Ｌ，ｙ_Ｌ，ｚ_Ｌ）を、ロボット座標系（Σ_Ｒ）の座標位置（ｘ_Ｒ，ｙ_Ｒ，ｚ_Ｒ）に変換する座標変換処理には、座標変換行列^ＬＴ_Ｃを利用する。

　なお、座標変換行列^ＡＴ_Ｂは、座標系（Σ_Ｂ）上の点Ｐの位置座標である^ＢＰ＝（ｘ_Ｂ，ｙ_Ｂ，ｚ_Ｂ）を、座標系（Σ_Ａ）上の点Ｐの位置座標である^ＡＰ＝（ｘ_Ａ，ｙ_Ａ，ｚ_Ａ）に変換する処理に適用する行列である。
　ここで、^ＡＰは、座標系Ａにおける点Ｐの位置座標（ｘ_Ａ，ｙ_Ａ，ｚ_Ａ）を示し、^ＢＰは、座標系Ｂにおける点Ｐの位置座標（ｘ_Ｂ，ｙ_Ｂ，ｚ_Ｂ）を意味する。

　しかし、例えばロボットを多数、製造する場合、製造ロボット各々の部品の加工精度や、組み立て時の組付けの精度、センサ固有の個体差等が存在する。従って、各センサ対応の座標変換行列についてもロボット各々固有の座標変換行列を算出することが必要となる。

　すなわち、１台のロボットごとにそのロボットに装着されたセンサ単位で固有の座標変換行列を決定することが必要となる。
　このようなロボットとセンサとの組み合わせ対応の固有の座標変換行列を算出することで、センサ検出情報に基づく高精度な周囲状況解析、例えばロボットから障害物までの距離や方向を解析することが可能となる。

　ロボットとセンサとの組み合わせ対応の固有の座標変換行列を算出する処理は、いわゆるセンサのキャリブレーション処理として行われる。
　なお、センサ・キャリブレーション処理には、センサ検出データの校正処理や、調整処理として実行される様々な処理が含まれる。例えばセンサの取り付け位置や角度の調整、センサ対応パラメータの調整等の処理もキャリブレーション処理である。

　カメラのキャリブレーションとして、白黒パターンからなるチェスボードの撮影画像を利用して行う処理が知られている。この処理は、ｚｈａｎｇの方法として、例えば非特許文献１（Zhang Zhengyou. A flexible new technique for camera calibration.IEEE Transactions on pattern analysis and machine intelligence 22.11,2000.）に記載されている。

　前述したように、ロボットとセンサとの組み合わせ対応の固有の座標変換行列を算出する処理も、センサのキャリブレーション処理の一つとして行われる。
　カメラ座標系をロボット座標系に変換する座標変換行列の算出処理を行う場合、キャリブレーションが成功したか否か、すなわち正しい座標変換行列が算出されたか否かを確認するキャリブレーション成否判定を行うことが必要となる。

　しかし、従来の座標変換行列の成否判定処理の多くは、例えば、座標変換行列を適用して得られる座標の誤差を示す数値データを算出し、算出した数値と規定のしきい値とを比較する処理として実行されている。
　このような誤差を示す数値データを用いた処理では、しきい値の設定次第でキャリブレーションの成否が判断され、誤ったしきい値設定による誤判定が発生する可能性がある。また、誤差の発生した要因や誤差を解消するための改善策を導き出すことが困難になるという問題がある。

Zhang Zhengyou. A flexible new technique for camera calibration. IEEE Transactions on pattern analysis and machine intelligence 22.11,2000. Dhallet al.Ankit,. ＬｉＤＡＲ-camera calibration using 3D-3D point correspondences. arXiv preprint arXiv:1705.09785, 2017. Banerjeeet al.Koyel,. Online camera lidar fusion and object detection on hybrid data for autonomous driving.　2018 IEEE Intelligent Vehicles Symposium (IV). IEEE, 2018. PusztaiIvn Eichhardt, and Levente Hajder.Zoltn,. Accurate calibration of multi-lidar-multi-camera systems. Proceedings of the IEEE International Conference on Computer Vision Workshops., 2017. Irene FassiLegnaniGiovanni. Hand to sensor calibration: A geometrical interpretation of the matrix equation AX =XB. Journal of Robotic Systems, 2005. LegnaniGiovanni. Optimization of hand-to-camera calibration using geometrical interpretation of matrix equation AX = XB.　International Journal of Robotics and Automation, 2018. KamRyeol, et al.Hyeong. Rviz: a toolkit for real domain data visualization. Telecommunication Systems 60.2, 2015. TrevorJB, et al.Alexander. Efficient organized point cloud segmentation with connected components. Semantic Perception Mapping and Exploration (SPME), 2012

　本開示は、例えば上記問題点に鑑みてなされたものであり、ロボットや自動運転車両などの移動装置に装着したカメラ等のセンサのキャリブレーション処理として実行される座標変換行列の算出処理において、正しい座標変換行列が算出されたか否かを判断可能とした可視化データを生成して表示部に表示することで、キャリブレーションが成功したか否かを視覚的に判断することを可能とし、また誤差の発生レベルについても容易に把握可能としたキャリブレーション実行装置、キャリブレーション・システム、および方法、並びにプログラムを提供することを目的とする。

　本開示の第１の側面は、
　センサのキャリブレーション処理を実行するキャリブレーション実行部と、
　前記キャリブレーション実行部におけるキャリブレーション処理が成功したか否かを確認可能な画像データを生成する表示情報生成部を有し、
　前記キャリブレーション実行部は、
　前記キャリブレーション処理として、センサ対応のセンサ座標系を他の第２座標系に変換する座標変換行列を算出する処理を実行し、
　前記表示情報生成部は、
　前記キャリブレーション実行部が算出した座標変換行列が正しい座標変換行列であるか否かを視覚的に確認可能な画像データを生成するキャリブレーション実行装置にある。

　さらに、本開示の第２の側面は、
　センサを装着した移動装置と、キャリブレーション実行装置を有するキャリブレーション・システムであり、
　前記キャリブレーション実行装置が、
　前記移動装置からセンサ検出情報を入力して、センサ対応のセンサ座標系を他の第２座標系に変換する座標変換行列を算出し、算出した座標変換行列を前記移動装置に出力し、
　前記移動装置が、
　前記キャリブレーション実行装置から入力した座標変換行列を適用した自律移動を実行し、
　前記キャリブレーション実行装置は、さらに、
　前記座標変換行列が正しく算出されたか否かを確認可能な画像データを生成する表示情報生成部を有するキャリブレーション・システムにある。

　さらに、本開示の第３の側面は、
　キャリブレーション実行装置が実行するキャリブレーション実行方法であり、
　キャリブレーション実行部が、
　センサの検出情報を入力し、該センサ対応のセンサ座標系を他の第２座標系に変換する座標変換行列を算出するキャリブレーション実行ステップと、
　表示情報生成部が、
　前記キャリブレーション実行ステップにおいて算出した前記座標変換行列が正しい座標変換行列であるか否かを視覚的に確認可能な画像データを生成する画像データ生成ステップを有するキャリブレーション実行方法にある。

　さらに、本開示の第４の側面は、
　センサを装着した移動装置と、キャリブレーション実行装置を有するキャリブレーション・システムにおいて実行するキャリブレーション実行方法であり、
　前記キャリブレーション実行装置が、
　前記移動装置からセンサ検出情報を入力して、センサ対応のセンサ座標系を他の第２座標系に変換する座標変換行列を算出し、算出した座標変換行列を前記移動装置に出力する座標変換行列生成ステップと、
　前記移動装置が、
　前記キャリブレーション実行装置から入力した座標変換行列を適用した自律移動を実行する自律移動実行ステップを実行し、
　前記キャリブレーション実行装置は、さらに、
　前記座標変換行列生成ステップにおいて、前記座標変換行列が正しく算出されたか否かを確認可能な画像データを生成する表示情報生成ステップを実行するキャリブレーション実行方法にある。

　さらに、本開示の第５の側面は、
　キャリブレーション実行装置において、キャリブレーションを実行させるプログラムであり、
　キャリブレーション実行部に、
　センサの検出情報を入力させて、該センサ対応のセンサ座標系を他の第２座標系に変換する座標変換行列を算出するキャリブレーション処理を実行させ、
　表示情報生成部に、
　前記座標変換行列が正しい座標変換行列であるか否かを視覚的に確認可能な画像データを生成させるプログラムにある。

　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　本開示の一実施例の構成によれば、センサ・キャリブレーションにおいて算出した座標変換行列が正しいか否かを視覚的に確認可能な画像を生成して表示する構成が実現される。
　具体的には、例えば、センサのキャリブレーションを実行するキャリブレーション実行部と、キャリブレーション実行部におけるキャリブレーション処理が成功したか否かを確認可能な画像データを生成する表示情報生成部を有する。キャリブレーション実行部は、センサ対応のセンサ座標系を他の第２座標系に変換する座標変換行列を算出し、表示情報生成部は、算出した座標変換行列が正しい座標変換行列であるか否かを視覚的に確認可能な画像データ、例えばセンサの三次元画像上にセンサ座標系を構成する原点および座標軸を重畳表示した画像データを生成して表示する。
　本構成により、センサ・キャリブレーションにおいて算出した座標変換行列が正しいか否かを視覚的に確認可能な画像を生成して表示する構成が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

本開示の移動装置の一例であるロボットの構成例について説明する図である。ロボットに装着されたセンサの座標系とロボット座標系について説明する図である。異なる座標系間の座標変換を行う座標変換行列について説明する図である。異なる座標系間の座標変換を行う座標変換行列について説明する図である。製造ロボットの個体差の例について説明する図である。設計と異なる位置や姿勢でセンサが取り付けられた場合に、設計上のセンサ装着位置や姿勢に基づいて算出される座標変換行列を用いた処理を行った場合の問題点について説明する図である。ロボット座標系（Σ_Ｒ）と、ＬｉＤＡＲ座標系（Σ_Ｌ１）と、ロボットａのＬｉＤＡＲ座標系（Σ_Ｌ２）を併せて示した図である１台のロボットごとに、そのロボットに装着されたセンサ単位で固有の座標変換行列を算出するキャリブレーション処理が必要となる理由について説明する図である。本開示のキャリブレーション実行装置を含むキャリブレーション・システムの一構成例について説明する図である。本開示のキャリブレーション実行装置を含むキャリブレーション・システムの一構成例について説明する図である。ロボットに装着されたセンサ各々の座標系であるセンサ座標系と、ロボット座標系、およびスキャナ座標系について説明する図である。キャリブレーション実行装置の詳細構成について説明する図である。ロボットが長方形の壁を持つ部屋内を走行している場合にＬｉＤＡＲが検出する点群（^ＬＰ_Ｌ）の例について説明する図である。各センサの座標系をロボット座標系に変換する座標変換行列（^ＲＴ_Ｘ）の算出処理と座標変換行列（^ＲＴ_Ｘ）の行列要素の意味について説明する図である。ロボットが長方形の壁を持つ部屋内を走行している場合のＬｉＤＡＲが検出する点群（^ＬＰ_Ｌ）の一部と、３Ｄスキャナが検出する点群（^ＳＰ_Ｓ）の一部を示した図である。相対位置算出部が実行する処理の具体例について説明する図である。表示情報生成部（可視化データ生成部）が生成し、表示部に出力する表示データの一例を示す図である。表示情報生成部（可視化データ生成部）が生成し、表示部に出力する表示データの一例を示す図である。視点位置を変更した場合の表示部の表示画像の例について説明する図である。実施例２のキャリブレーション実行装置を含むオンライン・キャリブレーション・システムの一構成例について説明図である。実施例２のキャリブレーション実行装置を含むオンライン・キャリブレーション・システムの一構成例について説明図である。ロボットに装着されたセンサ各々の座標系であるセンサ座標系と、ロボット座標系、および固定デプスカメラ座標系、チェスボード座標系、地図座標系について説明する図である。実施例２において利用される座標系と座標変換行列の関係性の一例について説明する図である。実施例２のキャリブレーション実行装置の詳細構成について説明する図である。実施例３のキャリブレーション実行装置を含むオンライン・キャリブレーション・システムの一構成例について説明する図である。実施例３のキャリブレーション実行装置を含むオンライン・キャリブレーション・システムの一構成例について説明する図である。ロボットＢに装着されたセンサ各々の座標系であるセンサ座標系と、ロボットＢ座標系、および地図座標系について説明する図である。実施例３において利用される座標系と座標変換行列の関係性の一例について説明する図である。実施例３において利用される座標系と座標変換行列の関係性の一例について説明する図である。実施例３のキャリブレーション実行装置の詳細構成と処理について説明する図である。実施例３のキャリブレーション実行装置の詳細構成と処理について説明する図である。実施例４のキャリブレーション処理について説明する図である。実施例４のキャリブレーション実行装置を含むキャリブレーション・システムの一構成例について説明する図である。実施例４のキャリブレーション実行装置の詳細構成と処理について説明する図である。表示情報生成部（可視化データ生成部）が生成し、表示部に出力する表示データの一例を示す図である。表示情報生成部（可視化データ生成部）が生成し、表示部に出力する表示データの一例を示す図である。本開示のキャリブレーション実行装置のハードウェア構成例について説明する図である。

　以下、図面を参照しながら本開示のキャリブレーション実行装置、キャリブレーション・システム、および方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
　１．センサのキャリブレーション処理の概要と問題点について
　２．（実施例１）キャリブレーション実行装置の構成と処理について
　３．（実施例２）オンライン・キャリブレーションを実行するキャリブレーション実行装置の構成と処理について
　４．（実施例３）他の移動装置の観測情報を利用したオンライン・キャリブレーションを実行するキャリブレーション実行装置の構成と処理について
　５．（実施例４）複数の固定カメラのキャリブレーションを実行する実施例について
　６．キャリブレーション実行装置のハードウェア構成例について
　７．本開示の構成のまとめ

　　［１．センサのキャリブレーション処理の概要と問題点について］
　まず、センサのキャリブレーション処理の概要と問題点について説明する。

　前述したように、ロボットや自動運転車両等の移動装置が障害物にぶつかることなく安全に目的地まで走行するためには、障害物の位置や方向を正確に把握することが必要である。
　この安全走行のため、自律型移動装置の多くは複数のセンサを搭載し、複数センサの計測データの統合処理により周囲環境の高精度な解析を実現している。

　ロボットや自動運転車両等の移動装置が搭載するセンサには、例えばカメラや、レーザ光による障害物までの距離を計測するセンサであるＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）などがある。

　前述したように、これらの複数のセンサ各々は個別に周囲環境、例えば障害物までの距離や方向を計測する。障害物の位置や方向は、各センサ独自の座標系を用いて計測する。カメラは、例えばカメラのレンズ位置を原点としたカメラ座標系、またＬｉＤＡＲは、例えばＬｉＤＡＲ内のレーザ光出力位置を原点としたＬｉＤＡＲ座標系を用いて、障害物の座標位置を求める。

　さらに、ロボット自体にもロボット固有のロボット座標系がある。
　ロボット座標系は、例えばロボットの中心位置等を原点とした座標系等が用いられる。あるいは、ロボット接地面上のある点、例えばロボット中心位置からの垂線とロボット接地面との交点を原点とした座標系等が用いられる。ロボットが安全に走行するためには、このロボット座標系における障害物の位置情報を正確に算出することが必要となる。

　図１に、本開示の移動装置の一例であるロボット１０の例を示す。
　図１に示すロボット１０は、センサ検出情報に基づいて周囲環境を解析し、自律的に移動するロボットである。

　図１に示すように、ロボット１０には、複数の異なるセンサ１１～１４が装着されている。すなわち、カメラ１１、デプスカメラ１２、ＬｉＤＡＲ１３、ＩＭＵ１４、これらのセンサが装着されている。

　なお、デプスカメラ１２は、例えばステレオカメラ等のオブジェクト距離を検出するカメラである。ＬｉＤＡＲ１３は、レーザ光による障害物までの距離を計測するセンサである。ＩＭＵは、慣性計測装置（Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ）であり、ロボット１０の加速度、角速度等を検出するセンサである。

　これらの各センサ１１～１４は、いずれもセンサ独自の座標系に基づくセンサ検出値、例えば障害物の座標位置などをセンサ独自の座標系に基づいて算出する。

　図２に各センサ１１～１４対応の座標系とロボット座標系の例を示す。図２には以下の各座標系を示している。
　（Ｒ）ロボット座標系（Σ_Ｒ）
　（Ｃ）カメラ座標系（Σ_Ｃ）
　（Ｄ）デプスカメラ座標系（Σ_Ｄ）
　（Ｌ）ＬｉＤＡＲ座標系（Σ_Ｌ）
　（Ｉ）ＩＭＵ座標系（Σ_Ｉ）

　なお、前述したように、本明細書では座標系を示す記号として（Σ）を用いる。（Σ_Ａ）は、機器Ａの座標系を意味する。

　（Ｒ）ロボット座標系（Σ_Ｒ）は、例えばロボット１０の中心位置からの垂線とロボット接地面との交点を原点とし、ロボット１０の前方をＸ軸、左側面方向をＹ軸、上方向をＺ軸とした座標系である。
　（Ｃ）カメラ座標系（Σ_Ｃ）は、例えばカメラ１１のレンズ位置を原点とし、カメラ１１の前方光軸方向をＺ軸、下側面方向をＹ軸、右方向をＸ軸とした座標系である。

　（Ｄ）デプスカメラ座標系（Σ_Ｄ）は、例えばデプスカメラ１２の重心位置を原点とし、デプスカメラ１２の前方光軸方向をＺ軸、下側面方向をＹ軸、右方向をＸ軸とした座標系である。
　（Ｌ）ＬｉＤＡＲ座標系（Σ_Ｌ）は、例えばＬｉＤＡＲ１３の重心位置を原点とし、ＬｉＤＡＲ１０前方をＸ軸、左側面方向をＹ軸、上方向をＺ軸とした座標系である。
　（Ｉ）ＩＭＵ座標系（Σ_Ｉ）は、例えばＩＭＵ１４の重心位置を原点とし、ＩＭＵ１０の前方をＸ軸、左側面方向をＹ軸、上方向をＺ軸とした座標系である。

　なお、この図２に示すロボットやセンサの各座標系の原点位置や座標軸方向の設定は一例であり、この図２に示す座標系の設定に限らず、様々な設定が可能である。

　このように、ロボット１０のロボット座標系や、各センサの座標系はそれぞれ異なっており、例えばデプスカメラ１２等のセンサは障害物の位置として、デプスカメラ座標系（Σ_Ｄ）における障害物の座標位置を算出することになる。

　ロボット１０は、このデプスカメラ座標系（Σ_Ｄ）における障害物の座標位置に基づいて、ロボット座標系（Σ_Ｒ）における障害物の座標位置を算出して、ロボット１０から障害物までの距離や方向を取得して障害物に接触しないような走行ルートを選択して走行するといった制御を行う。

　すなわち、例えばデプスカメラ１２の撮影画像を用いて算出したカメラ座標系（Σ_Ｄ）における障害物Ｐの位置（カメラ座標位置（ｘ_Ｄ，ｙ_Ｄ，ｚ_Ｄ））や、ＬｉＤＡＲ１３によって算出されたＬｉＤＡＲ座標系（Σ_Ｌ）における障害物Ｐの位置（ＬｉＤＡＲ座標位置（ｘ_Ｌ，ｙ_Ｌ，ｚ_Ｌ））について、ロボット座標系（Σ_Ｒ）における障害物Ｐの位置（ロボット座標位置（ｘ_Ｒ，ｙ_Ｒ，ｚ_Ｒ））に変換する座標変換処理を行うことが必要となる。

　座標変換処理には座標変換行列（Ｔ）が利用される。
　例えば、空間上のある点Ｐのデプスカメラ座標系（Σ_Ｄ）の座標位置（ｘ_Ｄ，ｙ_Ｄ，ｚ_Ｄ）を、ロボット座標系（Σ_Ｒ）の座標位置（ｘ_Ｒ，ｙ_Ｒ，ｚ_Ｒ）に変換する座標変換処理には、座標変換行列（^ＲＴ_Ｄ）が利用される。

　同様に、点ＰのＬｉＤＡＲ座標系（Σ_Ｌ）の座標位置（ｘ_Ｌ，ｙ_Ｌ，ｚ_Ｌ）を、ロボット座標系（Σ_Ｒ）の座標位置（ｘ_Ｒ，ｙ_Ｒ，ｚ_Ｒ）に変換する座標変換処理には、座標変換行列（^ＬＴ_Ｃ）を利用する。

　すなわち、以下の関係式が成立する。
　（^ＡＰ）＝（^ＡＴ_Ｂ）（^ＢＰ）
　（ｘ_Ａ，ｙ_Ａ，ｚ_Ａ，１）^Ｔ＝（^ＡＴ_Ｂ）（ｘ_Ｂ，ｙ_Ｂ，ｚ_Ｂ，１）^Ｔ
　ここで、右上のＴは転置を表す。後で説明するように座標変換行列は４行４列の同次変換行列である。そのため点Ｐの位置座標を座標変換するときの計算は、４個目の要素として１を追加した４次元の列ベクトルである同次座標の形で積を計算する。

　三次元空間での同次変換行列である座標変換行列^ＡＴ_Ｂは、具体的には、以下の（式１）に示す４行４列の同次変換行列である。

　上記式中に示すように、この４行４列の行列中、左上３行３列が角度を表す回転行列、右上３行１列は並進を表す行列、下の１行は（０，０，０，１）からなる行列である。

　３行３列の回転行列は左から各列がｘ軸，ｙ軸，ｚ軸の方向をあらわす三次元の列ベクトルで長さが１の単位ベクトルである。この同次変換行列を掛け合わせることで次々と座標変換を実行することができる。

　座標変換行列^ＡＴ_Ｂの左上の添え字（Ａ）は、変換後の座標系に相当する基準座標系、右下の添え字（Ｂ）は、変換対象とする座標系である。
　上述したように、座標変換行列^ＡＴ_Ｂは、座標系（Σ_Ｂ）上の点Ｐの位置座標である（^ＢＰ）＝（ｘ_Ｂ，ｙ_Ｂ，ｚ_Ｂ）を、座標系（Σ_Ａ）上の点Ｐの位置座標である（^ＡＰ）＝（ｘ_Ａ，ｙ_Ａ，ｚ_Ａ）に変換する処理に適用する行列である。

　図３、図４を参照して、異なる座標系間の座標変換を行う座標変換行列について説明する。

　図３の左側には、ＬｉＤＡＲ１３を装着したロボット１０を示している。
　ロボット１０は、ロボット固有のロボット座標系（Σ_Ｒ）を有し、ＬｉＤＡＲ１３は、ＬｉＤＡＲ固有のＬｉＤＡＲ座標系（Σ_Ｌ）を有している。

　図３の右側には、ロボット座標系（Σ_Ｒ）と、ＬｉＤＡＲ座標系（Σ_Ｌ）を併せて示している。
　ロボット座標系（Σ_Ｒ）は、例えばロボット１０の中心位置からの垂線とロボット接ロボット接地面との交点を原点（ＯＲ）とした実線で示す座標系である。一方、ＬｉＤＡＲ座標系（Σ_Ｌ）は、ＬｉＤＡＲ１３の重心位置を原点（ＯL）とした点線で示す座標系である。

　ロボット１０の中心位置と、ＬｉＤＡＲ１３の重心位置は空間上の異なる位置にあるため、実線で示すロボット座標系（Σ_Ｒ）と、点線で示すＬｉＤＡＲ座標系（Σ_Ｌ）は、異なる原点を有する異なる座標系となる。

　例えば、図３の右側の図に示す三次元空間上のある点Ｐについて、実線で示すロボット座標系（Σ_Ｒ）と、点線で示すＬｉＤＡＲ座標系（Σ_Ｌ）各々の座標系における三次元位置座標（ｘ，ｙ，ｚ）は、図に示すように、以下の通りである。
　ＬｉＤＡＲ座標系（Σ_Ｌ）上の点Ｐの位置座標（^ＬＰ）＝（ｚ_Ｌ，ｙ_Ｌ，ｚ_Ｌ）
　ロボット座標系（Σ_Ｒ）上の点Ｐの位置座標（^ＲＰ）＝（ｚ_Ｒ，ｙ_Ｒ，ｚ_Ｒ）

　次に、図４を参照して、座標変換行列を適用した座標変換処理について説明する。
　図４「（ａ）座標変換行列の定義」に示すように、
　ＬｉＤＡＲ座標系（Σ_Ｌ）上の点Ｐの位置座標（^ＬＰ）＝（ｚ_Ｌ，ｙ_Ｌ，ｚ_Ｌ）を、
　ロボット座標系（Σ_Ｒ）上の点Ｐの位置座標（^ＲＰ）＝（ｚ_Ｒ，ｙ_Ｒ，ｚ_Ｒ）に変換する座標変換行列が、
　座標変換行列＝（^ＲＴ_Ｌ）
　である。

　図４「（ｂ）座標変換行列を適用した座標変換処理」に示すように、
　（ｚ_Ｒ，ｙ_Ｒ，ｚ_Ｒ，１）^Ｔ＝（^ＲＴ_Ｌ）（ｚ_Ｌ，ｙ_Ｌ，ｚ_Ｌ，１）^Ｔ
　上記の座標変換行列（^ＲＴ_Ｌ）を適用した算出式に従って、
　ＬｉＤＡＲ座標系（Σ_Ｌ）上の点Ｐの位置座標（^ＬＰ）＝（ｚ_Ｌ，ｙ_Ｌ，ｚ_Ｌ）から、
　ロボット座標系（Σ_Ｒ）上の点Ｐの位置座標（^ＲＰ）＝（ｚ_Ｒ，ｙ_Ｒ，ｚ_Ｒ）を算出することができる。

　このような処理によって、ロボット１０は、ＬｉＤＡＲ座標系（Σ_Ｌ）上の障害物の座標位置から、ロボット座標系（Σ_Ｒ）における障害物の座標位置を算出して、ロボット１０から障害物までの距離や方向を取得して障害物に接触しないような走行ルートを選択して走行するといった制御を行うことができる。

　座標変換行列は、例えば同じ構成を持つロボットを多数、製造する場合、そのロボットに対する各センサの装着位置や角度などの設計情報に基づいて決定することが可能である。しかし、製造するロボット各々の部品の加工精度や、組み立て時の組付けの精度、センサ固有の個体差等が存在するため、ロボット各々固有の調整処理が必要となる。

　すなわち、１台のロボットごとに、そのロボットに装着されたセンサ単位で固有の座標変換行列を決定することが必要となる。
　本開示の処理は、このロボットとセンサの組み合わせ固有の座標変換行列を算出する処理をセンサ・キャリブレーション処理として実行する。

　図５は、製造ロボットの個体差の例について説明する図である。
　図５（１）は、ロボットに対するＬｉＤＡＲの設計上の装着位置と姿勢（傾き）の一例を示す図である。
　設計上は、ロボット１０の上面中央位置に垂直にＬｉＤＡＲ１３を装着する仕様であるとする。

　図５（２）は、実際に製造されたロボットのＬｉＤＡＲの装着位置と姿勢（傾き）の例を示している。
　例えばロボットａは、ＬｉＤＡＲの装着位置がロボットの上面中央からやや左後方にずれた位置にあり、さらに傾いて取り付けられている。
　なお、図では、より理解しやすくするため、設計と実際との構成のずれを強調して示している。
　図５（２）に示すロボットｂ～ｄも、それぞれＬｉＤＡＲの装着位置がばらばらであり、傾きも様々な状態となっている。

　このように、製造するロボット各々の部品の加工精度や、組み立て時の組付けの精度、センサ固有の個体差等が存在するため、ロボット各々固有の調整処理として、センサ・キャリブレーションを行うことが必要となる。
　具体的には、１台のロボットごとに、そのロボットに装着されたセンサ単位で固有の座標変換行列を決定することが必要となる。

　設計と異なる位置や姿勢でセンサが取り付けられたロボットに、設計上のセンサ装着位置や姿勢に基づいて算出される座標変換行列を用いた処理を行うと、例えば障害物Ｐのロボットに対する正しい相対位置や方向を算出することができなくなる。
　図６以下を参照して、このような状況が発生する理由について説明する。

　図６には、以下の各図を示している。
　（１）設計上のＬｉＤＡＲ装着位置、姿勢対応のＬｉＤＡＲ座標系（Σ_Ｌ１）
　（２）製造されたロボットａのＬｉＤＡＲ装着位置、姿勢対応のＬｉＤＡＲ座標系（Σ_Ｌ２）
　（３）ロボット座標系の原点（ＯＲ）を一致させた三次元空間に２つの座標系を併せて示した図

　図６（１）に示すロボットは、図５（１）に示す設計上のロボット構成であり、ロボットの上面中央位置に垂直にＬｉＤＡＲが装着されている。
　一方、図６（２）に示すロボットａは、図５に示すロボットａに相当する。ロボットａは、ＬｉＤＡＲの装着位置がロボットの上面中央からやや左後方にずれた位置にあり、さらに傾いて取り付けられている。

　図６（１），（２）のＬｉＤＥＲには、それぞれＬｉＤＡＲ座標系を示している。
　（１）に示す設計上のＬｉＤＡＲ座標系（Σ_Ｌ１）は、設計上のＬｉＤＡＲの重心を原点（ＯL１）として、ＬｉＤＡＲの姿勢（傾き）に応じた３軸（ｘｙｚ軸）、すなわち図に示すＸＬ１軸、ＹＬ１軸、ＺＬ１軸を有する座標系である。
　一方、（２）に示すロボットａのＬｉＤＡＲ座標系（Σ_Ｌ２）は、ロボットａのＬｉＤＡＲの重心を原点（ＯL２）として、ＬｉＤＡＲの姿勢（傾き）に応じた３軸（ｘｙｚ軸）、すなわち図に示すＸＬ２軸、ＹＬ２軸、ＺＬ２軸を有する座標系である。

　（１）に示す設計上のＬｉＤＡＲ装着位置、姿勢対応のＬｉＤＡＲ座標系（Σ_Ｌ１と、（２）示すロボットａのＬｉＤＡＲ装着位置、姿勢対応のＬｉＤＡＲ座標系（Σ_Ｌ２とでは、原点位置が異なり、さらに各座標軸の方向も異なる。

　図６（３）は、ロボット座標系の原点（ＯＲ）を一致させた三次元空間に２つの座標系を併せて示した図である。
　この（３）に図示すように、設計上のＬｉＤＡＲ座標系（Σ_Ｌ１）と、ロボットａのＬｉＤＡＲ座標系（Σ_Ｌ２）とでは、原点位置が異なり、さらに各座標軸の方向も異なる。

　図７は、図６（３）に示した設計上のＬｉＤＡＲ座標系（Σ_Ｌ１）と、ロボットａのＬｉＤＡＲ座標系（Σ_Ｌ２）に加えて、さらに、ロボット１０のロボット座標系（Σ_Ｒ）を併せて示した図である。
　ロボット座標系は、例えばロボット接地面上のある点、例えばロボット中心位置からの垂線とロボット接地面との交点を原点（ＯＲ）とした座標系である。

　図７の右側の図に示す三次元空間上のある点Ｐについて、
　実線で示すロボット座標系（Σ_Ｒ）、
　設計上のＬｉＤＡＲの位置、姿勢に対応する設計上のＬｉＤＡＲ座標系（Σ_Ｌ１）、
　ロボットａのＬｉＤＡＲの位置、姿勢に対応するＬｉＤＡＲ座標系（Σ_Ｌ２）、
　これら３つの座標系における三次元位置座標（ｘ，ｙ，ｚ）は、図に示すように、以下の通りである。
　ロボット座標系（Σ_Ｒ）上の点Ｐの位置座標：（^ＲＰ）＝（ｚ_Ｒ，ｙ_Ｒ，ｚ_Ｒ）
　設計上のＬｉＤＡＲ座標系（Σ_Ｌ１）の位置座標：（^Ｌ１Ｐ）＝（ｚ_Ｌ１，ｙ_Ｌ１，ｚ_Ｌ１）
　ロボットａのＬｉＤＡＲ座標系（Σ_Ｌ２）の位置座標：（^Ｌ２Ｐ）＝（ｚ_Ｌ２，ｙ_Ｌ２，ｚ_Ｌ２）

　次に、図８を参照して、１台のロボットごとに、そのロボットに装着されたセンサ単位で固有の座標変換行列を算出するキャリブレーション処理が必要となる理由について説明する。
　まず、図８（ａ）を参照して、ロボットａに設計上のＬｉＤＡＲ座標系（Σ_Ｌ１）対応の座標変換行列が適用できない理由について説明する。

　設計上のＬｉＤＡＲ座標系（Σ_Ｌ１）対応の座標変換行列^ＲＴ_Ｌ１は、設計上のＬｉＤＡＲ座標系（Σ_Ｌ１）上の点Ｐの位置座標：（^Ｌ１Ｐ）＝（ｚ_Ｌ１，ｙ_Ｌ１，ｚ_Ｌ１）を、ロボット座標系（Σ_Ｒ）上の点Ｐの位置座標：（^ＲＰ）＝（ｚ_Ｒ，ｙ_Ｒ，ｚ_Ｒ）に変換する座標変換行列であり、
　（ｚ_Ｒ，ｙ_Ｒ，ｚ_Ｒ，１）^Ｔ＝（^ＲＴ_Ｌ１）（ｚ_Ｌ１，ｙ_Ｌ１，ｚ_Ｌ１，１）^Ｔ、すなわち、
　（^ＲＰ）＝（^ＲＴ_Ｌ１）（^Ｌ１Ｐ）
　上記関係式は成立する。

　しかし、
　設計上のＬｉＤＡＲ座標系（Σ_Ｌ１）の位置座標：（^Ｌ１Ｐ）＝（ｚ_Ｌ１，ｙ_Ｌ１，ｚ_Ｌ１）
　ロボットａのＬｉＤＡＲ座標系（Σ_Ｌ２）の位置座標：（^Ｌ２Ｐ）＝（ｚ_Ｌ２，ｙ_Ｌ２，ｚ_Ｌ２）
　これら２つの位置座標は異なっている。
　従って、設計上のＬｉＤＡＲ座標系（Σ_Ｌ１）対応の座標変換行列（^ＲＴ_Ｌ１）を利用しても、ロボットａのＬｉＤＡＲ座標系（Σ_Ｌ２）の位置座標：（^Ｌ２Ｐ）＝（ｚ_Ｌ２，ｙ_Ｌ２，ｚ_Ｌ２）から、ロボット座標系（Σ_Ｒ）上の点Ｐの位置座標：（^ＲＰ）＝（ｚ_Ｒ，ｙ_Ｒ，ｚ_Ｒ）を算出することはできない。

　具体的には、
　（ｚ_Ｒ，ｙ_Ｒ，ｚ_Ｒ，１）^Ｔ＝（^ＲＴ_Ｌ１）（ｚ_Ｌ２，ｙ_Ｌ２，ｚ_Ｌ２，１）^Ｔ
　上記式は成立しない。すなわち、
　（^ＲＰ）＝（^ＲＴ_Ｌ１）（^Ｌ２Ｐ）
　上記関係式は成立しない。

　従って、図８（２）に示すキャリブレーション処理、すなわち、１台のロボットごとに、そのロボットに装着されたセンサ単位で固有の座標変換行列を算出するキャリブレーション処理が必要となる。
　必要となるキャリブレーション処理は、ロボットａのＬｉＤＡＲ座標系（Σ_Ｌ２）の位置座標：（^Ｌ２Ｐ）＝（ｚ_Ｌ２，ｙ_Ｌ２，ｚ_Ｌ２）から、ロボット座標系（Σ_Ｒ）上の点Ｐの位置座標：（^ＲＰ）＝（ｚ_Ｒ，ｙ_Ｒ，ｚ_Ｒ）を算出するための固有の座標変換行列（^ＲＴ_Ｌ２）を算出する処理である。

　具体的には、
　（ｚ_Ｒ，ｙ_Ｒ，ｚ_Ｒ，１）^Ｔ＝（^ＲＴ_Ｌ２）（ｚ_Ｌ２，ｙ_Ｌ２，ｚ_Ｌ２，１）^Ｔ
　上記式が成立する。すなわち、
　（^ＲＰ）＝（^ＲＴ_Ｌ２）（^Ｌ２Ｐ）
　上記関係式が成立するロボットａとロボットａに装着されたセンサの組み合わせ固有の座標変換行列（^ＲＴ_Ｌ２）を算出するキャリブレーション処理を行うことが必要となる。

　本開示のキャリブレーション実行装置は、このようにロボットとロボットに装着されたセンサの組み合わせ固有の座標変換行列を算出するキャリブレーション処理を実行し、さらに、そのキャリブレーション結果として算出した座標変換行列が正しく算出されているか否かを視覚的に確認することを可能とした構成を有する。
　以下、本開示の装置の構成、および処理を実行する複数の実施例について、順次、説明する。

　　［２．（実施例１）キャリブレーション実行装置の構成と処理について］
　以下、本開示の実施例１に係るキャリブレーション実行装置の構成と処理について説明する。

　図９は、本開示のキャリブレーション実行装置３０を含むキャリブレーション・システム５０の一構成例を示す図である。

　図９に示すキャリブレーション・システム５０は、ロボット１０、３Ｄスキャナ２０、キャリブレーション実行装置３０を有するシステムである。
　ロボット１０は、自律移動型ロボットであり、複数のセンサを搭載している。なお、ロボット１０は、本開示の移動装置の一例であり、本開示の移動装置は、ロボット以外にも例えば自動運転車両等、各種の移動体を含む。

　３Ｄスキャナ２０は、周囲オブジェクトの三次元形状を計測する。３Ｄスキャナ２０には、カラーカメラが内蔵され三次元形状に加えて色情報も取得することができる。３Ｄスキャナ２０は、周囲３６０度にレーザ光線を照射して、その反射光を入力する走査処理を行い、周囲オブジェクトの距離を測距して周囲環境の三次元形状を取得する。

　ロボット１０は、先に図１を参照して説明したロボット１０と同様のロボットであり、センサ検出情報に基づいて周囲環境を解析し、自律的な移動を行うロボットである。
　図９に示すように、ロボット１０は、複数の異なるセンサ１１～１４を装着している。すなわち、カメラ１１、デプスカメラ１２、ＬｉＤＡＲ１３、ＩＭＵ１４、これらのセンサが装着されている。

　デプスカメラ１２は、例えばステレオカメラ等のオブジェクト距離を検出するカメラである。ＬｉＤＡＲ１３は、前述したようにレーザ光による障害物までの距離を計測するセンサである。ＩＭＵは、慣性計測装置（Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ）であり、ロボット１０の加速度、角速度等を検出するセンサである。

　なお、図９に示すロボット１０は、複数種類の異なるセンサとして、カメラ１１、デプスカメラ１２、ＬｉＤＡＲ１３、ＩＭＵ１４、これらのセンサを装着しているが、ロボット１０に装着されるセンサの種類はこれらに限られるものではなく、その他の様々な種類のセンサを装着した構成であってもよい。
　また、本開示の処理は、複数種類のセンサを装着した構成のみならず、１つのセンサを装着した構成に対しても適用可能である。

　前述したように、図９に示すロボット１０に装着されたセンサ１１～１４は、いずれもセンサ独自の座標系に基づくセンサ検出値、例えば障害物の座標位置などをセンサ独自の座標系に基づいて算出する。

　キャリブレーション実行装置３０は、例えばＰＣ等のデータ処理装置によって構成可能である。
　キャリブレーション実行装置３０は、ロボット１０や、３Ｄスキャナ２０と通信可能な構成を有する。

　キャリブレーション実行装置３０は、ロボット１０に装着されたセンサ１１～１４各々のセンサ検出情報を入力し、さらに、３Ｄスキャナ２０からスキャナ検出情報を入力する。

　キャリブレーション実行装置３０は、これらの入力情報に基づいて、ロボット１０に装着されたセンサ１１～１４各々のキャリブレーション処理を実行する。具体的には、センサ対応の座標変換行列を算出する処理を実行する。センサ対応の座標変換行列とは、センサ固有の座標系上の位置座標をロボット座標系上の位置座標に変換する座標変換行列である。

　キャリブレーション実行装置３０は、さらに、キャリブレーション結果として算出した座標変換行列が正しく算出されているか否かを視覚的に確認することを可能としたキャリブレーション結果確認用の可視化データである表示データを生成して表示部に出力する。

　キャリブレーション結果確認用の可視化データは、センサ対応の座標変換行列が正しく算出されたか否かを確認可能とした画像データである。この画像データの具体例については後述する。

　図９に示すように、キャリブレーション実行装置３０は、ロボット１０から各センサの検出情報を入力し、さらに、３Ｄスキャナ２０からスキャナ検出情報（周囲の三次元形状情報）を入力する。
　キャリブレーション実行装置３０は、これらの入力情報を利用してロボット１０のセンサ各々に対応する座標変換行列を算出するキャリブレーション処理を実行する。

　キャリブレーション実行装置３０によって実行されたキャリブレーション処理結果として算出されたセンサ各々に対応する座標変換行列は、ロボット１０に送信され、ロボット１０内の記憶部に格納される。

　ロボット１０は、自律移動を行う際に、記憶部に格納されたセンサ対応の座標変換行列を用いて、各センサ固有の座標系上の位置座標をロボット座標系上の位置座標に変換し、変換後のロボット座標系上の位置座標に基づいて、ロボット１０に対する周囲障害物の相対位置を解析して、障害物への衝突や接触を避けるような走行ルートを選択して自律移動を行う。

　なお、図９に示すキャリブレーション・システム５０は、ロボット１０と、キャリブレーション実行装置３０を別の装置として構成したシステム例であるが、例えば、図１０に示すように、ロボット１０とキャリブレーション実行装置３０を一体化したキャリブレーション・システム５０ｂのような構成としてもよい。

　図１０に示す構成では、ロボット１０内のキャリブレーション実行装置３０が、ロボット１０に装着されたセンサ各々に対応する座標変換行列を算出するキャリブレーション処理を実行する。

　次に、図１１を参照して、ロボット１０に装着されたセンサ、すなわち、カメラ１１、デプスカメラ１２、ＬｉＤＡＲ１３、ＩＭＵ１４、これらのセンサ各々の座標系であるセンサ座標系と、ロボット１０のロボット座標系、および３Ｄスキャナ２０の座標系であるスキャナ座標系について説明する。

　図１１には以下の各座標系を示している。
　（Ｒ）ロボット座標系（Σ_Ｒ）
　（Ｃ）カメラ座標系（Σ_Ｃ）
　（Ｄ）デプスカメラ座標系（Σ_Ｄ）
　（Ｌ）ＬｉＤＡＲ座標系（Σ_Ｌ）
　（Ｉ）ＩＭＵ座標系（Σ_Ｉ）
　（Ｓ）スキャナ座標系（Σ_Ｓ）

　（Ｓ）スキャナ座標系（Σ_Ｓ）は、３Ｄスキャナ２０の重心位置を原点とし、水平面の直交軸をＸＹ軸とし、垂直上方に伸びる軸をＺ軸とした座標系である。

　なお、この図１１に示すロボットやセンサ、および３Ｄスキャナ各々の座標系の原点や各座標軸の方向は一例であり、各座標系の原点や座標軸方向は、図１１に示す設定に限らず、様々な設定が利用可能である。

　図１１に示すように、ロボット１０のロボット座標系、各センサ１１～１４の座標系、３Ｄスキャナ２０の各座標系はそれぞれ異なっている。

　先に説明したように、例えばロボット１０の各センサは、各センサ固有の座標系を用いて、障害物の座標位置を取得する。
　例えば、デプスカメラ１２は障害物の位置として、デプスカメラ座標系（Σ_Ｄ）における障害物の座標位置を算出する。
　ロボット１０は、このデプスカメラ座標系（Σ_Ｄ）における障害物の座標位置に基づいて、ロボット座標系（Σ_Ｒ）上の障害物の座標位置を算出して、ロボット１０から障害物までの距離や方向を取得して障害物に接触しないような走行ルートを選択して走行するといった制御を行う。

　すなわち、例えばデプスカメラ１２の撮影画像を用いて算出したデプスカメラ座標系（Σ_Ｄ）における障害物Ｐの位置（デプスカメラ座標位置（ｘ_Ｄ，ｙ_Ｄ，ｚ_Ｄ））や、ＬｉＤＡＲ１３によって算出されたＬｉＤＡＲ座標系（Σ_Ｌ）における障害物Ｐの位置（ＬｉＤＡＲ座標位置（ｘ_Ｌ，ｙ_Ｌ，ｚ_Ｌ））について、ロボット座標系（Σ_Ｒ）における障害物Ｐの位置（ロボット座標位置（ｘ_Ｒ，ｙ_Ｒ，ｚ_Ｒ））に変換する座標変換処理を行う。

　前述したように、座標変換処理には座標変換行列（Ｔ）が利用される。
　例えば、空間上のある点Ｐのデプスカメラ座標系（Σ_Ｄ）の座標位置（ｘ_Ｄ，ｙ_Ｄ，ｚ_Ｄ）を、ロボット座標系（Σ_Ｒ）の座標位置（ｘ_Ｒ，ｙ_Ｒ，ｚ_Ｒ）に変換する座標変換処理には、座標変換行列^ＲＴ_Ｄが利用される。
　同様に、点ＰのＬｉＤＡＲ座標系（Σ_Ｌ）の座標位置（ｘ_Ｌ，ｙ_Ｌ，ｚ_Ｌ）を、ロボット座標系（Σ_Ｒ）の座標位置（ｘ_Ｒ，ｙ_Ｒ，ｚ_Ｒ）に変換する座標変換処理には、座標変換行列（^ＲＴ_Ｌ）を利用する。

　前述したように、座標変換行列（^ＡＴ_Ｂ）は、座標系（Σ_Ｂ）上の点Ｐの位置座標である（^ＢＰ）＝（ｘ_Ｂ，ｙ_Ｂ，ｚ_Ｂ）を、座標系（Σ_Ａ）上の点Ｐの位置座標である（^ＡＰ）＝（ｘ_Ａ，ｙ_Ａ，ｚ_Ａ）に変換する処理に適用する行列である。
　ここで、（^ＡＰ）は、座標系Ａにおける点Ｐの位置座標（ｘ_Ａ，ｙ_Ａ，ｚ_Ａ）を示し、（^ＢＰ）は、座標系Ｂにおける点Ｐの位置座標（ｘ_Ｂ，ｙ_Ｂ，ｚ_Ｂ）を意味する。

　すなわち、以下の関係式が成立する。
　（^ＡＰ）＝（^ＡＴ_Ｂ）（^ＢＰ）
　（ｘ_Ａ，ｙ_Ａ，ｚ_Ａ，１）^Ｔ＝（^ＡＴ_Ｂ）（ｘ_Ｂ，ｙ_Ｂ，ｚ_Ｂ，１）^Ｔ

　ただし、前述したように、ロボットは各々の部品の加工精度や、組み立て時の組付けの精度、センサ固有の個体差等が存在するため、座標変換行列は、ロボットごと、かつ、ロボットに装着されたセンサ単位で固有の座標変換行列を決定して利用することが必要となる。

　図９や図１０に示すキャリブレーション実行装置３０は、このロボットとセンサの組み合わせ固有の座標変換行列を算出する処理をセンサ・キャリブレーション処理として実行する。

　次に、図１２を参照して、キャリブレーション実行装置３０の詳細構成について説明する。
　図１２には、キャリブレーション実行装置３０の詳細構成と、キャリブレーション実行装置３０がロボット１０、および３Ｄスキャナ２０から入力するデータを示している。

　図１２に示すように、キャリブレーション実行装置３０は、キャリブレーション実行部３１、相対位置算出部３２、外部座標系対応座標変換行列算出部３３、表示情報生成部（可視化データ生成部）３４、入力部３５、表示部３６を有する。

　なお、図１２にはロボット１０に装着されたセンサ１１～１４として、カメラ１１、デプスカメラ１２、ＬｉＤＡＲ１３、ＩＭＵ１４を示している。
　なお、前述したように、ロボット１０に装着されるセンサの種類はこれらに限られるものではなく、その他の様々な種類のセンサを装着した構成であってもよい。
　また、本開示の処理は、複数種類のセンサを装着した構成のみならず、１つのセンサを装着した構成に対しても適用可能である。

　キャリブレーション実行装置３０のキャリブレーション実行部３１は、ロボット１０に装着されたセンサ１１～１４各々の座標変換行列を算出する。
　すなわち、キャリブレーション実行部３１は、ロボット１０の各センサ１１～１４から各センサ検出情報等を入力して、各センサ対応の座標変換行列の算出処理を実行する。

　図１２に示すように、キャリブレーション実行装置３０は、ロボット１０の各センサ１１～１４から以下の情報を入力する。
　カメラ１１から、カメラ１１の撮影画像と、カメラ１１の内部パラメータ
　デプスカメラ１２から、デプスカメラ１２の撮影画像である距離画像（デプス画像）と、デプスカメラ１２の内部パラメータ
　ＬｉＤＡＲ１３から、ＬｉＤＡＲの検出値である点群（^ＬＰ_Ｌ）情報
　ＩＭＵ１４から、ＩＭＵ検出情報であるロボット１０の角速度、加速度等
　キャリブレーション実行装置３０は、ロボット１０の各センサ１１～１４から上記の各情報を入力する。

　なお、ＬｉＤＡＲ１３から入力するＬｉＤＡＲの検出値である点群（^ＬＰ_Ｌ）情報とは、ＬｉＤＡＲ１３周囲の３次元空間上のオブジェクト位置を示す点群情報である。
　（^ＬＰ_Ｌ）は、ＬｉＤＡＲ座標系上の点群データを示す。（^ＬＰ_Ｌ）の左上の添え字（Ｌ）が座標系を意味し、（Ｐ_Ｌ）がＬｉＤＡＲの３次元点群を意味する。

　例えば図１３に示すように、ロボット１０が長方形の壁を持つ部屋内を走行している場合、ＬｉＤＡＲ１３が検出する点群（^ＬＰ_Ｌ）は、ＬｉＤＡＲ１３周囲の３次元空間上のオブジェクト位置を示す点群は、図１３に示すように、４方向の壁の位置を示す点群となる。

　ＬｉＤＡＲ１３は、１本のレーザ光線を水平方向に走査するタイプのＬｉＤＡＲであり、レーザ光線が壁面を水平にスライスしたような点群が取得できる。このスライスされた断面の形状はＬｉＤＡＲ１３が設置された高さや向きに依存する。

　キャリブレーション実行部３１は、ロボット１０の各センサ１１～１４から各センサ検出情報等を入力して、以下の各センサ対応の座標変換行列の算出処理を実行する。

　（ａ）カメラ１１のカメラ座標系（Σ_Ｃ）をロボット座標系（Σ_Ｒ）に変換するカメラ対応座標変換行列（^ＲＴ_Ｃ）の算出処理
　（ｂ）デプスカメラ１２のデプスカメラ座標系（Σ_Ｄ）をロボット座標系（Σ_Ｒ）に変換するデプスカメラ対応座標変換行列（^ＲＴ_Ｄ）の算出処理
　（ｃ）ＬｉＤＡＲ１３のＬｉＤＡＲ座標系（Σ_Ｌ）をロボット座標系（Σ_Ｒ）に変換するＬｉＤＡＲ対応座標変換行列（^ＲＴ_Ｌ）の算出処理
　（ｄ）ＩＭＵ１４のＩＭＵ座標系（Σ_Ｉ）をロボット座標系（Σ_Ｒ）に変換するＩＭＵ対応座標変換行列（^ＲＴ_Ｉ）の算出処理

　なお、以下では、ロボット１０に搭載された各センサ１１～１４のセンサ座標系をロボット座標系（Σ_Ｒ）に変換する座標行列を（^ＲＴ_Ｘ）として示す。Ｘは様々なセンサの識別子を意味する。

　このように、キャリブレーション実行装置３０のキャリブレーション実行部３１は、ロボット１０に装着されたセンサ１１～１４各々の座標変換行列（^ＲＴ_Ｘ）を算出する。
　なお、座標変換行列の算出処理は既知のキャリブレーション技術を用いて実行される。
　具体的には、例えば以下の非特許文献の記載構成等を適用して算出することができる。

　非特許文献２（Dhallet al.Ankit,. ＬｉＤＡＲ-camera calibration using 3D-3D point correspondences. arXiv preprint arXiv:1705.09785, 2017.）
　非特許文献３（Banerjeeet al.Koyel,. Online camera lidar fusion and object detection on hybrid data for autonomous driving.　2018 IEEE Intelligent Vehicles Symposium (IV). IEEE, 2018.）
　非特許文献４（PusztaiIvn Eichhardt, and Levente Hajder.Zoltn,. Accurate calibration of multi-lidar-multi-camera systems. Proceedings of the IEEE International Conference on Computer Vision Workshops., 2017.）
　非特許文献５（Irene FassiLegnaniGiovanni. Hand to sensor calibration: A geometrical interpretation of the matrix equation AX =XB. Journal of Robotic Systems, 2005.）
　非特許文献６（ LegnaniGiovanni. Optimization of hand-to-camera calibration using geometrical interpretation of matrix equation AX = XB.　International Journal of Robotics and Automation, 2018.）

　このように、キャリブレーション実行部３１は、ロボット１０の各センサ１１～１４から各センサ検出情報等を入力して、各センサの座標系をロボット座標系に変換する座標変換行列（^ＲＴ_Ｘ）の算出処理を実行する。
　なお、先に（式１）を用いて説明したと同様、三次元空間での同次変換行列である座標変換行列^ＲＴ_Ｘは、具体的には、以下の（式１ｂ）に示す４行４列の同次変換行列として示される。

　上記の４行４列の行列中、左上３行３列が角度を表す回転行列、右上３行１列は並進を表す行列である。

　座標変換行列（^ＲＴ_Ｘ）の行列要素の意味について図１４を参照して説明する。
　座標変換行列（^ＲＴ_Ｘ）の行列要素は、具体的には、図１４に示すように、以下の各軸や、原点位置を示す要素によって構成される。
　（ａ）（Ｒ_００，Ｒ_１０，Ｒ_２０）は、変換対象のセンサ座標系（Σ_Ｘ）のＸ軸方向、
　（ｂ）（Ｒ_０１，Ｒ_１１，Ｒ_２１）は、変換対象のセンサ座標系（Σ_Ｘ）のＹ軸方向、
　（ｃ）（Ｒ_０２，Ｒ_１２，Ｒ_２２）は、変換対象のセンサ座標系（Σ_Ｘ）のＺ軸方向、
　（ｄ）（ｔ_０，ｔ_１，ｔ_２）は、変換対象のセンサ座標系（Σ_Ｘ）の原点位置座標、
　なお、上記（ａ）～（ｄ）に示す座標軸（Ｘ軸、Ｙ軸、Ｚ軸）の各方向と、原点位置は、座標変換後の座標系であるロボット座標系（Σ_Ｒ）における方向、および座標位置である。

　相対位置算出部３２は、３Ｄスキャナ２０のスキャナ座標系（Σ_Ｓ）とロボット１０のロボット座標系（Σ_Ｒ）の位置合わせ処理を実行する。

　相対位置算出部３２は、３Ｄスキャナ２０から、色付き点群（^ＳＰ_Ｓ）を入力し、ロボット１０のＬｉＤＡＲ１３から点群（^ＬＰ_Ｌ）を入力し、これらの入力点群情報を利用して、スキャナ座標系（Σ_Ｓ）とロボット座標系（Σ_Ｒ）の位置合わせ処理を実行する。

　図１５は、先に説明した図１３と同様、ロボット１０が長方形の壁を持つ部屋内を走行している場合のＬｉＤＡＲ１３が検出する点群（^ＬＰ_Ｌ）の一部と、３Ｄスキャナ２０が検出する点群（^ＳＰ_Ｓ）の一部を示した図である。

　前述したように、ＬｉＤＡＲ１３は１本のレーザ光線を水平方向に走査するタイプのＬｉＤＡＲであり、レーザ光線が壁面を水平にスライスしたような点群が取得できる。このスライスされた断面の形状はＬｉＤＡＲ１３が設置された高さや向きに依存する。
　一方、３Ｄスキャナ２０から入力する点群は、水平は３６０°、垂直方向は３Ｄスキャナ２０の直下を除く下方から鉛直上方までほぼ全天球に相当する範囲にあるオブジェクト表面を示す点群となる。

　なお、３Ｄスキャナ２０から入力する点群（^ＳＰ_Ｓ）は、以下に示す（式２）として示すことができる。

　上記（式２）において、（^ｓｐ_ｓｉ）は、点群（^ＳＰ_Ｓ）を構成する１つの点を示している。（^Ｓｘ_Ｓｉ，^Ｓｙ_Ｓｉ，^Ｓｚ_Ｓｉ）は、点（^ｓｐ_ｓｉ）の座標位置である。

　なお、ある座標系上の点群を異なる座標系の点群に変換する点群の座標変換処理は、点群座標変換式を適用して実行することができる。
　例えば、デプスカメラ座標系（Σ_Ｄ）で示されるデプスカメラ検出点群（^ＳＰ_Ｓ）を３Ｄスキャナ座標系（Σ_Ｓ）で示されるスキャナ座標系点群（^ＳＰ_Ｓ）に変換する点群座標変換式（^ＳＰ_Ｄ）は、以下の（式３）として示される。計算は４次元の同次座標として行う。

　相対位置算出部３２は、まず、ＬｉＤＡＲ１３の点群と、３Ｄスキャナ２０の点群の位置合わせを行う。

　相対位置算出部３２は、まず３Ｄスキャナ２０の点群から床面（ロボット接地面）を検出して３Ｄスキャナ２０の床からの高さ（Ｈ_Ｓ）を算出する。３Ｄスキャナ２０から入力する点群（^ＳＰ_Ｓ）には床面（ロボット接地面）の点群が含まれている。床面（ロボット接地面）は面積が大きく、また３Ｄスキャナ２０の下方にあり、面の法線がほぼ３Ｄスキャナ２０の座標系のｚ軸方向と平行なため簡単に床面（ロボット接地面）を検出できる。

　なお、この床面（ロボット接地面）検出処理には、例えば非特許文献８（TrevorJB, et al.Alexander. Efficient organized point cloud segmentation with connected components. Semantic Perception Mapping and Exploration (SPME), 2012）に記載の処理を適用することが可能である。

　次に、相対位置算出部３２は、床面（ロボット接地面）からＬｉＤＡＲ１３までの高さ（Ｈ_Ｌ）を求める。この高さは、キャリブレーション実行部３１で得られたＬｉＤＡＲ１３の座標変換行列（^ＲＴ_Ｌ）の４行４列の座標変換行列の３行４列に位置する値である。

　すなわち、先に図１４を参照して説明したように、前述した（式１ｂ）の４行４列の座標変換行列（^ＲＴ_Ｌ）中の４列目にある（ｔ_０，ｔ_１，ｔ_２）は、変換対象のセンサ座標系（Σ_Ｘ）の原点位置座標を示しており、この中の（ｔ_２）は、ロボット座標系（Σ_Ｒ）の原点（ロボット接地面の位置）から、ライダー座標系（Σ_Ｌ）の原点との高さ（Ｚ方向）の差分に相当する値である。すなわち、床面（ロボット接地面）からＬｉＤＡＲ１３までの高さ（Ｈ_Ｌ）に相当する値を示している。

　次に、相対位置算出部３２は、算出したＬｉＤＡＲ１３の高さ（Ｈ_Ｌ）、すなわち、床面（ロボット接地面）からＬｉＤＡＲ１３までの高さ（Ｈ_Ｌ）を利用して、図１６に示すように、３Ｄスキャナ２０から入力した全天球の点群（^ＳＰ_Ｓ）から一部の点群を抽出する。具体的には、３Ｄスキャナ２０のスキャナ座標系（Σ_Ｓ）の原点からＬｉＤＡＲ座標系（Σ_Ｌ）の原点位置の高さ（Ｈ_ＳＬ）＝（Ｈ_Ｓ）－（Ｈ_Ｌ）にある点群（^ＳＰ_ＨＳＬ）を抜き出す。

　相対位置算出部３２は、このようにして、３Ｄスキャナ２０から入力した全天球の点群（^ＳＰ_Ｓ）から抽出した一部の点群（^ＳＰ_ＨＳＬ）と、ＬｉＤＡＲ１３の点群との位置合わせを行う。

　点群の位置合わせ処理は、既存処理として知られるＩＣＰ（Ｉｔｅｒａｔｉｖｅ　ｃｌｏｓｅｓｔ　ｐｏｉｎｔ）などを用いて実行できる。

　次に、相対位置算出部３２は、３Ｄスキャナ２０から入力した点群（^ＳＰ_Ｓ）からスライスして抽出した一部の点群（^ＳＰ_ＨＳＬ）を基準として、ＬｉＤＡＲ１３の点群を位置合わせするのに必要な座標変換行列（^ＳＴ_Ｌ）を、以下の（式４）に従って算出する。

　上記（式４）に示す座標変換行列（^ＳＴ_Ｌ）は、ＬｉＤＡＲ１３のＬｉＤＡＲ座標系（Σ_Ｌ）上の点群を、３Ｄスキャナ２０のスキャナ座標系（Σ_Ｓ）上の点群に変換するための変換式である。

　なお、上記（式４）は、３Ｄスキャナ２０から入力した点群（^ＳＰ_Ｓ）からスライスして抽出した一部の点群（^ＳＰ_ＨＳＬ）と、ＬｉＤＡＲ座標系（Σ_Ｌ）上の点群（^ＬＰ_Ｌ）との位置誤差を最小にする座標変換行列（Ｔ）を求める問題となっている。
　上記（式４）によって算出される座標変換行列（^ＳＴ_Ｌ）は、ＩＣＰの繰り返しの収束計算で求めることができる。

　この座標変換行列（^ＳＴ_Ｌ）は、ＬｉＤＡＲ１３のＬｉＤＡＲ座標系（Σ_Ｌ）を、３Ｄスキャナ２０のスキャナ座標系（Σ_Ｓ）に変換する座標変換行列である。

　次に、図１２に示すキャリブレーション実行装置３０中の外部座標系対応座標変換行列算出部３３が実行する処理について説明する。

　外部座標系対応座標変換行列算出部３３は、キャリブレーション実行部３１から、以下の座標変換行列を入力する。
　（ａ）カメラ１１のカメラ座標系（Σ_Ｃ）をロボット座標系（Σ_Ｒ）に変換するカメラ対応座標変換行列（^ＲＴ_Ｃ）
　（ｂ）デプスカメラ１２のデプスカメラ座標系（Σ_Ｄ）をロボット座標系（Σ_Ｒ）に変換するデプスカメラ対応座標変換行列（^ＲＴ_Ｄ）
　（ｃ）ＬｉＤＡＲ１３のＬｉＤＡＲ座標系（Σ_Ｌ）をロボット座標系（Σ_Ｒ）に変換するＬｉＤＡＲ対応座標変換行列（^ＲＴ_Ｌ）
　（ｄ）ＩＭＵ１４のＩＭＵ座標系（Σ_Ｉ）をロボット座標系（Σ_Ｒ）に変換するＩＭＵ対応座標変換行列（^ＲＴ_Ｉ）

　外部座標系対応座標変換行列算出部３３は、さらに、相対位置算出部３２から、以下の座標変換行列を入力する。
　（ｅ）ＬｉＤＡＲ１３のＬｉＤＡＲ座標系（Σ_Ｌ）を、３Ｄスキャナ２０のスキャナ座標系（Σ_Ｓ）に変換する座標変換行列（^ＳＴ_Ｌ）

　外部座標系対応座標変換行列算出部３３は、これら複数の座標変換行列を入力して、ロボット１０の各センサ１１～１４の座標系（Σ_Ｘ）を、スキャナ座標系（Σ_Ｓ）に変換する座標変換行列（^ＳＴ_Ｘ）を算出する。

　なお、例えば、カメラ１１対応のカメラ座標系（Σ_Ｃ）をスキャナ座標系（Σ_Ｓ）に変換する座標変換行列（^ＳＴ_Ｃ）は、以下の（式５ａ）に従って算出することができる。

　　^ＳＴ_Ｃ＝（^ＳＴ_Ｌ）（^ＲＴ_Ｌ）^－１（^ＲＴ_Ｃ）
　　　　　　　　　　　　　　・・・・・（式５ａ）

　上記（式５ａ）の右辺に示す座標変換行列は、すべて、相対位置算出部３２、またはキャリブレーション実行部３１からの入力値、または入力値に基づいて算出可能である。

　例えば、座標変換行列（^ＳＴ_Ｌ）は、ＬｉＤＡＲ１３のＬｉＤＡＲ座標系（Σ_Ｌ）を、３Ｄスキャナ２０のスキャナ座標系（Σ_Ｓ）に変換する座標変換行列（^ＳＴ_Ｌ）であり、相対位置算出部３２から入力される。

　また、（^ＲＴ_Ｌ）^－１は、座標変換行列（^ＲＴ_Ｌ）の逆行列であり、キャリブレーション実行部３１から入力する座標変換行列（^ＲＴ_Ｌ）、すなわち、ＬｉＤＡＲ１３のＬｉＤＡＲ座標系（Σ_Ｌ）をロボット座標系（Σ_Ｒ）に変換するＬｉＤＡＲ対応座標変換行列（^ＲＴ_Ｌ）から算出することができる。

　さらに、座標変換行列（^ＲＴ_Ｃ）は、カメラ１１のカメラ座標系（Σ_Ｃ）をロボット座標系（Σ_Ｒ）に変換するカメラ対応座標変換行列（^ＲＴ_Ｃ）であり、キャリブレーション実行部３１から入力される。

　このように、外部座標系対応座標変換行列算出部３３は、相対位置算出部３２、またはキャリブレーション実行部３１からの入力値、または入力値に基づいて算出可能な行列を用いて、カメラ座標系（Σ_Ｃ）をスキャナ座標系（Σ_Ｓ）に変換する座標変換行列（^ＳＴ_Ｃ）を算出する。

　外部座標系対応座標変換行列算出部３３は、ロボット１０に装着されたセンサ各々について、同様の処理を実行する。

　デプスカメラ１２対応のデプスカメラ座標系（Σ_Ｄ）をスキャナ座標系（Σ_Ｓ）に変換する座標変換行列（^ＳＴ_Ｄ）は、以下の（式５ｂ）に従って算出する。

　　^ＳＴ_Ｄ＝（^ＳＴ_Ｌ）（^ＲＴ_Ｌ）^－１（^ＲＴ_Ｄ）
　　　　　　　　　　　　　　・・・・・（式５ｂ）

　上記（式５ｂ）の右辺に示す座標変換行列は、すべて、相対位置算出部３２、またはキャリブレーション実行部３１からの入力値、または入力値に基づいて算出可能である。

　ＬｉＤＡＲ１３対応のＬｉＤＡＲ座標系（Σ_Ｌ）をスキャナ座標系（Σ_Ｓ）に変換する座標変換行列（^ＳＴ_Ｌ）については、相対位置算出部３２から入力されており、外部座標系対応座標変換行列算出部３３による新たな算出処理は必要ない。

　ＩＭＵ１４対応のＩＭＵ座標系（Σ_Ｉ）をスキャナ座標系（Σ_Ｓ）に変換する座標変換行列（^ＳＴ_Ｉ）は、以下の（式５ｃ）に従って算出する。

　　^ＳＴ_Ｉ＝（^ＳＴ_Ｌ）（^ＲＴ_Ｌ）^－１（^ＲＴ_Ｉ）
　　　　　　　　　　　　　　・・・・・（式５ｃ）

　上記（式５ｃ）の右辺に示す座標変換行列は、すべて、相対位置算出部３２、またはキャリブレーション実行部３１からの入力値、または入力値に基づいて算出可能である。

　このように、外部座標系対応座標変換行列算出部３３は、ロボット１０の各センサ１１～１４の座標系（Σ_Ｘ）を、スキャナ座標系（Σ_Ｓ）に変換する座標変換行列（^ＳＴ_Ｘ）を算出する。

　外部座標系対応座標変換行列算出部３３が算出した座標変換行列（^ＳＴ_Ｘ）、すなわち、ロボット１０の各センサ１１～１４の座標系（Σ_Ｘ）を、スキャナ座標系（Σ_Ｓ）に変換する座標変換行列（^ＳＴ_Ｘ）は、図１２に示すキャリブレーション実行装置３０の表示情報生成部（可視化データ生成部）３４に入力される。

　外部座標系対応座標変換行列算出部３３が算出した座標変換行列（^ＳＴ_Ｘ）は、以下の座標変換行列（^ＳＴ_Ｘ）である。
　（ａ）カメラ１１のカメラ座標系（Σ_Ｃ）をスキャナ座標系（Σ_Ｓ）に変換する座標変換行列（^ＳＴ_Ｃ）
　（ｂ）デプスカメラ１２のデプスカメラ座標系（Σ_Ｄ）をスキャナ座標系（Σ_Ｓ）に変換する座標変換行列（^ＳＴ_Ｄ）
　（ｃ）ＬｉＤＡＲ１３のＬｉＤＡＲ座標系（Σ_Ｌ）をスキャナ座標系（Σ_Ｓ）に変換する座標変換行列（^ＳＴ_Ｌ）
　（ｄ）ＩＭＵ１４のＩＭＵ座標系（Σ_Ｉ）をスキャナ座標系（Σ_Ｓ）に変換する座標変換行列（^ＳＴ_Ｉ）

　外部座標系対応座標変換行列算出部３３が算出したこれらの座標変換行列（^ＳＴ_Ｘ）が、図１２に示すキャリブレーション実行装置３０の表示情報生成部（可視化データ生成部）３４に入力される。

　表示情報生成部（可視化データ生成部）３４は、外部座標系対応座標変換行列算出部３３が算出したこれらの座標変換行列（^ＳＴ_Ｘ）に基づいて、ロボット１０の各センサ１１～１４の座標系（Σ_Ｘ）を構成する座標軸（Ｘ軸、Ｙ軸、Ｚ軸）を、スキャナ座標系（Σ_Ｓ）上に示した三次元画像を生成して、ロボット１０の三次元画像に併せて表示部３６に出力する。

　なお、入力部３５は、マウスやキーボードなどで構成され、表示情報生成部（可視化）データ生成部３４が表示部３６に描画する三次元画像の視点情報を入力する。

　表示情報生成部（可視化データ生成部）３４は、入力部３５から入力された視点の情報に基づいて、視点方向を決定し、決定した視点方向から観察したロボット１０の三次元画像データを表示部３６に出力する。

　表示情報生成部（可視化データ生成部）３４が生成し表示部３６に出力するロボット１０の三次元画像データは、スキャナ座標系（Σ_Ｓ）上に示した三次元画像であり、ロボット１０の三次元画像に併せて、ロボット１０の各センサ１１～１４の座標系（Σ_Ｘ）を構成する座標軸（Ｘ軸、Ｙ軸、Ｚ軸）を重畳表示した画像である。

　図１７に表示情報生成部（可視化データ生成部）３４が生成し、表示部３６に出力する表示データの一例を示す。

　キャリブレーション実行装置３０の表示部３６には、例えば図１７に示すようなロボット１０の三次元画像が表示される。
　なお、ロボット１０の三次元画像は、例えば、ロボット１０等のオブジェクトの三次元画像を示す点群によって構成される。点群は３Ｄスキャナ２０による検出情報によって構成される点群である。
　なお、表示データは既知のコンピュータグラフィックス技術、例えば非特許文献７（KamRyeol, et al.Hyeong. Rviz: a toolkit for real domain data visualization. Telecommunication Systems 60.2, 2015.）に記載の構成を適用して生成可能である。

　さらに、図１７に示すように、ロボット１０の三次元画像上にロボット１０の各センサ１１～１４の座標系（Σ_Ｘ）を構成する座標軸（Ｘ軸、Ｙ軸、Ｚ軸）が重畳表示される。

　ロボット１０、および、各センサ１１～１４の座標系（Σ_Ｘ）を構成する座標軸（Ｘ軸、Ｙ軸、Ｚ軸）は、いずれも３Ｄスキャナ２０対応のスキャナ座標系（Σ_Ｓ）上のデータである。

　ロボット１０のスキャナ座標系（Σ_Ｓ）上の三次元画像は、３Ｄスキャナ２０によるスキャン処理（走査処理）によって生成される三次元画像である。
　このロボット１０の三次元画像には、ロボット１０に装着された各センサ、すなわちカメラ１１、デプスカメラ１２、ＬｉＤＡＲ１３、ＩＭＵ１４の三次元画像も含まれる。なお、例えばＩＭＵ等のロボット１０の内部構成については、例えばユーザが予め計測したＩＭＵ装着位置をキャリフブレーション実行装置３０に入力し、表示情報生成部３４が入力情報に基づいてＩＭＵ１４の三次元画像を生成して出力する。

　図１７に示すように、表示部３６に表示されるロボット１０の三次元画像には、ロボット１０に装着された各センサ、すなわちカメラ１１、デプスカメラ１２、ＬｉＤＡＲ１３、ＩＭＵ１４のセンサ対応座標系（Σ_Ｘ）を構成する座標軸（Ｘ軸、Ｙ軸、Ｚ軸）も表示される。

　なお、センサ対応座標系（Σ_Ｘ）を構成する座標軸（Ｘ軸、Ｙ軸、Ｚ軸）については、例えば、各軸に対応づけて「Ｘ軸」、「Ｙ軸」、「Ｚ軸」等の軸の種類を示す識別子を併せて表示する構成としてもよい。さらに、より分かりやすくするため、各軸に異なる色を設定して表示する構成としてもよい。れる。例えば、Ｘ軸は赤色、Ｙ軸は緑色、Ｚ軸は青色等の色分けをして表示してもよい。

　表示情報生成部３４は、これらのセンサ対応座標系（Σ_Ｘ）を構成する座標軸（Ｘ軸、Ｙ軸、Ｚ軸）を、先に説明した外部座標系対応座標変換行列算出部３３が算出した座標変換行列（^ＳＴ_Ｘ）から取得する。

　先に説明したように、外部座標系対応座標変換行列算出部３３は、以下の座標変換行列（^ＳＴ_Ｘ）を算出して、表示情報生成部３４に出力する。
　（ａ）カメラ１１のカメラ座標系（Σ_Ｃ）をスキャナ座標系（Σ_Ｓ）に変換する座標変換行列（^ＳＴ_Ｃ）
　（ｂ）デプスカメラ１２のデプスカメラ座標系（Σ_Ｄ）をスキャナ座標系（Σ_Ｓ）に変換する座標変換行列（^ＳＴ_Ｄ）
　（ｃ）ＬｉＤＡＲ１３のＬｉＤＡＲ座標系（Σ_Ｌ）をスキャナ座標系（Σ_Ｓ）に変換する座標変換行列（^ＳＴ_Ｌ）
　（ｄ）ＩＭＵ１４のＩＭＵ座標系（Σ_Ｉ）をスキャナ座標系（Σ_Ｓ）に変換する座標変換行列（^ＳＴ_Ｉ）

　例えば、「（ａ）カメラ１１のカメラ座標系（Σ_Ｃ）をスキャナ座標系（Σ_Ｓ）に変換する座標変換行列（^ＳＴ_Ｃ）」
　この座標変換行列（^ＳＴ_Ｃ）は、先に説明した（式１）や（式１ｂ）と同様、以下の（式１ｃ）として示すことができる。

　先に（式１）や（式１ｂ）、さらに図１４を参照して説明したように、
　上記の４行４列の行列中、左上３行３列が角度を表す回転行列、右上３行１列は並進を表す行列である。

　具体的には、先に図１４を参照して説明したように、
　（ａ）（Ｒ_００，Ｒ_１０，Ｒ_２０）は、変換対象のセンサ座標系（Σ_Ｘ）のＸ軸方向、
　（ｂ）（Ｒ_０１，Ｒ_１１，Ｒ_２１）は、変換対象のセンサ座標系（Σ_Ｘ）のＹ軸方向、
　（ｃ）（Ｒ_０２，Ｒ_１２，Ｒ_２２）は、変換対象のセンサ座標系（Σ_Ｘ）のＺ軸方向、
　（ｄ）（ｔ_０，ｔ_１，ｔ_２）は、変換対象のセンサ座標系（Σ_Ｘ）の原点位置座標、
　なお、上記（ａ）～（ｄ）に示す座標軸（Ｘ軸、Ｙ軸、Ｚ軸）の各方向と、原点位置は、座標変換後の座標系であるスキャナ座標系（Σ_Ｓ）における方向、および座標位置である。

　このように、カメラ１１のカメラ座標系（Σ_Ｃ）を構成する座標軸（Ｘ軸、Ｙ軸、Ｚ軸）は、先に説明した外部座標系対応座標変換行列算出部３３が算出した座標変換行列（^ＳＴ_Ｃ）から取得することができる。
　他のセンサ対応座標系（Σ_Ｘ）についても同様であり、表示情報生成部３４は、カメラ１１、デプスカメラ１２、ＬｉＤＡＲ１３、ＩＭＵ１４のセンサ対応座標系（Σ_Ｘ）を構成する座標軸（Ｘ軸、Ｙ軸、Ｚ軸）を、先に説明した外部座標系対応座標変換行列算出部３３が算出した座標変換行列（^ＳＴ_Ｘ）から取得する。

　これらのセンサ対応座標系（Σ_Ｘ）を構成する座標軸（Ｘ軸、Ｙ軸、Ｚ軸）の各方向と、原点位置は、座標変換後の座標系であるスキャナ座標系（Σ_Ｓ）における方向、および座標位置である。
　従って、図１７に示すようセンサ対応座標系（Σ_Ｘ）の座標軸表示が可能となる。

　なお、図１７に示す表示例は、キャリブレーション実行部３１において実行したキャリブレーション処理が成功し、正しい座標変換行列が算出された場合の座標軸表示例である。
　例えばカメラ１１のカメラ座標系（Σ_Ｃ）は、図１７に示すロボット１０に装着されたカメラ１１のレンズ位置に原点が設定され、カメラ１１の前方光軸方向にＺ軸、下側にＹ軸、右方向にＸ軸が設定されている。
　これらの原点位置や各座標軸の方向は、カメラ座標系（Σ_Ｃ）が正しく表示された結果である。

　このように、カメラ座標系（Σ_Ｃ）が、三次元画像中のカメラ１１の中心位置に表示されるのは、キャリブレーション実行部３１において実行したキャリブレーション処理が成功し、正しい座標変換行列が算出されたことを意味する。

　前述したように、キャリブレーション実行部３１は、ロボット１０の各センサ１１～１４から各センサ検出情報等を入力して、以下の各センサ対応の座標変換行列の算出処理を実行する。例えば、カメラ１１のカメラ座標系（Σ_Ｃ）をロボット座標系（Σ_Ｒ）に変換するカメラ対応座標変換行列（^ＲＴ_Ｃ）の算出処理を実行する。

　このカメラ対応座標変換行列（^ＲＴ_Ｃ）が正しく算出されていれば、先に（式５ａ）を参照して説明したる座標変換行列（^ＳＴ_Ｃ）の算出式、すなわち、
　　^ＳＴ_Ｃ＝（^ＳＴ_Ｌ）（^ＲＴ_Ｌ）^－１（^ＲＴ_Ｃ）
　　　　　　　　　　　　　　・・・・・（式５ａ）

　上記のカメラ座標系（Σ_Ｃ）をスキャナ座標系（Σ_Ｓ）に変換する座標変換行列（^ＳＴ_Ｃ）の行列要素によって決定されるカメラ座標系（Σ_Ｃ）の原点や座標軸（Ｘ軸、Ｙ軸、Ｚ軸）が正しく算出される。

　この結果、図１７に示すカメラ座標系（Σ_Ｃ）は、ロボット１０のカメラ１１のレンズ位置に原点が設定され、カメラ１１の前方光軸方向にＺ軸、下側にＹ軸、右方向にＸ軸が設定された正しいカメラ座標系（Σ_Ｃ）の表示となる。

　図１７に示すその他のセンサ座標系、すなわち、デプスカメラ１２のデプスカメラ座標系（Σ_Ｄ）、ＬｉＤＡＲ１３のＬｉＤＡＲ座標系（Σ_Ｌ）、ＩＭＵ１４のＩＭＵ座標系（Σ_Ｉ）、これらの座標系もすべて正しい位置に原点が設定され、正しい方向に座標軸が設定されている。
　ユーザは、これらの表示画像を確認することで、キャリブレーション実行部３１におけるキャリブレーション処理が成功したことを確認することができる。

　すなわち、キャリブレーション実行部３１が実行した以下の各センサ対応の座標変換行列の算出処理が成功したことを確認することができる。
　（ａ）カメラ１１のカメラ座標系（Σ_Ｃ）をロボット座標系（Σ_Ｒ）に変換するカメラ対応座標変換行列（^ＲＴ_Ｃ）の算出処理
　（ｂ）デプスカメラ１２のデプスカメラ座標系（Σ_Ｄ）をロボット座標系（Σ_Ｒ）に変換するデプスカメラ対応座標変換行列（^ＲＴ_Ｄ）の算出処理
　（ｃ）ＬｉＤＡＲ１３のＬｉＤＡＲ座標系（Σ_Ｌ）をロボット座標系（Σ_Ｒ）に変換するＬｉＤＡＲ対応座標変換行列（^ＲＴ_Ｌ）の算出処理
　（ｄ）ＩＭＵ１４のＩＭＵ座標系（Σ_Ｉ）をロボット座標系（Σ_Ｒ）に変換するＩＭＵ対応座標変換行列（^ＲＴ_Ｉ）の算出処理

　しかし、例えば、キャリブレーション実行部３１によるキャリブレーション処理、すなわち、座標変換行列生成処理に失敗し、正しい座標変換行列が算出できなかった場合には、図１７に示すようなセンサ対応座標系（Σ_Ｘ）の表示と異なる表示がなされる。

　キャリブレーション実行部３１による座標変換行列生成処理が失敗し、正しい座標変換行列が算出できなかった場合の表示例を図１８に示す。

　図１８に示すカメラ座標系（Σ_Ｃ）は、ロボット１０のカメラ１１のレンズ位置に原点がなく、カメラ１１からずれた位置に原点が設定されている。また、本来、カメラ１１の前方光軸方向にＺ軸、下側にＹ軸、右方向にＸ軸が設定されているべき座標軸が傾いている。
　これは、明らかに正しいカメラ座標系（Σ_Ｃ）とは異なる表示である。

　これは、キャリブレーション実行部３１におけるカメラ対応座標変換行列（^ＲＴ_Ｃ）が正しく算出されていないことを意味する。この結果、先に（式５ａ）を参照して説明したる座標変換行列（^ＳＴ_Ｃ）の算出式、すなわち、
　　^ＳＴ_Ｃ＝（^ＳＴ_Ｌ）（^ＲＴ_Ｌ）^－１（^ＲＴ_Ｃ）
　　　　　　　　　　　　　　・・・・・（式５ａ）

　上記のカメラ座標系（Σ_Ｃ）をスキャナ座標系（Σ_Ｓ）に変換する座標変換行列（^ＳＴ_Ｃ）の行列要素によって決定されるカメラ座標系（Σ_Ｃ）の原点や座標軸（Ｘ軸、Ｙ軸、Ｚ軸）が正しく算出されなかったことを意味する。

　このように、キャリブレーション実行部３１におけるカメラ対応座標変換行列（^ＲＴ_Ｃ）が正しく算出されていない場合には、図１８に示すようにカメラ座標系（Σ_Ｃ）の原点位置や各座標軸の方向がずれて表示されることになる。

　図１８に示す表示例においては、デプスカメラ１２の座標軸もずれた位置にあり、キャリブレーション実行部３１におけるデプスカメラ対応座標変換行列（^ＲＴ_Ｄ）も正しく算出されていないことが確認される。

　ＬｉＤＡＲ１３とＩＭＵ１４については、座標軸が正しい位置、方向を有しており、キャリブレーション実行部３１におけるＬｉＤＡＲ対応座標変換行列（^ＲＴ_Ｌ）と、ＩＭＵ対応座標変換行列（^ＲＴ_Ｉ）の算出処理は成功していることが確認される。

　このように、本開示のキャリブレーション実行装置３０の表示部３６には、スキャナ座標系（Σ_Ｓ）上に示したロボット１０の三次元画像に併せて、スキャナ座標系（Σ_Ｓ）上の各センサ対応の座標系（Σ_Ｘ）が重畳表示した画像が表示される。

　ユーザは、ロボット１０の三次元画像に併せて表示される各センサ１１～１４の座標系（Σ_Ｘ）の原点位置や座表軸の方向（傾き）を確認することで、キャリブレーション実行部３１におけるキャリブレーション処理、すなわち、センサ対応標変換行列（^ＲＴ_Ｘ）の算出処理が成功したか否かを判定することが可能となる。

　なお、前述したように、表示情報生成部（可視化データ生成部）３４は、入力部３５から入力された視点の情報に基づいて、視点方向を決定し、決定した視点方向から観察したロボット１０の三次元画像データを表示部３６に出力する。
　ユーザは入力部３５から視点を操作して好きな方向、拡大率でロボット１０等のオブジェクトの三次元画像を示す点群とセンサ座標変換行列の相対的な位置関係を観察することができる。

　視点位置を変更した場合の表示部３６の表示画像の例を図１９に示す。
　図１９（ａ）は、ロボット１０を右側面前方方向から観察した表示画像の例である。
　図１９（ｂ）は、ロボット１０を前方左側面方向から観察した表示画像の例である。
　図１９（ｃ）は、ロボット１０を前方右側面の下側方向から観察した表示画像の例である。

　ユーザは、このようにロボット１０の筐体と、各センサの座標変換行列を重ね合わせた三次元画像を様々な方向から観察することが可能であり、これらの画像により、キャリブレーションが成功しているか否か、すなわち正しい座標変換行列（^ＲＴ_Ｘ）が算出されているか否かを直感的に確認することができる。

　なお、上述した実施例では、図１２に示すキャリブレーション実行装置３０の外部座標系対応座標変換行列算出部３３がロボット１０の各センサ１１～１４の座標系（Σ_Ｘ）を、スキャナ座標系（Σ_Ｓ）に変換する座標変換行列（^ＳＴ_Ｘ）を算出する実施例を説明した。

　すなわち、表示情報生成部（可視化データ生成部）３４が、外部座標系対応座標変換行列算出部３３が算出した座標変換行列（^ＳＴ_Ｘ）に基づいて、ロボット１０の各センサ１１～１４の座標系（Σ_Ｘ）を構成する座標軸（Ｘ軸、Ｙ軸、Ｚ軸）を、スキャナ座標系（Σ_Ｓ）上に示した三次元画像を生成して、ロボット１０の三次元画像に併せて表示部３６に出力する実施例である。

　このように、上述の実施例では、センサ類の座標系、位置と姿勢の表現手法として「座標変換行列」を用いている。しかし、センサ類の座標系、位置と姿勢の表現手法は、「座標変換行列」に限られず、その他の手法を適用してもよい。

　例えば、センサ類の座標系、位置と姿勢の表現手法として、並進の３個の数字と、回転を４個の数字で表現したクォータニオンの組で表現する方法が知られている。
　また、並進の３個の数字と、回転を３個の数字で表すオイラー角を利用する手法もある。オイラー角は、ＲＯＳ　（Ｒｏｂｏｔ　Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）などで一般的に使われている手法である。

　この他、さらに、例えばコンピュータビジョン分野でよく利用される手法として、並進の３個の数字と、回転を３個の数字の回転ベクトルで表す合計６自由度で表現する手法もある。
　なおクォータニオンと座標変換行列の回転行列と回転ベクトルとオイラー角は相互に変換可能である。

　このように、センサ類の座標系、位置と姿勢の表現手法には、様々な手法があり、上述の実施例で用いた「座標変換行列」の代わりに、これら他の手法を適用する構成も可能である。

　　［３．（実施例２）オンライン・キャリブレーションを実行するキャリブレーション実行装置の構成と処理について］
　次に、実施例２として、オンライン・キャリブレーションを実行するキャリブレーション実行装置の構成と処理について説明する。

　先に説明した実施例１は、ロボット１０の個体差、すなわち、ロボット各々の部品の加工精度や、組み立て時の組付けの精度、センサ固有の個体差等が存在するため、ロボット固有のセンサ対応座標変換行列（^ＲＴ_Ｘ）を算出して利用する実施例として説明した。

　しかし、ロボット１０が走行すると、走行に伴う振動等が発生し、ロボットに装着されたセンサ、すなわちカメラ１１、デプスカメラ１２、ＬｉＤＡＲ１３、ＩＭＵ１４等のセンサにも位置ずれや傾きが発生する場合がある。

　このように、ロボット１０の走行中にセンサの位置ずれや傾きが発生すると、先の実施例１に従って算出したロボット固有のセンサ対応座標変換行列（^ＲＴ_Ｘ）を利用しても、ロボット１０の走行中に正しい座標変換が実行できなくなる場合がある。

　以下に説明する実施例２は、ロボット１０の走行中に逐次、センサ対応座標変換行列（^ＲＴ_Ｘ）の更新処理をオンラインで実行する実施例である。

　本実施例２のキャリブレーション実行装置３０を含むオンライン・キャリブレーション・システム６０の一構成例を図２０に示す。

　図２０に示すオンライン・キャリブレーション・システム６０は、ロボット１００、固定デプスカメラ４０、キャリブレーション実行装置３０を有するシステムである。
　また、ロボット１００の走行面にはチェスボード４５が取り付けられている。
　チェスボード４５は、規則的な白黒パターンによって構成される。

　ロボット１００は、自律移動型ロボットであり、複数のセンサを搭載している。なお、ロボット１００は、本開示の移動装置の一例であり、本実施例の移動装置も、ロボット以外にも例えば自動運転車両等、各種の移動体を含む。

　固定デプスカメラ４０は、周囲オブジェクトまでの距離（デプス）を計測する。固定デプスカメラ４０は、カラーカメラを内蔵した構成としてもよい。この場合、距離情報に加えて色情報も取得することができる。なお、カラーカメラの代わりに被写体の反射率を画像として出力するタイプを利用してもよい。

　ロボット１００は、先に説明した実施例１のロボットと同様のロボットであり、センサ検出情報に基づいて周囲環境を解析し、自律的な移動を行うロボットである。
　図２０に示すように、ロボット１００は、複数の異なるセンサ１０１～１０４を装着している。すなわち、カメラ１０１、デプスカメラ１０２、ＬｉＤＡＲ１０３、ＩＭＵ１０４、これらのセンサが装着されている。

　実施例１で説明したと同様、図２０に示すロボット１００に装着されたセンサ１０１～１０４は、いずれもセンサ独自の座標系に基づくセンサ検出値、例えば障害物の座標位置などをセンサ独自の座標系に基づいて算出する。

　キャリブレーション実行装置３０は、例えばＰＣ等のデータ処理装置によって構成可能である。
　キャリブレーション実行装置３０は、ロボット１００や、固定デプスカメラ４０と通信可能な構成を有する。

　キャリブレーション実行装置３０は、ロボット１００に装着されたセンサ１０１～１０４各々のセンサ検出情報を入力し、さらに、固定デプスカメラ４０から距離情報等の固定デプスカメラ検出情報を入力する。

　キャリブレーション実行装置３０は、これらの入力情報に基づいて、ロボット１００に装着されたセンサ１１～１４各々のキャリブレーション処理を実行する。具体的には、センサ対応の座標変換行列を算出する処理を実行する。センサ対応の座標変換行列とは、センサ固有の座標系上の位置座標をロボット座標系上の位置座標に変換する座標変換行列である。

　図２０に示すように、キャリブレーション実行装置３０は、ロボット１００から各センサの検出情報を入力し、さらに、固定デプスカメラ４０から固定デプスカメラ検出情報（周囲のオブジェクトの距離情報）を入力する。
　キャリブレーション実行装置３０は、これらの入力情報を利用してロボット１００のセンサ各々に対応する座標変換行列を算出するキャリブレーション処理を実行する。

　キャリブレーション実行装置３０によって実行されたキャリブレーション処理結果として算出されたセンサ各々に対応する座標変換行列は、ロボット１００に送信され、ロボット１００内の記憶部に格納される。

　ロボット１００は、自律移動を行う際に、記憶部に格納されたセンサ対応の座標変換行列を用いて、各センサ固有の座標系上の位置座標をロボット座標系上の位置座標に変換し、変換後のロボット座標系上の位置座標に基づいて、ロボット１００に対する周囲障害物の相対位置を解析して、障害物への衝突や接触を避けるような走行ルートを選択して自律移動を行う。

　なお、図２０に示すオンライン・キャリブレーション・システム６０は、ロボット１００と、キャリブレーション実行装置３０を別の装置として構成したシステム例であるが、例えば、図２１に示すように、ロボット１００とキャリブレーション実行装置３０を一体化したオンライン・キャリブレーション・システム６０ｂのような構成としてもよい。

　図２１に示す構成では、ロボット１００内のキャリブレーション実行装置３０が、ロボット１００に装着されたセンサ各々に対応する座標変換行列を算出するキャリブレーション処理を実行する。

　次に、図２２を参照して、ロボット１００に装着されたセンサ、すなわち、カメラ１０１、デプスカメラ１０２、ＬｉＤＡＲ１０３、ＩＭＵ１０４、これらのセンサ各々の座標系であるセンサ座標系と、ロボット１００のロボット座標系、および固定デプスカメラ４０の座標系である固定デプスカメラ座標系、チェスボード４５のチェスボード座標系、さらに、地図座標系について説明する。

　図２２には以下の各座標系を示している。
　（Ｒ）ロボット座標系（Σ_Ｒ）
　（Ｃ）カメラ座標系（Σ_Ｃ）
　（Ｄ）デプスカメラ座標系（Σ_Ｄ）
　（Ｌ）ＬｉＤＡＲ座標系（Σ_Ｌ）
　（Ｉ）ＩＭＵ座標系（Σ_Ｉ）
　（ＦＤ）固定デプスカメラ座標系（Σ_ＦＤ）
　（Ｂ）チェスボード座標系（Σ_Ｂ）
　（Ｏ）地図座標系（Σ_Ｏ）

　（Ｒ）ロボット座標系（Σ_Ｒ）は、例えばロボット１００の中心位置からの垂線とロボット接地面との交点を原点とし、ロボット１００の前方をＸ軸、左側面方向をＹ軸、上方向をＺ軸とした座標系である。
　（Ｃ）カメラ座標系（Σ_Ｃ）は、例えばカメラ１１のレンズ位置を原点とし、カメラ１１の前方光軸方向をＺ軸、下側面方向をＹ軸、右方向をＸ軸とした座標系である。

　（ＦＤ）固定デプスカメラ座標系（Σ_ＦＤ）は、固定デプスカメラ４０のレンズ位置を原点とし、固定デプスカメラ４０の前方光軸方向をＺ軸、下側面方向をＹ軸、右方向をＸ軸とした座標系である。

　（Ｂ）チェスボード座標系（Σ_Ｂ）は、チェスボード４５の１つの頂点を原点とし、ロボット走行面状の直交軸をＸ，Ｙ軸、垂直上方に伸びる軸をＺ軸とした座標系である。

　（Ｏ）地図座標系（Σ_Ｏ）は、ロボット１００が自己位置を推定する場合に利用する基準座標である。本実施例２において、ロボット１００は、地図座標系（Σ_Ｏ）上におけるロボット１００位置（自己位置）を算出し、地図座標系（Σ_Ｏ）上に設定された走行ルートに従って走行する。

　図２２に示すように、ロボット１００のロボット座標系、各センサの座標系、固定デプスカメラ、チェスボード、地図座標の各座標系はそれぞれ異なっている。

　先の実施例１において説明したと同様、例えばロボット１００の各センサは、各センサ固有の座標系を用いて、障害物の座標位置を取得する。
　例えば、デプスカメラ１０２は障害物の位置として、カメラ座標系（Σ_Ｄ）における障害物の座標位置を算出する。
　ロボット１００は、このデプスカメラ座標系（Σ_Ｄ）における障害物の座標位置に基づいてロボット座標系（Σ_Ｒ）や地図座標系（Σ_Ｏ）上の障害物の座標位置を算出し、ロボット１００から障害物までの距離や方向を取得して障害物に接触しないような走行ルートを選択して走行するといった制御を行う。

　前述したように、座標変換処理には座標変換行列（Ｔ）が利用される。
　例えば、空間上のある点Ｐのデプスカメラ座標系（Σ_Ｄ）の座標位置（ｘ_Ｄ，ｙ_Ｄ，ｚ_Ｄ）を、ロボット座標系（Σ_Ｒ）の座標位置（ｘ_Ｒ，ｙ_Ｒ，ｚ_Ｒ）に変換する座標変換処理には、座標変換行列^ＲＴ_Ｄが利用される。
　同様に、点ＰのＬｉＤＡＲ座標系（Σ_Ｌ）の座標位置（ｘ_Ｌ，ｙ_Ｌ，ｚ_Ｌ）を、ロボット座標系（Σ_Ｒ）の座標位置（ｘ_Ｒ，ｙ_Ｒ，ｚ_Ｒ）に変換する座標変換処理には、座標変換行列^ＲＴ_Ｌを利用する。

　ただし、前述したように、ロボット１００の走行中にセンサの位置ずれや傾きが発生すると、固定的な座標変換行列は利用できなくなり、遂次修正することが必要となる。図２０や図２１に示すキャリブレーション実行装置３０は、このような座標変換行列の逐次修正、すなわちオンライン、キリブレーションを実行する。

　本実施例２において利用される座標系と座標変換行列の関係性の一例を図２３に示す。
　本実施例２において、必要となる座標変換行列は、破線の矢印で示した座標変換行列（^ＯＴ_ＦＤ）である。
　座標変換行列（^ＯＴ_ＦＤ）は、固定デプスカメラ４０の固定デプスカメラ座標系（Σ_ＦＤ）を、地図座標系（Σ_Ｏ）に変換する座標変換行列である。

　この座標変換行列（^ＯＴ_ＦＤ）を算出するために、図２３に示すように、以下の複数の座標変換行列を利用する。すなわち、
　（１）チェスボード座標系（Σ_Ｂ）を、固定デプスカメラ座標系（Σ_ＦＤ）に変換する座標変換行列（^ＦＤＴ_Ｂ）
　（２）チェスボード座標系（Σ_Ｂ）をカメラ座標系（Σ_Ｃ）に変換する座標変換行列（^ＣＴ_Ｂ）
　（３）カメラ座標系（Σ_Ｃ）を、ロボット座標系（Σ_Ｒ）に変換する座標変換行列（^ＲＴ_Ｃ）
　（４）ロボット座標系（Σ_Ｒ）を、地図座標系（Σ_Ｏ）に変換する座標変換行列（^ＯＴ_Ｒ）

　具体的には、固定デプスカメラ座標系（Σ_ＦＤ）を、地図座標系（Σ_Ｏ）に変換する座標変換行列（^ＯＴ_ＦＤ）は、以下の（式６）に従って算出することができる。

　（^ＯＴ_ＦＤ）＝（^ＯＴ_Ｒ）（^ＲＴ_Ｃ）（^ＣＴ_Ｂ）（^ＦＤＴ_Ｂ）^－１
　　　　　　　　　　　　　　　　　　・・・・・（式６）

　上記式に従って、固定デプスカメラ座標系（Σ_ＦＤ）を、地図座標系（Σ_Ｏ）に変換する座標変換行列（^ＯＴ_ＦＤ）を算出することができる。

　次に、上記（式６）に従って算出された座標変換行列（^ＯＴ_ＦＤ）を利用して、ロボット座標系（Σ_Ｒ）を、固定デプスカメラ座標系（Σ_ＦＤ）に変換する座標変換行列（^ＦＤＴ_Ｒ）を以下の（式７）に従って算出する。

　（^ＦＤＴ_Ｒ）＝（^ＦＤＴ_Ｏ）（^ＯＴ_Ｒ）
　　　　　　　　　　　　　　　　　　・・・・・（式７）

　なお、上記（式７）において、
　座標変換行列（^ＯＴ_Ｒ）は、ロボット座標系（Σ_Ｒ）を、地図座標系（Σ_Ｏ）に変換する座標変換行列である。

　なお、相対位置計算の精度を向上させるためには、例えば、
　（１）チェスボード座標系（Σ_Ｂ）を、固定デプスカメラ座標系（Σ_ＦＤ）に変換する座標変換行列（^ＦＤＴ_Ｂ）
　（２）チェスボード座標系（Σ_Ｂ）をカメラ座標系（Σ_Ｃ）に変換する座標変換行列（^ＣＴ_Ｂ）
　これらの２種類の座標変換行列（^ＦＤＴ_Ｂ）、（^ＣＴ_Ｂ）の精度を高めることが有効となる。

　このためには、例えば、ロボット１００のカメラ１０１、および固定デプスカメラ４０によるチェスボード４５の撮影処理を複数回、撮影して、撮影画像の平均化処理などを実行して、２種類の座標変換行列（^ＦＤＴ_Ｂ）、（^ＣＴ_Ｂ）を算出する処理が有効である。

　また、サイズの異なるチェスボードをいくつか用いた結果を平均したりしてもよい。また位置合わせの基準に用いるものはチェスボードに限らずＡＲマーカ、ＱＲコード（登録商標）、ＡｒＵｃｏマーカ、球体のマーカなど既存のマーカを用いてもよい。

　図２４は、本実施例２のキャリブレーション実行装置３０の詳細構成について説明する図である。

　図２４には、キャリブレーション実行装置３０の詳細構成と、キャリブレーション実行装置３０がロボット１００、および固定デプスカメラ４０から入力するデータを示している。
　図２４に示すように、キャリブレーション実行装置３０は、オンライン・キャリブレーション実行部３７、相対位置算出部３２、外部座標系対応座標変換行列算出部３３、表示情報生成部（可視化データ生成部）３４、入力部３５、表示部３６を有する。

　実施例２のキャリブレーション実行装置３０は、先の実施例１において図１２を参照して説明したキャリブレーション実行装置３０のキャリブレーション実行部３１をオンライン・キャリブレーション実行部３７に置き換えた構成となる。

　なお、図２４にはロボット１００に装着されたセンサ１０１～１０４として、カメラ１０１、デプスカメラ１０２、ＬｉＤＡＲ１０３、ＩＭＵ１０４を示している。
　キャリブレーション実行装置３０のオンライン・キャリブレーション実行部３７は、ロボット１００に装着されたセンサ１０１～１０４各々の座標変換行列を算出する。
　すなわち、オンライン・キャリブレーション実行部３７は、ロボット１００の各センサ１０１～１０４から各センサ検出情報等を入力して、各センサ対応の座標変換行列の算出処理を実行する。
　このセンサ対応の座標変換行列の算出処理は先に説明した実施例１と同様の処理である。

　オンライン・キャリブレーション実行部３７は、ロボット１００の各センサ１０１～１０４から各センサ検出情報等を入力して、以下の各センサ対応の座標変換行列の算出処理を実行する。

　相対位置算出部３２は、固定デプスカメラ４０の固定デプスカメラ座標系（Σ_ＦＤ）とロボット１０のロボット座標系（Σ_Ｒ）の位置合わせ処理を実行して、ロボット座標系（Σ_Ｒ）を、固定デプスカメラ座標系（Σ_ＦＤ）に変換する座標変換行列（^ＦＤＴ_Ｒ）を算出する。

　相対位置算出部３２が算出した座標変換行列（^ＦＤＴ_Ｒ）は、外部座標系対応座標変換行列算出部３３に入力される。

　次に、図２４に示すキャリブレーション実行装置３０中の外部座標系対応座標変換行列算出部３３が実行する処理について説明する。

　外部座標系対応座標変換行列算出部３３は、オンライン・キャリブレーション実行部３７から、以下の座標変換行列を入力する。
　（ａ）カメラ１１のカメラ座標系（Σ_Ｃ）をロボット座標系（Σ_Ｒ）に変換するカメラ対応座標変換行列（^ＲＴ_Ｃ）
　（ｂ）デプスカメラ１２のデプスカメラ座標系（Σ_Ｄ）をロボット座標系（Σ_Ｒ）に変換するデプスカメラ対応座標変換行列（^ＲＴ_Ｄ）
　（ｃ）ＬｉＤＡＲ１３のＬｉＤＡＲ座標系（Σ_Ｌ）をロボット座標系（Σ_Ｒ）に変換するＬｉＤＡＲ対応座標変換行列（^ＲＴ_Ｌ）
　（ｄ）ＩＭＵ１４のＩＭＵ座標系（Σ_Ｉ）をロボット座標系（Σ_Ｒ）に変換するＩＭＵ対応座標変換行列（^ＲＴ_Ｉ）

　外部座標系対応座標変換行列算出部３３は、さらに、相対位置算出部３２から、以下の座標変換行列を入力する。
　（ｅ）ロボット座標系（Σ_Ｒ）を、固定デプスカメラ座標系（Σ_ＦＤ）に変換する座標変換行列（^ＦＤＴ_Ｒ）

　外部座標系対応座標変換行列算出部３３は、これら複数の座標変換行列を入力して、ロボット１００の各センサ１０１～１０４の座標系（Σ_Ｘ）を、固定デプスカメラ座標系（Σ_ＦＤ）に変換する座標変換行列（^ＦＤＴ_Ｘ）を算出する。

　なお、例えば、カメラ１０１対応のカメラ座標系（Σ_Ｃ）を固定デプスカメラ座標系（Σ_ＦＤ）に変換する座標変換行列（^ＦＤＴ_Ｃ）は、以下の（式８）に従って算出することができる。

　　^ＦＤＴ_Ｃ＝（^ＦＤＴ_Ｒ）（^ＲＴ_Ｃ）
　　　　　　　　　　　　　　・・・・・（式８）

　上記（式８）の右辺に示す座標変換行列は、すべて、相対位置算出部３２、またはオンライン・キャリブレーション実行部３７からの入力値、または入力値に基づいて算出可能である。

　例えば、座標変換行列（^ＦＤＴ_Ｒ）は、ロボット座標系（Σ_Ｒ）を、固定デプスカメラ座標系（Σ_ＦＤ）に変換する座標変換行列（^ＦＤＴ_Ｒ）であり、相対位置算出部３２から入力される。

　また、（^ＲＴ_Ｃ）は、カメラ１１のカメラ座標系（Σ_Ｃ）をロボット座標系（Σ_Ｒ）に変換するカメラ対応座標変換行列（^ＲＴ_Ｃ）であり、オンライン・キャリブレーション実行部３７から入力される。

　このように、外部座標系対応座標変換行列算出部３３は、相対位置算出部３２、またはオンライン・キャリブレーション実行部３７からの入力値、または入力値に基づいて算出可能な行列を用いて、ロボット１００の各センサ１０１～１０４の座標系（Σ_Ｘ）を、固定デプスカメラ座標系（Σ_ＦＤ）に変換する座標変換行列（^ＦＤＴ_Ｘ）を算出する。

　外部座標系対応座標変換行列算出部３３が算出した座標変換行列（^ＦＤＴ_Ｘ）、すなわち、ロボット１００の各センサ１０１～１０４の座標系（Σ_Ｘ）を、固定デプスカメラ座標系（Σ_ＦＤ）に変換する座標変換行列（^ＦＤＴ_Ｘ）は、図２４に示すキャリブレーション実行装置３０の表示情報生成部（可視化データ生成部）３４に入力される。

　なお、外部座標系対応座標変換行列算出部３３が算出する座標変換行列（^ＦＤＴ_Ｘ）は、以下の座標変換行列（^ＦＤＴ_Ｘ）である。
　（ａ）カメラ１０１のカメラ座標系（Σ_Ｃ）を固定デプスカメラ座標系（Σ_ＦＤ）に変換する座標変換行列（^ＦＤＴ_Ｃ）
　（ｂ）デプスカメラ１０２のデプスカメラ座標系（Σ_Ｄ）を固定デプスカメラ座標系（Σ_ＦＤ）に変換する座標変換行列（^ＦＤＴ_Ｄ）
　（ｃ）ＬｉＤＡＲ１０３のＬｉＤＡＲ座標系（Σ_Ｌ）を固定デプスカメラ座標系（Σ_ＦＤ）に変換する座標変換行列（^ＦＤＴ_Ｌ）
　（ｄ）ＩＭＵ１０４のＩＭＵ座標系（Σ_Ｉ）を固定デプスカメラ座標系（Σ_ＦＤ）に変換する座標変換行列（^ＦＤＴ_Ｉ）

　外部座標系対応座標変換行列算出部３３が算出したこれらの座標変換行列（^ＦＤＴ_Ｘ）が、図２４に示すキャリブレーション実行装置３０の表示情報生成部（可視化データ生成部）３４に入力される。

　表示情報生成部（可視化データ生成部）３４は、外部座標系対応座標変換行列算出部３３が算出したこれらの座標変換行列（^ＦＤＴ_Ｘ）に基づいて、ロボット１００の各センサ１０１～１０４の座標系（Σ_Ｘ）を構成する座標軸（Ｘ軸、Ｙ軸、Ｚ軸）を、固定デプスカメラ座標系（Σ_ＦＤ）上に示した三次元画像を生成して、ロボット１００の三次元画像に併せて表示部３６に出力する。

　表示情報生成部（可視化データ生成部）３４が生成し表示部３６に出力するロボット１００の三次元画像データは、固定デプスカメラ座標系（Σ_ＦＤ）上に示した三次元画像であり、ロボット１００の三次元画像に併せて、ロボット１００の各センサ１０１～１０４の座標系（Σ_Ｘ）を構成する座標軸（Ｘ軸、Ｙ軸、Ｚ軸）を重畳表示した画像である。
　表示画像は、先に実施例１において説明した図１７～図１９に示す画像と同様の画像である。

　本実施例２においても、キャリブレーション実行装置３０の表示部３６には、固定デプスカメラ座標系（Σ_ＦＤ）上に示したロボット１００の三次元画像に併せて、固定デプスカメラ座標系（Σ_ＦＤ）上の各センサ対応の座標系（Σ_Ｘ）を重畳表示した画像が表示される。

　ユーザは、ロボット１００の三次元画像に併せて表示される各センサ１０１～１０４の座標系（Σ_Ｘ）の原点位置や座表軸の方向（傾き）を確認することで、オンライン・キャリブレーション実行部３７におけるキャリブレーション処理、すなわち、センサ対応標変換行列（^ＲＴ_Ｘ）の算出処理が成功したか否かを判定することが可能となる。

　　［４．（実施例３）他の移動装置の観測情報を利用したオンライン・キャリブレーションを実行するキャリブレーション実行装置の構成と処理について］
　次に、実施例３として、他の移動装置の観測情報を利用したオンライン・キャリブレーションを実行するキャリブレーション実行装置の構成と処理について説明する。

　本実施例３は、例えば、複数台のロボットが協調して動作するような環境において、一台のロボットがオンライン・キャリブレーションを実行し、さらに他のロボットのカメラを用いてオンライン・キャリブレーションの結果の正しさを検証する。

　本実施例３は、オンライン・キャリブレーションを行ったあるロボットのカメラの座標変換行列を、他のロボットに搭載されたデプスカメラから得られた点群（三次元画像）に重畳して表示して、オンライン・キャリブレーションで得られたカメラの座標変換行列の正しさを検証する。

　なお、この実施例３では、ロボット同士の相対位置情報が必要になるが、本実施例３では、各ロボットが実行する自己位置推定情報を用いて、複数台のロボット間の相対位置と角度を計算する。例えば、複数台のロボットが同じ座標系の地図上で位置推定を実施している場合は、その位置情報を用いる。

　本実施例３のキャリブレーション実行装置３０を含むオンライン・キャリブレーション・システム７０の一構成例を図２５に示す。

　図２５に示すオンライン・キャリブレーション・システム７０は、ロボットＡ１１０、ロボットＢ１２０、キャリブレーション実行装置３０を有するシステムである。

　ロボットＡ１１０、ロボットＢ１２０は、いずれも自律移動型ロボットであり、複数のセンサを搭載している。
　ロボットＡ１１０、ロボットＢ１２０は、先に説明した実施例１のロボットと同様のロボットであり、センサ検出情報に基づいて周囲環境を解析し、自律的な移動を行うロボットである。

　図２５に示すように、ロボットＡ１１０は、複数の異なるセンサ１１１～１１４を装着している。すなわち、カメラＡ１１１、デプスカメラＡ１１２、ＬｉＤＡＲ１１３、ＩＭＵ１１４、これらのセンサを装着している。
　ロボットＢ１２０は、カメラＢ１２１、デプスカメラＢ１２２を装着している。

　実施例１で説明したと同様、図２５に示すロボットＡ１１０、ロボットＢ１２０に装着されたセンサは、いずれもセンサ独自の座標系に基づくセンサ検出値、例えば障害物の座標位置などをセンサ独自の座標系に基づいて算出する。

　キャリブレーション実行装置３０は、例えばＰＣ等のデータ処理装置によって構成可能である。
　キャリブレーション実行装置３０は、ロボットＡ１１０、ロボットＢ１２０と通信可能な構成を有する。

　キャリブレーション実行装置３０は、ロボットＡ１１０、ロボットＢ１２０に装着されたセンサ各々のセンサ検出情報を入力する。

　キャリブレーション実行装置３０は、これらの入力情報に基づいて、ロボットＡ１１０に装着されたセンサ１１１～１１４各々のキャリブレーション処理を実行する。具体的には、センサ対応の座標変換行列を算出する処理を実行する。センサ対応の座標変換行列とは、センサ固有の座標系上の位置座標をロボット座標系上の位置座標に変換する座標変換行列である。

　図２５に示すように、キャリブレーション実行装置３０はロボットＡ１１０、ロボットＢ１２０から各センサの検出情報を入力する。
　キャリブレーション実行装置３０は、これらの入力情報を利用してロボットＡ１１０のセンサ各々に対応する座標変換行列を算出するキャリブレーション処理を実行する。

　キャリブレーション実行装置３０によって実行されたキャリブレーション処理結果として算出されたセンサ各々に対応する座標変換行列は、ロボットＡ１１０内の記憶部に格納される。

　ロボットＡ１１０は、自律移動を行う際に、記憶部に格納されたセンサ対応の座標変換行列を用いて、各センサ固有の座標系上の位置座標をロボット座標系上の位置座標に変換し、変換後のロボット座標系上の位置座標に基づいて、ロボットＡ１１０に対する周囲障害物の相対位置を解析して、障害物への衝突や接触を避けるような走行ルートを選択して自律移動を行う。

　なお、図２５に示すオンライン・キャリブレーション・システム７０は、ロボットＡ１１０と、キャリブレーション実行装置３０を別の装置として構成したシステム例であるが、例えば、図２６に示すように、ロボットＡ１１０とキャリブレーション実行装置３０を一体化したオンライン・キャリブレーション・システム７０ｂのような構成としてもよい。

　図２６に示す構成では、ロボットＡ１１０内のキャリブレーション実行装置３０が、ロボットＡ１１０に装着されたセンサ各々に対応する座標変換行列を算出するキャリブレーション処理を実行する。

　ロボットＡ１１０に装着されたセンサ、すなわち、カメラＡ１１１、デプスカメラＡ１１２、ＬｉＤＡＲ１１３、ＩＭＵ１１４、これらのセンサ各々の座標系であるセンサ座標系と、ロボットＡ１１０のロボット座標系、および度図座標系は、先に実施例２において図２２を参照して説明した座標系と同様の座標系である。

　図２７に、ロボットＢ１２０に装着されたカメラＢ１２１、デプスカメラＢ１２２、これらのセンサ各々の座標系であるセンサ座標系と、ロボットＢ１２０のロボットＢ座標系、および地図座標系を示す。

　（ＲＢ）ロボットＢ座標系（Σ_ＲＢ）は、例えばロボットＢ１２０の中心位置からの垂線とロボット接地面との交点を原点とし、ロボットＢ１２０の前方をＸ軸、左側面方向をＹ軸、上方向をＺ軸とした座標系である。
　（ＣＢ）カメラＢ座標系（Σ_ＣＢ）は、例えばカメラＢ１２１のレンズ位置を原点とし、カメラＢ１２１の前方光軸方向をＺ軸、下側面方向をＹ軸、右方向をＸ軸とした座標系である。

　（ＤＢ）デプスカメラＢ座標系（Σ_ＤＢ）は、例えばデプスカメラＢ１２２の重心位置を原点とし、デプスカメラＢ１２２の前方光軸方向をＺ軸、下側面方向をＹ軸、右方向をＸ軸とした座標系である。

　（Ｏ）地図座標系（Σ_Ｏ）は、ロボット１００が自己位置を推定する場合に利用する基準座標である。本実施例３において、ロボット１００は、地図座標系（Σ_Ｏ）上におけるロボット１００位置（自己位置）を算出し、地図座標系（Σ_Ｏ）上に設定された走行ルートに従って走行する。

　本実施例３において利用される座標系と座標変換行列の関係性の一例を図２８に示す。
　本実施例３では、ロボットＢのデプスカメラＢ１２２を利用した処理例とロボットＢのカメラＢ１２１を利用した処理例が実行できる。

　ロボットＢ１２０のデプスカメラＢ１２２を利用した処理例において必要となる座標変換行列は、破線の矢印で示した座標変換行列（^ＤＢＴ_ＸＡ）である。
　座標変換行列（^ＤＢＴ_ＸＡ）は、ロボットＡのセンサ座標系（Σ_ＸＡ）を、ロボットＢのデプスカメラＢ座標系（Σ_ＤＢ）に変換する座標変換行列である。

　この座標変換行列（^ＤＢＴ_ＸＡ）を算出するために、図２８に示すように、以下の複数の座標変換行列を利用する。すなわち、
　（１）ロボットＢのデプスカメラＢ座標系（Σ_ＤＢ）を、ロボットＢ座標系（Σ_ＲＢ）に変換する座標変換行列（^ＲＢＴ_ＤＢ）
　（２）地図座標系（Σ_Ｏ）を、ロボットＢ座標系（Σ_ＲＢ）に変換する座標変換行列（^ＲＢＴ_Ｏ）
　（３）ロボットＡ座標系（Σ_ＲＡ）を、地図座標系（Σ_Ｏ）に変換する座標変換行列（^ＯＴ_ＲＡ）
　（４）ロボットＡのセンサ座標系（Σ_ＸＡ）を、ロボットＡ座標系（Σ_ＲＡ）に変換する座標変換行列（^ＲＡＴ_ＸＡ）

　具体的には、ロボットＡのセンサ座標系（Σ_ＸＡ）を、ロボットＢのデプスカメラＢ座標系（Σ_ＤＢ）に変換する座標変換行列（^ＤＢＴ_ＸＡ）は、以下の（式９）に従って算出することができる。

　（^ＤＢＴ_ＸＡ）＝（^ＲＢＴ_ＤＢ）^－１（^ＯＴ_ＲＢ）^－１（^ＯＴ_ＲＡ）（^ＲＡＴ_ＸＡ）
　　　　　　　　　　　　　　　　　　・・・・・（式９）

　上記式に従って、ロボットＡのセンサ座標系（Σ_ＸＡ）を、ロボットＢ１２０のデプスカメラＢ座標系（Σ_ＤＢ）に変換する座標変換行列（^ＤＢＴ_ＸＡ）を算出することができる。

　一方、ロボットＢ１２０のカメラＢ１２１を利用した処理例において必要となる座標変換行列は、図２９に示す破線の矢印で示した座標変換行列（^ＣＢＴ_ＸＡ）である。
　座標変換行列（^ＣＢＴ_ＸＡ）は、ロボットＡのセンサ座標系（Σ_ＸＡ）を、ロボットＢのカメラＢ座標系（Σ_ＣＢ）に変換する座標変換行列である。

　この座標変換行列（^ＣＢＴ_ＸＡ）を算出するために、図２９に示すように、以下の複数の座標変換行列を利用する。すなわち、
　（１）ロボットＢのカメラＢ座標系（Σ_ＣＢ）を、ロボットＢ座標系（Σ_ＲＢ）に変換する座標変換行列（^ＲＢＴ_ＣＢ）
　（２）地図座標系（Σ_Ｏ）を、ロボットＢ座標系（Σ_ＲＢ）に変換する座標変換行列（^ＲＢＴ_Ｏ）
　（３）ロボットＡ座標系（Σ_ＲＡ）を、地図座標系（Σ_Ｏ）に変換する座標変換行列（^ＯＴ_ＲＡ）
　（４）ロボットＡのセンサ座標系（Σ_ＸＡ）を、ロボットＡ座標系（Σ_ＲＡ）に変換する座標変換行列（^ＲＡＴ_ＸＡ）

　具体的には、ロボットＡのセンサ座標系（Σ_ＸＡ）を、ロボットＢのカメラＢ座標系（Σ_ＣＢ）に変換する座標変換行列（^ＣＢＴ_ＸＡ）は、以下の（式１０）に従って算出することができる。

　（^ＣＢＴ_ＸＡ）＝（^ＲＢＴ_ＣＢ）^－１（^ＯＴ_ＲＢ）^－１（^ＯＴ_ＲＡ）（^ＲＡＴ_ＸＡ）
　　　　　　　　　　　　　　　　　　・・・・・（式１０）

　上記式に従って、ロボットＡのセンサ座標系（Σ_ＸＡ）を、ロボットＢ１２０のカメラＢ座標系（Σ_ＣＢ）に変換する座標変換行列（^ＣＢＴ_ＸＡ）を算出することができる。

　次に、図３０、図３１を参照して、本実施例３のキャリブレーション実行装置３０の詳細構成について説明する。
　なお、図３０は、ロボットＢ１２０のデプスカメラＢ１２２を利用した処理例を説明する図である。
　図３１は、ロボットＢ１２０のカメラＢ１２１を利用した処理例を説明する図である。

　まず、図３０を参照して、ロボットＢ１２０のデプスカメラＢ１２２を利用した処理例について説明する。

　図３０には、キャリブレーション実行装置３０の詳細構成と、キャリブレーション実行装置３０がロボットＡ１１０、およびロボットＢ１２０から入力するデータを示している。
　図３０に示すように、キャリブレーション実行装置３０は、オンライン・キャリブレーション実行部３７、相対位置算出部３２、外部座標系対応座標変換行列算出部３３、表示情報生成部（可視化データ生成部）３４、入力部３５、表示部３６を有する。

　実施例３のキャリブレーション実行装置３０は、先の実施例２において図２４を参照して説明したキャリブレーション実行装置３０と同様の構成となる。

　なお、図３０には、ロボットＡ１１０の構成として、（カラー）カメラＡ１１１、デプスカメラＡ１１２、ＩＭＵ１１４、ホイールオドメトリ１１５、自己位置推定部１１６を示している。
　また、ロボットＢ１２０の構成として、（カラー）カメラＢ１２１、デプスカメラＢ１２２、自己位置推定部１２３、センサ座標変換行列ＤＢ（データベース）１２４を示している。

　ロボットＡ１１０の自己位置推定部１１６は、地図座標系（Σ_Ｏ）上でのロボットＡ１１０の自己位置を算出するために必要となる座標変換行列（^ＯＴ_ＲＡ）、すなわち、ロボットＡ座標系（Σ_ＲＡ）を地図座標系（Σ_Ｏ）に変換する座標変換行列（^ＯＴ_ＲＡ）を算出して、算出した座標変換行列（^ＯＴ_ＲＡ）を、キャリブレーション実行装置３０のオンライン・キャリブレーション実行部３７と、相対位置算出部３２に出力する。

　同様に、ロボットＢ１２０の自己位置推定部１２３は、地図座標系（Σ_Ｏ）上でのロボットＢ１２０の自己位置を算出するために必要となる座標変換行列（^ＯＴ_ＲＢ）、すなわち、ロボットＢ座標系（Σ_ＲＢ）を地図座標系（Σ_Ｏ）に変換する座標変換行列（^ＯＴ_ＲＢ）を算出して、算出した座標変換行列（^ＯＴ_ＲＢ）を、キャリブレーション実行装置３０の相対位置算出部３２に出力する。

　ロボットＢ１２０のセンサ座標変換行列ＤＢ（データベース）１２４は、ロボットＢ１２０のデプスカメラＢ座標系（Σ_ＤＢ）を、ロボットＢ座標系（Σ_ＲＢ）に変換する座標変換行列（^ＲＢＴ_ＤＢ）を格納し、この座標変換行列（^ＲＢＴ_ＤＢ）を、キャリブレーション実行装置３０の相対位置算出部３２に出力する。

　キャリブレーション実行装置３０のオンライン・キャリブレーション実行部３７は、ロボットＡ１１０に装着されたセンサ（ＡＸ）各々の座標変換行列（^ＲＡＴ_ＸＡ）を算出する。
　このセンサ対応の座標変換行列（^ＲＡＴ_ＸＡ）の算出処理は先に説明した実施例１と同様の処理である。

　相対位置算出部３２は、以下の各データを入力する。
　（１）ロボットＡ１１０の自己位置推定部１１６から座標変換行列（^ＯＴ_ＲＡ）、すなわち、ロボットＡ座標系（Σ_ＲＡ）を地図座標系（Σ_Ｏ）に変換する座標変換行列（^ＯＴ_ＲＡ）
　（２）ロボットＢ１２０の自己位置推定部１２３から座標変換行列（^ＯＴ_ＲＢ）、すなわち、ロボットＢ座標系（Σ_ＲＢ）を地図座標系（Σ_Ｏ）に変換する座標変換行列（^ＯＴ_ＲＢ）
　（３）ロボットＢ１２０のセンサ座標変換行列ＤＢ（データベース）１２４から座標変換行列（^ＲＢＴ_ＤＢ）、すなわち、ロボットＢ１２０のデプスカメラＢ座標系（Σ_ＤＢ）を、ロボットＢ座標系（Σ_ＲＢ）に変換する座標変換行列（^ＲＢＴ_ＤＢ）

　相対位置算出部３２は、これらの各データを入力して、ロボットＡのセンサ座標系（Σ_ＸＡ）を、ロボットＢのデプスカメラＢ座標系（Σ_ＤＢ）に変換する座標変換行列（^ＤＢＴ_ＸＡ）を算出する。
　この座標変換行列（^ＤＢＴ_ＸＡ）の算出処理は、先に説明した（式９）に従って実行される。

　相対位置算出部３２が算出した座標変換行列（^ＤＢＴ_ＸＡ）、すなわち、ロボットＡのセンサ座標系（Σ_ＸＡ）を、ロボットＢのデプスカメラＢ座標系（Σ_ＤＢ）に変換する座標変換行列（^ＤＢＴ_ＸＡ）は、外部座標系対応座標変換行列算出部３３に入力される。

　次に、図３０に示すキャリブレーション実行装置３０中の外部座標系対応座標変換行列算出部３３が実行する処理について説明する。

　外部座標系対応座標変換行列算出部３３は、オンライン・キャリブレーション実行部３７から、ロボットＡ１１０の各センサ（ＸＡ）のセンサ座標系（Σ_ＸＡ）をロボットＡ座標系（Σ_ＲＡ）に変換する座標変換行列（^ＲＡＴ_ＸＡ）を入力する。

　さらに、外部座標系対応座標変換行列算出部３３は、相対位置算出部３２から、ロボットＡ１１０の各センサ（ＸＡ）のセンサ座標系（Σ_ＸＡ）をロボットＢ１２０のデプスカメラＢ座標系（Σ_ＤＢ）に変換する座標変換行列（^ＤＢＴ_ＸＡ）を入力する。

　外部座標系対応座標変換行列算出部３３は、これら複数の座標変換行列を入力して、ロボットＡ１１０のロボット座標系（Σ_ＲＡ）を、ロボットＢ１２０のデプスカメラＢ座標系（Σ_ＤＢ）に変換する座標変換行列（^ＤＢＴ_ＲＡ）を算出する。

　なお、ロボットＡ１１０のロボット座標系（Σ_ＲＡ）を、ロボットＢ１２０のデプスカメラＢ座標系（Σ_ＤＢ）に変換する座標変換行列（^ＤＢＴ_ＲＡ）は、以下の（式１１）に従って算出することができる。

　　（^ＤＢＴ_ＲＡ）＝（^ＤＢＴ_ＸＡ）（^ＲＡＴ_ＸＡ）^－１
　　　　　　　　　　　　　　・・・・・（式１１）

　上記（式１１）の右辺に示す座標変換行列は、すべて、相対位置算出部３２、またはオンライン・キャリブレーション実行部３７からの入力値、または入力値に基づいて算出可能である。

　このように、外部座標系対応座標変換行列算出部３３は、相対位置算出部３２、またはオンライン・キャリブレーション実行部３７からの入力値、または入力値に基づいて算出可能な行列を用いて、ロボットＡ１１０のロボット座標系（Σ_ＲＡ）を、ロボットＢ１２０のデプスカメラＢ座標系（Σ_ＤＢ）に変換する座標変換行列（^ＤＢＴ_ＲＡ）を算出する。

　外部座標系対応座標変換行列算出部３３が算出した座標変換行列（^ＤＢＴ_ＲＡ）、すなわち、ロボットＡ１１０のロボット座標系（Σ_ＲＡ）を、ロボットＢ１２０のデプスカメラＢ座標系（Σ_ＤＢ）に変換する座標変換行列（^ＤＢＴ_ＲＡ）は、図３０に示すキャリブレーション実行装置３０の表示情報生成部（可視化データ生成部）３４に入力される。

　表示情報生成部（可視化データ生成部）３４は、外部座標系対応座標変換行列算出部３３が算出した座標変換行列（^ＤＢＴ_ＲＡ）、すなわち、ロボットＡ１１０のロボット座標系（Σ_ＲＡ）を、ロボットＢ１２０のデプスカメラＢ座標系（Σ_ＤＢ）に変換する座標変換行列（^ＤＢＴ_ＲＡ）に基づいて、ロボットＡ１１０の各センサの座標系（Σ_ＸＡ）を構成する座標軸（Ｘ軸、Ｙ軸、Ｚ軸）を、ロボットＢ１２０のデプスカメラＢ座標系（Σ_ＤＢ）上に示した三次元画像を生成して、ロボットＡ１１０の三次元画像に併せて表示部３６に出力する。

　表示情報生成部（可視化データ生成部）３４が生成し表示部３６に出力するロボットＡ１１０の三次元画像データは、ロボットＢ１２０のデプスカメラＢ座標系（Σ_ＤＢ）上に示した三次元画像であり、ロボットＡ１１０の三次元画像に併せて、ロボットＡ１１０の各センサの座標系（Σ_ＸＡ）を構成する座標軸（Ｘ軸、Ｙ軸、Ｚ軸）を重畳表示した画像である。
　表示画像は、先に実施例１において説明した図１７～図１９に示す画像と同様の画像である。

　本実施例３においても、キャリブレーション実行装置３０の表示部３６には、ロボットＢ１２０のデプスカメラＢ座標系（Σ_ＤＢ）上に示したロボットＡ１１０の三次元画像に併せて、ロボットＢ１２０のデプスカメラＢ座標系（Σ_ＤＢ）上の各センサ対応の座標系（Σ_ＸＡ）を重畳表示した画像が表示される。

　ユーザは、ロボットＡ１１０の三次元画像に併せて表示される各センサの座標系（Σ_ＸＡ）の原点位置や座表軸の方向（傾き）を確認することで、オンライン・キャリブレーション実行部３７におけるキャリブレーション処理、すなわち、センサ対応標変換行列（^ＲＡＴ_ＸＡ）の算出処理が成功したか否かを判定することが可能となる。

　次に、図３１を参照して、ロボットＢ１２０のカメラＢ１２１を利用した処理例について説明する。

　図３１には、キャリブレーション実行装置３０の詳細構成と、キャリブレーション実行装置３０がロボットＡ１１０、およびロボットＢ１２０から入力するデータを示している。
　図３１に示すように、キャリブレーション実行装置３０は、オンライン・キャリブレーション実行部３７、相対位置算出部３２、外部座標系対応座標変換行列算出部３３、表示情報生成部（可視化データ生成部）３４、入力部３５、表示部３６を有する。

　図３１にも、図３０と同様、ロボットＡ１１０の構成として、（カラー）カメラＡ１１１、デプスカメラＡ１１２、ＩＭＵ１１４、ホイールオドメトリ１１５、自己位置推定部１１６を示している。
　また、ロボットＢ１２０の構成として、（カラー）カメラＢ１２１、カメラＢ１２１、自己位置推定部１２３、センサ座標変換行列ＤＢ（データベース）１２４を示している。

　ロボットＢ１２０のセンサ座標変換行列ＤＢ（データベース）１２４は、ロボットＢ１２０のカメラＢ座標系（Σ_ＣＢ）を、ロボットＢ座標系（Σ_ＲＢ）に変換する座標変換行列（^ＲＢＴ_ＣＢ）を格納し、この座標変換行列（^ＲＢＴ_ＣＢ）を、キャリブレーション実行装置３０の相対位置算出部３２に出力する。

　相対位置算出部３２は、以下の各データを入力する。
　（１）ロボットＡ１１０の自己位置推定部１１６から座標変換行列（^ＯＴ_ＲＡ）、すなわち、ロボットＡ座標系（Σ_ＲＡ）を地図座標系（Σ_Ｏ）に変換する座標変換行列（^ＯＴ_ＲＡ）
　（２）ロボットＢ１２０の自己位置推定部１２３から座標変換行列（^ＯＴ_ＲＢ）、すなわち、ロボットＢ座標系（Σ_ＲＢ）を地図座標系（Σ_Ｏ）に変換する座標変換行列（^ＯＴ_ＲＢ）
　（３）ロボットＢ１２０のセンサ座標変換行列ＤＢ（データベース）１２４から座標変換行列（^ＲＢＴ_ＣＢ）、すなわち、ロボットＢ１２０のカメラＢ座標系（Σ_ＣＢ）を、ロボットＢ座標系（Σ_ＲＢ）に変換する座標変換行列（^ＲＢＴ_ＣＢ）

　相対位置算出部３２は、これらの各データを入力して、ロボットＡのセンサ座標系（Σ_ＸＡ）を、ロボットＢのカメラＢ座標系（Σ_ＣＢ）に変換する座標変換行列（^ＣＢＴ_ＸＡ）を算出する。
　この座標変換行列（^ＣＢＴ_ＸＡ）の算出処理は、先に説明した（式１０）に従って実行される。

　相対位置算出部３２が算出した座標変換行列（^ＣＢＴ_ＸＡ）、すなわち、ロボットＡのセンサ座標系（Σ_ＸＡ）を、ロボットＢのカメラＢ座標系（Σ_ＣＢ）に変換する座標変換行列（^ＣＢＴ_ＸＡ）は、外部座標系対応座標変換行列算出部３３に入力される。

　次に、図３１に示すキャリブレーション実行装置３０中の外部座標系対応座標変換行列算出部３３が実行する処理について説明する。

　さらに、外部座標系対応座標変換行列算出部３３は、相対位置算出部３２から、ロボットＡ１１０の各センサ（ＸＡ）のセンサ座標系（Σ_ＸＡ）をロボットＢ１２０のカメラＢ座標系（Σ_ＣＢ）に変換する座標変換行列（^ＣＢＴ_ＸＡ）を入力する。

　外部座標系対応座標変換行列算出部３３は、これら複数の座標変換行列を入力して、ロボットＡ１１０のロボット座標系（Σ_ＲＡ）を、ロボットＢ１２０のカメラＢ座標系（Σ_ＣＢ）に変換する座標変換行列（^ＣＢＴ_ＲＡ）を算出する。

　なお、ロボットＡ１１０のロボット座標系（Σ_ＲＡ）を、ロボットＢ１２０のカメラＢ座標系（Σ_ＣＢ）に変換する座標変換行列（^ＣＢＴ_ＲＡ）は、以下の（式１２）に従って算出することができる。

　　（^ＣＢＴ_ＲＡ）＝（^ＣＢＴ_ＸＡ）（^ＲＡＴ_ＸＡ）^－１
　　　　　　　　　　　　　　・・・・・（式１２）

　上記（式１２）の右辺に示す座標変換行列は、すべて、相対位置算出部３２、またはオンライン・キャリブレーション実行部３７からの入力値、または入力値に基づいて算出可能である。

　このように、外部座標系対応座標変換行列算出部３３は、相対位置算出部３２、またはオンライン・キャリブレーション実行部３７からの入力値、または入力値に基づいて算出可能な行列を用いて、ロボットＡ１１０のロボット座標系（Σ_ＲＡ）を、ロボットＢ１２０のカメラＢ座標系（Σ_ＣＢ）に変換する座標変換行列（^ＣＢＴ_ＲＡ）を算出する。

　外部座標系対応座標変換行列算出部３３が算出した座標変換行列（^ＣＢＴ_ＲＡ）、すなわち、ロボットＡ１１０のロボット座標系（Σ_ＲＡ）を、ロボットＢ１２０のカメラＢ座標系（Σ_ＣＢ）に変換する座標変換行列（^ＣＢＴ_ＲＡ）は、図３１に示すキャリブレーション実行装置３０の表示情報生成部（可視化データ生成部）３４に入力される。

　表示情報生成部（可視化データ生成部）３４は、外部座標系対応座標変換行列算出部３３が算出した座標変換行列（^ＣＢＴ_ＲＡ）、すなわち、ロボットＡ１１０のロボット座標系（Σ_ＲＡ）を、ロボットＢ１２０のカメラＢ座標系（Σ_ＣＢ）に変換する座標変換行列（^ＣＢＴ_ＲＡ）に基づいて、ロボットＡ１１０の各センサの座標系（Σ_ＸＡ）を構成する座標軸（Ｘ軸、Ｙ軸、Ｚ軸）を、ロボットＢ１２０のカメラＢ座標系（Σ_ＣＢ）上に示した三次元画像を生成して、ロボットＡ１１０の（カラー）画像に併せて表示部３６に出力する。

　なお、入力部３５は、マウスやキーボードなどで構成され、ロボットＢ１２０に位置と方向の情報からなる移動指示を入力する。

　ロボットＢ１２０は、入力部３５から入力された視点の情報に基づいて、視点の位置と方向を決定し、決定した視点の位置と方向へ移動してロボットＢ１２０の（カラー）画像データを表示部３６に出力する。
　具体的には、入力部３５から与えた視点位置と方向に従ってロボットＢ１２０を動かすことで、（カラー）カメラ１２１の視点方向を変更して、そこから観察した（カラー）画像データに、ロボットＡ１１０の各センサの座標系Σ_ＸＡを表示した三次元画像を、重畳して表示部３６に表示する。

　表示情報生成部（可視化データ生成部）３４が生成し表示部３６に出力するロボットＡ１１０の三次元画像データは、ロボットＢ１２０のカメラＢ座標系（Σ_ＣＢ）上に示した三次元画像であり、ロボットＡ１１０の（カラー）画像に併せて、ロボットＡ１１０の各センサの座標系（Σ_ＸＡ）を構成する座標軸（Ｘ軸、Ｙ軸、Ｚ軸）を重畳表示した画像である。
　表示画像は、先に実施例１において説明した図１７～図１９に示す画像と同様の画像である。

　本実施例３の処理例２においても、キャリブレーション実行装置３０の表示部３６には、ロボットＢ１２０のカメラＢ座標系（Σ_ＣＢ）上に示したロボットＡ１１０の（カラー）画像に併せて、ロボットＢ１２０のカメラＢ座標系（Σ_ＣＢ）上の各センサ対応の座標系（Σ_ＸＡ）を重畳表示した画像が表示される。

　ユーザは、ロボットＡ１１０の（カラー）画像に併せて表示される各センサの座標系（Σ_ＸＡ）の原点位置や座表軸の方向（傾き）を確認することで、オンライン・キャリブレーション実行部３７におけるキャリブレーション処理、すなわち、センサ対応標変換行列（^ＲＡＴ_ＸＡ）の算出処理が成功したか否かを判定することが可能となる。

　　［５．（実施例４）複数の固定カメラのキャリブレーションを実行する実施例について］
　次に、実施例４として、複数の固定カメラのキャリブレーションを実行する実施例について説明する。

　本実施例４は、例えば、図３２に示すように、複数台のカメラが固定されている構成において、これらの固定カメラのキャリブレーション処理を行う実施例である。

　図３２に示す例は、複数のカメラ２０１が装着された支柱２００を複数有する構成である。このような複数台のカメラを使う用途の代表的な例として、例えばある物体の三次元形状と表面色を同時に取得するボリュメトリックキャプチャ処理、あるいは人の関節位置の三次元計測処理等がある。

　これらの様々な処理において、三次元情報を十分な精度で取得するには、複数のカメラの光軸方向が、規定の方向を向いていることが必要であり、このためには、ある一つの基準座標系を用いて、各カメラ座標系の設定状態を確認することが必要であり、このためには、各カメラ座標系を一つの基準座標系に変換する高精度な座標変換行列を生成するキャリブレーション処理を行うことが必要となる。

　図３３に本実施例４のキャリブレーション・システム８０の例を示す。
　図３３に示すように、キャリブレーション・システム８０は、キャリブレーション対象となる複数のカメラ２０１と、３Ｄスキャナ２１１と、キャリブレーション処理を実行するキャリブレーション実行装置３０を有する。

　また、床面には複数のカメラ２０１によって撮影可能なチェスボード２２１，２２２が取り付けられている。
　チェスボード２２１，２２２は、規則的な白黒パターンによって構成される。

　複数のカメラ２０１の画像や内部パラメータは、キャリブレーション実行装置３０に送信される。
　３Ｄスキャナ２１１の検出データである色付き点群情報（^ＳＰ_Ｓ）もキャリブレーション実行装置３０に送信される。

　キャリブレーション実行装置３０は、これらの入力データを利用して、複数台のカメラ２０１各々のキャリブレーション処理を実行する。具体的には、複数台のカメラ２０１各々の座標変換行列を算出する処理を実行する。算出する座標変換行列は、カメラ各々の座標系を、１つの基準座標系であるキャリブレーション座標系に変換する座標変換行列である。

　キャリブレーション結果確認用の可視化データは、各カメラ対応の座標変換行列が正しく算出されたか否かを確認可能とした画像データである。この画像データの具体例については後述する。

　図３４を参照して、本実施例４のキャリブレーション実行装置３０の詳細構成について説明する。

　図３４には、キャリブレーション実行装置３０の詳細構成と、キャリブレーション実行装置３０がカメラ２０１、および３Ｄスキャナ２１１から入力するデータを示している。カメラ２０１は、複数のカメラａ～ｎによって構成されている。

　図３４に示すように、キャリブレーション実行装置３０は、キャリブレーション実行部３１、相対位置算出部３２、外部座標系対応座標変換行列算出部３３、表示情報生成部（可視化データ生成部）３４、入力部３５、表示部３６を有する。

　実施例４のキャリブレーション実行装置３０は、先の実施例１において図１２を参照して説明したキャリブレーション実行装置３０と同様の構成となる。

　キャリブレーション実行装置３０のキャリブレーション実行部３１は、複数のカメラ（カメラａ～ｎ）各々の座標変換行列を算出する。
　キャリブレーション実行部３１は、複数のカメラ（カメラａ～ｎ）から、各カメラの撮影画像と内部パラメータを入力して、各カメラ対応の座標変換行列の算出処理を実行する。

　具体的には、各カメラのカメラ座標系（Σ_Ｃｘ）を、予め規定した基準座標系であるキャリブレーション座標系（Σ_ＣＬ）に変換するカメラ対応座標変換行列（^ＣＬＴ_ＣＸ）を算出する。なお、カメラ座標系（Σ_Ｃｘ）、およびカメラ対応座標変換行列（^ＣＬＴ_ＣＸ）中に示すｃｘのｘはカメラ識別子＝ａ～ｎであり、ｃａはカメラａ、ｃｂはカメラｂ、ｃｎはカメラｃｎを意味する。

　キャリブレーション実行部３１が算出したカメラ対応座標変換行列（^ＣＬＴ_ＣＸ）は、相対位置算出部３２と、外部座標系対応座標変換行列算出部３３に出力される。

　相対位置算出部３２は、３Ｄスキャナ２１１のスキャナ座標系（Σ_Ｓ）と、キャリブレーション実行部３１が利用した基準座標系であるキャリブレーション座標系（Σ_ＣＬ）の位置合わせ処理を実行して、キャリブレーション座標系（Σ_ＣＬ）を、スキャナ座標系（Σ_Ｓ）に変換する座標変換行列（^ＳＴ_ＣＬ）を算出する。

　相対位置算出部３２が算出した座標変換行列（^ＳＴ_ＣＬ）は、外部座標系対応座標変換行列算出部３３に入力される。

　次に、図３４に示すキャリブレーション実行装置３０中の外部座標系対応座標変換行列算出部３３が実行する処理について説明する。

　外部座標系対応座標変換行列算出部３３は、キャリブレーション実行部３１から、以下の座標変換行列を入力する。
　（ａ）各カメラａ～ｎのカメラ座標系（Σ_Ｃｘ）を、予め規定した基準座標系であるキャリブレーション座標系（Σ_ＣＬ）に変換するカメラ対応座標変換行列（^ＣＬＴ_ＣＸ）

　外部座標系対応座標変換行列算出部３３は、さらに、相対位置算出部３２から、以下の座標変換行列を入力する。
　（ｂ）キャリブレーション座標系（Σ_ＣＬ）を、スキャナ座標系（Σ_Ｓ）に変換する座標変換行列（^ＳＴ_ＣＬ）

　外部座標系対応座標変換行列算出部３３は、これら複数の座標変換行列を入力して、各カメラａ～ｎの座標系（Σ_ＣＸ）を、スキャナ座標系（Σ_Ｓ）に変換する座標変換行列（^ＳＴ_ＣＸ）を算出する。

　なお各カメラａ～ｎの座標系（Σ_ＣＸ）を、スキャナ座標系（Σ_Ｓ）に変換する座標変換行列（^ＳＴ_ＣＸ）は、以下の（式１３）に従って算出することができる。

　　^ＳＴ_ＣＸ＝（^ＳＴ_ＣＬ）（^ＣＬＴ_ＣＸ）
　　　　　　　　　　　　　　・・・・・（式１３）

　上記（式１３）の右辺に示す座標変換行列は、相対位置算出部３２と、キャリブレーション実行部３１からの入力値である。

　このように、外部座標系対応座標変換行列算出部３３は、相対位置算出部３２と、キャリブレーション実行部３１からの入力値に基づいて、カメラａ～ｎの座標系（Σ_ＣＸ）を、スキャナ座標系（Σ_Ｓ）に変換する座標変換行列（^ＳＴ_ＣＸ）を算出する。

　外部座標系対応座標変換行列算出部３３が算出した座標変換行列（^ＳＴ_ＣＸ）、すなわち、カメラａ～ｎの座標系（Σ_ＣＸ）を、スキャナ座標系（Σ_Ｓ）に変換する座標変換行列（^ＳＴ_ＣＸ）は、図３４に示すキャリブレーション実行装置３０の表示情報生成部（可視化データ生成部）３４に入力される。

　外部座標系対応座標変換行列算出部３３が算出したこれらの座標変換行列（^ＳＴ_ＣＸ）が、図３４に示すキャリブレーション実行装置３０の表示情報生成部（可視化データ生成部）３４に入力される。

　表示情報生成部（可視化データ生成部）３４は、外部座標系対応座標変換行列算出部３３が算出した座標変換行列（^ＳＴ_ＣＸ）に基づいて、カメラａ～ｎの座標系（Σ_ＣＸ）を構成する座標軸（Ｘ軸、Ｙ軸、Ｚ軸）を、スキャナ座標系（Σ_Ｓ）上に示した三次元画像を生成して、カメラａ～ｎの三次元画像に併せて表示部３６に出力する。

　表示情報生成部（可視化データ生成部）３４は、入力部３５から入力された視点の情報に基づいて、視点方向を決定し、決定した視点方向から観察したカメラａ～ｎの三次元画像データを表示部３６に出力する。

　表示情報生成部（可視化データ生成部）３４が生成し表示部３６に出力するカメラａ～ｎの三次元画像データは、スキャナ座標系（Σ_Ｓ）上に示した三次元画像であり、カメラａ～ｎの三次元画像に併せて、カメラａ～ｎ各々の座標系（Σ_ＣＸ）を構成する座標軸（Ｘ軸、Ｙ軸、Ｚ軸）を重畳表示した画像である。

　表示画像の一例を図３６に示す。
　図３６に示すように、キャリブレーション実行装置３０の表示部３６には、カメラａ～ｎの三次元画像データに併せて、カメラａ～ｎ各々の座標系（Σ_ＣＸ）を構成する座標軸（Ｘ軸、Ｙ軸、Ｚ軸）の重畳表示画像が出力される。

　なお、図３６に示す表示データの例は、カメラａ～ｎ全ての座標系（Σ_ＣＸ）が、各カメラのレンズを原点とし、カメラ前方の光軸方向をＺ軸とし、Ｚ軸に垂直な下方向にＹ軸、Ｚ軸の直交右方向にＸ軸が設定されている。これは、キャリブレーション実行部３１において、正しいカメラ対応座標変換行列（^ＣＬＴ_ＣＸ）が算出されたことを意味する。

　すなわちキャリブレーション実行部３１において、各カメラのカメラ座標系（Σ_Ｃｘ）を、予め規定した基準座標系であるキャリブレーション座標系（Σ_ＣＬ）に変換するカメラ対応座標変換行列（^ＣＬＴ_ＣＸ）が正しく算出されていることを確認できる表示データである。

　なお、先に実施例１において図１７を参照して説明したように、カメラ座標系（Σ_Ｃｘ）を構成する座標軸（Ｘ軸、Ｙ軸、Ｚ軸）については、例えば、各軸に対応づけて「Ｘ軸」、「Ｙ軸」、「Ｚ軸」等の軸の種類を示す識別子を併せて表示する構成としてもよい。さらに、より分かりやすくするため、各軸に異なる色を設定して表示する構成としてもよい。れる。例えば、Ｘ軸は赤色、Ｙ軸は緑色、Ｚ軸は青色等の色分けをして表示してもよい。

　キャリブレーション実行部３１において、正しいカメラ対応座標変換行列（^ＣＬＴ_ＣＸ）が算出されていない場合の表示データの例を図３６に示す。

　図３６に示す表示データにおいてカメラａのカメラ座標系（Σ_Ｃａ）は、カメラａのレンズ位置から離れた位置に原点が設定されている。
　これは、キャリブレーション実行部３１において、カメラａの正しいカメラ対応座標変換行列（^ＣＬＴ_Ｃａ）が算出されていないことを意味する。

　このように、ユーザは、カメラａ～ｎの三次元画像に併せて表示される各カメラ座標系（Σ_ＣＸ）の原点位置や座表軸の方向（傾き）を確認することで、キャリブレーション実行部３１におけるキャリブレーション処理、すなわち、カメラ対応座標変換行列（^ＣＬＴ_ＣＸ）の算出処理が成功したか否かを判定することが可能となる。

　　［６．キャリブレーション実行装置のハードウェア構成例について］
　次に、図３７を参照して、本開示のキャリブレーション実行装置３０のハードウェア構成例について説明する。
　なお、先に説明したように、キャリブレーション実行装置３０は、ロボット１０とは別の独立した装置として構成可能であり、あるいは、ロボット１０と一体化して構成してもよい。
　図３７を参照してキャリブレーション実行装置３０の構成例について説明する。

　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）３０３には、ＣＰＵ３０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ３０１、ＲＯＭ３０２、およびＲＡＭ３０３は、バス３０４により相互に接続されている。

　ＣＰＵ３０１はバス３０４を介して入出力インタフェース３０５に接続され、入出力インタフェース３０５には、各種スイッチ、キーボード、タッチパネル、マウス、マイクロフォン、さらに、ユーザ入力部やカメラ、ＬｉＤＡＲ　ＧＰＳ等、各種センサの検出データ取得部などよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続されている。

　ＣＰＵ３０１は、入力部３０６から入力される指令や状況データ等を入力し、各種の処理を実行し、処理結果を例えば出力部３０７に出力する。
　入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスク等からなり、ＣＰＵ３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

　入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア３１１を駆動し、データの記録あるいは読み取りを実行する。

　　［７．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　センサのキャリブレーション処理を実行するキャリブレーション実行部と、
　前記キャリブレーション実行部におけるキャリブレーション処理が成功したか否かを確認可能な画像データを生成する表示情報生成部を有し、
　前記キャリブレーション実行部は、
　前記キャリブレーション処理として、センサ対応のセンサ座標系を他の第２座標系に変換する座標変換行列を算出する処理を実行し、
　前記表示情報生成部は、
　前記キャリブレーション実行部が算出した座標変換行列が正しい座標変換行列であるか否かを視覚的に確認可能な画像データを生成するキャリブレーション実行装置。

　（２）　前記第２座標系は、
　前記センサを装着した移動装置対応の移動装置座標系である（１）に記載のキャリブレーション実行装置。

　（３）　前記表示情報生成部が生成する画像データは、
　前記センサの三次元画像上に、前記センサ座標系を構成する原点および座標軸を重畳表示した画像データである（１）または（２）に記載のキャリブレーション実行装置。

　（４）　前記表示情報生成部が生成する画像データは、
　前記センサを装着した移動装置の三次元画像上に、前記センサ座標系を構成する原点および座標軸を重畳表示した画像データである（１）～（３）いずれかに記載のキャリブレーション実行装置。

　（５）　前記表示情報生成部が生成する画像データは、
　前記キャリブレーション実行部が算出した座標変換行列が正しい場合、
　前記画像データ内のセンサ画像に対するセンサ座標系の原点位置、および座標軸方向のいずれも本来のセンサ座標系に一致する画像データであり、
　前記キャリブレーション実行部が算出した座標変換行列が正しくない場合、
　前記画像データ内のセンサ画像に対するセンサ座標系の原点位置、および座標軸方向の少なくともいずれかが本来のセンサ座標系に一致しない画像データである（１）～（４）いずれかに記載のキャリブレーション実行装置。

　（６）　前記表示情報生成部が生成する画像データは、
　前記センサ座標系、および前記第２座標系のいずれとも異なる外部座標系上に前記センサの三次元画像、または前記センサを装着した移動装置の三次元画像を描画した画像データである（１）～（５）いずれかに記載のキャリブレーション実行装置。

　（７）　前記キャリブレーション実行装置は、
　前記センサ座標系を、前記センサ座標系および前記第２座標系のいずれとも異なる外部座標系に変換する外部座標系対応座標変換行列算出部を有する（１）～（６）いずれかに記載のキャリブレーション実行装置。

　（８）　前記外部座標系対応座標変換行列算出部は、
　前記キャリブレーション実行部が生成したセンサ座標系を第２座標系に変換する座標変換行列を入力し、該座標変換行列を利用して前記センサ座標系を前記外部座標系に変換する（７）に記載のキャリブレーション実行装置。

　（９）　前記キャリブレーション実行装置は、
　前記外部座標系上の画像、または点群情報を生成する外部装置を有し、
　前記表示情報生成部は、
　前記外部装置から、前記外部座標系上の画像、または点群情報を入力して前記画像データを生成する（７）または（８）に記載のキャリブレーション実行装置。

　（１０）　前記外部装置は、
　前記センサ、または前記センサを装着した移動装置の画像、または点群情報を生成する装置である（９）に記載のキャリブレーション実行装置。

　（１１）　前記外部装置は、
　３Ｄスキャナ、またはカメラ、またはデプスカメラである（９）または（１０）に記載のキャリブレーション実行装置。

　（１２）　前記キャリブレーション実行装置は、
　前記第２座標系を前記外部座標系に変換する座標変換行列を算出する相対位置算出部を有する（６）～（１１）いずれかに記載のキャリブレーション実行装置。

　（１３）　前記外部座標系対応座標変換行列算出部は、
　前記キャリブレーション実行部が生成したセンサ対応のセンサ座標系を第２座標系に変換する座標変換行列と、
　前記相対位置算出部が算出した前記第２座標系を前記外部座標系に変換する座標変換行列を入力し、
　入力した２つの座標変換行列を利用して、前記センサ座標系を前記外部座標系に変換する座標変換行列を算出する（１２）に記載のキャリブレーション実行装置。

　（１４）　前記表示情報生成部は、
　前記外部座標系対応座標変換行列算出部が算出した前記センサ座標系を前記外部座標系に変換する座標変換行列を利用して、
　前記センサの三次元画像、または前記センサを装着した移動装置の三次元画像上に、前記センサ座標系を構成する座標軸を重畳表示した画像データを生成する（１３）に記載のキャリブレーション実行装置。

　（１５）　前記表示情報生成部が生成する画像データは、
　前記センサの三次元画像上に、前記センサ座標系を構成する座標軸の各軸を異なる色の座標軸として重畳表示した画像データである（１）～（１４）いずれかに記載のキャリブレーション実行装置。

　（１６）　前記キャリブレーション実行部は、
　前記座標変換行列を逐次、算出するオンライン・キャリブレーション処理を実行する（１）～（１５）いずれかに記載のキャリブレーション実行装置。

　（１７）　センサを装着した移動装置と、キャリブレーション実行装置を有するキャリブレーション・システムであり、
　前記キャリブレーション実行装置が、
　前記移動装置からセンサ検出情報を入力して、センサ対応のセンサ座標系を他の第２座標系に変換する座標変換行列を算出し、算出した座標変換行列を前記移動装置に出力し、
　前記移動装置が、
　前記キャリブレーション実行装置から入力した座標変換行列を適用した自律移動を実行し、
　前記キャリブレーション実行装置は、さらに、
　前記座標変換行列が正しく算出されたか否かを確認可能な画像データを生成する表示情報生成部を有するキャリブレーション・システム。

　（１８）　キャリブレーション実行装置が実行するキャリブレーション実行方法であり、
　キャリブレーション実行部が、
　センサの検出情報を入力し、該センサ対応のセンサ座標系を他の第２座標系に変換する座標変換行列を算出するキャリブレーション実行ステップと、
　表示情報生成部が、
　前記キャリブレーション実行ステップにおいて算出した前記座標変換行列が正しい座標変換行列であるか否かを視覚的に確認可能な画像データを生成する画像データ生成ステップを有するキャリブレーション実行方法。

　（１９）　センサを装着した移動装置と、キャリブレーション実行装置を有するキャリブレーション・システムにおいて実行するキャリブレーション実行方法であり、
　前記キャリブレーション実行装置が、
　前記移動装置からセンサ検出情報を入力して、センサ対応のセンサ座標系を他の第２座標系に変換する座標変換行列を算出し、算出した座標変換行列を前記移動装置に出力する座標変換行列生成ステップと、
　前記移動装置が、
　前記キャリブレーション実行装置から入力した座標変換行列を適用した自律移動を実行する自律移動実行ステップを実行し、
　前記キャリブレーション実行装置は、さらに、
　前記座標変換行列生成ステップにおいて、前記座標変換行列が正しく算出されたか否かを確認可能な画像データを生成する表示情報生成ステップを実行するキャリブレーション実行方法。

　（２０）　キャリブレーション実行装置において、キャリブレーションを実行させるプログラムであり、
　キャリブレーション実行部に、
　センサの検出情報を入力させて、該センサ対応のセンサ座標系を他の第２座標系に変換する座標変換行列を算出するキャリブレーション処理を実行させ、
　表示情報生成部に、
　前記座標変換行列が正しい座標変換行列であるか否かを視覚的に確認可能な画像データを生成させるプログラム。

　なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　また、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本開示の一実施例の構成によれば、センサ・キャリブレーションにおいて算出した座標変換行列が正しいか否かを視覚的に確認可能な画像を生成して表示する構成が実現される。
　具体的には、例えば、センサのキャリブレーションを実行するキャリブレーション実行部と、キャリブレーション実行部におけるキャリブレーション処理が成功したか否かを確認可能な画像データを生成する表示情報生成部を有する。キャリブレーション実行部は、センサ対応のセンサ座標系を他の第２座標系に変換する座標変換行列を算出し、表示情報生成部は、算出した座標変換行列が正しい座標変換行列であるか否かを視覚的に確認可能な画像データ、例えばセンサの三次元画像上にセンサ座標系を構成する原点および座標軸を重畳表示した画像データを生成して表示する。
　本構成により、センサ・キャリブレーションにおいて算出した座標変換行列が正しいか否かを視覚的に確認可能な画像を生成して表示する構成が実現される。

　　１０　ロボット
　　１１　カメラ
　　１２　デプスカメラ
　　１３　ＬｉＤＡＲ
　　１４　ＩＭＵ
　　２０　３Ｄスキャナ
　　３０　キャリブレーション実行装置
　　３１　キャリブレーション実行部
　　３２　相対位置算出部
　　３３　外部座標系対応座標変換行列算出部
　　３４　表示情報生成部（可視化データ生成部）
　　３５　入力部
　　３６　表示部
　　３７　オンライン・キャリブレーション実行部
　　４０　固定デプスカメラ
　　５０　キャリブレーション・システム
　　６０　オンライン・キャリブレーション・システム
　１００　ロボット
　１０１　カメラ
　１０２　デプスカメラ
　１０３　ＬｉＤＡＲ
　１０４　ＩＭＵ
　１１０　ロボットＡ
　１１１　カメラＡ
　１１２　デプスカメラＡ
　１１３　ＬｉＤＡＲ
　１１４　ＩＭＵ
　１１５　ホイールオドメトリ
　１１６　自己位置推定部
　１２０　ロボットＢ
　１２１　カメラＢ
　１２２　デプスカメラＢ
　１２３　自己位置推定部
　１２４　センサ座標変換行列ＤＢ
　２００　支柱
　２０１　カメラ
　２１１　３Ｄスキャナ
　３０１　ＣＰＵ
　３０２　ＲＯＭ
　３０３　ＲＡＭ
　３０４　バス
　３０５　入出力インタフェース
　３０６　入力部
　３０７　出力部
　３０８　記憶部
　３０９　通信部
　３１０　ドライブ
　３１１　リムーバブルメディア

Claims

　センサのキャリブレーション処理を実行するキャリブレーション実行部と、
　前記キャリブレーション実行部におけるキャリブレーション処理が成功したか否かを確認可能な画像データを生成する表示情報生成部を有し、
　前記キャリブレーション実行部は、
　前記キャリブレーション処理として、センサ対応のセンサ座標系を他の第２座標系に変換する座標変換行列を算出する処理を実行し、
　前記表示情報生成部は、
　前記キャリブレーション実行部が算出した座標変換行列が正しい座標変換行列であるか否かを視覚的に確認可能な画像データを生成するキャリブレーション実行装置。
　前記第２座標系は、
　前記センサを装着した移動装置対応の移動装置座標系である請求項１に記載のキャリブレーション実行装置。
　前記表示情報生成部が生成する画像データは、
　前記センサの三次元画像上に、前記センサ座標系を構成する原点および座標軸を重畳表示した画像データである請求項１に記載のキャリブレーション実行装置。
　前記表示情報生成部が生成する画像データは、
　前記センサを装着した移動装置の三次元画像上に、前記センサ座標系を構成する原点および座標軸を重畳表示した画像データである請求項１に記載のキャリブレーション実行装置。
　前記表示情報生成部が生成する画像データは、
　前記キャリブレーション実行部が算出した座標変換行列が正しい場合、
　前記画像データ内のセンサ画像に対するセンサ座標系の原点位置、および座標軸方向のいずれも本来のセンサ座標系に一致する画像データであり、
　前記キャリブレーション実行部が算出した座標変換行列が正しくない場合、
　前記画像データ内のセンサ画像に対するセンサ座標系の原点位置、および座標軸方向の少なくともいずれかが本来のセンサ座標系に一致しない画像データである請求項１に記載のキャリブレーション実行装置。
　前記表示情報生成部が生成する画像データは、
　前記センサ座標系、および前記第２座標系のいずれとも異なる外部座標系上に前記センサの三次元画像、または前記センサを装着した移動装置の三次元画像を描画した画像データである請求項１に記載のキャリブレーション実行装置。
　前記キャリブレーション実行装置は、
　前記センサ座標系を、前記センサ座標系および前記第２座標系のいずれとも異なる外部座標系に変換する外部座標系対応座標変換行列算出部を有する請求項１に記載のキャリブレーション実行装置。
　前記外部座標系対応座標変換行列算出部は、
　前記キャリブレーション実行部が生成したセンサ座標系を第２座標系に変換する座標変換行列を入力し、該座標変換行列を利用して前記センサ座標系を前記外部座標系に変換する請求項７に記載のキャリブレーション実行装置。
　前記キャリブレーション実行装置は、
　前記外部座標系上の画像、または点群情報を生成する外部装置を有し、
　前記表示情報生成部は、
　前記外部装置から、前記外部座標系上の画像、または点群情報を入力して前記画像データを生成する請求項７に記載のキャリブレーション実行装置。
　前記外部装置は、
　前記センサ、または前記センサを装着した移動装置の画像、または点群情報を生成する装置である請求項９に記載のキャリブレーション実行装置。
　前記外部装置は、
　３Ｄスキャナ、またはカメラ、またはデプスカメラである請求項９に記載のキャリブレーション実行装置。
　前記キャリブレーション実行装置は、
　前記第２座標系を前記外部座標系に変換する座標変換行列を算出する相対位置算出部を有する請求項６に記載のキャリブレーション実行装置。
　前記外部座標系対応座標変換行列算出部は、
　前記キャリブレーション実行部が生成したセンサ対応のセンサ座標系を第２座標系に変換する座標変換行列と、
　前記相対位置算出部が算出した前記第２座標系を前記外部座標系に変換する座標変換行列を入力し、
　入力した２つの座標変換行列を利用して、前記センサ座標系を前記外部座標系に変換する座標変換行列を算出する請求項１２に記載のキャリブレーション実行装置。
　前記表示情報生成部は、
　前記外部座標系対応座標変換行列算出部が算出した前記センサ座標系を前記外部座標系に変換する座標変換行列を利用して、
　前記センサの三次元画像、または前記センサを装着した移動装置の三次元画像上に、前記センサ座標系を構成する座標軸を重畳表示した画像データを生成する請求項１３に記載のキャリブレーション実行装置。
　前記表示情報生成部が生成する画像データは、
　前記センサの三次元画像上に、前記センサ座標系を構成する座標軸の各軸を異なる色の座標軸として重畳表示した画像データである請求項１に記載のキャリブレーション実行装置。
　前記キャリブレーション実行部は、
　前記座標変換行列を逐次、算出するオンライン・キャリブレーション処理を実行する請求項１に記載のキャリブレーション実行装置。
　センサを装着した移動装置と、キャリブレーション実行装置を有するキャリブレーション・システムであり、
　前記キャリブレーション実行装置が、
　前記移動装置からセンサ検出情報を入力して、センサ対応のセンサ座標系を他の第２座標系に変換する座標変換行列を算出し、算出した座標変換行列を前記移動装置に出力し、
　前記移動装置が、
　前記キャリブレーション実行装置から入力した座標変換行列を適用した自律移動を実行し、
　前記キャリブレーション実行装置は、さらに、
　前記座標変換行列が正しく算出されたか否かを確認可能な画像データを生成する表示情報生成部を有するキャリブレーション・システム。
　キャリブレーション実行装置が実行するキャリブレーション実行方法であり、
　キャリブレーション実行部が、
　センサの検出情報を入力し、該センサ対応のセンサ座標系を他の第２座標系に変換する座標変換行列を算出するキャリブレーション実行ステップと、
　表示情報生成部が、
　前記キャリブレーション実行ステップにおいて算出した前記座標変換行列が正しい座標変換行列であるか否かを視覚的に確認可能な画像データを生成する画像データ生成ステップを有するキャリブレーション実行方法。
　センサを装着した移動装置と、キャリブレーション実行装置を有するキャリブレーション・システムにおいて実行するキャリブレーション実行方法であり、
　前記キャリブレーション実行装置が、
　前記移動装置からセンサ検出情報を入力して、センサ対応のセンサ座標系を他の第２座標系に変換する座標変換行列を算出し、算出した座標変換行列を前記移動装置に出力する座標変換行列生成ステップと、
　前記移動装置が、
　前記キャリブレーション実行装置から入力した座標変換行列を適用した自律移動を実行する自律移動実行ステップを実行し、
　前記キャリブレーション実行装置は、さらに、
　前記座標変換行列生成ステップにおいて、前記座標変換行列が正しく算出されたか否かを確認可能な画像データを生成する表示情報生成ステップを実行するキャリブレーション実行方法。
　キャリブレーション実行装置において、キャリブレーションを実行させるプログラムであり、
　キャリブレーション実行部に、
　センサの検出情報を入力させて、該センサ対応のセンサ座標系を他の第２座標系に変換する座標変換行列を算出するキャリブレーション処理を実行させ、
　表示情報生成部に、
　前記座標変換行列が正しい座標変換行列であるか否かを視覚的に確認可能な画像データを生成させるプログラム。