JP7497188B2 - 校正装置、訓練装置、及びコンピュータ・プログラム - Google Patents

Description

特許法第３０条第２項適用 令和元年１１月１５日一般社団法人人工知能学会発行の「第５５回人工知能学会ＡＩチャレンジ研究会予稿集第１８－２３頁」に発表

この発明は移動体センサの校正技術に関し、特に、複数の移動体センサで検出した複数の人物等の移動体を移動体センサの校正のために同定する技術に関する。

視覚的及び聴覚的環境を機械に理解可能な形で表現するために、ＲＧＢ－Ｄセンサ及びマイクロホン・アレイが広く使われている。環境の広がりを表現するためにはこれらセンサが複数個必要である。複数個のセンサを使用する場合には、それらセンサの出力を共有し互いに適切に組み合わせるために、各センサの位置及び姿勢に関する情報が必要である。しかし、そのために様々な種類のセンサを手動で校正することは煩瑣でありかつ時間を要する。そのために、人手をかけずに複数のセンサの校正を行えるような技術が望ましい。

後掲の非特許文献１は、人体の位置情報からＲＧＢ－Ｄセンサの位置及び姿勢情報への変換を導くために、骨格に基づく視点不変性変換を提案している。この変換では、隣りあう２個のセンサにより観測された共通の人体（骨格）を用いて、これら２個のセンサの相対位置及び姿勢が計算される。

後掲の非特許文献２には、観測された骨格の関節の位置に関する情報を用いて、ＲＧＢ－Ｄセンサを校正し、自動的に再校正するアルゴリズムが提案されている。

一方、聴覚的環境を知覚し、ロボットの聴覚を改善するために、マイクロホン・アレイが広く用いられている。しかし、マイクロホン・アレイを用いて環境を知覚するための技術の大部分は手作業による校正を行うものであって、複数のマイクロホン・アレイを自動的に校正するための技術はごく一部に限られていた。

Y. Han, S.-L. Chung, J.-S. Yeh, and Q.-J. Chen, "Localization of rgb-d camera skeleton-based viewpoint invariance transformation," vol. 63, 10 2013, pp. 1525-1530 K. Desai, B. Prabhakaran, and S. Raghuraman, "Skeleton-based continuous extrinsic calibration of multiple rgb-d kinect cameras," in Proceedings of the 9th ACM Multimedia Systems Conference, ser. MMSys ’18. New York, NY, USA: ACM, 2018, pp. 250-257. [Online]. Available: http://doi.acm.org/10.1145/3204949.3204969 J. Gilmer, S. S. Schoenholz, P. F. Riley, O. Vinyals, and G. E. Dahl, "Neural message passing for quantum chemistry," in Proceedings of the 34th International Conference on Machine Learning - Volume 70, ser. ICML’17. JMLR.org, 2017, pp. 1263-1272. S. Agarwal, N. Snavely, S. M. Seitz, and R. Szeliski, "Bundle adjustment in the large," in Proceedings of the 11th European Conference on Computer Vision: Part II, ser. ECCV’10. Berlin, Heidelberg: Springer-Verlag, 2010, pp. 29-42.

前述したように、自動的に複数のセンサを校正する技術は、同種のセンサの間での技術に限られていた。例えばＲＧＢ－Ｄセンサセンサとマイクロホン・アレイのように、異なる種類のセンサを自動的に校正する技術は存在していない。

したがってこの発明は、異なる種類のセンサを自動的に校正する校正装置、その校正装置で使用される移動体同定装置、そのための訓練装置、及びそれらのためのコンピュータ・プログラムを提供することである。

本発明の第１の局面に係る校正装置は、各々が複数の移動体の位置を離散的な時系列で検出し出力可能な、第１のセンサ及び第２のセンサの位置及び姿勢を校正するための校正装置であって、所定時間にわたり第１のセンサと第２のセンサとによりそれぞれ測定された、所定数の移動体の位置に関する第１の時系列データと第２の時系列データとを取得する取得部と、第１の時系列データ及び第２の時系列データを入力として、第１の時系列データにより表される第１の移動体と第２の時系列データにより表される第２の移動体との組合せごとに、第１の時系列データ内の第１の移動体の位置の時系列データと第２の時系列データ内の第２の移動体の位置の時系列データとを入力として受け、当該組合せを形成する第１の移動体及び第２の移動体が同一の移動体であるか否かを示すスコアを出力するように予め訓練済のニューラル・ネットワークからなる移動体同定手段と、移動体同定手段の出力に基づいて、第１の時系列データにより表される各移動体と第２の時系列データにより表される各移動体との対応関係を推定し、当該対応関係を用い、各移動体に関する第１のセンサと第２のセンサとの出力誤差が所定の条件を充足するように、第１のセンサに対する第２のセンサの位置及び姿勢を校正するセンサ校正手段とを含む。

好ましくは、センサ校正手段は、出力誤差の和を最小化するように、第２のセンサの位置及び姿勢を校正する最小化手段を含む。

より好ましくは、校正装置は、さらに、第１の時系列データ及び第２の時系列データを用いて、移動体同定手段の訓練を対応関係推定手段の動作と並行して行う並行訓練手段を含む。

さらに好ましくは、並行訓練手段は、移動体同定手段と、移動体同定手段の出力と、第１の時系列データと第２の時系列データの各々の同一タイムステップの位置データとを入力とするデコーダと、第１の時系列データと第２の時系列データの所定範囲にわたりデコーダの出力がデコーダに入力される同一タイムステップの位置データに近くなるように、移動体同定手段とデコーダとのパラメータを調整することで移動体同定手段の訓練を行う調整手段とを含む。

好ましくは、調整手段は、所定時間の全体にわたる第１の時系列データと第２の時系列データを用いて、デコーダの出力とデコーダに入力される同一タイムステップの位置データとの誤差を用いた誤差逆伝播法により移動体同定手段とデコーダとのパラメータを調整することで移動体同定手段の訓練を行う誤差逆伝播手段を含む。

より好ましくは、並行訓練手段は、第１の時系列データと第２の時系列データとが与えられるごとに移動体同定手段の訓練を行う。

本発明の第２の局面に係る移動体同定装置は、所定時間にわたり第１のセンサと第２のセンサとによりそれぞれ測定された、第１の移動体及び第２の移動体の位置に関する第１の時系列データと第２の時系列データとを入力として、第１の移動体及び第２の移動体が同一の移動体であるか否かを示すスコアを出力するように予め訓練済のニューラル・ネットワークからなる。

好ましくは、第１の時系列データ及び第２の時系列データの各々は、対象となる移動体の所定時間ごとの位置データを含み、所定時間ごとの位置データの各々は、対象となる移動体の位置及び速度と、当該位置及び速度が測定された時刻を示す時刻情報とを含む。

より好ましくは、ニューラル・ネットワークは、第１の時系列データに含まれる位置及び速度、並びに第２の時系列データに含まれる位置及び速度を受ける複数個の入力と、確率を出力する出力とを持つ、複数層からなるニューラル・ネットワークである。

本発明の第３の局面に係る訓練装置は、複数の移動体の各々に対して所定の時間にわたり所定のタイムステップで得られた位置データの時系列を取得する時系列データ取得部と、時系列データ取得部により取得された位置データの時系列から、指定された順番の、同じ時刻に取得された位置データを抽出する位置データ抽出手段と、所定のタイムステップの数により定まる入力と、少なくとも一つの出力とを持つ第１のニューラル・ネットワークと、いずれも時系列を構成する位置データにより定まる同じ数の入力及び出力を有する第２のニューラル・ネットワークと、複数の移動体から２つの移動体の可能な組合せを全て抽出し、位置データの時系列のうち、抽出された当該組合せを構成する移動体の位置データの時系列を第１のニューラル・ネットワークへの入力として第１のニューラル・ネットワークに与える入力手段と、入力に応答して第１のニューラル・ネットワークが出力する値をサンプリングする第１のサンプリング手段と、可能な組合せの各々に対して第１のサンプリング手段によりサンプリングされた値のうち、最も大きな値が得られた組合せを選択する選択手段と、位置データ抽出手段により抽出された位置データのうちで、選択手段により選択された組合せに対応する２つの移動体の位置データを第２のニューラル・ネットワークに入力し、当該第２のニューラル・ネットワークの出力をサンプリングする第２のサンプリング手段と、第２のニューラル・ネットワークの入力に与えられた２つの移動体位置データと、第２のサンプリング手段が第２のニューラル・ネットワークの出力からサンプリングした値との間の誤差が小さくなるように、誤差逆伝播法により第１のニューラル・ネットワーク及び第２のニューラル・ネットワークの各々のパラメータの調整を行うパラメータ調整手段と、位置データ抽出手段、第１のニューラル・ネットワーク、入力手段、第１のサンプリング手段、選択手段、第２のサンプリング手段、及びパラメータ調整手段を、位置データの時系列の先頭から順番に位置データを指定して時系列データが終了するまで繰返して動作させる第１の繰返実行手段と、第１の繰返実行手段による繰返しを、所定の終了条件が成立するまで繰返し実行する第２の繰返実行手段と、第２の繰返実行手段による繰返が終了した時点での第１のニューラル・ネットワークのパラメータを所定の記憶装置に保存するパラメータ保存手段とを含む。

好ましくは、パラメータ調整手段は、第２のニューラル・ネットワークの入力に与えられた２つの移動体位置データと、第２のサンプリング手段が第２のニューラル・ネットワークの出力からサンプリングした値との間の誤差を所定の回数だけ蓄積する誤差蓄積手段と、第１のサンプリング手段及び第２のサンプリング手段が所定の回数だけ動作した後に、誤差蓄積手段により蓄積された誤差が小さくなるように、誤差逆伝播法により第１のニューラル・ネットワーク及び第２のニューラル・ネットワークの各々のパラメータの調整をバッチ処理により行うバッチ調整手段とを含む。

本発明の第４の局面に係るコンピュータ・プログラムは、コンピュータを、上記したいずれかの校正装置として機能させる。

本発明の第５の局面に係るコンピュータ・プログラムは、コンピュータを、上記したいずれかの移動体同定装置として機能させる。

本発明の第６の局面に係るコンピュータ・プログラムは、コンピュータを、上記したいずれかの訓練装置として機能させる。

この発明の上記および他の目的、特徴、局面及び利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。

図１は、センサシステムの構成を模式的に示す図である。 図２は、２つのセンサの間での校正方法を示す模式図である。 図３は、校正プロセスを表す因子グラフを模式的に示す図である。 図４は、校正プロセスにおいて、同一の移動体の間のみにエッジを持つ因子グラフを模式的に示す図である。 図５は、この発明の実施の形態に係るセンサの自動校正システムの全体構成の概略を示すブロック図である。 図６は、図５に示す自動校正システムを実現するコンピュータの外観を示す図である。 図７は、図６に外観を示すコンピュータのハードウェア構成を示すブロック図である。 図８は、図５に示すオートエンコーダの概略構成を模式的に示す図である。 図９は、非特許文献３に開示された、メッセージ伝達を行うニューラル・ネットワークの構成を模式的に示す図である。 図１０は、図９に示すニューラル・ネットワークから着想を得た、この発明の実施の形態で使用するオートエンコーダの一部であるエンコーダの構成を模式的に示す図である。 図１１は、図１０に示すエンコーダを訓練する訓練装置として図６及び図７に示すコンピュータを機能させるためのコンピュータ・プログラムの概略の制御構造を示すフローチャートである。 図１２は、図８に示すプログラムによって訓練されたエンコーダを用いて複数のセンサの校正を行う校正装置として図６及び図７に示すコンピュータを機能させるためのコンピュータ・プログラムの制御構造の概略を示すフローチャートである。 図１３は、図１０に示すエンコーダを、その稼働時にオンラインで訓練するオンライン訓練装置として図６及び図７に示すコンピュータを機能させるためのコンピュータ・プログラムの概略の制御構造を示すフローチャートである。 図１４は、図１０に示すエンコーダを訓練するための、この発明の第２の実施の形態に係る訓練装置として図６及び図７に示すコンピュータを機能させるためのコンピュータ・プログラムの概略の制御構造を示すフローチャートである。

以下の説明及び図面では、同一の部品には同一の参照番号を付してある。したがって、それらについての詳細な説明は繰返さない。なお、以下の実施の形態では、理解を容易にするために、特に注意しない限り、同時に校正対象のセンサが２個又は３個の場合について説明する。しかしこの発明はそのような実施の形態には限定されず、校正すべきセンサが４個以上の場合にも以下と同様にして実現できる。また以下の説明では移動する物体（移動体）として人間を想定しているが、必ずしも人間に限定されるわけではない。

１．第１の実施の形態
１ 構成
（１）背景
図１に、この発明の第１の実施の形態に係る校正装置を用いるセンサシステム５０の概略構成を示す。図１を参照して、このセンサシステム５０は、２台のＲＧＢ－Ｄセンサ６０及び６２と、１台のマイクロホン・アレイ６４を含み、２人の対象人物６６及び６８の位置を検出し、時系列の位置データを出力する。ＲＧＢ－Ｄセンサ６０及びびＲＧＢ－Ｄセンサ６２はＲＧＢ画像とセンサから対象までの距離を測定可能なセンサであり、各センサが検出した対象人物６６及び６８の３次元座標を、各センサの位置を原点とする各センサのローカル座標で出力する。またマイクロホン・アレイ６４は２次元センサであり、マイクロホン・アレイ６４が得た対象人物６６及び６８の二次元座標をマイクロホン・アレイ６４の位置を原点とするローカル座標で出力する。なお、マイクロホン・アレイは人物が発話したときしか人物の位置を検出できない。したがって、マイクロホン・アレイを含むセンサシステムのための後述する訓練データの収集及び校正用データの収集では、所定領域内で人物が歩き回る際に何らかの発話を行う必要がある。

各ローカルセンサの位置及び姿勢（向き）が正確に分かっていれば、各センサが検出した人物のグローバル座標及びそれらの対応関係も分かる。したがってこれらセンサの出力を組合せてこれらセンサが置かれた視聴覚環境をコンピュータで容易に管理できる。

しかし、これらセンサの位置又は姿勢が分からない場合には、各センサの出力する座標値を共通のグローバル座標に変換できるように各センサの出力を校正する必要がある。

（２）センサの校正
図２を参照して、例えばグローバル座標としてＲＧＢ－Ｄセンサ６０のローカル座標８０を採用するものとする。この場合、原点がローカル座標８２により表されるようにローカル座標８０の原点と一致するようにＲＧＢ－Ｄセンサ６２のローカル座標を平行移動する。さらにローカル座標８２の各軸（ｅ_１’、 ｅ_２’及びｅ_３’の単位ベクトルで表される。）をＲＧＢ－Ｄセンサ６０のローカル座標８０の各軸（ｅ_１、 ｅ_２及び_３の単位ベクトルで表される。）と一致するようにローカル座標を回転する。この際の並行移動による座標変換をｔ_２、回転による座標変換をＲ_２と表せば、ＲＧＢ－Ｄセンサ６２のローカル座標をＲＧＢ－Ｄセンサ６０のローカル座標８０によるローカル座標に変換する変換は通常は以下の式で表される。

ただしＲ_２は３×３の回転行列、ｔ_２は３×１の平行移動ベクトル、Ｏは３×１のゼロベクトルである。回転行列Ｒ_２は２次元の特殊直交群ＳＯ（２）をなす。

同じ人物に関し、ｍ＋１回のタイムステップでＲＧＢ－Ｄセンサ６０及び６２が観測した３次元のセンサ出力ベクトルをそれぞれｐ_１ ^ｉ及びｐ_２ ^ｉ（ｉ＝０，１，…，ｍ）とする。すると、上式の行列Ｒ２及びベクトルｔ２はそれぞれ、以下の式により求められる。

このＲ_２及びｔ_２を記憶しておくことにより、ＲＧＢ－Ｄセンサ６２のローカル座標からＲＧＢ－Ｄセンサ６０のローカル座標、すなわちグローバル座標への変換が行える。この行列Ｒ_２及びｔ_２を求めることがＲＧＢ－Ｄセンサ６０及び６２の校正である。ＲＧＢ－Ｄセンサ６０及び６２はいずれも３Ｄセンサなので、この明細書ではこのような校正を３Ｄ＋３Ｄ校正と呼ぶ。

一方、ＲＧＢ－Ｄセンサ６０とマイクロホン・アレイ６４との間の校正は以下のようにして行える。マイクロホン・アレイ６４では対象までの距離は測定できず、方向が分かるだけである。そこでこのようにＲＧＢ－Ｄセンサ６０とマイクロホン・アレイ６４との校正は３Ｄ＋２Ｄ校正と呼ぶ。

ある同一の人物に対するマイクロホン・アレイ６４の出力をｐ_３、ＲＧＢ－Ｄセンサ６０の出力をｐ_１とする。これはそれぞれ以下のように表せる。

ただしθ_１はマイクロホン・アレイ６４から対象の人物への方向のアジマス角、θ_２は仰角を表す。

マイクロホン・アレイ６４のローカル座標ｐ_３からＲＧＢ－Ｄセンサ６０のローカル座標（すなわちグローバル座標）への変換は、上記した特殊直交群ＳＯ（３）に関連するリー代数ｓｏ（３）におけるマイクロホン・アレイ６４の姿勢を表す行列ξを用いて、以下の式により容易に算出できる。

上式の「ｉ」はｉ番目の人物の識別子を、「ｊ」はセンサの識別子を、それぞれ表す。また上式では左辺の「１」を省略してある。ξ_ｊの右上の「＾」は、３行３列の行列ξ_ｊを３×１のベクトルで表していることをす。ｊ＝３の場合、この行列ξ_３は以下の式により求めることができる。

ここでｍは測定データの先頭を０としたときの最後の測定データの番号であり、ｐ_ｉ ^１はＲＧＢ－Ｄセンサ６０のｉ番目の測定データを表し、ｐ_ｉ ^３はマイクロホン・アレイ６４のｉ番目の測定データを表す。

こうしてξ_３を求めることにより、マイクロホン・アレイ６４のローカル座標で得られる測定データを、ＲＧＢ－Ｄセンサ６０のローカル座標（すなわちグローバル座標）に変換できる。

（３）因子グラフ
上記した校正は、各センサが測定した人物の対応付けができていることが前提である。しかし、現実の環境では、測定誤差があるために、例えば複数の人物の位置を複数のセンサで測定したときに、各センサの出力のどの人物が互いに対応するかを正確に知ることが難しいという問題がある。

そこで、そのようなノイズを含むデータから確率的な表現を推定することが考えられる。そのような推定問題に適したツールとして因子グラフがある。因子グラフは、ベイジアンネットワークと同様、同時確率を因子の積で表すことができる。

図３に例としてグラフ１００を示す。図３において、Ｓ_１及びＳ_２はセンサ、ｘ_１ｉ及びｙ_１ｉ（ｉ＝１、２）はセンサＳ_１が２回にわたり測定した第１の人物及び第２の人物の位置データ、ｘ_２ｉ及びｙ_２ｉ（ｉ＝１、２）はセンサＳ_２がセンサＳ_１と同時に２回にわたり測定した第１の人物及び第２の人物の位置データをそれぞれ示す。なお添字ｉはタイムステップを示す。ｘは第１の人物の位置データを、ｙは第２の人物の位置データを、それぞれ示す。

これらは、図３に示すように、センサＳ_１及びＳ_２、センサＳ_１の測定した位置データｘ_１ｉ及びｙ_１ｉ（ｉ＝１、２）、並びにセンサＳ_２の測定した位置データｘ_２ｉ及びｙ_２ｉ（ｉ＝１、２）を頂点とし、各センサとそのセンサの測定した位置データのうち同じタイムステップで測定された位置データに対応する頂点の全ての組合せを結ぶエッジとからなるグラフ１００を形成する。

図３に示すように、同じ人物に対してセンサＳ_１及びＳ_２が測定した位置は、測定誤差のために一般的には互いに異なる値となり、直ちには互いに対応付けることができない。この実施の形態では、グラフ１００を用いて以下のような考え方で測定データの対応付けを行う。

すなわち、図４を参照して、ｘ_１１とｘ_２１，ｙ_１１とｙ_２１、ｘ_１２とｘ_２２，及びｙ_１２とｙ_２２とが同一人物を表す場合、グラフ１００においてこれらを結ぶエッジ１２０、１２２、１２４及び１２６のみを残し、他のエッジ（点線で表される）を全て削除するように因子グラフ１００を変形できれば、センサＳ_１の測定データとセンサＳ_２の測定データとの対応付けを行うことができる。

この実施の形態では、この対応付けのためにグラフ・ニューラル・ネットワーク（ＧＮＮ）を用いる。ＧＮＮは、ニューラル・ネットワークの一種であって、グラフ構造を持つデータを処理するのに適している。最近になって、推論及びマルチ・エージェント対話型システムにＧＮＮが非常に有効であることがわかってきた。非特許文献３では、対比較を行うためのグラフにおけるローカルなメッセージ伝達に関してＧＮＮが用いられている。以下に説明するこの発明の第１の実施の形態に係るシステムは、非特許文献３の記載をヒントに、ＧＮＮを用いて２つのセンサの測定した人物の一致を推定する。この詳細については後述する。

以下に説明する実施の形態では、２つの時系列データが同一の人物のものか否かを判定するためのニューラル・ネットワークを用いる。２つの時系列データは、複数のセンサが所定のタイムステップにわたり出力する、第１及び２の位置データからなる２つの時系列データである。このニューラル・ネットワークを用いることで、例えば２人の人物について第１のセンサが出力する２つの時系列データと、同じ２人の人物について第２のセンサが出力する２つの時系列とを比較し、第１のセンサのどの時系列データと、第２のセンサのどの時系列データとが同じ人物を表すか、その対応付けを行う。そのために上記した非特許文献３の記載をヒントに、上記した機能を提供するようにニューラル・ネットワークの訓練を行う。

（４）システムの全体構成
図５は、この発明の第１の実施の形態に係る校正システム１５０の全体構成を示す。図５を参照して、校正システム１５０は、上記したニューラル・ネットワークを一部に含みそのニューラル・ネットワークの訓練を行うためのオートエンコーダ１７８と、オートエンコーダ１７８により訓練されたニューラル・ネットワークのパラメータを記憶するためのパラメータ記憶部１８０とを含む。以下、このニューラル・ネットワークをエンコーダと呼ぶ。

校正システム１５０はさらに、エンコーダの訓練を行うための訓練データを生成するための訓練データ生成部１６０と、訓練データ生成部１６０により生成された訓練データを収集するための訓練データ収集装置１７０と、訓練データ収集装置１７０により収集された訓練データをコンピュータ可読な形式で記憶するための訓練データ記憶部１７２と、上記したエンコーダの訓練を行うためのコンピュータ・プログラムを記憶するための訓練プログラム記憶部１７６と、訓練プログラム記憶部１７６に記憶されたプログラムを実行し、訓練データ記憶部１７２に記憶された訓練データを用いてオートエンコーダ１７８の訓練を行い、それによってオートエンコーダ１７８の一部であるエンコーダの訓練を行うためのオンライン校正装置訓練システム１７４と、訓練が終了した後の、オートエンコーダ１７８をコンピュータにより実現するためのパラメータを記憶するためのパラメータ記憶部１８０とを含む。

この例では、訓練データ生成部１６０はＲＧＢ－Ｄセンサ６０及び６２を含み、所定領域内を移動する２人の人物の位置データの、所定のタイムステップごとに計測した所定タイムステップ数の時系列を生成するものとする。もちろん、訓練では、このような訓練データを幾通りも生成し訓練データ記憶部１７２に記憶しておく。

校正システム１５０はさらに、校正対象となる校正対象音響処理システム１６２を含む。この実施の形態では、校正対象音響処理システム１６２は訓練データ生成部１６０と同様、ＲＧＢ－Ｄセンサ６０及び６２を含み、所定領域を移動する２人の人物の位置データの時系列を取得するものとする。またこの例ではＲＧＢ－Ｄセンサ６０及び６２の位置及び姿勢に関する校正を行うことが目的である。したがって校正前にＲＧＢ－Ｄセンサ６０及び６２の位置及び姿勢を厳密に設定する必要はない。

校正システム１５０はさらに、パラメータ記憶部１８０に記憶されたパラメータのうち、エンコーダに関するパラメータと、オートエンコーダ１７６に記憶された、エンコーダのアルゴリズムを実現するプログラムとを用いて、校正対象音響処理システム１６２から得られる所定のタイムステップ数の時系列の位置データを処理し、ＲＧＢ－Ｄセンサ６０とＲＧＢ－Ｄセンサ６２との間の校正を行うためのオンライン校正装置１８２と、オンライン校正装置１８２による校正の結果得られた校正パラメータを記憶するための校正パラメータ記憶部１８６とを含む。この実施の形態では、ＲＧＢ－Ｄセンサ６０のローカル座標をワールド座標とし、ＲＧＢ－Ｄセンサ６２のローカル座標をワールド座標に変換するためのパラメータ（前述の行列Ｒ２及びベクトルｔ２）がオンライン校正装置１８２により求められ、校正パラメータ記憶部１８６に記憶される。

校正システム１５０はさらに、オンライン校正装置１８２による校正時、及び校正対象音響処理システム１６２の実際の稼働時に得られる時系列データを用いてエンコーダの訓練を同時並行的に行うための校正装置バックグラウンド更新システム１８４を含む。

（５）コンピュータによる実現
図５において、訓練データ生成部１６０及び校正対象音響処理システム１６２を除く各機能部は、コンピュータハードウェア及びその上で実行されるコンピュータ・プログラムにより実現される。図６にそうしたコンピュータシステム２９０の外観を示し、図７にコンピュータシステム２９０のハードウェア構成をブロック図で示す。

図６を参照して、このコンピュータシステム２９０は、ＤＶＤドライブ３１０を有するコンピュータ３００と、キーボード３０６と、マウス３０８と、モニタ３０２とを含む。

図７を参照して、コンピュータ３００は、ＤＶＤドライブ３１０に加えて、ＣPＵ３１６と、ＣPＵ３１６、ＤＶＤドライブ３１０に接続されたバス３２６と、ニューラル・ネットワークの学習及び推論の際の数値計算を高速に行うためのＧPＵ３１７と、コンピュータ２９０のためのブートアッププログラム等を記憶するＲＯＭ３１８と、バス３２６に接続され、実行対象のプログラム命令、システムプログラム、およびプログラム実行中の作業データ等を記憶するＲＯＭ３１８と、不揮発性メモリであるハードディスク３１４を含む。コンピュータシステム２９０はさらに、他端末との通信を可能とするネットワーク３２８への接続を提供するネットワークＩ／Ｆ３０４と、ＵＳＢメモリ３３０が装着可能でコンピュータ２９０の各部とＵＳＢメモリ３３０との間のデータ交換を可能にするＵＳＢメモリポート３１２とを含む。ＧPＵ３１７は計算を高速にするためのもので、機能的には必須のものではなくＣPＵ３１６で代行できる。しかし計算を高速にするためにはＧPＵ３１７があることが望ましい。

本実施の形態では、図５に示す訓練データ記憶部１７２、オートエンコーダ１７６、パラメータ記憶部１８０及び校正パラメータ記憶部１８６等は、いずれもハードディスク３１４又はＲＡＭ３２０により実現される。

コンピュータシステム２９０に校正システム１５０及びその構成要素の機能を実現させるためのコンピュータ・プログラムは、ＤＶＤドライブ３１０に装着されるＤＶＤ３２２又はＵＳＢメモリ３３０に記憶され、ＤＶＤドライブ３１０又はＵＳＢメモリポート３１２からハードディスク３１４に転送される。又は、プログラムはネットワーク３２８を通じてコンピュータ３００に送信されハードディスク３１４に記憶されてもよい。プログラムは実行の際にＲＡＭ３２０にロードされる。ＤＶＤ３２２から、又はネットワークを介して、直接にＲＡＭ３２０にプログラムをロードしてもよい。

このプログラムは、コンピュータ３００にこの実施の形態の校正システム１５０の訓練データ収集装置１７０、オンライン校正装置訓練システム１７４、オートエンコーダ１７８、オンライン校正装置１８２及び校正装置バックグラウンド更新システム１８４として動作を行なわせる複数の命令を含む。この動作を行なわせるのに必要な基本的機能のいくつかはコンピュータ３００上で動作するオペレーティングシステム（ＯＳ）若しくはサードパーティのプログラム、又はコンピュータ３００にインストールされる各種プログラミング・ツール・キットのモジュールにより提供される。したがって、このプログラムはこの実施の形態のシステムおよび方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能又は所望のプログラミング・ツールを呼出すことにより、上記した校正システム１５０及びその構成要素としての動作を実行する命令のみを含んでいればよい。もちろん、プログラムはコンピュータ２９０に所望の機能を実現させるための命令を全て含んでもよい。コンピュータシステム２９０の動作は周知であるので、ここでは繰返さない。

なお、このプログラムはＣPＵ３１６が直ちに実行可能ないわゆるオブジェクトプログラムでもよいし、インタープリタにより逐次実行可能な形式に変換することが必要なスクリプト形式でもよい。

（６）オートエンコーダ
図８は、図５に示すオートエンコーダ１７８の概略構成を示す。図８を参照して、このオートエンコーダ１７８は、２つの頂点の一定数のタイムステップの位置データの時系列を入力とし、その２つの頂点の間にエッジがあるか否かに関する確率分布３５４（ｐ（ｅ｜ν）、ただしνは２つの頂点の位置データの時系列、ｅはその２つの頂点の間にエッジがあるか否かを示す値）にしたがった値を出力するエンコーダ３５０と、異なる頂点の組合せからの位置データの入力に応答してエンコーダ３５０が出力する、確率分布３５４にしたがった値のうち、最も大きなものに対応する頂点の組合せの、特定のタイムステップにおける位置データを入力として、出力がその入力と等しくなるように訓練されるニューラル・ネットワークからなるデコーダ３５２とを含む。したがってデコーダ３５２の出力するベクトルの次元数は入力ベクトルの次元数と同じである。オンライン校正装置訓練システム１７４は、エンコーダ３５０に可能な頂点の組合せの位置データの時系列を与え、エンコーダ３５０の出力である確率分布３５４のサンプリング値が最も大きな組合せの、特定時点での位置データをデコーダ３５２に与え、デコーダ３５２の出力がそのデコーダ３５２への入力と等しくなる方向に近づくように、エンコーダ３５０及びデコーダ３５２のパラメータを調整する動作を、位置データの時系列の先頭から順番に最後まで行う処理を所定の終了条件が成立するまで繰返してオートエンコーダ１７８の訓練を行う。この実施の形態では、終了条件は上記繰返しを予め定められた回数だけ行ったときに充足される。

（７）エンコーダの訓練
エンコーダ３５０は、上記非特許文献３に記載された、グラフの頂点からエッジへ、さらにエッジから頂点へのメッセージ伝達を行うニューラル・ネットワークをヒントにしたものである。図９に、非特許文献３に記載されたニューラル・ネットワークの構成の概略を示す。

図９を参照して、このメッセージ伝達ニューラル・ネットワーク４００は、２つの頂点の組合せ３９０、３９２、及び組合せ３９４を別々の入力として、それぞれの組合せを構成する頂点の間にエッジがあるか否かを示す値ｅ_１，２，ｅ_１，３及びｅ_２，３を出力するための全結合層からなる第１段のニューラル・ネットワーク４１０と、ニューラル・ネットワーク４１０の値のうち２つの値からなる全ての組合せ４２０、４２２及び４２４を入力として受け、ニューラル・ネットワーク４１０に入力された３つの頂点に対応する値４４０、４４２及び４４４を出力するように訓練される第２段のニューラル・ネットワーク４１２とを含む。ニューラル・ネットワーク４１０及び４１２は、この実施の形態ではいずれも全結合層からなる。

この実施の形態では、図９に示される構成を基礎に、さらに図１０に示す構成を持つエンコーダ３５０をオートエンコーダ１７８の前段に用いる。図１０を参照して、エンコーダ３５０は、図９に示すメッセージ伝達ニューラル・ネットワーク４００と、メッセージ伝達ニューラル・ネットワーク４００が頂点の３つの組合せが入力されたことに応答してそれぞれ出力する値４４０、４４２及び４４４からの２つを組合せた組合せ４５０、４５２、及び組合せ４５４を入力として、これら組合せに対応する頂点の間にエッジが存在する確率を示すスコアであるスコア４７０、４７２、及びスコア４７４をそれぞれ出力するためのデコーダ４６０とを含む。スコア４７０、４７２、及びスコア４７４はそれぞれ、頂点１及び２がエッジで結ばれている確率、頂点１及び３がエッジで結ばれている確率、及び頂点２及び３がエッジで結ばれている確率を示す値であり、デコーダ４６０はそのような値を出力するように訓練される。デコーダ４６０も含めたエンコーダ３５０は、図８に示すオンライン校正装置訓練システム１７４により、オートエンコーダ１７８の全体を対象におこなわれる訓練により訓練される。

図１１に、オートエンコーダ１７８の訓練を行うようコンピュータシステム２９０を機能させるためのコンピュータ・プログラムの制御構造をフローチャート形式で示す。図１１を参照して、このプログラムは、ステップ５００により実行を開始する。ステップ５００では、校正の対象となるセンサの位置及び姿勢がいずれも乱数により初期化される。ステップ５００ではこの他にも、エンコーダ３５０及びデコーダ３５２のパラメータの初期化も行われる。この初期化は、乱数により行ってもよいし、所定の事前学習により定められた値を各パラメータに代入して行ってもよい。他のシステムで訓練済の値を各パラメータに代入してもよい。

このプログラムはさらに、図５に示す訓練データ記憶部１７２に記憶されている、予め訓練データ収集装置１７０により収集した訓練データを訓練データ記憶部１７２から読出し、図７に示すＲＡＭ３２０にロードするステップ５０２を含む。訓練データの収集では、図５に示す訓練データ生成部１６０にＲＧＢ－Ｄセンサ６０及び６２を設置し、所定領域を所定人数（この実施の形態では２人）が移動する状態で、所定の時間間隔（タイムステップ）で、所定の時間（所定数のタイムステップ）にわたりそれらの人の位置及び速度を時系列データとして訓練データ収集装置１７０が収集し、訓練データ記憶部１７２に格納する。こうした作業を様々な状況で繰返し行い、多くの訓練データの組を収集することが必要である。

このプログラムはさらに、ステップ５０２に続き、全訓練データ中の訓練データの組の全てに対して処理５０６を所定の回数だけ繰返すことによりオートエンコーダ１７８の訓練を行うステップ５０４と、ステップ５０４により訓練されたオートエンコーダ１７８のパラメータを図７に示すハードディスク３１４等の不揮発性記憶装置に記憶してプログラムの実行を終了するステップ５０８とを含む。

ここで言う訓練データの組とは、２人の人物に対し訓練データ生成部１６０が１回の訓練データ収集のセッションで収集した位置データの時系列の組のことをいう。ここで「セッション」とは、所定のタイムステップ数の測定データの集まりのことをいう。

各タイムステップの測定データは、各センサについて、そのセンサが２人の人物について測定した位置データを含む。各位置データは３次元の座標データ及びその差分（速度）データを含む。すなわち、あるタイムステップでのセンサ出力である位置データは６次元である。したがって、あるタイムステップでの、２人の人物に対し２個のセンサから得られる測定データは２×２×６個の座標値を含む。この座標値は、各センサを原点とするローカル座標で与えられる。これらが各タイムステップで得られるので、結果として、１セッションの測定データは、第１のセンサが出力する２人の位置データからなる２つの時系列データと、第２のセンサが出力する２人の位置データからなる２つの時系列データとを含む。これら４つの位置データの時系列データの集合をここでは時系列データの「組」と呼ぶ。

この時系列データの構成を表形式で示せば以下のとおりである。

この表から分かるように、各センサが各人物について１タイムステップで出力する位置データは６次元（位置＋速度）である。１回のセッションでＮ回のタイムステップの測定をするとすれば、１つのセンサが１人の人物に対して出力する位置データの時系列は、それぞれ６（位置＋速度）次元のベクトル×Ｎ個の系列となる。これは６×Ｎ次元ベクトルということもできる。測定対象の人物が２人であり、センサは２つあるので、全体として１セッションの訓練データは４個の６×Ｎ次元ベクトルである。この４個の６×Ｎ次元ベクトルの全体が前述した「組」を構成し、６×Ｎ次元ベクトルの各々が前述した時系列データである。

処理５０６は、訓練データの各組に対し、その先頭から以下のステップ５１２を繰返すステップ５１０を含む。

ステップ５１０は、処理対象の組内で可能なペアの各々に対し、処理５２２を実行するステップ５２０と、ステップ５２０の結果、エンコーダ３５０からペアの数だけサンプリングされる値を比較し、最も高い値のペアの訓練データのうち、ステップ５１０で指定される順番の訓練データを選択してデコーダ３５２に入力するステップ５２４と、ステップ５２４での入力に応答してデコーダ３５２の出力を算出するステップ５２６と、デコーダ３５２への入力とその出力との誤差を用いた誤差逆伝播法により、オートエンコーダ１７８の全パラメータを調整してステップ５１２を終了するステップ５２８とを含む。

処理５２２は、その組で、ステップ５２０により指定されたペアに対応する全訓練データをエンコーダ３５０に入力するステップ５４０と、入力に応答してエンコーダ３５０が出力する値をサンプリングして処理５２２を終了するステップ５４２とを含む。サンプリングされた値は、例えば図７に示すＲＡＭ３２０に一時的に保持される。

図１１に示す処理を実行することで図８に示すオートエンコーダ１７８が訓練され、したがってその一部であるエンコーダ３５０も訓練される。

（８）校正
上記したように訓練されたオートエンコーダ１７８のうち、エンコーダ３５０を用いて図５の校正対象音響処理システム１６２の校正が行われる。図５には２台のＲＧＢ－Ｄセンサ６０及び６２のみが示されている。しかし実際には、校正対象音響処理システム１６２には３台以上のセンサが校正対象音響処理システム１６２には設けられていることが多い。また各センサはＲＧＢ－Ｄセンサ６０のような３次元センサには限らず、マイクロホン・アレイであってもよい。いずれかのセンサのローカル座標をグローバル座標として選択すれば、どのセンサも、グローバル座標に対応するセンサとの対でその位置を校正すればよい。グローバル座標として選択されたセンサをここでは基準センサと呼ぶ。

図６及び図７に示すコンピュータシステム２９０を図５に示すオンライン校正装置１８２として機能させるプログラムの制御構造を図１２にフローチャート形式で示す。図１２を参照して、このプログラムは、初期処理を実行するステップ５６０を含む。この初期処理では、各センサの位置座標及びその姿勢を乱数により初期化する。他に、処理に必要な記憶領域を図７に示すＲＡＭ３２０に確保する処理等もこのステップ５６０で実行される。

このプログラムはさらに、図５に示す校正対象音響処理システム１６２内を所定人数（この実施の形態では２人）の人物に移動してもらい、各センサから校正用データを収集するステップ５６２を含む。各校正用データはエンコーダ３５０の訓練時と同じであることを想定する。訓練時の各訓練データのタイムステップがｍ＋１であるとすれば、ステップ５６２で収集する校正用データもｍ＋１タイムステップである。また校正用データはセンサ個数だけ得られる。

このプログラムはさらに、後述の処理５６６を基準センサ以外のセンサ数だけ繰返すことにより、各センサの校正を行い、校正パラメータをＲＡＭ３２０等に保存するステップ５６４を含む。

処理５６６は、処理対象の校正用データのうち、可能なデータのペアの数だけ、以下のステップ５８２を繰返して実行するステップ５８０と、ステップ５８０による処理の結果、各データペアに対してエンコーダ３５０から出力される値を比較し、各データペアが同一の人物を指すか否かを判定し、その結果にしたがってデータの対応付けを行う（人物の同定を行う）ステップ５８４と、センサの種類にしたがった式を用いて対象センサ（基準センサ以外のセンサ）の位置及び姿勢の校正パラメータを算出するステップ５８６と、ステップ５８６で算出された校正パラメータをＲＡＭ３２０等に保存して処理５６６を終了するステップ５８８とを含む。

ステップ５８２は、エンコーダ３５０に処理対象のペアの校正用データを全て入力するステップ６００と、ステップ６００で与えられた入力に応答してエンコーダ３５０が出力する値をＲＡＭ３２０等に一時的に保存してステップ５８２を終了するステップ６０２とを含む。

この処理をコンピュータシステム２９０が実行することにより、校正対象音響処理システム１６２内の各センサの校正が行われる。この処理で得られた校正パラメータを用いて各センサの位置及び姿勢を基準センサのローカル座標（グローバル座標）に変換することで各人物の位置を定めることができる。

なお、ステップ５８６で使用される校正パラメータの算出式は、ＲＧＢ－Ｄセンサのような３次元センサと、マイクロホン・アレイのような２次元センサとの場合で異なっている。この式については前述したとおりである。

（９）校正との並行訓練
この実施の形態ではさらに、上記したように校正パラメータを決定した後にも、各センサが出力するデータを用いて校正パラメータの更新を行う。コンピュータシステム２９０をそのための校正装置バックグラウンド更新システム１８４として機能させるプログラムの制御構造を図１３に示す。

図１３を参照して、このプログラムは、初期処理を行うステップ６２０と、後述する処理６２４を終了条件が成立するまで繰返すことで、各センサの校正パラメータを更新した値を算出するステップ６２２と、ステップ６２２で各センサに対して算出された更新後の校正パラメータで、図５の校正パラメータ記憶部１８６に記憶された校正パラメータを更新するステップ６２６とを含む。

ステップ６２０では、処理に必要な記憶領域をＲＡＭ３２０に確保する処理、及び図５に示す校正パラメータ記憶部１８６に記憶された各センサの校正パラメータをＲＡＭ３２０に読み出す処理等が行われる。

処理６２４は、訓練データ及び校正用データと同様の、所定のタイムステップ数の更新用データを更新対象の各センサから受信するステップ６４０と、後述の処理６４４を所定の回数繰返すステップ６４２とを含む。

処理６４４は、更新用データの各組に対して、その時系列の先頭から順に以下の処理６６２を実行するステップ６６０を含む。

処理６６２は、処理対象の組のデータの中で可能な各データペアに対して処理６８２を実行することにより、各データペアについて、当該データベアに関する全更新用データが入力されたときのエンコーダ３５０の出力をサンプリングするステップ６８０と、ステップ６８０のサンプリング結果にしたがって、デコーダ入力の時系列データのペアを選択し、そのペアの、ステップ６６０で指定される順番のデータをデコーダ３５２に入力するステップ６８４と、ステップ６８４に続き、デコーダ３５２の出力を算出するステップ６８６と、デコーダ３５２への入力とステップ６８６で得られたデコーダ３５２の出力との誤差を用いた誤差逆伝播法により、オートエンコーダ１７８のパラメータを調整するステップ６８８とを含む。

処理６８２は、処理中の組の処理中のペアの全更新用データをエンコーダ３５０に入力するステップ７００と、ステップ７００での入力に対するエンコーダ３５０の出力をサンプリングするステップ７０２とを含む。

この処理は各センサ出力による人物の位置の検出と並行してバックグラウンドで動作可能である。したがって、図１３に示すプログラムをコンピュータシステム２９０が実行することにより、コンピュータシステム２９０は図５に示す校正装置バックグラウンド更新システム１８４として機能する。

２ 動作
上記した構成を持つ校正システム１５０は以下のように動作する。

（１）動作全体の流れ
校正システム１５０の全体の動作の流れは以下のとおりである。

・訓練データ生成部１６０にＲＧＢ－Ｄセンサ６０、６２等のセンサを配置する。
・訓練データ収集装置１７０が訓練データを収集し訓練データ記憶部１７２に格納する。
・オンライン校正装置訓練システム１７４が訓練データ記憶部１７２とオートエンコーダ１７６とを用いてオートエンコーダ１７８を訓練する。訓練後のオートエンコーダ１７８のパラメータはパラメータ記憶部１８０に記憶される。

・校正対象音響処理システム１６２にＲＧＢ－Ｄセンサ６０、６２等のセンサを配置する。
・ＲＧＢ－Ｄセンサ６０、６２等が検出対象とする領域内を２人の人物が歩き回り、その間にオンライン校正装置１８２が校正用データを収集する。
・オンライン校正装置１８２がパラメータ記憶部１８０からオートエンコーダ１７８のパラメータを読み込み、エンコーダ３５０及びデコーダ３５２を構築する。
・オンライン校正装置１８２が校正用データに対して図１２に示す処理を実行することで各センサの校正パラメータを算出する。校正パラメータは校正パラメータ記憶部１８６に記憶される。

・その後、校正パラメータ記憶部１８６に記憶された校正パラメータを用いて、図示しない音源定位装置等が所定領域内の人物の位置を検出する処理を実行する。
・人物の位置の検出と並行して、その際に得られた時系列データを用い、バックグラウンドでコンピュータシステム２９０がオートエンコーダ１７８の訓練を行う。その結果、エンコーダ３５０を含むオートエンコーダ１７８が新たなデータに基づいて更新される。

（２）エンコーダ３５０の訓練
エンコーダ３５０の訓練は以下のようにして実行される。図５を参照して、ＲＧＢ－Ｄセンサ６０、６２等が配置された領域内を二人の人物が歩き回り、そのあいだのセンサ出力を訓練データ収集装置１７０が収集する。これがオートエンコーダ１７８の訓練データとして訓練データ記憶部１７２に記憶される。必要な量の訓練データが収集できたらオートエンコーダ１７８の訓練を行う。

図１１を参照して、ステップ５００では、校正の対象となるセンサの位置及び姿勢がいずれも乱数により初期化される。ステップ５００ではこの他にも、エンコーダ３５０及びデコーダ３５２のパラメータの初期化も行われる。この初期化は、乱数により行ってもよいし、所定の事前学習により定められた値を各パラメータに代入してもよい。他のシステムで訓練済の値を各パラメータに代入してもよい。

さらにステップ５０２では、コンピュータシステム２９０は訓練データを訓練データ記憶部１７２から読出し、図７に示すＲＡＭ３２０にロードする。前述したように、この訓練データは複数のセッションにより得られた訓練データの組を含む。各組は４つの訓練データの時系列を含む。タイムステップ単位でいえば、各タイムステップの訓練データは、４つの６次元ベクトルを含む。２つのセンサが２人の人物についてそれぞれ６次元（位置＋速度）ベクトルを出力するためである。

さらに、ステップ５０２に続き、ステップ５０４において、全訓練データ中の訓練データの組の全てに対して処理５０６を所定の回数だけ繰返すことによりオートエンコーダ１７８の訓練を行う。

ステップ５０８では、ステップ５０４により訓練されたオートエンコーダ１７８のパラメータを図７に示すハードディスク３１４等の不揮発性記憶装置に記憶してプログラムの実行を終了する。

処理５０６ではまず、訓練データに含まれる各組に対し、先頭のタイムステップの測定データを選択し（ステップ５１０）、その組で可能なデータのペアの各々に対して処理５２２を行う。その組で可能なデータのペアとは、第１のセンサの第１及び２の人物の測定データと、第２のセンサの第１及び２の人物の測定データとの間で可能なペアのことをいう。図３を例に説明すると、先頭のタイムステップでの測定データはｘ_１１、ｙ_１１、ｘ_２１及びｙ_２１、第２のタイムステップでの測定データはｘ_１２、ｙ_１２、ｘ_２２及びｙ_２２である。これらのうち、ｘ_１１及び_１２が第１の時系列データを形成する。この時系列データをｘ_１とする。同様に、ｘ_２１及び_２２が時系列データｘ_２を、ｙ_１１及び_１２が時系列データｙ_１を、ｙ_２１及び_２２が時系列データｙ_２を、それぞれ形成する。これらの間での可能な組合せは、センサＳ_１で観測された時系列データｘ_１及びｙ_１のうちの一つと、センサＳ_２で観測された時系列データｘ_２及びｙ_２のうちの一つとの組合せとなる。すなわち可能な組合せは（ｘ_１、_２）、（ｘ_１、ｙ_２）、（ｙ_１、ｘ_２）、及び（ｙ_１、_２）の４通りである。これらは図３で測定データを結ぶエッジとして表現されている。

ステップ５２０では、この４通りの組合せの全てに対し、処理５２２を実行する。処理５２２のステップ５４０では、例えば（ｘ_１、_２）の組合せについて、時系列データｘ_１を構成する全ての訓練データｘ_１１及び_１２と、時系列データｘ_２を構成する全ての訓練データｘ_２１及び_２２とが連結されたベクトルがエンコーダ３５０に入力される。この入力に応答して、エンコーダ３５０がその内部のパラメータにより定まる演算を行い、結果として一つの値を出力する。この値は、ステップ５４２でエンコーダ３５０の規定する確率分布３５４からサンプリングしたものであり、時系列データｘ_１と、時系列データｘ_２とが同一の人物の位置を測定したものか否かを示すスコアである。もちろん、訓練の開始時にはエンコーダ３５０は正しい予測を行えるような状態にはなっていないので、このスコアは信頼がおけない。しかし、処理５０６を繰返し実行することにより、エンコーダ３５０のパラメータの訓練が行われ、入力された時系列のペアが同じ人物に関する測定データか否かを示すスコアを高い精度で出力できるようになる。

このスコアを（ｘ_１、_２）の組合せに対応する値としてＲＡＭ３２０に一旦記憶する。同様に、他の（ｘ_１、ｙ_２）、（ｙ_１、ｘ_２）、及び（ｙ_１、_２）の３通りについても処理５２２を実行し、ステップ５４２で得られた値をＲＡＭ３２０に記憶する。

ステップ５２０の処理が完了したところで、ステップ５２４において、上記した４つの組合せについて得られたスコアが最も高いものを選択し、その時系列データの中で、ステップ５１０により指定された順番の測定データを組合せたものをデコーダ３５２に入力する。例えば（ｘ_１、ｙ_２）のスコアが最も高かった場合には、ｘ_１１及びｙ_２１を連結したベクトルをデコーダ３５２に入力する。

ステップ５２６では、デコーダ３５２のパラメータにしたがい、入力されたベクトルに対するデコーダ３５２の出力を算出する。

ステップ５２８では、デコーダ３５２に入力されたベクトル（現在の例ではｘ_１１及びｙ_２１を連結したベクトル）とデコーダ３５２が出力したベクトルとの誤差を用いた誤差逆伝播法により、オートエンコーダ１７８の全体の学習が行われる。

続いて次のステップ５１２の処理が次のタイムステップの測定データに対して行われる。この場合、ステップ５２０で行われる処理は先頭のタイムステップの測定データについて行われた処理と全く同じである。ただしエンコーダ３５０のパラメータは１回目の繰返しとは変化している。

以下同様の処理が行われるが、ステップ５２４で選択されデコーダ３５２に入力されるのは、ステップ５４２でサンプリングされた値が最も大きな時系列データの、２番目の測定データのベクトルの組合せである。ステップ５２８の処理は１番目の測定データに対して行われたものと同様である。

このようにして、１個の測定データの組の全てのタイムステップについてステップ５１２の処理が実行されると、処理５０６の１回目の処理が完了する。この結果、オートエンコーダ１７８のパラメータはさらに変化する。ステップ５０４によれば、この処理をさらに何回か繰返す。この繰り返しによりオートエンコーダ１７８のパラメータの訓練が進行する。ここでは所定回数だけ処理５０６の処理を実行した時点でステップ５０４の終了条件が充足され、訓練を終了して処理はステップ５０８に進む。

ステップ５０８では、ステップ５０４による繰返し処理で得られたオートエンコーダ１７８のパラメータをＲＡＭ３２０に保存し、さらにハードディスク３１４（図７）等からなるパラメータ記憶部１８０に転記することでオートエンコーダ１７８（及びエンコーダ３５０）の訓練が終了する。

（３）校正と並行訓練
上記した処理により訓練が終了したエンコーダ３５０を用いた校正対象音響処理システム１６２（図５）内の各センサの校正は以下のようにして行われる。

図１２を参照して、ステップ５６０で初期処理が行われる。この実施の形態においては、この初期処理では、各センサの位置及び姿勢に関する値には乱数が設定される。またパラメータ記憶部１８０からエンコーダ３５０のパラメータを読み込むことでエンコーダ３５０を構築する。このエンコーダ３５０はオートエンコーダ１７８を用いて訓練されたものと同じアルゴリズムを提供するものである。

ステップ５６２では、校正用データの組をセンサ個数だけ収集する。ここでは、校正用データのタイムステップ数はｍ＋１であるものとする。はなお、この校正のための校正用データは、校正対象音響処理システム１６２の対象とする領域内を２人の人物が歩き回り、そのときの各センサの出力を得ることで収集される。

続いてステップ５６４では、基準となるセンサ以外のセンサの各々について処理５６６を繰返す。基準となるセンサとは、構成で説明したとおり、そのローカル座標をグローバル座標として扱うことが決められたセンサである。他のセンサのローカル座標の座標値をこのグローバル座標の座標値に換算するためのパラメータを得ることが校正処理の目的である。

処理５６６では、処理対象のセンサと基準センサとの出力に含まれる時系列データについて、可能なペアの数だけステップ５８２を実行する。この処理は図１１の処理５２２で実行される処理と同様であり、処理対象のデータが訓練データではなく校正用データである点のみが異なっている。

ステップ５８２の処理の結果、可能なペアの全てについてエンコーダ３５０の出力が得られる。その中で最も高い値が得られたペアの時系列同士が、同じ人物に関する位置データを示すものとして対応付けられる。この例では、残るペアの時系列同士が、もう一人の人物に関する位置データを示すものとして自動的に対応付けられる。

ステップ５８６では、このようにして対応付けられた時系列同士を用い、校正対象となるセンサの種類に応じて、前記した式のいずれかを用いてその位置及び姿勢の校正パラメータが算出される。こうして算出された校正パラメータは、ステップ５８８で校正パラメータ記憶部１８６に記憶される。

処理５６６の処理を全ての対象センサに対して実行することで、基準となるセンサ以外の全てのセンサのローカル座標として得られた座標値を、グローバル座標の座標値に関するするための校正パラメータが校正パラメータ記憶部１８６に保存される。

この実施の形態ではさらに、上記したように校正パラメータを決定した後にも、各センサが出力するデータを用いてエンコーダ３５０のパラメータの更新を行う。コンピュータシステム２９０をそのための校正装置バックグラウンド更新システム１８４として機能させるプログラムの制御構造を図１３に示す。

図１３を参照して、このプログラムの実行が開始されると、ステップ６２０において初期処理を行う。ここでの初期処理は、オートエンコーダ１７８のパラメータをＲＡＭ３２０に読み込む処理、ＲＡＭ３２０に作業用の記憶領域を確保する処理などを含む。

続いてステップ６２２において、処理６２４を終了条件が成立するまで繰返す。この処理を終了するためには、操作者からの指示による場合、及び図示しない音源定位装置が動作を終了する場合等、任意の条件をトリガーにすることができる。

処理６２４では、まず、図示しない音源定位装置等がセンサから収集した更新用データを受信する。この更新用データの１組は、訓練データと同様のタイムステップ数からなるものとする。

続いてステップ６４２において、ステップ６４０で受信した全ての更新用データに対して処理６４４を実行する。処理６４４の処理は訓練の処理とほぼ同様である。

処理６４４では、更新用データに含まれる各組に対し、先頭のタイムステップのデータから順番に処理６６２を実行する。処理６６２の最初には、処理対象の組内の時系列データに対し、可能なペアの各々について処理６８２を実行する。処理６８２のステップ７００ではその組のそのペアの全更新用データをエンコーダ３５０に入力する。続くステップ７０２において、エンコーダ３５０の出力をサンプリングし、ＲＡＭ３２０に保持する。

ステップ６８０において処理６８２を全てのペアについて実行することで、処理対象の各組についてエンコーダ３５０の出力がサンプリングにより得られる。ステップ６８４ではこうしてサンプリングされた値の中で最も大きな値が得られたペアを選択し、そのペアの各タイムステップの測定データのうち、ステップ６６０により指定された順番の測定データからなるベクトルを連結したものをデコーダ３５２に入力する。続くステップ６８６で、デコーダ３５２の出力を算出する。ステップ６８８で、デコーダ３５２への入力とデコーダ３５２からの出力との誤差を用いて誤差逆伝播法により、パラメータ記憶部１８０に記憶されたオートエンコーダ１７８のパラメータを調整（更新）する。

そして所定の終了条件が成立するとこのプログラムは実行を終了する。このプログラムが実行されている間、オートエンコーダ１７８のパラメータはバックグラウンドで更新される。図示しない音源定位装置等はその動作にエンコーダ３５０は使用しないため、このようにオートエンコーダ１７８のパラメータを更新しても音源定位装置等の動作に影響は与えない。次回、オンライン校正装置１８２が校正処理を行うときのエンコーダ３５０の動作が変わってくることになる。

以上のようにこの実施の形態に係る校正システム１５０によれば、訓練データを自動的に生成した後、何ら人手を介さずに自動的にオートエンコーダ１７８（及びエンコーダ３５０）の訓練が行われる。また校正対象音響処理システム１６２が含むセンサの校正時にも、各センサの実際の位置及び姿勢を人手で設定することなく、単に所定領域内を２人の人物が歩いて校正用データを生成するだけで、各センサの校正パラメータを自動的に算出できる。またＲＧＢ－Ｄセンサ６０のような３Ｄセンサだけではなくマイクロホン・アレイのような２Ｄセンサと３Ｄセンサとを組合せた音響処理システムでも校正パラメータを自動的に算出できるという効果がある。

３ 実験
この第１の実施の形態に係るオートエンコーダ１７８による校正処理の性能をテストするために、以下に述べる実験を行った。実験では、非特許文献４で使用されたオープンデータセットを用いた。各カメラ測定値に、１５ｃｍの標準偏差のガウシアンノイズを加えた。マイクロホン・アレイの初期位置をランダムに設定し、そのマイクロホン・アレイに対するターゲット・アングルを、平均が０、標準偏差が２のガウシアンノイズにより生成した。

まず、オートエンコーダ１７８の訓練を行うために、５つの測定データの集合を準備した。各集合は１００タイムステップの時系列データの組を含んでいた。

この実験により訓練したエンコーダ３５０を用いて人物の同定処理を行った結果、異なる人物について、それらが異なるとコンピュータ３００が正しく判定した率は９８．３％であった。このコンピュータ３００を用いた校正を行った結果、得られた平均誤差はＲＧＢ－センサについては２２ｍｍ、マイクロホン・アレイについては５７ｍｍであった。

このようにこの第１の実施の形態によれば、手作業を介することなく、ＲＧＢ－センサとマイクロホン・アレイの双方について、高い精度で校正を行うことができる。校正に要するエンコーダ３５０についても同様に人手を介することなく訓練できる。この訓練は教師なし学習であり、手作業で訓練データを準備する必要はない。訓練データの準備と校正処理とのいずれの場合も、単に所定領域を所定の人数の人間が歩き回り、さらにマイクロホン・アレイが対象に含まれる場合には適宜発話することが求められるだけである。

２．第２の実施の形態
１ 構成
（１）全体構成
第２の実施の形態は、オンライン校正装置訓練システムに関する。図５に示すオンライン校正装置訓練システム１７４とは異なり、第２の実施の形態に係るオンライン校正装置訓練システムは、誤差逆伝播法によるオートエンコーダ１７８の訓練をミニバッチにより行う。

（２）エンコーダの訓練
図１４に、この第２の実施の形態においてオートエンコーダ１７８を訓練するためのプログラム（コンピュータシステム２９０をオンライン校正装置訓練システムとして機能させるプログラム）の制御構造をフローチャート形式で示す。図１４を参照して、このプログラムが図１１に示すものと異なるのは、図１１のステップ５０４に代えて、処理７２２を全ての訓練データに対して所定回数にわたり繰返すステップ７２０を含む点である。

処理７２２は、全訓練データを所定数のミニバッチに分割するステップ７４０と、これらミニバッチのうち、先頭のミニバッチから順番に処理７４６を実行するステップ７４２とを含む。

ステップ７４２は、対象のミニバッチ中の訓練データの各組の先頭から順番に処理７４６を実行することによりミニバッチ中の各訓練データにより得られる誤差を蓄積するステップ７６０と、ステップ７６０により蓄積された誤差を用いてオートエンコーダ１７８のパラメータを誤差逆伝播法により調整し処理７４６を終了するステップ７６４とを含む。

処理７４６は、処理７６２をミニバッチの訓練データの各組の先頭から順番に実行することでそのミニバッチに関して累積された誤差を算出するステップ７６０と、ステップ７６０により累積された誤差を用いた誤差逆伝播法によりオートエンコーダ１７８のパラメータを調整して処理７４６を終了するステップ７６４とを含む。

処理７６２は、処理対象の組の時系列データで可能な各ペアについてエンコーダ３５０の出力するスコアをサンプリングする処理７８２を実行するステップ７８０と、ステップ７８０でサンプリングされたスコアのうち、最も高い値に対応するペアに対応する時系列データの、ステップ７６０により指定される順番の（タイムステップの）測定データをデコーダ３５２に入力するステップ７８４と、ステップ７８４での入力に応答してデコーダ３５２の出力を算出するステップ７８６と、デコーダ３５２の出力と入力との誤差を累積して処理７６２を終了するステップ７８８とを含む。

処理７８２は、処理対象の組の処理対象の時系列データのペアの全位置データをエンコーダ３５０に入力するステップ８００と、ステップ８００の入力に対応するエンコーダ３５０の出力をサンプリングして記憶して、処理対象のペアに対する処理７８２を終了するステップ８０２とを含む。

２ 動作
（１）動作全体の流れ
この第２の実施の形態に係るオンライン校正装置訓練システムの、訓練時の動作の全体の流れが第１の実施の形態の動作と異なるのは、訓練データの各組単位ではなく、ミニバッチ単位で誤差逆伝播法を適用する点にある。その他の点ではこの第２の実施の形態に係るオンライン校正装置訓練システムと第１の実施の形態のオンライン校正装置訓練システム１７４とは同様の動作を行う。

（２）エンコーダの訓練
図１４を参照して、この第２の実施の形態に係るオンライン校正装置訓練システムは、ステップ５００で初期処理を行う。続いてステップ５０２で訓練データを訓練データ記憶部１７２（図３参照）から読出し、ＲＡＭ３２０（図７参照）にロードする。

続いて、コンピュータシステム２９０は、処理７２２を全ての訓練データに対して所定の回数繰返す。

処理７２２の各繰返しでは、全訓練データをミニバッチに分割し（ステップ７４０）、先頭のミニバッチから順番に処理７４６を実行する。この処理によりオートエンコーダ１７８のパラメータが調整される。

処理７４６では、処理対象のミニバッチに含まれる訓練データの各組の先頭から順番に処理７６２を実行する（ステップ７６０）ことで、そのミニバッチに関する誤差を蓄積する。

具体的には、処理７４６では、最初にその組を構成する時系列データに関し可能なペアの各々について、その組の時系列データを構成する全ての位置データをエンコーダ３５０に入力し（ステップ８００）、エンコーダ３５０に入力される時系列データのペアで表される人物が同一人物か否かを示すスコアをサンプリングする（ステップ８０２）。この処理を実行することで、その組を構成する時系列データの可能なペアの全てについてスコアが算出される。

続いてステップ７８４において、ステップ７６０で算出されたスコアのうち最もスコアが高かったものに対応する時系列のペアを選択し、ペアを構成する時系列データの各々から、ステップ７６０で指定される順番のタイムステップの位置データを選択しデコーダ３５２に入力する（ステップ７８４）。ステップ７８６でデコーダ３５２の出力を算出し、ステップ７８８でデコーダ３５２の入力と出力との間の誤差を算出し、蓄積する。

このように処理７６２を実行することで、ステップ７４２で指定された処理対象のミニバッチについて、誤差が蓄積される。この誤差を用いて、ステップ７６４で誤差逆伝播法によりオートエンコーダ１７８のパラメータを調整する。このとき、ミニバッチの蓄積誤差をクリアしておく。

このようにステップ７４２で順番に選択されたミニバッチの全てについてステップ７６４の処理までを実行することで、全訓練データを用いたオートエンコーダ１７８の訓練が１回終了する。この訓練をステップ７２０で指定された回数だけ繰返すことでオートエンコーダ１７８の訓練が終了する。このようにして得られたオートエンコーダ１７８のエンコーダ３５０及びデコーダ３５２の両者のパラメータを図５のパラメータ記憶部１８０に保存する。

こうして、この第２の実施の形態に係るオンライン校正装置訓練システムの訓練が終了するが、このオンライン校正装置訓練システムによっても第１の実施の形態に係るオンライン校正装置１８２と同様にセンサの校正を実行できる。

今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。

５０ センサシステム
６０、６２ ＲＧＢ－Ｄセンサ
６４ マイクロホン・アレイ
６６、６８ 対象人物
８０、８２ ローカル座標
１００ グラフ
１２０、１２２、１２４、１２６ エッジ
１５０ 校正システム
１６０ 訓練データ生成部
１６２ 校正対象音響処理システム
１７０ 訓練データ収集装置
１７２ 訓練データ記憶部
１７４ オンライン校正装置訓練システム
１７６、１７８ オートエンコーダ
１８０ パラメータ記憶部
１８２ オンライン校正装置
１８４ 校正装置バックグラウンド更新システム
１８６ 校正パラメータ記憶部
２９０ コンピュータシステム
３００ コンピュータ
３０２ モニタ
３０４ ネットワークＩ／Ｆ
３０６ キーボード
３０８ マウス
３１０ ＤＶＤドライブ
３１２ ＵＳＢメモリポート
３１４ ハードディスク
３１６ ＣPＵ
３１７ ＧPＵ
３１８ ＲＯＭ
３２０ ＲＡＭ
３２２ ＤＶＤ
３２６ バス
３２８ ネットワーク
３３０ ＵＳＢメモリ
３５０ エンコーダ
３５２、４６０ デコーダ
３５４ 確率分布
３９０、３９２、３９４、４２０、４２２、４２４、４５０、４５２、４５４ 組合せ
４００ メッセージ伝達ニューラル・ネットワーク
４１０、４１２ ニューラル・ネットワーク
４４０、４４２、４４４ 値
４７０、４７２、４７４ スコア

Claims (10)

1. 各々が複数の移動体の位置を離散的な時系列で検出し出力可能な、第１のセンサ及び第２のセンサの位置及び姿勢を校正するための校正装置であって、
   所定時間にわたり前記第１のセンサと前記第２のセンサとによりそれぞれ測定された、所定数の移動体の位置に関する第１の時系列データと第２の時系列データとを取得する取得部と、
   前記第１の時系列データ及び前記第２の時系列データを入力として、前記第１の時系列データにより表される第１の移動体と前記第２の時系列データにより表される第２の移動体との組合せごとに、前記第１の時系列データ内の前記第１の移動体の位置の時系列データと前記第２の時系列データ内の前記第２の移動体の位置の時系列データとを入力として受け、当該組合せを形成する前記第１の移動体及び前記第２の移動体が同一の移動体であるか否かを示すスコアを出力するように予め訓練済のニューラル・ネットワークからなる移動体同定手段と、
   前記移動体同定手段の出力に基づいて、前記第１の時系列データにより表される各移動体と前記第２の時系列データにより表される各移動体との対応関係を推定し、当該対応関係を用い、各移動体に関する前記第１のセンサと前記第２のセンサとの出力誤差が所定の条件を充足するように、前記第１のセンサに対する前記第２のセンサの位置及び姿勢を校正するセンサ校正手段とを含む、校正装置。
2. 前記センサ校正手段は、前記出力誤差の和を最小化するように、前記第２のセンサの位置及び姿勢を校正する最小化手段を含む、請求項１に記載の校正装置。
3. さらに、前記第１の時系列データ及び前記第２の時系列データを用いて、前記移動体同定手段の訓練を前記センサ校正手段の動作と並行して行う並行訓練手段を含む、請求項１又は請求項２に記載の校正装置。
4. 前記並行訓練手段は、
   前記移動体同定手段の出力と、前記第１の時系列データと前記第２の時系列データの各々の同一タイムステップの位置データとを入力とするデコーダと、
   前記第１の時系列データと前記第２の時系列データの所定範囲にわたり前記デコーダの出力が前記デコーダに入力される前記同一タイムステップの位置データに近くなるように、前記移動体同定手段と前記デコーダとのパラメータを調整することで前記移動体同定手段の訓練を行う調整手段とを含む、請求項３に記載の校正装置。
5. 前記調整手段は、前記所定時間の全体にわたる前記第１の時系列データと前記第２の時系列データを用いて、前記デコーダの出力と前記デコーダに入力される前記同一タイムステップの位置データとの誤差を用いた誤差逆伝播法により前記移動体同定手段と前記デコーダとのパラメータを調整することで前記移動体同定手段の訓練を行う誤差逆伝播手段を含む、請求項４に記載の校正装置。
6. 前記並行訓練手段は、前記第１の時系列データと前記第２の時系列データとが与えられるごとに前記移動体同定手段の訓練を行う、請求項３から請求項５のいずれか１項に記載の校正装置。
7. 複数の移動体の各々に対して所定の時間にわたり所定のタイムステップで得られた位置データの時系列を取得する時系列データ取得部と、
   前記時系列データ取得部により取得された前記位置データの時系列から、指定された順番の、同じ時刻に取得された位置データを抽出する位置データ抽出手段と、
   前記所定のタイムステップの数により定まる入力と、少なくとも一つの出力とを持つ第１のニューラル・ネットワークと、
   いずれも前記時系列を構成する前記位置データにより定まる同じ数の入力及び出力を有する第２のニューラル・ネットワークと、
   前記複数の移動体から２つの移動体の可能な組合せを全て抽出し、前記位置データの時系列のうち、抽出された当該組合せを構成する移動体の位置データの時系列を前記第１のニューラル・ネットワークへの入力として前記第１のニューラル・ネットワークに与える入力手段と、
   前記入力に応答して前記第１のニューラル・ネットワークが出力する値をサンプリングする第１のサンプリング手段と、
   前記可能な前記組合せの各々に対して前記第１のサンプリング手段によりサンプリングされた値のうち、最も大きな値が得られた組合せを選択する選択手段と、
   前記位置データ抽出手段により抽出された位置データのうちで、前記選択手段により選択された組合せに対応する２つの移動体の位置データを前記第２のニューラル・ネットワークに入力し、当該第２のニューラル・ネットワークの出力をサンプリングする第２のサンプリング手段と、
   前記第２のニューラル・ネットワークの入力に与えられた２つの移動体の位置データと、前記第２のサンプリング手段が前記第２のニューラル・ネットワークの出力からサンプリングした値との間の誤差が小さくなるように、誤差逆伝播法により前記第１のニューラル・ネットワーク及び前記第２のニューラル・ネットワークの各々のパラメータの調整を行うパラメータ調整手段と、
   前記位置データ抽出手段、前記第１のニューラル・ネットワーク、前記入力手段、前記第１のサンプリング手段、前記選択手段、前記第２のサンプリング手段、及び前記パラメータ調整手段を、前記位置データの時系列の先頭から順番に位置データを指定して前記位置データの時系列が終了するまで繰返して動作させる第１の繰返実行手段と、
   前記第１の繰返実行手段による繰返しを、所定の終了条件が成立するまで繰返し実行する第２の繰返実行手段と、
   前記第２の繰返実行手段による繰返が終了した時点での前記第１のニューラル・ネットワークのパラメータを所定の記憶装置に保存するパラメータ保存手段とを含む、訓練装置。
8. 前記パラメータ調整手段は、前記第２のニューラル・ネットワークの入力に与えられた２つの移動体の位置データと、前記第２のサンプリング手段が前記第２のニューラル・ネットワークの出力からサンプリングした値との間の誤差を所定の回数だけ蓄積する誤差蓄積手段と、
   前記第１のサンプリング手段及び前記第２のサンプリング手段が前記所定の回数だけ動作した後に、前記誤差蓄積手段により蓄積された前記誤差が小さくなるように、誤差逆伝播法により前記第１のニューラル・ネットワーク及び前記第２のニューラル・ネットワークの各々のパラメータの調整をバッチ処理により行うバッチ調整手段とを含む、請求項７に記載の訓練装置。
9. コンピュータを、請求項１から請求項６のいずれか１項に記載の校正装置として機能させる、コンピュータ・プログラム。
10. コンピュータを、請求項７又は請求項８に記載の訓練装置として機能させる、コンピュータ・プログラム。
    

Images