JP6639734B2 - マップデータ生成装置および方法 - Google Patents

Description

本発明は、３次元空間のマップデータを作成する技術に関する。

２次元の画像データから３次元のマップデータを作成する場合、それぞれ異なる位置から撮像され、撮像範囲の一部分が重なった画像データと、当該画像データ中の対象物までの距離データとからなる計測データ同士を合成して３次元のマップデータを作成することが一般的である。例えば、特許文献１では、２次元カメラと深度カメラから計測データ取得し、既存のマップデータと新しい計測データを対応づけるマッピング処理を繰り返すことで、マップデータを作成する技術が開示されている。

このようにマップデータを新たに取得した計測データで逐次更新して広範囲なマップデータを作成する場合、マッピングを更新していく途中で、マップデータの更新が適切に行われないことがある。例えば、計測中の空間を突然人が横切った場合や、計測データを取得する計測センサの移動する場所や速さが適切ではなくなった場合等に、マップデータの更新が適切に行われない。その結果、マップデータの更新が適切に行われないまま、その後も新たな計測データの情報を繋ぎ合せてマップを更新していくと、誤差が蓄積されてゆき、最終的に完成するマップデータの精度が低下することが一般的である。

国際公開第２０１２／１０６０６９号

特許文献１等に示された従来のマップデータの作成の仕方では、マップデータの作成中に更新が適切に行われなかった場合に、最初からマップデータの作成をやり直す必要がある。本発明はマップデータの作成途中で、誤差が発生した場合においても、最初からやり直すことなく、途中からマップデータの作成をやり直すことで、マップデータの作成を効率よく行うことを目的とする。

この発明に係るマップデータ生成装置は、連続的に撮像され、他の画像データの少なくとも一つと一部撮像範囲が重なる複数の２次元の画像データと、画像データ中の対象物までの距離データとを計測データとして取得する計測データ取得部１８と、取得された計測データと、計測データを時系列に対応づけてデータベースに記憶する為の時刻データとを対応付けて記憶する計測データデータベースと、複数の計測データに基づいて作成された３次元のマップデータを計測データが取得される度に更新するマップデータ生成処理部と、順次更新される毎のマップデータと、マップデータが更新されたときに利用された計測データに対応する時刻データとを対応付けて記憶するマップデータデータベースと、所望の指定時刻の入力を受け付ける入力部と、入力部で受け付けた指定時刻を時刻データとして、マップデータデータベースに照合して指定時刻に対応するマップデータを特定する編集処理部とを備え、マップデータ生成処理部は、入力部で指定時刻が受け付けられた場合に、入力部で指定時刻が受け付けられた後に新たに取得された計測データを用いて、編集処理部により特定されたマップデータの更新をやり直すことを特徴とする。

本発明により、３次元のマップデータの作成を効率的に行うことができる。

本発明の実施の形態１によるマップデータ生成装置を示すブロック図である。 利用者が実施の形態１のマップデータ生成装置により計測対象をスキャンして３次元マップデータを作成している様子を示す平面図である。 本発明の実施の形態１のマップデータ生成処理部の内部処理を示すブロック図である。 図１のマップ生成装置の動作を示すフローチャートである。 マップ生成処理装置の構成を示すハードウェア構成図である。 本発明の実施の形態２によるマップデータ生成装置を示すブロック図である。 本発明の実施の形態２のマップデータ生成中の表示画面を示す図である。 本発明の実施の形態２によるマップデータ生成一時中断時の表示画面を示す図である。 本発明の実施の形態３によるマップデータ生成装置を示すブロック図である。 本発明の実施の形態３によるマップデータ生成一時中断時の表示画面を示すブロック図である。 本発明の実施の形態４によるマップデータ生成装置を示すブロック図である。 図１１のマップデータ生成処理部の動作を示すフローチャートである。 本発明の実施の形態４によるマップデータ生成中の表示画面を示す図である。 本発明の実施の形態４によるマップデータ生成一時中断時の表示画面を示す図である。 本発明の実施の形態４によるマップデータ生成処理装置の動作を示すフローチャートである。 本発明の実施の形態４によるマップデータ生成中の表示画面を示す図である。 本発明の実施の形態４によるマップデータ生成一時中断時の表示画面を示す図である。 本発明の実施の形態５によるマップデータ生成一時中断時の表示画面を示す図である。 本発明の実施の形態５によるマップデータ生成処理装置の動作を示すフローチャートである。 本発明の実施の形態５によるマップデータ生成一時中断時の表示画面を示す図である。 本発明の実施の形態６によるマップデータ生成中の表示画面を示す図である。 本発明の実施の形態７によるマップデータ生成処理装置の動作を示すフローチャートである。 図２２のステップＳ１４の詳細なフローを示す図である。 本発明の実施の形態７によるマップデータ生成一時中断時の表示画面を示す図である。 本発明の実施の形態７によるマップデータ生成処理装置の動作を示すフローチャートである。 本発明の実施の形態７によるマップデータ生成中の表示画面を示す図である。

以下、この発明を実施するための形態について、図面を参照して説明する。
実施の形態１．
図１は、本発明の実施の形態１によるマップデータ生成装置１を含む構成を示すブロック図である。図１は、マップデータ生成装置１と、データ入力装置２と、入力装置３と、出力装置４とからなる。

データ入力装置２は、３次元のマップデータを作成する為の、計測対象の計測データと、その計測データがそれぞれ取得された位置である自己位置データを取得する。取得した計測データを計測データ取得部１８に送信する。ここで、計測データは、画像データや、それぞれの画像データに対応する画像データ中の対象物までの距離の距離データ等、複数のデータからなる。画像データは、３次元のマップデータ作成対象を撮影したＲＧＢ画像等の２次元の画像データをいう。この画像データは連続的に撮像され、他の画像データの少なくとも一つと一部撮像範囲が重なる。画像データと対応する距離データは連続的に取得される。この連続的に取得される計測データのひとつひとつをフレームと呼ぶ。

距離データは、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式、またはプロジェクタとカメラを用いたシステムによるパターン投光を利用したアクティブステレオ方式など、種々の方式で得たものである。自己位置データは、例えば並進・回転の６自由度に対応したデータである。ＧＰＳデータなどを自己位置データとして用いても良い。

データ入力装置２は、利用者が手で保持して歩きながら計測機器で計測データや自己位置データを取得するような装置でもよいし、台車等に設置した計測機器で、台車で動かすことによって計測データや自己位置データを取得するような装置でもよく、装置の形は限定されない。また、自己位置データとしては、マップデータ生成処理部１１にてマップデータを作成する際に内部的に生成される自己位置推定データを用いても良い。

入力装置３は、キーボードやマウスのような入力装置であってよいし、タッチパネルのように画面を押すことで入力を受け付けるものでもよく、形式は限定されない。入力装置がマウスとなる場合は、後述する表示画面を通じてマウスで入力する。また、出力装置とは、ディスプレイ等をいい、作成するマップデータや作成中の計測データ等を表示するもので、画面表示できるものならなんでもよく限定されない。

図２は、利用者が実施の形態１のマップデータ生成装置により計測対象をスキャンして空間のマップデータを作成する様子を示す平面図である。図２に示すように、マップデータ生成処理装置１としてタブレットＰＣを用い、データ入力装置２をマップデータ生成処理装置１に固定した場合、利用者はマップデータ生成装置を手で保持して、移動したり回転したりすることができる。

すなわち、マップデータ生成装置の位置と向きは、並進・回転の６自由度で表すことができる。図２では、時刻ｔ１からｔ２、ｔ２からｔ３での利用者の位置を示す。利用者は、このように時刻ｔ１からｔ３にかけて移動する。利用者は、データ入力装置２から、前の時刻の計測データと比べて一部重なる領域があるように、それぞれの時刻の計測データを取得する。

マップデータ生成処理装置１は、マップデータ生成処理部１１、マップデータＤＢ１２、計測データＤＢ１３、編集処理部１４、計測データ取得部１８、入力部１９、を有している。計測データ取得部１８は、データ入力装置２で取得された計測データや自己位置データを取得して、マップデータ生成処理部１１に送る。入力部１９は入力装置から入力された信号を取得して編集処理部１４へ送る。計測データＤＢ１３は取得された計測データと時刻とを対応付けて記憶する。ここで、マップデータＤＢ１２、計測データＤＢ１３とはマップデータデータベース、計測データデータベースをいう。

マップデータ生成処理部１１は、取得した計測データから、計測対象の特徴を抽出し、その後抽出した特徴を用いてマッピング処理を行うことで、マップデータの作成及び更新を行う。マップデータＤＢ１２は、作成及び更新されたマップデータを、マップデータが作成及び更新されたときに利用される計測データに対応する時刻と対応付けて記憶する。このように時系列に対応づけてデータベースに記憶する為の時刻を今後、時刻データという。

編集処理部１４は、入力装置３から入力された制御信号に基づいて、マップデータの作成及び更新の中断や再開等の編集処理を行う。詳細については後述する。ここで時刻データとは計測データとマップデータを対応づけるもので、どのマップデータがどの計測データで更新されているかを特定する為の情報である。時刻データの例は、計測データを取得した時刻、マップデータを更新した時刻、画像データを撮像した時刻等であり、計測データと、その計測データにより作成されたマップデータを対応付けるものであれば限定されない。時刻データと計測データが対応付けて計測データデータベースに記憶される。つまり画像データと距離データと時刻データが対応付けて記憶される。入力部１９は入力装置３から受け付けた入力を取得する。

図３は、マップデータ生成処理部１１の処理を細分化したブロック図である。マップデータ生成処理部１１はさらに、特徴抽出部１１１、マッピング処理部１１２、データ格納処理部１１３から構成される。特徴抽出部１１１は、画像データから特徴の抽出を行う。特徴とは、形状的特徴やプリミティブ等をいう。例えば、形状的特徴は、稜線等の直線、頂点等の点、直線の方向、面の法線などをいう。

また、プリミティブは、例えば円、四角および球などをいう。特徴抽出方法として、頂点の抽出には、例えば曲率算出法を用いることができる。また、稜線の抽出には、例えばハフ変換法を用いることができる。さらに、プリミティブの抽出には、例えば、３次元モデルを利用したモデルフィッティング法を用いることができる。このように、一般的な方法で形状的特徴やプリミティブは抽出できる。

マッピング処理を行うマッピング処理部１１２は、抽出した特徴を用いて、撮影位置が異なり撮影範囲の一部が重なっている計測データを位置合わせして合成し、マップデータの作成および更新を行う。マッピング処理部１１２は、最初に計測データと撮像位置が異なり撮像範囲の一部が重なっている計測データを合成して、マップデータを作成する。

次にマッピング処理部１１２は、取得される計測データと取得される一つ前の計測データを合成して、作成されたマップデータを更新して順次マップデータを更新していく。順次更新していくことで、マップデータの範囲は広がっていき、広範囲の空間のマップデータを生成することができる。マッピング処理部は、このように少なくとも２つの計測データを合成し、それぞれの特徴を３次元空間上で対応付ける。

ここで、抽出した特徴を用いるとは、ふたつの計測データから共通した特徴を見つけることである。そして、マップデータ生成処理部１１は、３次元空間上で計測データの特徴が重なるように座標変換する。例えば、マップデータ生成処理部１１は、新しく得たフレームの計測データよりひとつ前の計測データを基準として、移動後の計測データ中の特徴が、移動前の計測データの特徴と重なるように、移動後の計測データを座標変換する。

ここの際、データ入力装置２の移動前に対する移動後の位置姿勢関係（自己位置データ）が得られる。自己位置データは、点や線、面などの特徴の少なくとも１種類を用いて変換行列を計算することで得ることができる。なお、マッピングに使用する計測データは計測データＤＢ１３から取得することができる。

また、データ格納処理部１１３は、データ入力装置２から得た計測データと、生成したマップデータとを、計測データＤＢ１３とマップデータＤＢ１２とに同一時刻データを付与して（同期して）新規に格納する。時刻データは、時系列的に計測データやマップデータと対応付けて記憶すればよく、計測データが取得された時刻を記憶して対応付けてもよいし、画像データが撮像された時刻を記憶して対応付けてもよい。

また、マップデータ生成処理部１１は、編集処理部１４から入力されるマップデータ生成に関する制御信号に基づき、マップデータ生成中断、再生成開始、生成終了処理を行う。詳細は後の処理の流れの説明にて述べる。さらに、マップデータ生成処理部１１は、マップデータ生成処理を行うごとに、最新のマップデータおよび計測データを、出力装置４に出力する。計測データを表示させてもよいし、計測データとマップデータの両方を表示させてもよく限定されない。

マップデータＤＢ１２は、最新のマップデータを含む、過去に作成・更新したマップデータを、時刻データとともに格納するデータベースである。また、計測データＤＢ１３は、データ入力装置２によって取得した計測データを、時刻データとともに格納するデータベースである。

ここで、編集処理部１４の説明前に、入力装置３と出力装置４について述べる。入力装置３は、マップデータ生成の開始、中断、生成を途中からやり直す時刻の指定、マップデータ再生成開始、生成終了など、マップデータ生成に関わる制御データを入力する。例えば、ＣＵＩ（Ｃｈａｒａｃｔｅｒ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などの入力インタフェースを通じてコマンドや文字列を入力する方法が挙げられる。また、ＣＵＩには限定されず、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を通じて入力してもよい。なお、ＧＵＩでの入力についての詳細は後述する。また、入力装置３で入力された制御データは入力部１９で受け付けられる。

ここで、入力されるマップデータの生成をやり直したい時刻を指定時刻という。受け付けた指定時刻で後述する仕組みによりマップデータを更新する場合は、指定時刻を受け付けて更に再生ボタン等のボタンがおされてから、つまりマップデータの更新要求を受け付けた場合に、マップデータの生成をやり直すようにしてもよいし、指定時刻の受付をトリガーとしてマップデータの生成をやり直すようにしてもよい。ここでマップデータの生成をやり直すとは、マップデータの更新を途中の地点からやり直すことをいう。マップデータは更新されながら最終的なマップデータとなるが、このマップデータの作成を途中からやり直したい場合に、途中の地点に戻ってそこから、マップデータを更新し直して最終的なマップデータを完成させる。

出力装置４は、利用者がマップデータ生成に関わる制御データを入力するために必要な情報を出力する端末である。例えばタブレットＰＣであれば、入力装置３および出力装置４としてタッチパネル一体型のディスプレイを用いることができるが、この限りではない。

編集処理部１４は、入力装置３から入力された制御信号に基づいて、マップデータの編集処理を行う。開始、中断、生成終了の制御信号の場合は、編集処理部１４は、マップデータ生成処理部１１に制御信号を送り、それぞれ開始、中断、生成終了の処理を実行させる。編集処理部１４は、入力装置３から、マップデータのやり直し時刻である指定時刻が入力された場合は、その指定時刻を時刻データとして、対応する計測データを計測データＤＢ１３から特定し、対応するマップデータをマップデータＤＢ１２から特定する。図示されない描画処理部は、特定されたマップデータと計測データを出力装置４に出力する。

これらは、利用者が過去のやり直ししたい時点に戻るための手掛かりとして出力されるものである。このとき、描画処理部は、計測データか計測データとマップデータの両方を表示してもかまわない。例えば、図２において、現状の時刻が時刻ｔ３で、指定時刻として時刻ｔ１が指定されたとすると、出力装置４には指定時刻である時刻ｔ１の時点の計測データが出力される。その計測データの情報をもとに、時刻ｔ１の位置姿勢に近くなるように利用者がデータ入力装置２を移動する。

マップデータ再生成開始の信号を入力装置３から得た場合、それ以前に指定時刻の入力がなかった場合は、マップデータ生成処理部１１はマップデータ生成を再開する。指定時刻の入力があった場合は、マップデータＤＢ１２および計測データＤＢ１３の当該指定時刻のマップデータおよび計測データを最新時刻としてそれ以降のデータを消去し、マップデータ生成処理部１１はマップデータ生成を再開する。ただし指定された指定時刻以降のデータは使用せず残しておいてもかまわない。

図４は、図１のマップ生成装置の動作を示すフローチャートである。本実施の形態のマップデータ生成装置に関する全体の処理の流れを、図４のフローチャートを用いて説明する。処理を開始すると、マップデータ生成処理装置１の計測データ取得部１８は、データ入力装置２から計測データを取得し（ステップＳ１）、計測データから特徴を抽出する（ステップＳ２）。次に、計測データと、連続する他の計測データの特徴を重ねあわせるマッピング処理を行う（ステップＳ３）。マッピング処理を行うことで３次元のマップデータを作成または更新する。複数の計測データに基づいて作成された３次元のマップデータを計測データが取得される度に更新する（ステップＳ４）。

マッピング処理時には、マップデータ生成処理部１１は、計測データＤＢ１３から取得した最新の計測データと、データ入力装置２から取得した計測データとを合成してマップデータを作成もしくは更新する。合成する計測データの取得はこれに限定されず、計測データＤＢ１３から取得されたもの同士で合成してもよい。

そして、マップデータ生成処理装置１１は、最新の計測データと作成または更新したマップデータを、同一の時刻データを付与してそれぞれマップデータＤＢ１２と計測データＤＢ１３に格納し、出力装置４に最新のマップデータを表示する（ステップＳ５）。マップデータの表示は必須ではなく、表示しなくともよい。その後、編集処理部１４が入力装置３を通じてマップデータ生成中断の入力を受け付けているかを確認する（ステップＳ６）。マップデータ生成中断の入力がない場合は、マップデータ生成終了の入力を編集処理部１４が受け付けているかを確認し（ステップＳ１３）、なければ再び新しい計測データの取得を行い（ステップＳ１）、以後同じ処理を繰り返す。

入力部１９が入力装置３からマップデータ生成中断の入力を受け付けた場合（ステップＳ６）は、編集処理部１４は、マップデータ生成処理を中断する制御信号をマップデータ生成処理部１１に送り、マップデータ生成処理部１１は現在進行している計測データによるマップデータ生成・更新処理を終わらせた後、新たなマップデータ更新を停止し、入力装置３からの新たな入力を待つ（ステップＳ７）。入力部１９がマップデータ生成をやり直す時刻（指定時刻）の入力を入力装置３から受け付けた場合（ステップＳ８）描画処理部は、入力された指定時刻を時刻データとして計測データＤＢ１３から対応する計測データを取得し、出力装置４に出力する（ステップＳ９）。

入力部１９が、入力装置３から再生成開始の入力を受け付けるまで（ステップＳ１１）、編集処理部１４は、指定時刻の入力受付（ステップＳ８）があれば計測データの出力装置４への出力（ステップＳ９）を繰り返す。このときデータ入力装置２は、出力された指定時刻の計測データを確認した利用者により、それを手掛かりに、次に新しく取得される計測データが、指定時刻の計測データに一部重ると推定される位置まで、入力装置３は移動される（ステップＳ１０）。

再生成開始の入力を入力部１９が受け付けると（ステップＳ１１）、マップデータ生成処理部１１は指定時刻を時刻データとしてマップデータＤＢ１２と計測データＤＢ１３に照合して対応するマップデータおよび計測データを特定し、特定されたマップデータおよび計測データをマップデータＤＢ１２および計測データＤＢ１３内で最新のデータとして設定し、その後、当該時刻以降のマップデータＤＢ１２および計測データＤＢ１３内のマップデータと計測データを消去するなどの編集処理を実行する（ステップＳ１２）。

その後、入力部１９がマップデータ生成終了の入力を入力装置３から受け付けない場合、ステップＳ１に戻り、マップデータ生成処理部１１は、入力部１９で指定時刻が受け付けられた後に新たに取得された計測データを用いて、編集処理部１４により特定されたマップデータの作成をやり直す。

入力部１９で指定時刻が受け付けられた場合に、入力装置３からマップデータ生成処理の終了を指示する入力を入力部１９が受付けると、マップデータ生成処理部１１はマップデータ生成処理を終了する（ステップＳ１３）。ここでは、指定時刻の入力とマップデータ更新要求である再生成開始の入力をトリガーとしてマップデータの更新処理をしているが、これに限定されるものではなく、指定時刻の入力をトリガーとしてマップデータを更新するようにしてもよい。

このようなマップデータ生成装置によれば、利用者がマップデータ生成途中にマップデータの更新に誤差の発生等を確認して更新が適切に行われていないと判断した場合、過去（誤差が発生する前）の時刻のマップデータを再び取得し、その時点から新たに計測データを合成し、マップデータを再生成できる。そのことにより、最初からマップデータ生成をやり直したり、マップデータ生成後にマップデータの編集を行ったりすることなく、利用者のマップデータ生成作業を効率化することができる。

なお、実施の形態１のマップデータ生成装置におけるマップデータ生成処理開始は、入力装置３からマップデータ生成開始の制御信号が入力されてから開始しても、マップデータ生成装置でシステムを起動してからすぐにマップデータ生成を開始しても良い。また、マッピング処理のステップＳ３は、特徴の抽出ステップＳ２にて十分な特徴が取得されなかった場合（閾値を設定し、ある閾値に満たない場合）に、その後の処理は実施せず、ステップＳ１に再び戻っても良い。

マップデータ生成中における最新マップデータ（および計測データ）の出力装置４への出力はなくてもよく、代わりにマップデータ生成中断時において出力装置４に最新のマップデータを表示しても良い。すなわち、利用者に対して、マップデータ生成中に出力装置４へ常に最新マップデータをフィードバックせず、マップデータ生成を一時中断した場合にのみフィードバックするようにしてもよい。

さらに、計測データ取得部１８は、予め取得されていた計測データ・自己位置データを読み込んで、マップデータ生成処理部１１に入力してもいい。この場合、計測データや自己位置データが記憶される場所はクラウド上でもよく場所は限定されない。ステップＳ８において指定時刻が入力された後、データ入力装置２を移動させて新たな計測データを取得するとは、記憶されてある指定時刻の計測データとつながる他の計測データからマップデータを更新するものも含む概念である。

図５はマップ生成処理装置１の構成を示すハードウェア構成図である。本マップ生成処理装置は入力インタフェース２１、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２２、記憶装置２３、出力インタフェース２４とからなる。インタフェースは以降ＩＦと表記する。マップデータＤＢ１２や計測データＤＢ１３等のデータは記憶装置２３によって実現され、マップデータ生成処理部１１、編集処理部１４等の機能は、ＣＰＵ２２がプログラムを実行することによって実現される。計測データ取得部１８や入力部１９は入力ＩＦ、描画処理部は、出力ＩＦからなる。

なお、ＩＦはケーブル用ポートなどの有線ポート、ＵＳＢポート、直接接続のポート、無線ネットワークのポートである。記憶装置２３はＨＤＤやＳＳＤ、フラッシュメモリなどの記憶媒体である。また、マップデータ生成装置１を構成するコンピュータとしては、例えばタブレットＰＣ（板状パーソナルコンピュータ）やノートＰＣを用いることができる。

実施の形態２．
本実施の形態ではＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を通じて、入力する方法についての方法を記載する。実施の形態１との違いは、ＧＵＩを描画する描画処理部１５を有する部分である。それ以外のマップデータの作成および更新処理については実施の形態１と変わらない。

実施の形態１のマップデータ生成装置１では、利用者がマップデータ生成をやり直すために、指定時刻を指定する。そして、その時点の計測データやマップデータを確認して、やり直す時点として適切かどうか判断し、適切でなければ別の指定時刻を入力し、その時点からマップデータを再生成することを可能にする。しかし、利用者は適切な指定時刻を見つけるまで繰り返し指定時刻を入力する必要があり、入力操作が煩雑である。

この点に鑑み、本実施の形態では、指定時刻の入力をはじめとするマップデータ生成の制御を、ＧＵＩを用いて入力できるようにすることで、利用者が簡便に入力することを可能にする。その具体的方法について、以下に説明する。

図６は、本発明の実施の形態２によるマップデータ生成処理装置１Ｂを示すブロック図である。マップデータ生成処理装置１Ｂは、マップデータ生成処理装置１（図１）の構成に加えて、さらに入力イベント処理部１６を有している。

描画処理部１５は、マップデータ生成状況と、マップデータを編集するための入力手段、その他マップデータ生成を制御するために必要な入力手段をグラフィカルに画面として描画し、出力装置４に出力する処理を行う。描画処理部１５は、画面を構成する画像部品を計算機上の論理座標系上に配置する。画像部品は例えば、ボタン、シークバーなどの操作インタフェースを示す画像部品や、計測データ、マップデータなどである。

操作インタフェースを示す画像部品は、描画処理部１５内に予め格納されている。そして、描画処理部１５は、一般的に普及している画像表示システムの座標変換方法によって物理座標系に座標変換し、ディスプレイなどの出力装置４に出力する。描画処理は、マップデータ生成処理部１１や編集処理部１４からの描画更新命令に従って行われる。描画内容については後述する。

入力イベント処置部１６は、入力部１９を介し出力装置４上の画像部品に対して入力された入力装置３からの利用者の操作を、操作イベントとして区別し、それぞれに割りつけられた制御信号を編集処理部１４に送る。操作イベントの区別は、入力された物理座標系上の座標を論理座標系上の座標に変換することで操作された画像部品を特定し、その操作内容に応じた操作イベントを一般的に知られた方法で判別することにより行われる。そして、入力イベント処理部１６は、操作イベントに対応した制御信号を編集処理部１４に送る。なお、本実施の形態では、操作イベントおよび制御信号の情報は計算機上に記憶されている。

実施の形態２の編集処理部１４は、入力イベント処理部１６から送られた制御信号を元に、実施の形態１と同様の方法でマップデータ生成処理部１１のマップデータ生成制御を行う。また、制御信号によっては、描画処理部１５に対して描画更新命令を送る。

実施の形態２のマップデータ生成処理部１１は、マップデータを生成した際に、最新の計測データとマップデータを描画処理部１５に送る。また、指定時刻が入力された場合にも、指定時刻に対応する計測データやマップデータを画面に表示することで、利用者がマップデータの更新をやり直ししたい場所を、計測データやマップデータを確認して決めることができる。

ここで計測データとは、計測データ中の画像データをいい、利用者は画像データを確認することで、利用者がどの時刻にどの時点にいたかを判断することができる。以下、マップデータ生成処理装置１Ｂの処理の流れを、出力装置４に表示される画面例を用いて説明する。なお、マップデータ生成処理の内容については実施の形態１と同様である。

図７は、マップデータ生成中に、出力装置４にて描画される画面例である。描画部品は、シークバー４１、マップデータ描画領域４２、計測データ描画領域４３、マップデータ生成の制御を行うための制御ボタン群４４等がある。シークバー４１は、スライダ４１１、バー４１２、マップデータ生成開始時刻４１３、マップデータ生成経過時刻４１４、指定時刻４１５の描画部品から構成されている。バー４１２が計測の時間軸を表している。バー４１２の下部には時刻情報が表示される。

この例では、左端に計測開始時刻４１３、右端にマップデータ生成開始から経過したトータル時間であるマップデータ生成経過時刻、バーが指し示す時刻である指定時刻４１５が表示されている。マップデータ生成開始時刻は「０：００」である。この例では、バー４１２の横幅は固定であり、マップデータ生成が継続される限り、マップデータ生成経過時刻４１４は一定時刻ごと、例えば１秒ごとに更新され、バー４１２の単位時間当たりの長さは変動してゆく。

スライダ４１１は、バー４１２上に表示されるものであり、左右に移動する。ただし、マップデータ生成中は、スライダ４１１は、ある時刻（例えばマップデータ生成経過時刻４１４）の位置に固定表示されている。または、非表示になっていても良い。スライダが左右に移動されることにより、指定時刻が受付けられ入力されるが、これに限定される訳ではなく、直接指定時刻を指定してもよいし、指定のされ方はなんでもよい。

マップデータ描画領域４２には、マップデータ生成中において最新のマップデータ４２１ａが表示される。マップデータ４２１ａは、例えば３次元座標系のある座標から俯瞰した形で表示される。計測データ描画領域４３には、マップデータ４２１を作成するために利用した最新の計測データ４３１（例えばＲＧＢ画像）を表示する。

これらマップデータ描画領域４２、計測データ描画領域４３は、マップデータ生成処理部１１がマップデータを新たに生成した後のタイミングで、当該マップデータと計測データ、およびそれらの描画更新命令がマップデータ生成処理部１１から描画処理部１５に送られ、描画処理部１５が描画を更新する。

マップデータ４２１は、描画処理部１５がマップデータを３次元の論理座標系に配置し、ある３次元座標からの視点画像を生成したものである。マップデータ生成が進むにつれてマップデータ４２１の描画がマップデータ描画領域４２に収まらなくなったときは、描画処理部１５が３次元座標系の縮尺を調整するなどマップデータ４２１を縮小または拡大して描画する。

制御ボタン群４４としては、マップデータの生成開始、中断、再生成開始、終了を表す制御ボタンが表示される。マップデータ生成中には、例えばマップデータ生成中断ボタン４４１、マップデータ生成終了ボタン４４２が表示されている。

マップデータ生成中断ボタン４４１が利用者により操作されると、入力部１９を通じて入力イベント処理部１６の処理を通じて編集処理部１４がその制御信号を受け付け、編集処理部１４はマップデータ生成処理部１１にマップデータ生成を一時中断させ、マップデータ生成を過去のある時点からやり直すための指定時刻の指定画面を描画処理部１５に指示し、当該画面が出力装置４に描画される。

図８は、マップデータ生成の一時中断時の表示画面（指定時刻の指定画面）の一例を示したものである。当該画面は、例として、シークバー４１、マップデータ描画領域４２、計測データ表示領域４５、制御ボタン群４４から構成されている。シークバー４１のスライダ４１１は、マップデータ生成中断中には左右の並行移動が可能となり、利用者はスライダ４１１を操作することで、過去の戻りたい指定時刻を指定し、指定時刻が入力部１９で受付けられる。このとき、当該指定時刻に最も近い計測データ４３２とマップデータ４２２を描画し、利用者に提示する。ここで計測データは主に画像データをいう。

つまり、指定時刻が受付けられた場合に、編集処理部１４は、指定時刻を時刻データとして計測データデータベースに照合して前記画像データを特定し、描画処理部１５は、編集集処理部で特定された画像データまたは編集処理部１４で特定されたマップデータを画面に表示する。計測データ４３２は、本例ではスライダ４１１の上に配置された計測データ表示領域４５に描画されるが、計測データ表示領域４５はマップデータ描画領域４２の横に表示してもよく、表示方法はこの限りではない。

スライダ４１１を操作した際の処理の流れを以下に示す。中断中に、入力イベント処理部１６がスライダ４１１の移動を検知すると指定時刻の指定の操作イベントとして判別し、スライダ４１１の移動量を取得したのち制御信号とともに編集処理部１４へ送る。編集処理部１４は、描画処理部１５にスライダ４１１の描画更新を命令する。

描画処理部１５はスライダ４１１の描画位置を計算すると同時に、更新後の時刻をスライダ４１１の位置から算出し、編集処理部１４に指定時刻を時刻データとして計測データＤＢ１３とマップデータＤＢ１２にそれぞれ照合して、指定時刻の計測データとマップデータを取得するよう要求する。

その後編集処理部１４は、計測データＤＢ１３およびマップデータＤＢ１２から、当該時刻に最も近い計測データ４３２とマップデータ４２２を特定し、描画処理部１５へ送る。これを受けて、描画処理部１５はマップデータ４２２と計測データ４３２、および移動後のスライダ４１１を描画する。これらの一連の処理は、スライダ４１１の操作イベントが発生している間（移動している間）繰り返し実行される。

制御ボタン群には、上述のマップデータ生成終了ボタン４４２と、マップデータ再生成開始ボタン４４３が表示されている。マップデータ生成をやり直す指定時刻を利用者が決めたのち、実施の形態１と同様、データ入力装置２を移動させ、マップデータ再生成開始ボタン４４３を操作すると、マップデータ生成処理部１１は、画面表示を生成中画面に切替え、かつシークバー４１の描画を更新し、指定時刻を時刻データとして、その時点のマップデータから再び計測データの情報を繋ぎ合せ、マップデータを生成する。

ここで、マップデータ再生開始ボタン４４３が操作されるとは、マップデータ更新要求を受け付けることをいう。マップデータ更新要求を受け付けるやり方は限定されない。マップデータ生成処理部１１が、描画処理部１５により指定時刻で特定した画像データまたはマップデータが表示されている間に、入力部１９でマップデータの更新を要求するマップデータ更新要求を受け付けた場合に、マップデータ更新要求を受け付けた時点からマップデータの作成をやり直す。シークバーの描画更新は、やり直し時刻がバー４１２の右端に位置するように再計算し、それに応じて描画しなおすことにより行う。

マップデータ再生成開始ボタンを操作した後の具体的な処理手順は、実施の形態１で示した内容、および本実施の形態２で述べた内容と同じである。このようなマップデータ生成装置によれば、マップデータ生成途中にマップデータに誤差を確認した場合、利用者はシークバーのスライダを移動させ、そのスライダ位置（時刻）に連動して表示される過去の計測データとマップデータを確認しながら、マップデータ生成をやり直す時刻を決定することができる。つまり、マップデータ生成入力を利用者が容易に行えるようになり、マップデータ生成作業の効率が向上する。

なお、実施の形態２のシークバー４１のバー４１２の横幅（時間軸の長さ）は必ずしも固定である必要はなく、マップデータ生成時間が増加するたびに、バー４１２の表示を一定幅ずつ伸ばしていく表示でも良い。この場合、シークバー４１の領域内にバー表示がおさまらない場合は、別途スクロールバーを設けてスクロール表示（マップデータ生成中は常に最新時刻を表示）しても良い。

また、マップデータ描画領域４２に表示するマップデータ４２１、過去のマップデータ４２２は、ある決まった３次元座標の視点から固定表示する方法ではなく、データ入力装置２の自己位置データを用い、データ入力装置２の３次元座標および向きから観測され得るマップデータを描画処理部１５が生成・描画しても良い。

さらに、指定時刻を指定する際、利用者への手掛かりとして、現在のデータ入力装置２の計測データを取得・表示し、指定時刻の計測データと比較しながら利用者が指定時刻の位置に戻れるようにしてもよい。なお、本実施の形態では実施の形態１と異なる部分を説明した。それ以外の部分については実施の形態１と同様であるとする。

実施の形態３．
実施の形態２のマップデータ生成装置は、マップデータ生成をやり直す時刻（指定時刻）を指定する際、利用者が過去の場所に戻るための手掛かりとして、指定された時刻の計測データ（画像データ）、マップデータを提示していた。しかし、これらの情報だけでは、利用者は計測データが撮影されたデータ入力装置２の位置姿勢を判断しづらく、適切な位置に戻るのに時間を要することがある。

この点に鑑み、本実施の形態では、データ入力装置２が移動した軌跡であり、データ入力装置２の位置情報である自己位置データを、マップデータ生成をやり直す時刻に戻る際に利用者に提示することで、指定した指定時刻の位置姿勢を容易に利用者に再現し、スムーズにマップデータ生成を再開できるようにする。その具体的な方法について、以下に説明する。

図９は、本実施の形態のブロック図である。マップデータ生成処理装置１Ｃは、実施の形態２の構成に加えて、自己位置データＤＢ２０を備えている。自己位置データＤＢ２０は、毎フレーム取得する自己位置データを時刻データと共に蓄積する。他の実施の形態との違いは、編集処理部１４が、受け付けた指定時刻から自己位置データを特定し、描画処理部１５が自己位置データを画面等の出力装置に表示することである。

処理方法としては、図４のフローチャートにおいて、マッピング処理を行った後に計測データ・マップデータを保存するステップＳ５と、指定時刻の計測データを出力するステップＳ９に処理が追加される。まずステップＳ５にて、マップデータ生成処理部１１は、計測データＤＢ１３およびマップデータＤＢ１２に最新の計測データとマップデータを保存する際に、それらと同じ時刻データと当該フレームで得た自己位置データを、自己位置データＤＢ２０に蓄積する。

また、マップデータ生成処理を中断し、入力された指定時刻の計測データを出力するステップＳ９において、マップデータ上にデータ入力装置２の位置姿勢および撮影範囲を描画する処理を行う。編集処理部１４は、指定時刻が入力されると、計測データ、マップデータとともに、指定時刻を時刻データとして自己位置データＤＢ２０に照合して、指定時刻の自己位置データを取得する。

画処理部１５に、計測データ、マップデータとともにデータ入力装置２の位置姿勢の描画を命令し、自己位置データを送る。描画処理部１５は、マップデータを描画した後、取得した自己位置データに基づき、マップデータ上にデータ入力装置２の位置姿勢を描画する。ここではマップデータと自己位置データが画面に表示されることとしたが、これに限定されるものでなく、自己位置データだけ、マップデータだけ画面に表示させてもよい。また計測データも画面に表示させてもよい。

図１０は、本実施の形態におけるマップデータ生成の一時中断時の表示画面（指定時刻の指定画面）の一例を示したものである。図７の画面に加え、位置姿勢表示４２３１と計測範囲４２３２が描画される。並進・回転に対応する６自由度の自己位置データである場合、描画処理部１５はデータ入力装置２を示す表示（位置姿勢表示４２３１）を３次元論理座標系上に描画する。さらに、描画処理部１５は当該時刻の計測データ画像を３次元論理座標系上で投影し、その結果を計測範囲４２３２として描画し、出力装置４へ出力処理を行う。ここで自己位置データの位置情報とはデータ入力装置２の３次元上での位置だけでなく、データ入力装置２の姿勢までを含んだ概念である。

上記の処理により、利用者はマップデータ上に表示された指定時刻のデータ入力装置２の位置姿勢、および計測範囲を参考にすることで、戻る場所、再開時にデータ入力装置２で計測すべき領域の判断が容易になり、スムーズに当該時刻の場所まで移動し、マップデータ生成することができるようになる。

なお、描画処理部１５の位置姿勢表示４２３１と計測範囲４２３２はどちらか一方を表示するだけでもかまわない。また、編集処理部１４は、指定された時刻以前の自己位置データを取得し、描画処理部１５にデータ入力装置２が指定時刻以前に移動した軌跡を含めて描画させてもよい。なお、本実施の形態では実施の形態１と２と異なる部分を説明した。それ以外の部分については実施の形態１と２と同様であるとする。

実施の形態４．
上記のマップデータ生成装置を用いた空間マップデータ計測では、利用者はマップデータに誤差が発生した時刻以前の時刻を指定するために、順次入力した時刻の計測データ、マップデータを毎回確認しながら、誤差が発生した時刻を探す。マップデータ誤差の発生要因の一つとしては、マッピング時に計測データ同士のマッチングができない（ロスト）状態になりマップデータ生成が中断した後に、マップデータの更新が続けられるので、環境によっては誤ったマッピング処理を行う場合が挙げられる。

このようにロスト発生してから再度更新処理したポイントでは、マップデータの更新に誤差が発生している可能性が高くなるが、現状では利用者はこの誤差が発生している部分を自力で探すしかない。例えば利用者は時系列の計測データやマップデータを見ながら探すことになり、どの時点でマップデータの更新に誤差が発生している可能性があるのかを自ら判断する必要があり、誤差を探し出すのに時間がかかる。

ロストとは計測データ同士がマッチングできず、当該計測データではマップデータの作成および更新が不可能な状態をいう。ロストがあった場合は、その後、ロストと判定されたときの計測データではない新たな計測データを受け付けてマップデータの作成および更新処理を続行する。

この点を鑑み、本実施の形態では、ロストを検知し、ロスト発生期間を利用者に表示することで、利用者がマップデータ誤差の発生可能性がある時刻を容易に把握し、指定時刻の指定をスムーズにできるようにする。

図１１は、実施の形態４のマップ生成装置の構成例である。実施の形態３の構成に加え、マップデータ生成処理装置１Ｄとしてマッピング評価ＤＢ１７を備えている。マッピング評価ＤＢ１７は、ロスト発生成否を時刻データとともに時系列に格納する。他の実施の形態と異なる点は、マップデータ生成処理部１１がロストを判定し、描画処理部１５がロストを判定したことを画面等の出力装置に表示することである。ロストの判定は、計測データを取得する度に、取得された計測データ及び計測データと連続する他の計測データのそれぞれから複数の特徴を抽出して、複数の特徴のうちで一致する特徴の数である特徴一致数が閾値以下であるかどうかで判定する。詳細は後述する。

図１２は、実施の形態４のマップデータ生成処理部１１の動作を示すフローチャートである。本処理の流れを、図１２のマップデータ生成処理部１１の処理ステップを示すフローチャートを用いて説明する。図１２は、図４の全体のフローチャートから一部を抜き出し、ロスト判定に関するステップ（ステップＳ３１、ステップＳ３２、ステップＳ５１）を追加したものである。まずマップデータ生成処理部１１は、計測データを取得し（ステップＳ１）、特徴抽出処理を実施する（ステップＳ２）。

ここで、マップデータ生成処理部１１は、マッピング処理に最低限必要な数の特徴があるかどうかを判定し（ステップＳ２１）、なければ再び計測データを取得し（ステップＳ１）、当該処理を行う。あれば、抽出した特徴を元にマッピング処理を実施する（ステップＳ３）。

この際、マップデータ生成処理部１１は、計測データ同士を重ね合わせた際に、特徴点の一致度を算出する（ステップＳ３１）。具体的には、マップデータ生成処理部１１は、少なくとも２つの計測データから共通した特徴を見つけ、３次元空間上で各計測データの特徴が重なるように座標変換をした後、計測データ内の全特徴のうち共通した特徴の数（特徴一致数）を算出する。その後、マップデータ生成処理部１１は、特徴一致数が閾値以下であるかどうかを判定することで、ロストが発生するか判定する（ステップＳ３２）。

マップデータ生成処理部１１は、閾値を超えていれば、マップデータの更新処理をし（ステップＳ４）、超えていなければ、ロストと判定し、最新の計測データおよびマップデータを時刻データとともに対応付けて保存するステップＳ５へ進む。ここで、ロストと判定された時刻には、前回処理と同じ（直前の時刻と同じ）マップデータを保存する。その後、マップデータ生成処理部１１は、ステップＳ５と同じ時刻データを用いて、ロスト判定結果をマッピング評価ＤＢ１７に保存する。

ロスト判定結果とは具体的には、時刻データを格納し、それに紐付ける形で、例えばロストが発生していなければ０、ロストが発生していれば１などの数値を格納する。そして、マップデータ生成処理部１１は、現フレームの計測データとマップデータ、時刻データとともに、ロスト判定結果（０または１）を描画処理部１５に送る。次に、描画処理部１５の処理について説明する。

図１３は、マップデータ生成中に出力装置４にて描画される画面例である。シークバー４１内バー４１２上には、ロストが発生した時刻または期間を示すロスト表示部品４１２１が表示されている。描画処理部１５は、ロスト判定結果がロスト発生を示すものであれば、バー４１２上の最新時刻位置にロスト表示部品４１２１を表示する。

描画処理部１５は、例えば前回フレーム処理時のロスト判定結果を保持しており、前回フレームのロスト判定結果を参照して、ロスト状態が連続していれば、複数時間分に跨るロスト表示部品４１２１を描画する。離散的であれば、新たなロスト表示部品４１２１を描画する。これを、毎フレームの処理ごと、マップデータ生成時刻が増加するにつれて、実施の形態２と同様、バー４１２上の単位時間当たりの表示領域を調節しながら、描画を更新する。

次に、マップデータ生成を一時中断し、指定時刻を入力する際の処理について説明する。マップデータ生成が一時中断され、指定時刻が入力された際、編集処理部１４は、上記の処理に加えて、マッピング評価ＤＢ１７から格納されている全ての時刻データとロスト判定結果を取得する。その後、描画処理部１５に一時中断画面の描画命令とともに、ロスト判定結果を送る。描画処理部１５は、一時中断画面の描画処理を行う。

図１４は、本実施の形態におけるマップデータ生成の一時中断時に出力装置４に描画される画面（指定時刻の指定画面）の一例を示したものである。シークバー４１内バー４１２上には、ロストが発生した時刻または期間を示すロスト表示部品４１２１が表示されている。描画処理部１５は、編集処理部１４から送られた時刻データおよびロスト判定結果を元に、バー４１２上のロスト発生時刻（ロスト判定結果が１の時刻データ）に当たる位置にロスト表示部品を表示する。なお、ロストと判定したことを画面等の出力装置に表示すればよく、形式は限定されない。ロスト表示部品４１２１の表現方法はこの限りではない。また、シークバー４１の表示は、マップデータ生成時に最後に描画したものをそのまま用いても良い。

スライダ４１１の操作が発生し、描画処理部１５がスライダ４１１の移動後の時刻を計算した際、移動後の時刻がロスト期間であるかを判定する。例えば、算出時刻に該当するロスト判定結果を参照する方法、スライダ４１１の描画位置がロスト表示部品を構成する領域に含まれるかを判別する方法などを用いて判定を行う。

シークバー上４１に表示されているのは、スライダがロスト表示部品上に重なっている場合の計測データ表示領域４５´である。判定の結果、移動後の時刻がロスト期間であれば、利用者にロスト期間であることを提示する表示（例ではハッチング表示）を計測データ表示領域４５´のように描画する。マップデータを再び生成する指定時刻が入力されマップデータを更新する場合は、編集処理部１４は、前述の処理と同様に、指定時刻より新しいマップデータを更新する。

上記の構成および処理により、シークバー上にロスト期間が提示され、利用者は一目でロストが発生した時刻を把握できる。マップデータを再生成する時刻を指定する際、ロスト時刻周辺に絞って、戻る時刻のマップデータの状態の確認を行うことが可能になるため、適切な時刻を設定するための作業負荷が低減する。また、マップデータ生成中にロスト発生を確認できるようになるため、マップデータ生成を中断するタイミングを決めるための手掛かりが増加し、早期にマップデータ生成のやり直しができるようになる。

なお、マップデータ生成中にロストが発生した場合に、描画処理部１５は計測データ描画領域４３や、マップデータ描画領域４２上に、ロストを示す表示（例えばハッチング表示）を描画しても良い。また、計測データ表示領域４５´のようにロスト期間をハッチング表示せず、前述の実施の形態における計測データ表示領域４５のように表示しても良い。また、マップデータ表示領域４２上にロスト期間を示す表示（ハッチング表示など）を描画しても良い。

さらに、計測中にロストが発生した場合には、描画処理部１５は利用者にロストが発生している旨や、その対処方法（少し前の計測箇所まで戻るなど）の指示をメッセージとして提示しても良い。描画処理部１５が、マップデータ生成処理部１１がロストと判定した場合にロストと判定したことを画面に表示し、その表示のされ方は限定されない。

ロストはマップデータの精度低下の要因となりうる１つの可能性を示す現象であり、マップデータの精度が必ずしも低下するとは限らない。例えば、計測データが前フレームと重ならないような早さでデータ入力装置２を動かしロストが発生したとしても、環境中に特徴が多くある場合などは、元の位置に戻ればマップデータ精度を損なわず再生成を続行できることもある。

そこで、この点に鑑み、本実施の形態のマップデータ生成装置では、更に生成中にマッピングの精度を評価し、その評価の結果を時系列で可視化することで、マップデータ精度低下を利用者がマップデータ生成をやり直すための手掛かりとして提示するようにしてもよい。

他の実施の形態と異なる部分は、マップデータ生成処置部１１が、さらにマップデータ精度の評価ステップを加え、マッピング評価ＤＢ１７が、マップデータ精度の評価結果を格納し、描画処理部１５が、マッピング評価値を出力する部分である。

図１５は例として実施の形態４の処理ステップに本実施の形態の処理ステップを追加した、マップデータ生成装置のフローチャートである。これを用いてマップデータ生成処理部１１の処理を説明する。計測データの取得（ステップＳ１）から、マップデータの更新（ステップＳ４）までは前述の処理と同じである。

マップデータ生成処理部１１は、マップデータ更新後（ステップＳ４）、現フレームの特徴を用いてマップデータを更新した結果の評価（ステップＳ４４）を実施する。マップデータの誤差が発生する要因としては、例えばデータ入力装置２を構成するセンサの物理的な計測誤差や、データ入力装置２の自己位置データの誤差（自己位置推定誤差や、位置姿勢の計測誤差）、３次元空間にマッピングした特徴点の座標の誤差が存在する。

マップデータを更新した結果を評価する方法の一つとしては、例えば特徴の再投影誤差を用いる評価方法がある。これは、新たにマッピングした３次元空間上の特徴の位置（座標）を、計測データ（２Ｄ画像）上に再投影し、元の計測データの特徴の座標との誤差を算出するものであり、誤差が小さいほど精度が高いマップデータ生成が実施されたと判断することができる。これは、当該技術分野のベーシックな評価方法の１つである。

また、別の方法としては、データ入力装置２のセンサの計測視野内の特徴の分布の偏り及び密度の少なくともいずれか一方を評価値として用いることができる。特徴の分布が比較的広範囲であるほど、また特徴の数が多いほど、マッピングした際の誤差は小さくなる傾向にあるため、マップデータ生成精度が高いと判断される。また、特徴の分布が比較的狭い範囲に偏在しているほど、特徴の数が少ないほど、マッピング時の誤差は大きくなる傾向にあるため、マップデータ生成精度が低いと判断される。

上記いずれか、または両方の手段によりマップデータ生成処理部１１は、マップデータ評価を行い、統計量に基づきマッピング評価値を算出する。評価値はたとえば数段階の値として算出される。その後、マップデータ生成処理部１１は、最新の計測データとマップデータを保存（ステップＳ５）した後、マッピング評価値を保存する。マッピング評価値は、計測データおよびマップデータと同じ時刻データとともに、マッピング評価ＤＢ１７に格納される。その後、マップデータ生成処理部１１は、描画処理部１５にマッピング評価値を含む画面更新に必要なデータを送る。

図１６は、マップデータ生成中に出力装置４に表示される画面の例である。シークバー４１のバー４１２上には、取得したマッピング評価値に基づいたマッピング精度低下期間４１２２が描画されている。図１６の例では、マッピング評価値が良い・悪いの２段階である場合の表示を示している。ただしこれには限らず、多段階の評価値を設定しさらに細かく表示を分けても良い（例えば、特に良い期間、良い期間、悪い期間、特に悪い期間などが分かるように描画するなど）。描画方法については、前述のロスト状態の表示と同様である。

図１７は、マップデータ生成を一時中断している状態の画面表示の例である。この場合においてもバー４１２上にマッピング評価値４１２２が同じく表示される。スライダ４１１がマッピング精度低下期間４１２２の時刻にある際は、前述の方法と同じく、マッピング精度低下を示す表示（例えばハッチング）を計測データ４５’’上に描画する。描画方法については、前述のロスト状態の表示と同様である。

上述の構成および処理により、ある計測フレームの計測データを用いてマッピング処理の実行結果の精度を評価でき、その結果を利用者に提示することができる。これにより、計測中に於いては、マッピング精度が低くなった時点を把握することができるようになり、その時点でマップデータ生成処理を中断し、やり直すことが可能となる。さらに、マップデータ生成をやり直す時刻を指定する際に、マッピング精度低下箇所を追加の手掛かりとして決定することができ、マップデータ生成効率が向上する。

なお、計測中にマッピング精度が低下した場合、描画処理部１５はその旨および対処方法をメッセージとしてユーザに伝えても良い。なお、本実施の形態では実施の形態１、２、３と異なる部分を説明した。それ以外の部分については実施の形態１、２、３と同様であるとする。

実施の形態５．
上述のマップデータ生成装置は、マップデータ生成をやり直す過去の時刻を入力した後、その時点からのマップデータ生成処理をやり直すことができる。しかし、ある期間のマップデータ精度のみが低下している場合においても、その後の正常なマップデータ精度である期間も含め、マップデータ精度低下以前から生成をやり直す必要がある。

この点に鑑み、本実施の形態のマップデータ生成装置では、指定した期間のマップデータを削除（ドロップ）できるようにする。本マップデータ生成装置は、入力イベント処理部１６が、ドロップ処理に関するイベントを判別し、編集処理部１４がドロップ処理を行い、描画処理部１５がドロップするためのインタフェースを描画することが他の実施の形態と異なる。実施の形態４の構成を元に説明する。

ドロップ処理は、マップデータ生成を一時中断している状態において実行される。処理の流れとしては、ドロップ編集開始の要求が利用者から入力されると、ドロップ用インタフェースを用いてドロップ開始時刻およびドロップ終了時刻を設定し、確定後ドロップ処理を実行する流れで行われる。指定されたドロップ開始時刻とドロップ終了時刻とを時刻データとしてマップデータＤＢ１２に照合してドロップ開始時刻からドロップ終了時刻までに更新されたマップデータを特定し、特定されたマップデータを削除する。詳細については後述する。

入力イベント処理部１６は、ドロップ編集開始イベント、ドロップ開始時刻・終了時刻の操作イベント、ドロップ処理実行イベントを検知し、編集処理部１４に送る。編集処理部１４は、ドロップ処理を行うための描画処理を描画処理部１５に命令するとともに、指定されたドロップ期間の計測データ、マップデータ、自己位置データを、それぞれ計測データＤＢ１３、マップデータＤＢ１２、自己位置データＤＢ２０から削除する。描画処理部１５は、ドロップ期間を指定するインタフェース、マップデータ上へのドロップ対象箇所の可視化、ドロップ実行を指令するためのインタフェースを描画する。

図１８は、本実施の形態によるマップデータ生成一時中断時の表示画面を示す図である。図１８のマップデータ生成中断時に出力される画面を用いて、具体的な処理の流れを説明する。図１８上には、新たに、ドロップ開始バー４１３１、ドロップ終了バー４１３２、ドロップ期間４１３３、ドロップ対象マップデータ４２４、ドロップ処理実行ボタン４４４が配置されている。

入力イベント処理部１６は、まずマップデータ生成一時中断時に、入力部１０を通じてされた入力をドロップ編集開始イベントを検知し、編集処理部１４に信号を送る。たとえば、シークバー４１上を長押しするとそのように検知したり、別途ドロップ編集開始ボタンを配置しても良い。その後、編集処理部１４は、ドロップ期間を指定するためのインタフェース（ドロップ開始バー４１３１、ドロップ終了バー４１３２、ドロップ期間４１３３の描画命令を描画処理部１５に送り、描画処理部１５が描画処理を実行する。

その後入力部１９を通じて、入力イベント処理部１６がドロップ開始バー４１３１、ドロップ終了バー４１３２の操作イベントを検知して編集処理部１４に信号を送る。編集処理部１４は、ドロップ期間のマップデータを取得する。具体的には、指定されたドロップ開始時刻とドロップ終了時刻とを時刻データとしてマップデータＤＢ１２に照合して、ドロップ開始時刻からドロップ終了時刻までに更新されたマップデータを特定し、特定された前記マップデータを削除する。

より具体的には、ドロップ終了時刻のマップデータと、ドロップ開始時刻より一つ前の時刻のマップデータを取得し、２つのマップデータの差分を算出することで、ドロップ期間に追加されたマップデータを取得する。その後、編集処理部１４は、ドロップ開始バー４１３１、ドロップ終了バー４１３２の描画更新および、ドロップ期間の追加マップデータを可視化する命令、および差分のマップデータを描画処理部１５に対して送る。

描画処理部１５は、ドロップ開始バー４１３１、ドロップ終了バー４１３２、その間のドロップ期間４１３３の描画を更新し、かつ、マップデータ４２２上にドロップ対象マップデータ４２４を描画・更新を行う。ここで、２つのマップデータの差分とは、マップデータ中のドロップ期間中に更新された部分をいう。例えば、マップデータの中の一部の範囲が更新された部分に相当する。

ドロップ処理実行ボタン４４４の入力を入力イベント処理部１６が検知すると、編集処理部１４はドロップ処理を実行する。編集処理部１４は、計測データＤＢ１３、マップデータＤＢ１２、自己位置データＤＢ２０から、ドロップ期間に含まれる時刻データの計測データおよびマップデータ、自己位置データをそれぞれ削除する。

そして、編集処理部１４は、マップデータＤＢ１２に格納されている、ドロップ終了時刻以降の時刻データの全てのマップデータから、算出した差分のマップデータを削除する処理を実行する。この削除が実行されることで、ドロップ期間中に更新された部分が、マップデータから削除される。削除された部分はデータがなくなるので、表示上黒塗り等にして表示される。

マップデータＤＢ１２からの削除処理終了後、編集処理部１４は描画処理部１５に描画更新命令を送る。描画処理部１５は、シークバー４１にてドロップ期間を除いたバー４１２を描画し、ドロップ開始バー４１３１・ドロップ終了バー４１３２の描画をやめる。スライダ４１１がドロップ期間の時刻に設定されていた場合は例えば前後に移動させ、その時刻に一番近い時刻データのマップデータ４２２を、編集処理部１４を通じてマップデータＤＢ１２から取得し描画する。なお、ドロップ対象マップデータ４２４の描画は消去する。

上述の処理により、マップデータ作成途中に一部精度の低い期間がある場合において、その期間に追加されたマップデータのみを削除する処理が可能となる。これにより、利用者は容易に精度の低いマップデータのみを削除でき、ある時刻以降のマップデータ生成を全てやり直す必要がなくなり、マップデータ生成作業の効率が向上する。

なお、ドロップ処理実行時に、編集処理部１４はドロップした各種データを別途保存しておき、ドロップ処理を行った後に再び元に戻せる（アンドゥできる）ようにしても良い。また、ドロップ処理による削除、新たなマップデータ生成による追加のマップデータの差分を管理し、マップデータ生成・ドロップ処理実行前に戻れるようにしても良い。

このように、精度が低下した場合などある一定期間に作成・更新されたマップデータを手動で削除（ドロップ）できるマップデータ生成装置の例を示した。しかし、利用者は削除を実行する毎に、精度低下の有無を確認し、マップデータ生成を一時中断し、期間を手動で入力する必要があり、精度の悪い箇所が多いほど利用者の作業負荷が高くなる傾向がある。

この点に鑑み、本実施の形態のマップデータ生成装置は、精度の低下した期間を自動でドロップできるようにしてもよい。実施の形態４のマップデータ生成装置の処理ステップにおいて、マッピング評価を行った結果、マッピング精度が低いと判断された場合、そのマッピング処理結果をマップデータに反映させない処理を追加してもよい。この場合、マップデータ生成処理部１１は、マップデータの評価結果を踏まえて計測データおよびマップデータの更新処理の制御を行う。

図１９は、マップデータ生成処理装置の処理を示すフローチャートである。マップデータ生成処理部１１は、マップデータ更新、マップデータ評価を実施した後（ステップＳ４〜Ｓ４４）、マップデータ評価値によって処理を分岐させる（ステップＳ４５）。評価値が設定されているある閾値に満たなかった場合は、計測データおよびマップデータのデータベースへの保存およびマッピング評価値の保存（ステップＳ５、ステップＳ５１）を行わず、評価値低下を示す信号を生成し、当該フレーム処理を終了する。つまりマップデータ評価値が閾値以上の場合は、計測データおよびマップデータのデータベースへの保存およびマッピング評価値の保存するステップに進む。

また、マップデータ生成処理部１１は描画処理部１５に対して、最新の計測データおよびマップデータは送信せず、当該フレームの時刻データを作成し、評価値低下信号とともに描画処理部１５に送る。描画処理部１５は評価値低下信号を受け取ると、シークバー４１の描画更新処理を行う（マップデータ４２２、自己位置データ４２３１は前回のまま更新しない）。

図２０は、マップデータ生成中断中画面の一例である。シークバー上にドロップ期間４１２３、計測データ表示領域上にドロップ表示４３３が描画される。描画処理部１５は、評価値低下信号と時刻データを用いて、当該時刻にドロップ期間を描画する。また、スライダ４１１がドロップ期間上に操作された際、実施の形態４のロストを示す描画と同じように、計測データ表示領域４３や上にドロップ表示を描画する。なお、マップデータ描画領域４２上に、現フレームのマッピング精度が低くドロップしたことを示す表示（例えばハッチング表示）を描画しても良い。

このようなマップデータ生成装置を用いると、マッピング精度が低いマッピング結果はマップデータとして更新されなくなるため、精度が低下した場合においても利用者が手動でマップデータをドロップする必要がなくなり、精度の高いマップデータの生成効率がさらに向上する。なお、本実施の形態では実施の形態１、２、３、４と異なる部分を説明した。それ以外の部分については実施の形態１、２、３、４と同様であるとする。

実施の形態６．
マップデータ生成を中断し、指定時刻からやり直すに、指定された時刻の計測データを表示することで、利用者に戻るべき位置を提示する。しかし、戻る際に移動させたデータ入力装置２が撮影する範囲を利用者は把握できないため、指定時刻や指定時刻の計測データとデータ入力装置２の撮影範囲が適切に重ならない場合があり、マップデータ生成再開時のマッピング精度が低下する可能性がある。

この点に鑑み、マップ生成装置は、マップデータ生成を中断しやり直す時刻（指定時刻）を設定する際に、データ入力装置２が現在計測している計測データを表示できるようにしてもよい。編集処理部１４は、マップデータ生成中断時にデータ入力装置２から毎フレーム計測される計測データ（例えばＲＧＢ画像）を取得し、その都度描画処理部１５に送る。

図２１は、描画処理部１５により描画される画面の一例を示したものであり、図１０にさらに現計測データ描画領域４６、現計測データ４６１が配置されている。現計測データ４６１は描画処理部１５が受け取るデータ入力装置２の計測データであり、描画処理部１５は毎フレーム描画を更新する。

このように過去の位置に戻る際に、現在のデータ入力装置２が計測する現計測データ４６１が可視化されることで、利用者は過去の計測データ４３２と比較することができ、より迅速に適切な位置まで戻ることができる。なお、本実施の形態では実施の形態１、２、３、４、５と異なる部分を説明した。それ以外の部分については実施の形態１、２、３、４、５と同様であるとする。

実施の形態７．
実施の形態６のマップデータ生成装置では、過去の計測データと現計測データ、および過去のマップデータなどの情報を手掛かりに、マップデータ生成をやり直す時刻の設定、当該時刻の場所への移動、マップデータ生成再開を行う。しかし、設定した時刻の場所に利用者が適切に戻れたとしても、その場の特徴が少ない場合などでは、繋ぎ合せが開始できない場合や、マッピング精度が低下する場合が発生する。このような場合、利用者はマップデータ生成を再開した後、再び指定時刻を設定したり、マップデータ生成をやり直ししたりする必要がある。

この点に鑑み、本実施の形態のマップデータ生成装置は、マップデータ生成をやり直す際に、その場の計測データと設定時刻のマップデータを用いて再開処理を行った際に、適切に繋ぎ合せ（マッピング）処理ができるかどうかを評価し、評価結果を利用者に提示できるようにする。利用者は評価結果をみてマップデータの更新を再開できるので、無駄な間違ったマップデータの作成のやり直しをする手間を省くことができる。

他の実施の形態と異なる部分は、マップデータ生成処理部１１が、マップデータ生成中断中にデータ入力装置２が取得する現計測データを用いてマップデータ生成再開時のマッピング予測精度を評価する処理を行い、編集処理部１４が、評価結果をマップデータ生成処理部１１から取得し描画処理部１５に送信し、描画処理部１５が評価結果の描画処理を行うことである。マップデータ生成を一時中断した後の処理について、図２２と図２３の処理ステップを用いて説明する。

図２２は、マップデータ生成一時中断の入力処理から後のステップを示したものである。マップデータ生成処理の停止後（ステップＳ７）、指定時刻の入力があれば、指定時刻の計測データおよびマップデータを出力（ステップＳ８，ステップＳ９）する処理までは同じである。計測データ・マップデータを出力（ステップＳ９）後、およびステップＳ８にて指定時刻入力がなかった場合のどちらにおいても、データ入力装置２が現在計測している計測データが指定時刻のマップデータと繋ぎ合せできるか評価する処理を行う（ステップＳ１４）。

図２３は、ステップＳ１４の詳細なフローを示す図である。まず、編集処理部１４はマップデータ生成処理部１１に、現在のデータ入力装置２と指定された指定時刻のマップデータのマッピング予測精度を評価するように信号を送る。この際、編集処理部１４が保持する指定時刻のマップデータも同時に送る。以降、マップデータ生成処理部１１はステップＳ１４の処理を実行する。マップデータ生成処理部１１は評価結果を編集処理部１４に送る。

マップデータ生成処理部１１は、データ入力装置２から現計測データを取得し（ステップＳ１４１）、現計測データから特徴抽出を行う（ステップＳ１４２）。この後、マッピング処理が可能かどうか、ロストしないかどうか、マッピング予測精度が低いか、の３つの観点の評価を実施する。本実施の形態では、３つの観点で評価しているが、これに限定されることなく、ロストしないかどうかだけのようにどれか１つの観点だけみてもよいし、２つの観点をみてもよく数は限定されない。ロストの判定の仕方については、実施の形態４で述べた通りである。まず、ステップＳ１４３としてマップデータ生成処理部１１はマッピングが可能であるかを判定する。現計測データの特徴がマッピングに必要な最低限の特徴数を満たしていれば、次のステップへ進む。

満たしていない場合は、マップデータ生成処理部１１は、マッピング不可を示す評価値を生成し、編集処理部１４に送り、ステップＳ１４を終了する。次に、最低限の特徴が存在すれば、マップデータ生成処理部１１は、マッピング処理を行う（ステップＳ１４４）。マッピング処理では、３次元データとして編集処理部１４から送られた指定時刻のマップデータを用いる。処理内容は、上述の実施の形態と同様である。その後、マップデータ生成処理部１１は、マッピング結果の特徴一致数を算出し（ステップＳ１４５）、特徴一致数が閾値以下かどうかを判定して、ロストしているかどうかを判定する（ステップＳ１４６）。

特徴一致数が閾値以上でロストと判定されない場合は、次のステップへ移行する。閾値を下回っていれば、ロストを示す評価値を生成し、編集処理部１４へ送り、評価処理Ｓ１４を終了する。なお、これは実施の形態４で述べた処理と同様である。以降のステップでは、現計測データによるマッピング予測精度を評価する。

まず、前ステップで実施したマッピング結果を用いて、指定時刻のマップデータを計算機上で更新する（ステップＳ１４７）。その後、マップデータ生成処理部１１は、特徴の再投影誤差を用いた評価方法や、現計測データ内の特徴の分布の偏り及び密度の少なくともいずれか一方を評価値とする評価方法で、マッピング精度を評価し、統計量に基づきマッピング評価値を算出する（ステップＳ１４８）。

本処理は、実施の形態４で述べた処理と同様であり、マッピング評価値は良し悪しの２段階、多段階のどちらでもよい。マップデータ生成処理部１１は、最後に評価値としてマッピング評価値と、現計測データを編集処理部１４に送る。編集処理部１４は、評価値と現計測データを描画処理部１５に送り、描画更新命令を送る（ステップＳ１５）。描画処理部１５は現計測データと評価値を元に、描画の更新処理を行う。本実施の形態では評価値を表示しているが、これに限定されるものではなく、マッピング可能かどうかの判定結果や、ロストの有無等を表示させるようにしてもよい。

図２４はマップデータ生成処理一時中断時の画面の一例である。実施の形態６と同様、描画処理部１５は取得した現計測データ４６１を現計測データ描画領域４６上に描画する。その後、評価値の結果を示す情報を描画する。描画処理部１５は現計測データ描画領域４６上、計測データ表示領域４５上に、現計測データでは繋ぎ合せの精度が低下することを示す情報（例えばハッチング）を描画する。

マッピング評価値を示す描画は、前述の３種類の評価値を区別した表示（マッピング評価値の場合は２段、多段階でもかまわない）、区別せず単純にマッピング予測精度が低い（再開時の繋ぎ合せに支障が出る）ことを示す表示などを描画する。以上の処理は、一定時間ごと、または毎フレーム毎など、マップデータ再生成開始入力があるまで繰り返し実施される。

本マップデータ生成装置により、マップデータ生成一時中断時に、現在のデータ入力装置２の位置姿勢で適切にマップデータ再生成を開始できるかどうかを、利用者は再生成開始前に把握することができる。そのため、マップデータ再生成を開始後に再度やり直す手間が省け、マップデータ生成効率が向上する。なお、上述のように３つに関して評価したが、３つの評価が全てされることに限定されず、１つの評価でもよいし、２つの評価であってもよい。さらに、評価値を示す情報の表示方法は図２４の限りではない。

マップデータ生成装置で、マッピング精度の悪い期間を自動的にドロップすることについて述べたが、その後の繋ぎ合せ可否は考慮しておらず、ドロップ処理後に計測データと最新マップデータの特徴一致数が閾値以下（ロストしている）の場合は、誤ったマップデータが生成されることがある。

この点に鑑み、マップデータ生成中に、マッピング精度が低い期間を自動的にドロップし、かつその後の計測データで繋ぎ合せが可能か（ロストしていないか）を判別し、可能であれば繋ぎ合せる処理を繰り返し行うことで、人手でマップデータの編集作業を行わずとも精度が高いマップデータ生成を自動的に行えるようにしてもよい。

この場合、マップデータ生成処理部１１は、マッピング精度が低下した期間を自動的にドロップし、かつ繋ぎ合せ可能な場合にのみマッピング処理を実施し、描画処理部１５は、その結果を踏まえたマップデータ生成中画面の描画処理を行う。

図２５は、マッピング精度が低下した期間を自動的にドロップする処理を示すフローチャートである。このフローチャートを用いて、処理の流れを説明する。マップデータ生成処理部１１が処理する、計測データ取得から特徴一致数によるロスト判定までは、前述の処理方法と同様である（ステップＳ１〜Ｓ３２）。ここで、ロストがなければ、その後は実施の形態５と同様のマッピング評価値が低い場合に自動的にドロップする処理を行う。

処理の結果、マップデータ生成処理部１１は、マッピング評価値が低下した旨の信号とその時刻データを編集処理部１４に送る。一方、ロストが発生した場合は、ロスト発生を示す信号と時刻データを生成し、描画処理部１５に送る。つまり、ロストを回避する計測データを取得するまでマップデータ更新（ステップＳ４）〜マップデータ・計測データ保存（ステップＳ５）までは行わずドロップし、繋ぎ合せが可能になればマップデータ生成を再開する処理を行う。

図２６は、マップデータ生成中に描画処理部１５が描画する画面の一例である。描画処理部１５は、マップデータ生成処理部１１から時刻データ、評価値、ロストおよびマッピング評価値を示す信号をフレーム処理ごとに受け取り、シークバー４１、計測データ描画領域４３、マップデータ描画領域４２を更新する。バー４１上には、ロストおよびマッピング評価値低を示す信号を元にドロップ期間４１２３が描画される。

このマップデータ生成装置を用いると、繋ぎ合せが可能な計測データを用いてマッピング精度が良い場合のみマッピング処理を行うため、装置が判断するマップデータの精度低下に関して、利用者はマップデータの編集処理を行うことなく空間マップデータを生成できるようになる。この際、ロスト発生防止のためゆっくり計測装置を移動させる、特徴が多く計測できるような位置に毎回移動するなど、データ入力装置２の移動方法を厳密に意識する必要はなく、データ入力装置２を自由に移動することでマップデータ生成を容易に行えるため、マップデータ生成に係る利用者の負荷を低減することができる。

なお、マップデータ計測器としての観点ではマップデータ生成は正常に行えているが、利用者が不要な物体が映り込んでいると判断する場合は、前述のとおり、マップデータ生成を一時中断し、当該期間のマップデータを手動でドロップすることができる。なお、本実施の形態では実施の形態１、２、３、４、５、６と異なる部分を説明した。それ以外の部分については実施の形態１、２、３、４、５、６と同様であるとする。

１ マップデータ生成処理装置、２ データ入力装置、３ 入力装置、４ 出力装置、１１ マップデータ生成処理部、１２ マップデータＤＢ、１３ 計測データＤＢ、１４ 編集処理部、１５ 描画処理部。

Claims (8)

1. 連続的に撮像され他の画像データの少なくとも一つと一部撮像範囲が重なる複数の２次元の画像データと、前記画像データ中の対象物までの距離データとを計測データとして取得する計測データ取得部と、
   取得された前記計測データと、前記計測データを時系列に対応づけてデータベースに記憶する為の時刻データとを対応付けて記憶する計測データデータベースと、
   複数の前記計測データに基づいて作成された３次元のマップデータを前記計測データが取得される度に更新するマップデータ生成処理部と、
   順次更新されるごとの前記マップデータと、前記マップデータが更新されたときに利用された前記計測データに対応する前記時刻データとを対応付けて記憶するマップデータデータベースと、
   所望の指定時刻の入力を受け付ける入力部と、
   前記入力部で受け付けた前記指定時刻を前記時刻データとして、前記マップデータデータベースに照合して前記指定時刻に対応する前記マップデータを特定する編集処理部とを備え、
   前記マップデータ生成処理部は、
   前記入力部で前記指定時刻が受け付けられた場合に、前記入力部で前記指定時刻が受け付けられた後に新たに取得された前記計測データを用いて、前記編集処理部により特定された前記マップデータの更新をやり直す
   ことを特徴とするマップデータ生成装置。
2. 前記編集処理部が、
   前記指定時刻が受付けられた場合に、前記指定時刻を前記時刻データとして前記計測データデータベースに照合して前記画像データを特定し、
   前記編集処理部で特定された前記画像データまたは前記編集処理部で特定された前記マップデータを画面に表示する描画処理部を備え、
   前記入力部が
   前記マップデータの更新を要求するマップデータ更新要求を受け、
   前記マップデータ生成処理部が、
   前記描画処理部により前記指定時刻で特定した前記画像データまたは前記マップデータが表示されている間に、前記入力部で前記マップデータ更新要求を受け付けた場合に、前記マップデータの更新をやり直す
   ことを特徴とする請求項１に記載のマップデータ生成装置。
3. 前記描画処理部が、
   前記計測データ取得部で、前記計測データが取得される毎に、取得された前記画像データを画面に表示する
   ことを特徴とする請求項２に記載のマップデータ生成装置。
4. 前記画像データが撮像された時の前記画像データを取得して前記計測データ取得部に送信するデータ入力装置の位置情報である自己位置データと前記時刻データとを記憶する自己位置データデータベースを備え、
   前記編集処理部が、
   前記指定時刻を前記時刻データとして前記自己位置データデータベースに照合して前記自己位置データを特定し、
   前記描画処理部が、
   特定された前記自己位置データを画面に表示する
   ことを特徴とする請求項２または請求項３に記載のマップデータ生成装置。
5. 前記編集処理部が、
   指定されたドロップ開始時刻とドロップ終了時刻とを前記時刻データとして前記マップデータデータベースに照合して前記ドロップ開始時刻から前記ドロップ終了時刻までに更新された前記マップデータを特定し、特定された前記マップデータを削除する
   ことを特徴とする請求項２から請求項４のいずれか一項に記載のマップデータ生成装置。
6. 前記マップデータ生成処理部が、
   前記計測データを取得する度に、取得された前記計測データ及び前記計測データと連続する他の前記計測データのそれぞれから複数の特徴を抽出して、前記複数の特徴のうちで一致する特徴の数である特徴一致数が閾値以下の場合に、前記マップデータの更新が不可能であるロストと判定し、
   前記描画処理部が、
   前記マップデータ生成処理部が前記ロストと判定した場合に前記ロストと判定したことを画面に表示する
   ことを特徴とする請求項２から請求項５のいずれか一項に記載のマップデータ生成装置。
7. 前記マップデータ生成処理部が、
   前記入力部で前記指定時刻が受け付けられた場合に、前記マップデータの更新をやり直す前に、前記新たに取得された前記計測データでの前記マップデータの更新が不可能であるかどうかの前記ロストを判定し、
   前記描画処理部が
   前記判定の結果を画面に表示する
   ことを特徴とする請求項６に記載のマップデータ生成装置。
8. 連続的に撮像され、他の画像データの少なくとも一つと一部撮像範囲が重なる複数の２次元の画像データと、前記画像データ中の対象物までの距離データとを計測データとして取得するステップと、
   前記取得された計測データと、計測データを時系列に対応づけてデータベースに記憶する為の時刻データとを対応付けて計測データデータベースに記憶するステップと、
   複数の前記計測データに基づいて作成された３次元のマップデータを前記計測データが取得される度に更新するステップと、 順次更新される毎の前記マップデータと、前記マップデータが更新されたときに利用された前記計測データに対応する前記時刻データとを対応付けてマップデータデータベースに記憶するステップと、
   所望の指定時刻の入力を受け付けるステップと、
   入力部で受け付けた前記指定時刻を前記時刻データとして、前記マップデータデータベースに照合して前記指定時刻に対応する前記マップデータを特定するステップと、
   前記入力部で前記指定時刻が受け付けられた場合に、前記マップデータの更新を中断し、前記入力部で前記指定時刻が受け付けられた後に新たに取得された前記計測データを用いて、特定された前記マップデータの更新をやり直すステップと、
   からなることを特徴とするマップデータ生成方法。

Images