WO2020121406A1

WO2020121406A1 - ３次元計測装置、移動ロボット、手押し車型移動装置および３次元計測処理方法

Info

Publication number: WO2020121406A1
Application number: PCT/JP2018/045498
Authority: WO
Inventors: 清高渡邊; 亮輔川西; 晴之岩間; 関　真規人
Original assignee: 三菱電機株式会社
Priority date: 2018-12-11
Filing date: 2018-12-11
Publication date: 2020-06-18
Also published as: JP7006810B2; JPWO2020121406A1

Abstract

メモリの消費を抑制しつつ、３次元マップを得ることができる３次元計測装置および３次元計測処理方法を提供する。　３次元計測装置は、計測対象の３次元画像であって、３次元空間中の物体表面の点である３次元点に関するデータの集合である３次元点群データを含む３次元画像を取得する３次元画像取得部１０と、３次元画像を合成して、合成後の３次元点群データにより計測対象の３次元形状が表現される３次元マップを生成する３次元マップ生成部２０と、３次元マップを構成する３次元点群データまたは3次元マップの生成に用いられる３次元画像に含まれる３次元点群データから、ポリゴンを抽出するポリゴン抽出部３０と、ポリゴンに基づき、３次元マップの品質を評価するマップ評価部６０と、３次元マップの品質の評価結果に基づき、３次元画像を取得すべき計測対象領域または計測位置を示す情報を含む計測計画を生成する計測計画生成部７０とを備える。

Description

３次元計測装置、移動ロボット、手押し車型移動装置および３次元計測処理方法

本発明は、３次元空間に存在する物体の形状を計測し、３次元マップを作成する３次元計測装置、この３次元計測装置を搭載した移動ロボットおよび手押し車型移動装置、並びに３次元計測処理方法に関する。

実世界の３次元物体の形状をセンサで計測し、この物体の形状を表現する３次元点群データを生成する技術が知られている。この技術では、計測対象物体に対するセンサの視点をさまざまに変えて撮影を繰り返し、得られた撮影データをつなぎ合わせることによって物体全体の形状を表現する３次元点群データを生成する。特に、計測対象（以下、計測対象とする空間または物体を計測対象という）の３次元画像をフレーム単位で撮影し、データとして出力する３次元画像センサを用いた計測時の視点の推定と点群データの生成を同時に実行する技術として、Ｓｉｍｕｌｔａｎｅｏｕｓｌｙ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ（ＳＬＡＭ）と呼ばれる技術がある。
　上記の３次元計測のための撮影において、撮影すべき視点の選択は、計測対象の形状やアプリケーション等に依存する。欠損のない高品質な３次元点群データを得るため、一般的には計測対象物体の形状が複雑なほど、多くの視点から計測対象を撮影する必要がある。計測の途中の段階で３次元点群データの充足度を評価し、次に計測すべき視点を選択する技術としてＮｅｘｔ　Ｂｅｓｔ　Ｖｉｅｗ（ＮＢＶ）がある（例えば特許文献１参照）。　

特開２０１７－２０３７０１号公報

特許文献１に開示されている技術では、充足度の高い高品質な３次元点群データを得るために、計測視点の選択においてボクセル（体積の要素）を使用している。この従来技術では、ボクセルによって細かく分割された３次元空間中に点群データを置き、ボクセル単位で充足度を評価するため、生成する点群データの規模を事前に想定した上で、ボクセルの数に比例する容量のメモリを処理装置内に確保する必要がある。このため、特許文献１に開示されている技術は、大規模な空間の３次元マップを生成するような用途には適し難い。

本発明は、上記問題点を解決するためになされたものであり、メモリ消費を抑制しつつ、３次元マップを得ることができる３次元計測装置、手押し車型移動装置、移動ロボットおよび３次元計測処理方法を提供することを目的とする。

本発明に係る３次元計測装置は、計測対象の３次元画像であって、３次元空間中の物体表面の点である３次元点に関するデータの集合である３次元点群データを含む３次元画像を取得する３次元画像取得部と、３次元画像を合成して、合成後の３次元点群データにより計測対象の３次元形状が表現される３次元マップを生成する３次元マップ生成部と、３次元マップを構成する３次元点群データまたは３次元マップの生成に用いられる３次元画像に含まれる３次元点群データから、ポリゴンを抽出するポリゴン抽出部と、ポリゴンに基づき、３次元マップの品質を評価するマップ評価部と、３次元マップの品質の評価結果に基づき、３次元画像を取得すべき計測対象領域または計測位置を示す情報を含む計測計画を生成する計測計画生成部とを備えることを特徴とする。
　また、本発明に係る手押し車型移動装置の一態様は、上述した３次元計測装置であって、３次元画像を撮影する３次元画像センサと、計測計画に基づいて情報を表示する表示部とを備える３次元計測装置が搭載されることを特徴とする。
　また、本発明に係る移動ロボットは、上述した３次元計測装置であって、３次元画像を撮影する３次元画像センサを備える３次元計測装置が搭載され、３次元計測装置で生成された計測計画に基づき、現在の位置から次の計測位置に到達するための動作指令信号を生成して出力する移動情報出力部と、動作指令信号に基づき移動する駆動部とを備えることを特徴とする。
　また、本発明に係る３次元計測処理方法は、計測対象の３次元画像であって、３次元空間中の物体表面の点である３次元点に関するデータの集合である３次元点群データを含む３次元画像を取得するステップと、３次元画像を合成して、合成後の３次元点群データ　により計測対象の３次元形状が表現される３次元マップを生成するステップと、３次元マップを構成する３次元点群データまたは３次元マップの生成に用いられる３次元画像に含まれる３次元点群データから、ポリゴンを抽出するステップと、ポリゴンに基づき、３次元マップの品質を評価するステップと、３次元マップの品質の評価結果に基づき、３次元画像を取得すべき計測対象領域または計測位置を示す情報を含む計測計画を生成するステップとを含むことを特徴とする。

本発明に係る３次元計測装置および３次元計測処理方法によれば、従来技術と比較してメモリ消費を抑制しつつ３次元マップを生成することができる。
　また、本発明に係る手押し車型移動装置によれば、ユーザが、表示部に表示された情報を基に手押し車型移動装置を適切に移動させて必要十分な３次元画像を簡単に取得することができるので、メモリ削減効果に加えて、効率的に３次元マップを得ることができる。
　また、本発明に係る移動ロボットによれば、メモリ削減効果に加えて、人手を介することなく効率的に３次元マップを得ることができる。

本発明の実施の形態１による３次元計測装置全体の構成例を表すブロック図である。本発明の実施の形態１による３次元計測装置を移動ロボットに搭載して計測する様子を示す概観図である。本発明の実施の形態１による３次元計測装置が備える計測処理部の構成を表すブロック図である。本発明の実施の形態１による３次元計測装置の処理の手順を示す図である。本発明の実施の形態１による３次元計測装置が備えるポリゴン抽出部が、ポリゴンの表面または裏面を定める方法を説明するための図である。本発明の実施の形態１による３次元計測装置が備えるマップ評価部の構成を表すブロック図である。本発明の実施の形態１による３次元計測装置が備える計測姿勢評価部が計測姿勢を評価する方法を説明するための図である。本発明の実施の形態１による３次元計測装置が計測する屋内空間の形状の例を示す平面図である。本発明の実施の形態１による３次元計測装置が、図８に例示する屋内空間を移動しながら計測する様子を表した図である。本発明の実施の形態１による３次元計測装置が備えるマップ充足度評価部が、図８に例示する屋内空間を計測している途中でマップの充足度を評価する動作を説明するための図である。本発明の実施の形態１による３次元計測装置が備える表示部が表示する画像の例を示す図である。本発明の実施の形態２による３次元計測装置を手押し車型移動装置に搭載し、ユーザが手で押して計測する様子を示す図である。本発明の実施の形態２による３次元計測装置が備える表示部へ計測計画に基づく情報を表示した例を示す図である。本発明の実施の形態３による３次元計測装置を、ユーザが手に持って計測する様子を示す図である。

以下、本発明に係る実施形態について図面を参照して説明する。なお、以下の各実施形態において、同様の構成要素については同一の符号を付している。

実施の形態１．
　図１は、本発明の実施の形態１に係る３次元計測装置の構成を表すブロック図である。なお、図１は、機能ブロックによって本実施の形態の３次元計測装置の構成を表している。実施の形態１に係る３次元計測装置は、３次元画像センサ１と、入力部２と、計測処理部３と、表示部４と、移動情報出力部５とを有する。
　図２は、実施の形態１に係る車輪型の移動可能な移動ロボット１０００に搭載した３次元計測装置が、屋内空間の３次元マップを生成する様子を示している。図２において、太線の直線および破線で示す四角錐は３次元画像センサ１の視野の範囲（それぞれ撮影範囲１００１、撮影範囲１００２）を模式的に示したものである。実施の形態１に係る３次元計測装置は、移動ロボット１０００の移動に合わせて３次元画像センサ１を用いて３次元画像を撮影し、移動ロボット１０００の周囲の３次元マップを生成する。

次に、実施の形態１に係る３次元計測装置の各構成要素について説明する。
　図１において、３次元画像センサ１は、計測対象の３次元画像をフレーム単位で撮影し、データとして出力するセンサである。ここで、計測対象が空間である場合において、空間とは、室内や室外など、１つ以上の物体が存在する広がりを持った場所を意味する。また、３次元画像とは、計測対象の同じ位置を撮影した２次元画像と距離画像とが組になった画像である。２次元画像とは、物体または空間の明るさを示す情報が２次元に配列された画素ごとに記録された画像である。２次元画像には、白黒画像とカラー画像とがある。カラー画像は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色の明るさで表現されるＲＧＢ画像が一般的である。また、距離画像とは、撮影素子から被写体となった物体までの距離を示す距離情報が画素ごとに記録された画像である。距離画像の各画素には、例えば撮影素子から物体までの距離の値がミリメートル単位で記録されている。この距離画像から、計測対象の３次元形状を３次元空間中の点の集合（３次元点群）として得ることができる。

　以下、３次元空間中の物体表面の点の集合である３次元点群に関するデータを３次元点群データという。
３次元画像から得られる３次元点群データは、各点の位置を示すデータ（３次元座標等）だけでなく、その点の位置での物体の明るさを示すデータ（輝度値、ＲＧＢ値、ＣＭＹＫ値、その他のカラーコード等）も含まれうる。なお、３次元画像から得られる３次元点群データは、３次元画像から直接的に得られるデータ（画素ごとの距離情報や明るさ）に限定されず、該データから変換等によって得られるデータを含む。また、３次元画像は、２次元画像と距離画像とが組になった画像に限定されず、３次元点群データを含む画像であればよい。なお、ここで「３次元点群データを含む画像」には、３次元点群データが直接記録される画像だけでなく、上記の距離画像のように、画像データとして記録された情報（画素ごとの距離情報）から変換等により所望の３次元点群データを取得可能な画像も含まれる。　距離の計測方式としては、例えばＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）方式、またはプロジェクタとカメラを組み合わせた構成によるパターン投光方式などの方式を利用することができる。３次元画像センサ１から出力される３次元画像において組をなす２次元画像と距離画像の撮像時刻は同期している。

入力部２は、３次元計測装置に対するユーザからの各種の指示の入力を受け付ける。入力部２の機能は、例えばキーボードやマウス、ペン型デバイス、タッチディスプレイなどにより実現される。これらのデバイスを介して、ユーザは入力部２に対して３次元マップ生成処理の開始・一時停止・終了、生成した３次元マップの表示およびファイル保存処理などの指示を入力する。また、入力部２を介して、ユーザは３次元計測装置の動作に関するパラメータを設定できるように構成してもよい。

計測処理部３は、入力部２から入力されたユーザの指示に基づき、３次元画像センサ１で取得した３次元画像のデータから周囲の空間などの計測対象の３次元マップを生成すると同時に、次に計測すべき位置への移動経路を生成する。計測処理部３は、演算処理部（ＣＰＵ）、記憶部（ＲＯＭ、ＲＡＭおよびハードディスクドライブ等）および信号入出力部を持ったコンピュータにより構成することができる。計測処理部３の機能は、コンピュータにより実現される。すなわち、コンピュータの記憶部には、計測処理部３の機能を実現するためのプログラムが格納されており、このプログラムに従って、計測処理部３における各種の演算処理が演算処理部にて実行される。計測処理部３を構成するコンピュータとしては、例えばラップトップＰＣ（ノート型パーソナルコンピュータ）やタブレットＰＣ（板状パーソナルコンピュータ）を用いることができる。

表示部４は、計測処理部３で実行される処理の状況または処理の結果得られた情報を表示する。例えば、表示部４は、計測処理部３で実行される処理の状況を逐次表示してもよい。また、表示部４は、計測処理部３で生成される計測計画に基づき、情報を表示してもよい。例えば、表示部４は、計測計画に基づき、３次元画像を取得すべき計測対象領域または計測位置を示す情報を表示してもよい。ここで、３次元画像を取得すべき計測対象領域または計測位置を示す情報には、計測対象領域の３次元画像を取得可能な位置（計測位置）までの経路に関する情報が含まれる。また、例えば、表示部４は、計測計画に基づき、３次元画像センサ１で次に計測すべき計測対象領域または計測位置と、この際の視線方向とを表示してもよい。また、表示部４は、計測処理部３で生成される３次元マップを画像として表示してもよい。また、表示部４は、３次元画像センサ１が撮影した３次元画像を表示してもよい。
　表示部４の機能は、例えば液晶ディスプレイ、プロジェクタにより実現される。また、入力部２および表示部４としてタッチディスプレイを使用することにより、入力部２と表示部４の機能を兼備させてもよい。

移動情報出力部５は、計測処理部３で生成される計測計画に基づき、次の計測位置および該計測位置への移動経路を決定する。そして、移動情報出力部５は、決定した移動経路に沿って当該３次元計測装置を移動させるための制御信号を出力する。移動情報出力部５は、例えば、決定した移動経路に基づき、移動ロボット１０００の次の移動方向および移動速度を決定して、制御信号として外部の装置へと出力する。例えば、本発明に係る３次元計測装置が車輪の回転によって移動する移動ロボット１０００に搭載される場合、移動情報出力部５から出力される移動方向と移動速度に関する制御信号が、移動ロボット１０００の動作指令信号として入力される。移動ロボット１０００は、移動情報出力部５から与えられる制御信号に従って、車輪の角度と回転速度を制御して移動させる駆動部（図示せず）を備えていてもよい。移動ロボット１０００の移動に伴って、３次元計測装置は、３次元画像センサ１により周囲を撮影し、得られた３次元画像を処理することにより、計測対象の３次元マップを生成する。
　なお、本発明に係る３次元計測装置を、アクチュエーターを備える移動ロボット１０００に搭載する場合、３次元画像センサ１を移動ロボット１０００のアクチュエーターに取り付け、該アクチュエーターの駆動により３次元画像センサ１の位置（例えば、高さ）および姿勢の少なくともいずれかを変更できるように構成してもよい。この場合、移動情報出力部５は、計測処理部３で生成される計測計画で示される次に計測すべき計測位置および視線方向と、現在の移動ロボット１０００の位置と、現在の３次元画像センサ１の位置および姿勢とから、移動ロボット１０００の移動速度および移動方向と、３次元センサ１の位置および姿勢とを決定し、制御信号として移動ロボット１０００へと出力してもよい。移動ロボット１０００は、例えば、３次元画像センサ１の位置および姿勢に関する制御信号を移動情報出力部５から受け取ると、上述した自身の計測位置への移動処理に加えて、アクチュエーターを動作させることにより、３次元画像センサ１の位置および姿勢を変更する。なお、該制御信号は、３次元画像センサ１の位置または姿勢のいずれかに関する信号であってもよい。
　移動情報出力部５は、３次元計測装置またはそれを搭載した装置が自律移動できない装置である場合、省略されてもよい。

図３は、本発明の実施の形態１に係る３次元計測装置に備えられる計測処理部３の構成要素の一例を示したブロック図である。計測処理部３は、３次元画像取得部１０と、３次元マップ生成部２０と、ポリゴン抽出部３０と、３次元画像記憶部４０と、３次元マップ記憶部５０と、マップ評価部６０と、計測計画生成部７０と、入力イベント処理部８０と、表示制御部９０とを備える。

次に、本発明の実施の形態１に係る３次元計測装置の動作について説明する。
図４は、本発明の実施の形態１に係る３次元計測装置が３次元マップを生成する３次元計測処理方法における流れを示す図である。なお、図４に示す動作の流れは一例を示したものであり、一部の動作の順序が入れ替わる場合もあり、一部の動作が同時に並列して実行される場合もある。以下、図３および図４を用いて、本実施の形態の３次元計測装置の動作について説明する。なお、本実施の形態の３次元計測装置の動作は、図示していない動作制御部によって制御される。

３次元計測装置の動作が開始されると、３次元計測装置の動作はステップＳ１へと移行する。ステップＳ１では、３次元画像取得部１０が、３次元画像センサ１から出力される３次元画像をフレーム単位で取得する。３次元画像を１フレーム取得した後、３次元計測装置の動作はステップＳ２へと移行する。

ステップＳ２では、ポリゴン抽出部３０が、３次元画像のうちの距離画像からポリゴンを抽出する。ポリゴンとは、ここでは表面と裏面が定義された多角形の面素であるとする。また、ポリゴンデータは、該ポリゴンを表すデータ、すなわち表面と裏面が定義された多角形の面形式データであるとする。ポリゴン抽出部３０では、３次元空間中の点の集合（３次元点群）を、３次元空間中の面素の集合（ポリゴン集合）に変換する処理が実行される。ポリゴン抽出部３０は、例えば、３次元画像または生成途中の３次元マップから取得される３次元点群データで示される３次元点群内の近傍の３点を接続することにより、三角形のポリゴンを抽出してもよい。３次元点群データからポリゴンを生成する手法としては、Ｍａｒｃｈｉｎｇ　Ｃｕｂｅｓ法、またはＢａｌｌ－Ｐｉｖｏｔｉｎｇアルゴリズム等の既存手法を用いることができる。３次元点群データを構成する点の密度が高い領域では、生成されるポリゴンのサイズは小さくなる。なお、ポリゴンの形状は三角形に限定されず、四角形、五角形、六角形などでもよい。この場合、所定の形状における頂点の数分、３次元点群内の近傍の点を接続すればよい。また、すべてのポリゴンが同一の多角形でなくてもよい。
　ポリゴンの形状を三角形とした場合、他の形状に比べて同じ３次元点群から生成されるポリゴンの数を増やすことができ、後述する３次元マップの品質の評価において、ポリゴンに基づく評価を行う際により精密にかつより簡易な計算で評価を行うことができるので好ましい。

ここで、ポリゴン抽出部３０により生成されたポリゴンに対し、必要に応じて表面と裏面を定義する手順について、図５を用いて説明する。図５において、計測位置３２にて取得された距離画像から、ポリゴン抽出部がポリゴン３１を抽出したとする。点線３３はセンサの光軸を、矢印３４は計測位置３２を起点としたセンサの光軸方向ベクトルを、矢印３５ａは抽出されたポリゴン３１の法線ベクトルを表す。一般に面の法線ベクトルは０でない実数倍の任意性があるベクトルとして定義されるため、点線の矢印３５ｂもポリゴン３１の法線ベクトルとなりえる。ポリゴン３１の法線ベクトルを表す矢印３５ａと矢印３５ｂを、ポリゴン３１の法線ベクトル３５と総称する。

ここでは、以下に示す手順で法線ベクトルを定義することにより、ポリゴン３１の法線ベクトルとして矢印３５ａが選択されるようにする。
まず、３次元画像センサ１に固定された３次元画像センサ１の３次元座標系における光軸方向ベクトルを式（１）のように表記する。

また、抽出されたポリゴン３１の法線ベクトルを式（２）のように表記する。

ここで、αは０でない実数とし、この符号を、３次元画像センサ１の光軸方向ベクトル３４と法線ベクトル３５との内積が負になるように規定する。すなわち、以下の式（３）が成り立つ場合には、αを任意の正の実数に設定する。一方、以下の式（４）が成り立つ場合には、αを任意の負の実数に設定する。

そして、ポリゴン３１の法線ベクトル３５の向きが正の側をこのポリゴンの表面、負の側をこのポリゴンの裏面と定義する。なお、内積の正負と法線ベクトルの向きとの関係、また法線ベクトルの向きと裏表の関係はこの限りではない。すなわち、ポリゴンの表面および裏面は、ポリゴンの頂点をなす点の検出元となった３次元画像を取得した際の３次元画像センサの視線方向に基づき定義されればよい。なお、上記の例は、ポリゴンの頂点をなす点の検出元となった３次元画像を取得した際の３次元画像センサの視線方向に基づき特定される法線ベクトルの向きに応じて、ポリゴンの表面および裏面を定義した例である。本例において、各ポリゴンのデータ（ポリゴンデータ）は、ポリゴンを構成する３つの頂点の３次元座標およびポリゴンの法線ベクトルを含む。

距離画像から抽出されたポリゴン情報と３次元画像センサ１の光軸方向ベクトルの情報は、３次元画像と紐付けて、３次元画像記憶部４０に記憶される。
再び、図３および図４を用いた、本実施の形態の３次元計測装置の動作の説明に戻る。ステップＳ２にて３次元画像に紐付けられるポリゴンを抽出した後、３次元計測装置の動作はステップＳ３へと移行する。
　ステップＳ３では、３次元マップ生成部２０は、３次元画像取得部１０および３次元画像記憶部４０から３次元画像データを、３次元画像記憶部４０から各３次元画像に紐づけられたポリゴンデータを受け取り、３次元マップを生成する。３次元マップとは、３次元点群データにより物体または空間（より具体的には、空間を構成する物体）の３次元形状が少なくとも表現されたデータである。本例では、３次元マップ生成部２０は、計測対象の３次元形状を少なくとも表現する３次元点群データを含む３次元マップを生成する。

　３次元マップの生成には、複数の３次元画像を合成して３次元マップを生成する公知の手法を用いることができる。３次元マップを生成する手法として、例えばＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓｌｙ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ　ｆｒｏｍ　Ｍｏｔｉｏｎ）などがある。これらの手法は、異なる視点で撮影された複数の３次元画像を入力とし、これらの３次元画像の撮影位置および姿勢を推定する問題と、これらの３次元画像を３次元座標系上でつなぎ合わせて３次元マップを生成する問題とを同時に解く。ある３次元画像の撮影位置および姿勢が推定された時、この撮影位置および姿勢を基準として、３次元画像をなす距離画像の各画素の距離情報を３次元座標系上に配置する。このとき、距離画像の各画素が３次元マップを構成する点群の１つの点に対応する。入力される３次元画像全てに対してこの処理を実行することにより、３次元マップが生成される。したがって、３次元マップには、入力された３次元画像全ての距離画像の画素に対応した点が含まれうる。なお、後述するように、３次元マップの更新の際には、生成済みの３次元マップの評価結果に基づき一部の点のデータを利用しないようにすることも可能である。

また、３次元マップ生成部２０は、３次元マップ生成処理において、これまでに生成された３次元マップから抽出したポリゴンデータ（以下、３次元マップのポリゴンデータという）または合成前の３次元画像から取得したポリゴンデータ（以下、３次元画像のポリゴンデータという）を使用するように構成することも可能である。例えば、該ポリゴンデータにより表現される計測対象の面（より具体的には、計測対象物体の面または計測対象空間に含まれる物体の面）の情報を、３次元画像のつなぎ合わせの処理に使用することができる。なお、３次元マップの生成および後述する３次元マップの評価に３次元画像のポリゴンデータを用いない場合は、ステップＳ２の動作を省略してもよい。

　ステップＳ３にて３次元マップが生成された後、３次元計測装置の動作はステップＳ４へと移行する。ステップＳ４では、ポリゴン抽出部３０が、生成後の３次元マップを構成している３次元点群データからポリゴンを抽出する。ポリゴンの抽出方法は、３次元画像に含まれる３次元点群データからの抽出方法と同様である。一般に、３次元マップにおいて３次元画像が重なる領域がある場合、当該領域のポリゴンは合成前の３次元画像のポリゴンよりも小さくなる。３次元マップ生成部２０で生成された３次元マップは、ポリゴン抽出部３０が抽出した該３次元マップのポリゴンデータと合わせて、３次元マップ記憶部５０に記憶される。ここで、３次元マップに対応するポリゴンデータは、３次元マップを構成する各点を含む３次元点群から生成されたポリゴンのデータである。

　ステップＳ４の後、３次元計測装置の動作はステップＳ５へと移行する。ステップＳ５では、マップ評価部６０が、３次元マップ記憶部５０に記憶されている生成済みの３次元マップの品質を評価する。マップ評価部６０は、（１）３次元画像を撮影した時の被写体とされた物体までの距離、（２）計測時の３次元画像センサの姿勢、（３）３次元マップを構成する点群の密度、（４）３次元マップの充足度、に基づいて３次元マップの品質を評価する。これらのうち（１）と（２）は、３次元マップの計測精度、より具体的には３次元マップを構成している３次元点群データまたは３次元マップの元となった３次元画像の３次元点群データの計測精度を指標として用いる。換言すると、マップ評価部６０は、計測精度、点群密度および充足度の３つの指標を用いて、３次元マップの品質を評価する。このとき、マップ評価部６０は、ポリゴン抽出部３０が抽出したポリゴンに基づき、３次元マップの品質を評価することで、３次元マップの生成におけるメモリ消費を抑制する。マップ評価部６０は、上記指標のすべてを用いなくてもよい。また、マップ評価部６０は、上記指標のすべてについて、ポリゴンを利用して品質を評価しなくてもよい。例えば、マップ評価部６０は、上記指標のいずれか１つのみを用いて３次元マップの品質を評価することも可能である。

次に、マップ評価部６０の各構成要素について説明する。
　図６は、マップ評価部６０の構成例を示すブロック図である。マップ評価部６０は、計測距離評価部６１と、計測姿勢評価部６２と、点群密度評価部６３と、マップ計測精度評価部６４と、マップ充足度評価部６５とを備える。３次元マップの品質の指標のうち、計測距離評価部６１、計測姿勢評価部６２、およびマップ計測精度評価部６４が３次元マップの計測精度を、点群密度評価部６３が３次元マップの点群密度を、マップ充足度評価部６５が３次元マップの充足度を評価する。従来技術では３次元マップの充足度のみが評価されていたが、本実施の形態の３次元計測装置は、計測精度、点群密度および充足度という３つの指標を用いて３次元マップの品質を評価することができる。
　なお、マップ評価部６０は必ずしも前述の構成要素全てを備える必要はない。例えば、３次元マップの点群密度を考慮する必要がない場合には、マップ評価部６０の構成要素から点群密度評価部６３を省いた構成とすることも可能である。また、例えば、３次元マップの計測精度を考慮する必要がない場合には、マップ評価部６０の構成要素から計測距離評価部６１、計測姿勢評価部６２およびマップ計測精度評価部６４を省いた構成とすることも可能である。なお、計測精度として、計測距離または計測姿勢を考慮する必要がない場合は、さらにマップ評価部６０の構成要素からさらに計測距離評価部６１または計測姿勢評価部６２と、マップ計測精度評価部６４とを省いた構成とすることも可能である。また、例えば、３次元マップの充足度を考慮する必要がない場合には、マップ評価部６０の構成要素からマップ充足度評価部６５を省いた構成とすることも可能である。

図６において、計測距離評価部６１は、３次元マップの生成に使用した３次元画像を撮影した時の３次元画像センサ１から３次元マップで表現する物体までの距離に関する評価を実行する。３次元画像センサの一般的な性質として、センサから被写体までの距離が遠いほど、距離の計測精度が悪化する。この性質を踏まえて、計測距離評価部６１は、３次元マップの生成に用いた３次元画像の撮影時において上記距離が小さい計測データ（３次元マップを構成する３次元点群データに含まれる各点に対応するデータ）に対して高い評価値を与えるように動作する。すなわち、計測距離評価部６１は、３次元マップを構成する３次元点群データが示す計測対象の位置（より具体的には、計測対象物体の位置または計測対象空間に含まれる物体の位置）と、該計測対象の位置に対応する点に関するデータ（例えば、距離値）を含む３次元画像を取得した際の３次元画像センサの位置との距離を評価する。
　具体的には、計測距離評価部６１は、まず３次元マップ記憶部５０に記憶されている３次元マップを読み込む。次に、この３次元マップを生成するために使用した３次元画像を３次元画像記憶部４０から読み込む。そして、読み込んだ３次元画像に記録されている距離値に基づき、３次元マップを構成する３次元点群データが示す各点に対して評価値を割り付けていく。

　計測姿勢評価部６２は、３次元マップの生成に使用した３次元画像を撮影した際の、３次元画像の被写体（３次元マップで表現される物体）に対する３次元画像センサ１の向き（姿勢）に関する評価を実行する。３次元画像センサの一般的な性質として、センサで物体の面を撮影する際、物体の面に対してセンサの向きが正面に近いほど距離情報の計測精度が高くなる。この性質を踏まえて、計測姿勢評価部６２は、３次元マップのポリゴンデータまたは３次元マップの生成に使用した３次元画像のポリゴンデータに基づき、計測対象の面（より具体的には、計測対象物体の面または計測対象空間に含まれる物体の面）と３次元画像センサ１との相対的な姿勢を評価する。計測姿勢評価部６２は、３次元マップのポリゴンデータまたは３次元マップの生成に使用した３次元画像のポリゴンデータが示す各ポリゴンの法線ベクトルと、このポリゴンの頂点をなす点に関するデータを含む３次元画像を取得した際の３次元画像センサの光軸方向ベクトルとの内積を計算して、上記相対的な姿勢を評価してもよい。なお、３次元画像の合成時に、異なる３次元画像に含まれる３次元点群データがつなぎあわされた結果、あるポリゴンの頂点のデータを含む３次元画像が異なる場合の３次元画像センサの光軸方向ベクトルについては次のように扱ってもよい。計測姿勢評価部６２は、例えば、最多の頂点のデータを含む３次元画像における３次元画像センサの光軸方向ベクトルを用いてもよいし、各頂点のデータを含む３次元画像における３次元画像センサの光軸方向ベクトルの合成ベクトルを用いてもよい。
　内積の絶対値が１に近いほど、相対的に高い評価値を与えるように動作する。例えば、内積の絶対値（０～１）をこのまま評価値としてもよいし、内積の絶対値に対する閾値を１つまたは複数設けて、閾値より大きい値となったポリゴンに対して、該閾値以下であったポリゴンよりも高い評価値を付してもよい。そして、３次元マップを構成する各点に対して評価値を割り付ける。

　３次元マップを構成する各点にポリゴンの評価値を割り付ける方法としては、次の例が挙げられる。例えば、各ポリゴンの評価値をこのポリゴンを構成している各点の評価値に割り振った上で、各点においてそれら評価値を加算していく方法でもよい。また、例えば、各ポリゴンの評価値をこのポリゴンを構成している各点の評価値に割り振った上で、各点においてそれら評価値の平均をとる方法でもよい。また、各ポリゴンの評価値をこのポリゴンを構成している各点に割り振る方法は、例えば、ポリゴンの評価値をこのままこのポリゴンを構成している各点の評価値とする方法でもよいし、ポリゴンの評価値をこのポリゴンを構成している各点で分配（等分配等）する方法でもよい。なお、平均は、ポリゴンのサイズ等に応じた重みづけによる加重平均であってもよい。

計測姿勢評価部６２による計測姿勢の評価の方法を、図７を用いて説明する。図７において、点６２１は３次元画像センサの位置（計測位置）、矢印６２２は点６２１を起点とした３次元画像センサ１の光軸方向ベクトルを表しているとする。そして、白抜き丸印で示している点６２３ａ、点６２３ｂ、点６２３ｃ、および点６２３ｄの４点が３次元点群データとして得られたとする。すると、ポリゴン抽出部３０で３次元点群データからポリゴンを抽出する処理を実行することにより、ポリゴン６２４ａとポリゴン６２４ｂ、およびそれぞれに対応する法線ベクトルとして法線ベクトル６２５ａと法線ベクトル６２５ｂが得られる。このとき、光軸方向ベクトル６２２と法線ベクトル６２５ａのなす角度は約１８０度であり、これらのベクトルの内積の絶対値は１に近くなる。これは、ポリゴン６２４ａの面が方向ベクトル６２２に対してほぼ正対していることを示しており、点６２３ａと点６２３ｂの距離の計測精度は高いと期待される。このため、計測姿勢評価部６２は点６２３ａと点６２３ｂに対して、これよりも内積の絶対値が０に近いポリゴンを構成している各点よりも高い評価値を与える。一方、方向ベクトル６２２と法線ベクトル６２５ｂの内積は０に近くなる。これは、３次元画像センサ１がポリゴン６２４ｂの面の向きに対して斜め向きに計測していることを示しており、点６２３ｃと点６２３ｄの距離の計測精度は低いと考えられる。このため、計測姿勢評価部６２は点６２３ｃと点６２３ｄに対して、これよりも内積の絶対値が１に近いポリゴンを構成している各点よりも低い評価値を与える。なお、計測姿勢評価部６２は、ポリゴンごとに上記内積に応じた評価値を求め、それを上述した方法により各点に割り付けてもよい。

点群密度評価部６３は、生成済みの３次元マップの点群の密度に関する評価を実行する。点群密度評価部６３は、点群の密度が高いほど、高い評価値を与えるように動作する。点群の密度は、ポリゴン抽出部３０で抽出されるポリゴンの辺の長さの合計に基づいて算出する。具体的には、点群密度評価部６３は、まず３次元マップ記憶部５０に記憶されている３次元マップおよびこのポリゴンデータを読み込む。また、点群密度評価部６３は、上記に代えて、３次元画像記憶部４０に記憶されている３次元画像およびこのポリゴンデータを読み込んでもよい。そして、読み込んだポリゴンデータが示すポリゴンのサイズに基づき、３次元マップを構成する各点に対して評価値を割り付けていく。例えば、ポリゴンのサイズが相対的に小さいほど、このポリゴンを構成している点に対して高い評価値を割り付けていく。３次元マップまたは３次元画像のポリゴンと３次元マップを構成する各点との対応づけは、上述した３次元マップを構成する各点に対して評価値を割り付ける方法と基本的に同様でよい。なお、点群密度評価部６３で算出される評価値は、３次元マップを構成する点毎以外に、３次元マップの小領域毎にも求められる。小領域毎の評価値の求め方は後述する。

マップ計測精度評価部６４は、計測距離評価部６１および計測姿勢評価部６２のそれぞれの評価結果を統合した結果に基づき、３次元マップの計測精度の評価値を算出する。なお、計測距離評価部６１、計測姿勢評価部６２およびマップ計測精度評価部６４で算出される評価値も、３次元マップを構成する点毎以外に、３次元マップの小領域毎にも求められる。

　マップ計測精度評価部６４は、計測距離評価部６１および計測姿勢評価部６２で算出された評価値の重み付け和を求めることにより、生成済みの３次元マップの計測精度に関する評価値を算出する。マップ計測精度評価部６４は、生成済みの３次元マップの点群の寸法誤差が小さいほど、高い評価値を出力する。
　各評価値の重み付けは、ユーザが任意に指定できるようにする。例えば、計測距離精度が高い３次元画像センサを使用する場合には、計測距離評価部６１にて算出される計測距離に関する評価値の重みを小さく設定する。

　３次元マップの小領域毎に評価値を求める方法としては、次のような方法が挙げられる。例えば、３次元マップを構成する点を少なくとも１つ含むように所定サイズの小領域（例えばボクセル）を３次元空間に対して定義し、この小領域毎に各々の評価値を算出するように構成してもよい。小領域は、３次元マップを構成する点を複数含むように定義されてもよい。
点を含む小領域毎に評価することにより、局所的な領域に対して計測精度および点群密度を評価することができる。なお、この方法では点を含まない領域に対して上記の評価がされないが、このような領域については後述する充足度を用いて評価すればよい。
　また、例えば、３次元マップを多数の立方体（小領域）で等分割し、この立方体内に含まれる各点の評価値の平均をこの小領域の評価値とすることも可能である。評価値自体は３次元マップを構成する各点に割り付けられているため、仮に小領域の数が増えたとしても、３次元マップの生成におけるメモリ消費が増えるわけではない。

マップ充足度評価部６５は、欠損のない３次元マップが生成できているかといった、３次元マップの充足度を評価する。より具体的に、マップ充足度評価部６５は、３次元マップ内に仮想的な視点を設定し、仮想的な視点を中心とする仮想球上において、３次元マップのポリゴンの表面または裏面が射影された領域の表面積を求めることにより、３次元マップの充足度に基づく評価値を算出する。

マップ充足度評価部６５によるマップ充足度の評価の方法を、図８から図１０を用いて説明する。ここで、図８に平面図として示している回廊の形状の空間の３次元マップを、本実施の形態に係る３次元計測装置を用いて生成する場合を考える。図８において、白色の部分が、３次元計測装置が移動できる空間を表し、斜線でハッチングされている部分が壁の内側または裏側にあたる範囲を表す。
　図９は、本実施の形態に係る３次元計測装置が空間を計測する様子を示している。図９では２次元の図面を用いて計測の様子を説明しているが、実際の３次元計測装置では３次元空間中で動作する。図９の黒丸の点は３次元画像センサの位置、黒丸の点に付随する三角形は、３次元画像センサの画角（視野）を表現している。３次元計測装置は、黒丸で表している点６５１ａを初期位置として、矢印にて示す順番で点６５１ｂ、点６５１ｃ、点６５１ｄと移動していき、点６５１ｄの位置で現在停止しているとする。このように３次元空間を計測することにより、図９で実線と一点鎖線で示す３次元マップ、ならびにこの３次元マップに付随するポリゴン（図示しない）が生成されたとする。図９において、実線３０１側がポリゴンの表面であり、一点鎖線３０２側はポリゴンの裏面であるとする。また、図９の点線３０３の部分は、３次元マップが作成されていない部分（領域）を表す。

このとき、生成済みの３次元マップの充足度を算出する方法を、図１０を用いて説明する。まず、３次元マップ中のある仮想的な視点（立脚点）Ｐを中心とした仮想球６５２を定義する。そして、生成済みの３次元マップのポリゴンを、仮想球６５２へと射影する。図１０の仮想球６５２において、仮想的な視点Ｐから見てポリゴンの表面が見えている範囲を実線３１１で、ポリゴンの裏面が見えている範囲を一点鎖線３１２で、ポリゴンが見えない範囲を点線３１３で、それぞれ示している。すなわち、仮想的な視点Ｐを基準に、実線３１１は仮想的な視点Ｐから見て計測済みの範囲を、一点鎖線３１２は仮想的な視点Ｐから見て計測対象の面として裏側のみが計測されている範囲を、点線３１３は未計測の範囲をそれぞれ示している。このように、仮想的な視点Ｐからのポリゴンの見え方を求めた後、ポリゴンの表面が仮想球に射影された領域（図１０の実線３１１の範囲に対応）の表面積を求める。この表面積を、仮想的な視点Ｐを基準としたマップ充足度とする。

マップ充足度評価部６５が仮想球を設定する場所は、計測対象を含む所定の空間内の任意の点を設定可能であるが、例えば３次元計測装置が既に移動してきた過去の経路上の、複数（例えば、１メートル間隔）の位置としてもよい。あるいは、３次元計測装置が移動してきた過去の経路の、近傍の位置としてもよい。近傍の位置とは、３次元画像センサによる３次元画像の撮影位置と、撮影した３次元画像から抽出されたポリゴンとの間の点とする。仮想球の位置をこのように設定することにより、実際には計測が不可能な壁の内側のような位置を基準としたマップ充足度の評価が実行されないようにできる。

実施の形態１に係る３次元計測装置が備えるマップ充足度評価部６５を、従来技術を用いて実現することも可能である。しかしながら、従来技術では、生成する３次元マップの充足度の評価においてボクセルを使用しているため、ＳＬＡＭのように、３次元マップの生成中にデータが逐次拡大していく手法においては、事前にデータの規模を想定して大量のメモリを確保する必要がある。一方、本実施形態の３次元計測装置は、３次元マップの評価をポリゴンに基づいて行っているため、空間全体を埋めるように生成していくボクセルと異なり、ポリゴンは計測対象の面（特に表面）が存在する領域にのみ生成されればよいため、メモリの使用量を大幅に低減できる。さらに、本実施形態では、任意に設定可能な仮想視点からのポリゴンの見え方に基づいて３次元マップの充足度を評価できるので、複雑な形状の計測対象であっても、メモリの使用量を抑えながら、欠損のない３次元マップを得ることができる。さらに、得られた３次元マップの評価結果を利用して、次に計測すべき位置、該位置までの経路または次の仮想視点を決定したり、仮想視点の設定位置や設定間隔を調整するなど計測計画を最適化することで、さらに適切に、メモリの使用量の削減効果と複雑な形状に対応した３次元マップの充足度とを両立できる。

　再び、図３および図４を用いた、実施の形態１に係る３次元計測装置の動作の説明に戻る。
　ステップＳ５にて３次元マップの品質を評価した後、３次元計測装置の動作はステップＳ６へと移行する。ステップＳ６では、計測計画生成部７０は、３次元マップの評価結果に基づいて、計測計画を生成する。計測計画は、新たに（例えば、次回以降に）３次元画像を取得すべき対象領域（以下、計測対象領域という）または該計測対象領域の３次元画像を取得可能な位置（計測位置）を示す情報を含む。なお、計測計画に含まれる計測対象領域および計測位置は、すでに３次元画像を取得済みの領域および位置と同一であってかまわない。
　また、計測計画は、計測方向（計測対象領域に対する計測方向または計測位置における計測方向）を示す情報を含んでいてもよい。また、計測計画は、複数の計測対象領域または複数の計測位置を示す情報を含んでいてもよい。また、計測計画は、計測位置までの経路を示す情報を含んでいてもよい。

　以下では、計測計画として、次に計測すべき計測対象領域を示す情報と、該計測対象領域に対する計測方向を示す情報と、該計測対象領域の３次元画像を取得可能な計測位置までの経路を示す情報とを生成した場合を例に説明する。
　計測計画生成部７０は、例えば、３次元マップの計測精度、点群密度および充足度のうちの少なくとも１つの指標の評価に基づいて、次の計測対象領域と該計測対象領域への視線方向とを決定してもよい。そして、計測計画生成部７０は、決定された計測対象領域の３次元画像を取得可能な位置に、移動ロボットが移動するように、現在位置から該位置までの経路を生成してもよい。また、計測計画生成部７０は、例えば、３次元マップの計測精度、点群密度または充足度のうちの少なくとも１つの指標の評価に基づいて、次の計測位置と視線方向とを決定してもよい。そして、計測計画生成部７０は、決定された計測位置に、移動ロボットが移動するように、現在位置から該位置までの経路を生成してもよい。計測計画生成部７０は、生成した移動経路の情報を含む計測計画を、移動情報出力部５へと出力してもよい。

　３次元マップの品質の要素のうち、計測精度、点群密度、充足度のどれを用いるか、またどれをどの程度優先するかは、生成する３次元マップのアプリケーションに応じて、ユーザが指定できるようにする。例えば、空間の３次元形状を大まかに知ることができれば十分なアプリケーションであれば、マップ充足度の評価値の重みを大きく設定する。こうすることにより、計測計画生成部７０は、欠損のない３次元マップが生成できるような計測計画を生成する。

　なお、図３における３次元マップ生成部２０とマップ評価部６０とを結ぶ矢印に示すように、ステップＳ５にて３次元マップの品質を評価した結果を、ステップＳ３の３次元マップの生成にフィードバックするように処理の流れを構成することも可能である。すなわち、マップ評価部６０で得られるマップの特に計測精度の評価結果に基づき、３次元マップ生成部２０が、生成済みの３次元マップを更新する。例えば、計測対象の同一の箇所を撮影した３次元画像データが３次元画像記憶部４０に複数格納されており、これらを撮影した時の計測距離、点群密度、計測姿勢のいずれかが異なるとする。この場合、３次元マップ生成部２０は、マップ評価部６０の評価結果に基づき、より品質の高い３次元画像データを３次元画像記憶部４０から選択し、３次元マップの生成に使用するようにしてもよい。具体的には、３次元マップ生成部２０において、より近距離で撮影された３次元画像データ、より点群密度の高い３次元画像データ、ならびに撮影物体の面に対して正面向きに近い姿勢で撮影された３次元画像データを３次元画像記憶部４０から読み出し、３次元マップの生成に利用する。なお、ここでいう３次元画像データは必ずしも１つの３次元画像から得られるすべてのデータでなくてもよく、１つの３次元画像から得られるデータの一部であってもよい。例えば、３次元マップ生成部２０は、複数の３次元画像間で撮影範囲が重複している場合に、それら３次元画像のうち同じ個所を撮影した部分のデータの中からより評価が高いデータを読み出し、３次元マップの生成に利用してもよい。また、例えば、３次元マップ生成部２０は、複数の３次元画像間で撮影範囲が重複していない場合であっても、評価結果が所定の閾値未満のデータを３次元マップの生成に利用しないようにすることも可能である。
　そして、３次元マップ記憶部５０に記憶されている３次元マップを更新する。３次元マップ生成部をこのような動作とすることにより、より品質の高い３次元画像データからなる３次元マップを生成することができる。

　ステップＳ６にて計測計画を生成した後、３次元計測装置の動作はステップＳ７へと移行する。ステップＳ７では、３次元計測装置によるマップ生成処理を終了するか否かの判定処理を実行する。終了しない場合にはステップＳ１へと戻り、前述の手順を繰り返す。ステップＳ７においては、例えば、生成すべき３次元マップの品質の基準をあらかじめ定めておき、生成途中の３次元マップがこの基準を満たしているか否かにより、終了を判定する。あるいは、入力部２を介したユーザの操作により終了の指示がなされた場合に、マップ生成処理を終了する。

　次に、実施の形態１に係る３次元計測装置が備える構成要素のうち、その他の構成要素について説明する。
　図３において、入力イベント処理部８０は、３次元計測装置に対して、入力部２を介してユーザが与えた入力指示を受け取る。入力イベント処理部８０が受け取る指示入力は、例えば３次元マップ生成処理の開始・一時停止・終了などの、３次元計測装置の動作に関する指示である。また、入力イベント処理部８０は、３次元マップ生成部２０、マップ評価部６０、計測計画生成部７０の内部動作に関するパラメータの設定情報を受け取り、各部に転送する機能を有する。さらに、３次元マップの作成が必要な区域と不要な区域が存在する場合、あるいは立ち入り禁止の区域が存在する場合、これらの区画に関する情報を計測計画生成部７０へと入力する。

　表示制御部９０は、３次元画像センサ１により取得された３次元画像、および３次元マップ生成部２０で生成された３次元マップを表示部４に表示するための画像（表示画面等）を生成し、この画像データを表示部４に送出する。また、表示制御部９０は、計測計画生成部７０で生成された計測計画に基づく情報を表示部４に表示するための画像を生成し、この画像データを表示部４に送出してもよい。このとき、表示制御部９０は、計測計画に基づいて、３次元画像を取得すべき計測対象領域または計測位置を示す情報を、取得された３次元画像または生成された３次元マップに重畳させて表示部４に表示するための画像を生成し、この画像データを表示部４に送出してもよい。

　図１１は、表示部４が表示する画像の例として、左側に３次元画像センサ１により取得されるカラー画像（ａ）と距離画像（ｂ）を、右側に生成途中の３次元マップ（ｃ）を並べた例である。図１１中の左下の距離画像（ｂ）は、例えば距離を画像の濃淡に変換して表示した一例である。表示制御部９０と表示部４は、同一の筐体に具備するようにして有線通信してもよいし、または無線通信により３次元計測装置から離れた位置にある表示部４へ画像データを送出するように構成してもよい。

　以上のように、実施の形態１に係る３次元計測装置によれば、生成する３次元マップから逐次抽出するポリゴンを用いて３次元マップを構成する３次元点群データの計測精度、３次元マップの充足度および３次元マップの密度に基づく品質評価を含んだ３次元マップの品質評価を行うため、従来技術と比較して、高精度な３次元マップをより少ないメモリ量で得ることができる。したがって、例えば、大規模な空間や複雑な形状の空間であっても、大容量のメモリ等を用意しなくても簡便に高精度な３次元マップを得ることができる。
　さらに、３次元計測装置を移動ロボットに搭載し、３次元計測装置が生成する計測計画に基づいて移動ロボットを移動させたり、３次元画像センサの姿勢を変更させて自律的に空間の３次元計測を行うよう構成すれば、人手を介することなく効率的に空間の３次元マップを得ることもできる。
　なお、上記の３次元画像センサ１を移動ロボットに搭載し、該移動ロボットとネットワークを介して接続された３次元計測装置が移動ロボットから取得した３次元画像を用いて、３次元マップの生成を行ってもよい。この場合、３次元計測装置は、生成した３次元マップを評価して計測計画を生成し、生成した計測計画に基づいて、移動ロボットに制御信号を出力してもよい。このような構成であっても、上記と同様の効果を得ることができる。

実施の形態２．
　実施の形態１では、３次元計測装置またはこの一部の機能を移動ロボットに搭載して３次元マップを生成していた。実施の形態２では、３次元計測装置またはこの一部の機能を手押し車型移動装置に搭載し、この手押し車型移動装置をユーザが手で押して移動することで空間を計測する。本実施形態では、上述した３次元計測装置の構成要素のうち少なくとも３次元画像センサ１および表示部４が手押し車型移動装置に搭載される。

　図１２は、３次元計測装置を手押し車型移動装置２０００に搭載し、ユーザが手押し車型移動装置２０００を押して移動しながら計測する様子を示した図である。図１２において、太線の直線および破線で示す四角錐は手押し車型移動装置２０００の視野の範囲（それぞれ撮影範囲２００１、撮影範囲２００２）を模式的に示したものである。
　ユーザ自身が３次元計測装置を動かしながら空間の３次元計測を実施する場合、３次元計測装置は、ユーザが次にどこを計測すべきかをユーザに提示し、ユーザを誘導するように構成してもよい。例えば、３次元計測装置が備える計測計画生成部７０が、次の計測位置または該計測位置への移動経路を含む計測計画を生成した後、この計測計画に従って現在の位置から次の計測位置に到達するための動作指令信号を生成し、ユーザが移動するように誘導する表示画面を表示制御部９０で生成し、表示部４に表示してもよい。

　図１３は、計測計画に基づく情報を表示部４に表示し、ユーザを誘導する例を示している。図１３では、３次元画像センサにより取得されたカラー画像（ｄ）を左上に表示し、さらに、移動経路（本例では進行方向）および計測対象領域をこのカラー画像（ｄ）に重畳して表示している。カラー画像（ｄ）を用いた視覚的な誘導と合わせて、左下にはユーザに対するメッセージの表示板（ｅ）を表示している。例えば、図１３に示すように、表示板（ｅ）において、「計測漏れの場所があります。矢印の方向に進んで計測して下さい。」、および「点群密度が不十分です。色が塗られている部分を計測して下さい。」を表示する。また、図１３の右側は、図１１と同じく、生成途中の３次元マップ（ｃ）を表している。

　実施の形態２に係る３次元計測装置において、以上で述べた以外の動作は、実施の形態１で説明したものと同様である。

　実施の形態２に係る３次元計測装置によれば、ユーザは手押し車型移動装置に搭載された３次元計測装置を手で押して空間を計測できる。このとき、ユーザは、表示部に表示された情報を基にユーザが手押し車型移動装置を移動させることで、必要十分な３次元画像を効率的に取得することができる。また、実施の形態２に係る３次元計測装置によれば、例えば３次元マップの作成が必要な区域と不要な区域が存在する場合、あるいは立ち入り禁止の区域が存在するような場合に、ユーザが計測時に現場で判断しながら計測を実施することができる。したがって、実施の形態２に係る３次元計測装置によれば、人手による判断が必要な計測条件を有する空間であっても、効率的な３次元マップに取得できる。
　また、実施の形態２に係る手押し車型移動装置に搭載される３次元計測装置は、実施の形態１で説明したのと同様の効果も有する。

実施の形態３．
　実施の形態１ならびに実施の形態２では、３次元計測装置またはこの一部の機能が床面上を走行する移動ロボットまたは手押し車型移動装置に搭載される例を示した。実施の形態３では、３次元計測装置またはこの一部の機能（少なくとも３次元画像センサ１および表示部４）を携帯型端末によって構成する。すなわち、ユーザは３次元画像センサと表示部４とを少なくとも備える３次元計測装置を手に持って空間を計測する。３次元計測装置１００００は、例えばタブレットＰＣにより実現される。
　図１４は、タブレットＰＣにより実現される３次元計測装置１００００をユーザが手に持ち、屋内の３次元空間を計測している様子を示した図である。図１４において、太線の直線および破線で示す四角錐はユーザ手持ちの３次元計測装置１００００の視野の範囲（それぞれ撮影範囲１０００１、撮影範囲１０００２）を模式的に示したものである。３次元画像センサ１は、３次元計測装置１００００に一体で取り付けられている。表示部４（ここではタブレットＰＣの画面）には、実施の形態２と同じく、図１３に示したようなユーザを誘導する画面が表示される。
　実施の形態３に係る３次元計測装置において、以上で述べた以外の動作は、実施の形態２で述べたものと同様である。

　実施の形態３に係る携帯型の３次元計測装置は、携帯型端末等により実現されるので、ユーザが手にもって移動できる。このため、実施の形態３に係る携帯型の３次元計測装置によれば、人手による判断が必要な計測条件を有する空間だけでなく、移動ロボットが入りにくい狭隘な空間、および複雑な形状の物体が存在する空間でも効率的に３次元マップを得ることができる。
　また、実施の形態３に係る３次元計測装置は、実施の形態１で述べたのと同様の効果も有する。

　［付記１］
計測対象の３次元画像であって、３次元空間中の物体表面の点である３次元点に関するデータの集合である３次元点群データを含む３次元画像を取得する３次元画像取得部と、
　前記３次元画像を合成して、合成後の３次元点群データにより前記計測対象の３次元形状が表現される３次元マップを生成する３次元マップ生成部と、
　前記３次元マップを構成する３次元点群データまたは３次元マップの生成に用いられる前記３次元画像に含まれる３次元点群データから、ポリゴンを抽出するポリゴン抽出部と、
　前記ポリゴンに基づき、前記３次元マップの品質を評価するマップ評価部と、
　前記３次元マップの品質の評価結果に基づき、前記３次元画像を取得すべき計測対象領域または計測位置を示す情報を含む計測計画を生成する計測計画生成部と、
を備える３次元計測装置。

　［付記２］
計測対象の３次元画像であって、３次元空間中の物体表面の点である３次元点に関するデータの集合である３次元点群データを含む３次元画像を取得する３次元画像取得部と、
　前記３次元画像を合成して、合成後の３次元点群データにより前記計測対象の３次元形状が表現される３次元マップを生成する３次元マップ生成部と、
　前記３次元マップを構成する３次元点群データまたは３次元マップの生成に用いられる前記３次元画像に含まれる３次元点群データから、ポリゴンを抽出するポリゴン抽出部と、
　前記ポリゴンに基づき、前記３次元マップの品質を評価するマップ評価部と、
　前記３次元マップの品質の評価結果に基づき、現在の位置から次に前記３次元画像を取得すべき計測位置までの移動経路を示す情報を含む計測計画を生成する計測計画生成部と　を備える３次元計測装置。

　［付記３］
前記ポリゴンは、抽出元とされた３次元点群データが示す３次元点群内の近傍の３点を接続する三角形の面素である付記１または付記２に記載の３次元計測装置。

　［付記４］
前記ポリゴンは、裏面と表面が定義された三角形の面素であり、
　前記ポリゴンの法線ベクトルの向きは、前記ポリゴンの頂点をなす点に関するデータを含む前記３次元画像を取得した際の３次元画像センサの視線の方向ベクトルとの内積が負になるように定義され、
　前記ポリゴンの法線ベクトルの向きが正の側を前記ポリゴンの表面、負の側を裏面とされる
　付記１から３のうちのいずれかに記載の３次元計測装置。

　［付記５］
前記マップ評価部において評価される前記品質の指標には、前記３次元マップの計測精度が含まれる付記１から４のいずれかに記載の３次元計測装置。

　［付記６］
　前記マップ評価部において評価される前記品質の指標には、前記３次元マップの点群密度が含まれる付記１から５のいずれかに記載の３次元計測装置。

　［付記７］
　前記マップ評価部において評価される前記品質の指標には、前記３次元マップの充足度が含まれる付記１から６のいずれかに記載の３次元計測装置。

　［付記８］
　前記マップ評価部は、
　前記ポリゴンを抽出した３次元点群データが示す物体の位置と、前記物体の位置に対応する点に関するデータを含む前記３次元画像を取得した際の３次元画像センサの位置との距離を評価する計測距離評価部を含み、
　前記計測距離評価部による評価に基づき前記３次元マップの計測精度を評価する
　付記５に記載の３次元計測装置。

　［付記９］
　前記マップ評価部は、
　前記ポリゴンの法線ベクトルと、前記ポリゴンの頂点をなす点に関するデータを含む前記３次元画像を取得した際の３次元画像センサの光軸方向ベクトルとの内積を計算することにより、前記３次元画像センサと前記ポリゴンとの相対的な姿勢を評価する計測姿勢評価部を含み、
　前記計測姿勢評価部による評価に基づき前記３次元マップの計測精度を評価する付記５または８に記載の３次元計測装置。

　［付記１０］
　前記マップ評価部は、
　前記ポリゴンの辺の長さを求めることにより、前記３次元マップの品質の評価として前記３次元マップの点群密度に基づく評価値を算出する点群密度評価部を含み、
　前記点群密度評価部による評価に基づき前記３次元マップの点群密度を評価する付記６に記載の３次元計測装置。

　［付記１１］
　前記マップ評価部は、
　前記３次元マップ内に仮想的な視点を設定し、前記仮想的な視点を中心とする仮想球上において、前記ポリゴンの表面が射影された領域の表面積を求めることにより、前記３次元マップの充足度に基づく評価値を算出するマップ充足度評価部を含み、
　前記充足度評価部による評価に基づき前記３次元マップの充足度を評価する付記７に記載の３次元計測装置。

　１　３次元画像センサ、２　入力部、３　計測処理部、４　表示部、５　移動情報出力部、１０　３次元画像取得部、２０　３次元マップ生成部、３０　ポリゴン抽出部、４０　３次元画像記憶部、５０　３次元マップ記憶部、６０　マップ評価部、７０　計測計画生成部、８０　入力イベント処理部、９０　表示制御部、１００００　３次元計測装置

Claims

　計測対象の３次元画像であって、３次元空間中の物体表面の点である３次元点に関するデータの集合である３次元点群データを含む３次元画像を取得する３次元画像取得部と、
　前記３次元画像を合成して、合成後の３次元点群データにより前記計測対象の３次元形状が表現される３次元マップを生成する３次元マップ生成部と、
　前記３次元マップを構成する３次元点群データまたは３次元マップの生成に用いられる前記３次元画像に含まれる３次元点群データから、ポリゴンを抽出するポリゴン抽出部と、
　前記ポリゴンに基づき、前記３次元マップの品質を評価するマップ評価部と、
　前記３次元マップの品質の評価結果に基づき、前記３次元画像を取得すべき計測対象領域または計測位置を示す情報を含む計測計画を生成する計測計画生成部と、
を備える３次元計測装置。
　前記マップ評価部は、前記ポリゴンに基づき、前記３次元マップの充足度を少なくとも指標として前記３次元マップの品質を評価する請求項１に記載の３次元計測装置。
前記ポリゴンは、表面および裏面が定義された多角形の面素であることを特徴とする請求項１または２に記載の３次元計測装置。
前記表面および前記裏面は、前記ポリゴンの頂点をなす点に関するデータを含む前記３次元画像を取得した際の３次元画像センサの視線方向に基づき特定される法線ベクトルの向きに応じて定められる請求項３に記載の３次元計測装置。
　前記マップ評価部は、
　前記３次元マップ内に仮想的な視点を設定し、前記仮想的な視点を中心とする仮想球上において、前記ポリゴンの表面が射影された領域の表面積を求めることにより、前記３次元マップの充足度に基づく評価値を算出するマップ充足度評価部を備える請求項１から４のうちのいずれか１項に記載の３次元計測装置。
　前記マップ評価部は、
　前記ポリゴンを抽出した３次元点群データが示す物体の位置と、前記物体の位置に対応する点に関するデータを含む前記３次元画像を取得した際の３次元画像センサの位置との距離を評価する計測距離評価部と、
　前記ポリゴンの法線ベクトルと、前記ポリゴンの頂点をなす点に関するデータを含む前記３次元画像を取得した際の３次元画像センサの光軸方向ベクトルとの内積を計算することにより、前記３次元画像センサと前記ポリゴンとの相対的な姿勢を評価する計測姿勢評価部と、
　前記計測距離評価部の評価結果と前記計測姿勢評価部の評価結果とを統合し、前記３次元マップの品質の評価として前記３次元マップの計測精度に基づく評価値を算出するマップ計測精度評価部と、
を備える請求項１から５のいずれか１項に記載の３次元計測装置。
　前記マップ評価部は、
　前記ポリゴンの辺の長さを求めることにより、前記３次元マップの品質の評価として前記３次元マップの点群密度に基づく評価値を算出する点群密度評価部を備える請求項１から６のいずれか１項に記載の３次元計測装置。
　前記３次元マップ生成部は、前記３次元画像に含まれる３次元点群データから抽出される前記ポリゴンにより表現される被写体の面の情報を利用して、前記３次元マップを生成する請求項１から７のいずれか１項に記載の３次元計測装置。
　前記計測計画生成部は、３次元画像を取得すべき１つ以上の計測対象領域または計測位置を示す情報と、前記計測対象領域または前記計測位置における計測方向を示す情報とを含む計測計画を生成する請求項１から８のいずれか１項に記載の３次元計測装置。
　前記計測計画生成部は、次回の計測対象領域または計測位置を示す情報と、現在の位置から前記計測対象領域の３次元画像を取得可能な位置または前記計測位置までの移動経路を示す情報とを含む計測計画を生成する請求項１から９のいずれか１項に記載の３次元計測装置。
　前記３次元画像を撮影する３次元画像センサと、
　前記計測計画に基づいて情報を表示する表示部と、
を備える請求項１から１０のいずれか１項に記載の３次元計測装置。
　前記計測計画に基づいて、前記３次元画像を取得すべき計測対象領域または計測位置を示す情報を、前記３次元画像または前記３次元マップに重畳させて前記表示部に表示させる表示制御部を備える請求項１１に記載の３次元計測装置。
　携帯型である請求項１から１２のいずれか１項に記載の３次元計測装置。
　請求項１から１３のいずれか１項に記載の３次元計測装置であって、前記３次元画像を撮影する３次元画像センサと、前記計測計画に基づいて情報を表示する表示部と、を備える３次元計測装置が搭載される手押し車型移動装置。
　請求項１から１３のいずれか１項に記載の３次元計測装置であって、前記３次元画像を撮影する３次元画像センサを備える３次元計測装置が搭載され、
　前記３次元計測装置で生成される計測計画に基づき、現在の位置から次の計測位置に到達するための動作指令信号を生成して出力する移動情報出力部と、
　前記動作指令信号に基づき移動する駆動部と、
を備える移動ロボット。
　計測対象の３次元画像であって、３次元空間中の物体表面の点である３次元点に関するデータの集合である３次元点群データを含む３次元画像を取得するステップと、
　前記３次元画像を合成して、合成後の３次元点群データにより前記計測対象の３次元形状が表現される３次元マップを生成するステップと、
　前記３次元マップを構成する３次元点群データまたは３次元マップの生成に用いられる前記３次元画像に含まれる３次元点群データから、ポリゴンを抽出するステップと、
　前記ポリゴンに基づき、前記３次元マップの品質を評価するステップと、
　前記３次元マップの品質の評価結果に基づき、前記３次元画像を取得すべき計測対象領域または計測位置を示す情報を含む計測計画を生成するステップと、
を含む３次元計測処理方法。