JP6489566B2 - ３次元計測装置及びその計測支援処理方法 - Google Patents

Description

この発明は、例えば生産現場及びエレベータ昇降路などの３次元空間の寸法を計測し３次元マップを作成する３次元計測装置及びその計測支援処理方法に関するものである。

例えば生産現場及びエレベータ昇降路などでは、機器の据付又は保守のために３次元空間である作業環境の寸法を計測する必要がある。しかし、人手による３次元空間の計測は難しく、一部の箇所を計測し忘れたり一部の計測値が誤っていたりすることがしばしば発生する。このような場合、設計の修正又は部材の再加工等が発生し、作業の遅延につながる。

また、対象物件が顧客のものである場合、寸法の再計測のために、顧客に現場の停止（生産停止又はエレベータの運転停止等）を再度依頼しなければならない。

これに対して、３次元空間の形状を簡単に計測（スキャン）し、その３次元形状を保存することで、あらゆる箇所の寸法をいつでも計測できるようにし、またシミュレーション上での据付の検証を可能にすることが要求されている。

３次元空間の形状の取得方法の１つとして、３Ｄ（three-dimensional）センサを用いて手動でスキャンする方法がある。この場合、複数の計測データからそれぞれ特徴を抽出する。そして、計測データ間で共通して観測された特徴が重なるように計測データを位置合わせして、３次元マップを作成（更新）する。このようなデータの位置合わせ処理をマッピングと呼ぶ。

従来の画像処理装置では、制御部に３次元マップ生成部が設けられている。３次元マップ生成部は、カメラを移動させ、２地点において撮像させた２枚の２次元画像に基づいて部分的な３次元マップを生成する。また、制御部は、ガイドレール上の各地点からカメラに撮影させて、得られた画像から全体の３次元マップを生成し記憶する。さらに、制御部は、記憶している全体の３次元マップに基づいて、任意の撮像対象地点を見通せる地点を導出する。そして、導出した地点の近傍で、撮像対象地点を含む３次元マップが生成できるまでカメラ１０に撮像させ、その部分の３次元マップを生成し、撮影対象地点の３次元マップを取得する（例えば、特許文献１参照）。

また、従来の自己位置推定方法では、移動体に搭載した撮像装置により撮像された画像中の特徴点を検出しつつ、移動体の移動に伴う画像上での特徴点の変化から移動体周囲の物体の位置を検出することで、自己位置を推定する。このとき、移動体がその場で回転していない場合には、撮像装置の撮像方向を初期方向とする。また、移動体がその場で回転している場合には、撮像装置の撮像方向を、移動体が回転する前に取得した画像に存在した特徴点の少なくとも一部を撮像可能な向きとする。これにより、特徴点をロストする可能性を低減して、自己位置推定が継続的に実施可能となる（例えば、特許文献２参照）。

特開２００９−１５５０５６号公報 特許第５３１０２８５号公報

特許文献１に示された従来の画像処理装置では、マッピングの安定性評価を行うのがカメラの移動後であり、最適な視点は試行錯誤により決定しなければならない。
また、特許文献２に示された従来の自己位置推定方法では、マッピングの安定性を評価していないため、センサ経路によっては精度が低下する恐れがある。

この発明は、上記のような課題を解決するためになされたものであり、よりスムーズかつ精度良く３次元マップを作成することができる３次元計測装置及びその計測支援処理方法を得ることを目的とする。

この発明に係る３次元計測装置は、計測対象までの距離の計測データを３次元空間中の点の集合として取得可能な距離センサ、及び距離センサで取得した複数の計測データから特徴を抽出し、抽出した特徴を重ね合わせることにより３次元マップを作成する計測装置本体を備え、計測装置本体は、距離センサの位置及び方向を算出し、距離センサを次に移動させるべき位置及び方向の候補である移動候補を決定し、移動候補において距離センサにより観測可能な特徴である移動候補内特徴を取得し、移動候補内特徴を用いて移動候補でのマッピングの安定性を評価し、評価結果に基づいて、距離センサの移動方向及び移動速度の少なくともいずれか一方を使用者に対して提示する。
また、この発明に係る３次元計測装置の計測支援処理方法は、計測対象までの距離の計測データを３次元空間中の点の集合として取得可能な距離センサと、前記距離センサで取得した複数の計測データから特徴を抽出し、抽出した前記特徴を重ね合わせることにより３次元マップを作成する計測装置本体とを備えている３次元計測装置の計測装置本体によって、３次元計測を支援する処理方法であって、距離センサの位置及び方向を算出するステップ、距離センサを次に移動させるべき位置及び方向の候補である移動候補を決定するステップ、移動候補において距離センサにより観測可能な特徴である移動候補内特徴を取得するステップ、移動候補内特徴を用いて移動候補でのマッピングの安定性を評価するステップ、及び評価結果に基づいて、距離センサの移動方向及び移動速度の少なくともいずれか一方を使用者に対して提示するステップを含む。

この発明の３次元計測装置及びその計測支援処理方法は、マッピングの安定性の評価結果に基づいて、距離センサの移動方向及び移動速度の少なくともいずれか一方を使用者に対して提示するので、よりスムーズかつ精度良く３次元マップを作成することができる。

この発明の実施の形態１による３次元計測装置を示すブロック図である。 使用者が実施の形態１の３次元計測装置により計測対象をスキャンして３次元マップを作成している様子を示す平面図である。 図２の作業の様子を使用者の後方から見た図である。 図１の特徴抽出部による形状的な特徴の抽出方法の例を示す説明図である。 図１の特徴抽出部により得られた第１及び第２の特徴点群を並べて示す説明図である。 図５の第１及び第２の特徴点群の共通部分を重ねた状態を示す説明図である。 図６の第１及び第２の特徴点群に第３及び第４の特徴点群の共通部分を重ねた状態を示す説明図である。 予測誤差が小さい場合のマッピング結果の一例を示す説明図である。 予測誤差が大きい場合のマッピング結果の一例を示す説明図である。 図１の出力部による表示装置への表示内容の一例を示す説明図である。 図１０の３次元マップ表示領域に対応するマッピング作業の様子を示す説明図である。 図１の出力部により表示装置に表示されたエレベータ昇降路の水平断面の一例を示す説明図である。 図１の出力部により表示装置に表示されたエレベータ昇降路の垂直断面の一例を示す説明図である。 図１の計測装置本体の動作を示すフローチャートである。 この発明の実施の形態２による３次元計測装置を示すブロック図である。 図１５の特徴抽出部による視覚的な特徴の抽出方法の例を示す説明図である。 この発明の実施の形態３による３次元計測装置を示す正面図である。 図１７の３次元計測装置を示す背面図である。 この発明の実施の形態４による３次元計測装置を示すブロック図である。 図１９の計測装置本体の動作を示すフローチャートである。 この発明の実施の形態５による３次元計測装置を示すブロック図である。 図２１の計測装置本体の動作を示すフローチャートである。 この発明の実施の形態６による３次元計測装置を示すブロック図である。 図２３の計測装置本体の動作を示すフローチャートである。 実施の形態１〜６の３次元計測装置を用いてエレベータ昇降路のピット内の３次元マップを作成する様子を示す平面図である。 実施の形態１〜６の３次元計測装置を移動ロボットに搭載した状態を示す斜視図である。

以下、この発明を実施するための形態について、図面を参照して説明する。
実施の形態１．
図１はこの発明の実施の形態１による３次元計測装置を示すブロック図である。図において、３次元計測装置は、計測装置本体１と、計測装置本体１に接続されている距離センサ２とを有している。

距離センサ２は、計測対象までの距離の計測データである距離データを、３次元空間中の点の集合（３次元点群）として取得可能なセンサである。距離の計測方式としては、例えば、ＴｏＦ（Time of Flight）方式、又はプロジェクタとカメラとを用いたシステムによるパターン投光を利用したアクティブステレオ方式など、種々の方式を利用することができる。

また、距離センサ２は、使用者が手で保持して手動で動かしてもよいし、台車等に設置して台車を動かすことによって計測を行ってもよい。距離の測定は、使用者が指令を入力したタイミングで行うことも、予め設定した時間間隔毎に自動的に行うこともできる。

計測装置本体１は、演算処理部（ＣＰＵ）、記憶部（ＲＯＭ、ＲＡＭ及びハードディスク等）及び信号入出力部を持ったコンピュータにより構成することができる。計測装置本体１の機能は、コンピュータにより実現される。即ち、コンピュータの記憶部には、計測装置本体１の機能を実現するためのプログラムが格納されている。また、計測装置本体１を構成するコンピュータとしては、例えばタブレットＰＣ（板状パーソナルコンピュータ）を用いることができる。

ここで、図２は使用者が実施の形態１の３次元計測装置により計測対象をスキャンして３次元マップを作成している様子を示す平面図、図３は図２の作業の様子を使用者の後方から見た図である。図２、３に示すように、計測装置本体１としてタブレットＰＣを用い、距離センサ２を計測装置本体１に固定した場合、使用者は３次元計測装置を手で保持し、移動したり回転したりすることができる。即ち、並進及び回転の６自由度に対応することができる。

計測装置本体１は、機能ブロックとして、特徴抽出部１１、マッピング部１２、記憶部１３、移動候補決定部１４、登録特徴取得部１５、マッピング評価部１６、及び出力部１７を有している。

特徴抽出部１１は、距離センサ２から得た複数の計測データに基づいて、計測対象の特徴を抽出する。抽出する特徴には、形状的特徴と、いわゆるプリミティブとが含まれている。形状的特徴には、例えば、稜線等の直線、頂点等の点、直線の方向、及び面の法線などが含まれている。また、プリミティブには、例えば円、四角及び球などが含まれている。

特徴抽出方法として、頂点の抽出には、例えば曲率算出法を用いることができる。また、稜線の抽出には、例えばハフ変換法を用いることができる。さらに、プリミティブの抽出には、例えば、３Ｄモデルを利用したモデルフィッティング法を用いることができる。

図４は図１の特徴抽出部１１による形状的な特徴の抽出方法の例を示す説明図である。例えば、距離センサ２により直方体を計測すると、計測データとして図４に示すような３次元点群２１が得られる。この３次元点群２１に対して、プリミティブ当てはめを行うことで複数の平面２１ａを抽出できる。また、同様のプリミティブ当てはめにより、球なども抽出できる。

さらに、３次元点群２１に対して、周囲の勾配変化が急な点を検出し、それらの点を結ぶ直線を検出することで、複数の稜線２１ｂを抽出できる。さらにまた、注目点周囲の曲率が高い、もしくは稜線の交点等の情報から、複数の頂点２１ｃを抽出できる。

マッピング部１２は、抽出した特徴を用いて、異なる計測データ間で共通して観測された特徴を重ね合わせ、計測データの位置合わせをすることで３次元マップの作成及び更新を行う。

また、マッピング部１２は、位置合わせ結果に基づいて、データ取得時の距離センサ２の位置及び方向（以下、センサ位置方向と称する）を算出する。さらに、マッピング部１２は、記憶部１３に対して、３次元マップ情報、センサ位置情報、及びセンサ方向情報の追加及び更新を行う。記憶部１３は、マッピング部１２から得た情報を記憶する。

具体的なマッピング方法の一例として、マッピング部１２は、まず少なくとも２つの計測データ、即ち３Ｄデータを選択する。続いて、選択した３Ｄデータから特徴を抽出する。このとき、どのような特徴を抽出して用いるかによって、重ね合わせの計算時に異なる拘束条件が得られる。

この後、マッピング部１２は、３Ｄデータ間で特徴を対応付ける。即ち、共通した特徴を見付ける。そして、３Ｄデータ間の特徴が重なるように座標変換する。例えば、移動前の３Ｄデータを基準とし、移動後の３Ｄデータ中の特徴が、移動前の３Ｄデータ中の特徴と重なるように、移動後の３Ｄデータを座標変換する。

この場合、距離センサ２の移動前に対する移動後の相対的な位置姿勢関係が得られる。実装上は、座標変換のための変換行列、即ち距離センサ２の相対的な位置姿勢情報からなる行列を計算する。変換行列の計算には点（２Ｄ、３Ｄどちらでも可）、線（２Ｄ、３Ｄ）、及び面（３Ｄ）などの特徴のうち少なくとも１種類を用いる。

図５は図１の特徴抽出部１１により得られた第１及び第２の特徴点群ｔ１，ｔ２を並べて示す説明図、図６は図５の第１及び第２の特徴点群ｔ１，ｔ２の共通部分を重ねた状態を示す説明図、図７は図６の第１及び第２の特徴点群ｔ１，ｔ２に第３及び第４の特徴点群の共通部分を重ねた状態を示す説明図である。

マッピング部１２は、第１の計測データに含まれる第１の特徴点群ｔ１と第２の計測データに含まれる第２の特徴点群ｔ２とを比較し、両者の共通部分を検出する。そして、共通部分（図６の点線内）が重なるように、第２の計測データの座標を変換する。

この後、マッピング部１２は、第３の計測データに含まれる第３の特徴点群ｔ３を、特徴点群ｔ１，ｔ２と比較し、共通部分を検出し、共通部分が重なるように、第３の計測データの座標を変換する。続いて、第４の計測データに含まれる第４の特徴点群ｔ４を、特徴点群ｔ１，ｔ２，ｔ３と比較し、共通部分を検出し、共通部分が重なるように、第４の計測データの座標を変換する。このような処理を繰り返し、３次元マップを作成する。

移動候補決定部１４は、距離センサ２を次に移動させるべき位置及び方向の候補である移動候補を決定する。移動候補は１つだけでも２つ以上であってもよい。また、位置の移動候補は現在位置であってもよい。

さらに、例えば上下左右に並進１０ｃｍかつ回転１０度ずつ移動した４方向など、現在のセンサ位置方向に対して、相対的に一定の位置及び方向だけ移動した地点を移動候補としてもよい。さらにまた、移動候補として、移動する位置と方向とを手動で入力してもよい。また、現在位置までの距離センサ２の移動軌跡から、距離センサ２が次に移動する位置と方向とを予測し、予測された位置と方向とを移動候補としてもよい。

登録特徴取得部１５は、３次元マップ内に登録された特徴のうち、移動候補において距離センサ２が観測可能であると推定される特徴である移動候補内特徴を取得する。

マッピング評価部１６は、登録特徴取得部１５により取得した移動候補内特徴を用いて、移動候補でのマッピングの安定性を評価する。安定性評価の方法の１つとして、位置合わせに最低限必要な数の特徴が観測可能かどうかを判定、即ち位置合わせのための計算自体が可能かどうかを判定する方法がある。この場合、例えば、特徴数が、予め設定された個数以下であれば計算不可と判定する。

その他の安定性評価の方法として、特徴の種類と配置とからマッピングにおける予測誤差を算出する方法がある。特徴の配置とは、移動候補におけるセンサ視野内の観測可能な特徴の分布である。

計測誤差がなければ、図６に示すように、マッピングにより算出されたセンサ位置方向は、実際のセンサ位置方向と同一である。また、計測誤差がある場合でも、図８に示すように、異なる特徴点群ｔ１，ｔ２の共通部分が比較的広範囲に分散していれば、マッピングにより算出されたセンサ位置方向は、実際のセンサ位置方向とほぼ同じであると推定され、予測誤差は小さい。

一方、計測誤差がある場合であって、図９に示すように異なる特徴点群ｔ１，ｔ２の共通部分が比較的狭い範囲に偏在している場合、マッピングにより算出されたセンサ位置方向と、実際のセンサ位置方向との間の予測誤差は大きい。

予測誤差の算出方法としては、観測可能な特徴の位置が微小変化した場合に生じる計測データの位置合わせ誤差を用いる方法がある。この場合、特徴の分布がセンサ視野内で偏っているほど位置合わせ誤差が大きくなり易い。また、特徴の数が少ないほど、特徴の位置が変化した場合の位置合わせ誤差が相対的に大きくなり易い。従って、センサ視野内の特徴数が多いほど良い評価になる。

このとき、特徴の位置の微小変化量は、実際にセンサデータから特徴を抽出する際に生じうる特徴の位置ずれ量として定義でき、ＴｏＦ方式の距離センサ２であれば測距の分解能（奥行き方向の計測誤差、水平（垂直）方向の測距間隔など）、カメラを用いた距離センサ２であれば１画素として決定する方法がある。

計測誤差が全くない理想的な状態においては、予測誤差の大きさに関わらず、マッピング時に生じる計測データの重ね合わせ誤差はゼロになることが期待される。しかし、実際の計測では必ず誤差が生じるため、予測誤差が大きいほど実際にマッピングした際の計測データの重ね合わせの誤差も大きくなることが想定される。

逆に、予測誤差が小さい場合には、計測データに誤差が生じる場合でもマッピング時の重ね合わせ誤差は小さくなる傾向にある。

具体的なマッピング評価方法の一例として、マッピング評価部１６は、まずマッピングの評価をしたいセンサ位置姿勢を１つ選択する。このとき、例えば、現在のセンサ位置姿勢に対して一定量だけずれた位置姿勢とする。続いて、マッピング評価部１６は、選択したセンサ位置姿勢で観測可能な特徴を作成済みのマップから取得する。

この後、マッピング評価部１６は、取得した特徴を用いてマッピングが可能であるかどうかを判定する。例えば、３Ｄ点であれば少なくとも異なる３点、面であれば少なくとも異なる３面が必要である。複数の特徴を併用する場合、３Ｄ点２つと面１つなど、必要最低限の特徴数は特徴の組み合わせによって変化する。このようにマッピング可否の判断基準は使用する特徴によって異なる。

マッピング可能であれば、全ての特徴を用いてマッピングを実行する。また、マッピングに用いる特徴の位置（平面の法線であれば方向）をずらしてマッピングを実行する。このとき、例えば、画像上で１ピクセルだけずらしたり、空間中で１ｍｍだけずらしたりする。

さらに、取得した特徴のうちからマッピングが可能な最小限もしくはそれ以上の数の特徴を用いてマッピングを実行する。これらのマッピング方法のいずれか、もしくは組み合わせにより得られる複数のマッピング結果から、センサ位置姿勢の相対変化量を用いた統計量を取得し、統計量に基づいて評価値を計算する。

例えば、評価値となる統計量をセンサ位置姿勢の相対変化量の分散値とした場合、値が小さいほど良い評価であるとする。

また、評価値は、特徴の再投影誤差としてもよい。再投影誤差は、算出されたセンサの位置姿勢を用いて、マップ内の特徴を各センサ位置姿勢で取得される２Ｄ画像に投影し、元の２Ｄ画像上の特徴の２Ｄ位置と、投影された特徴の２Ｄ位置との差として計算される。これは、当該技術分野のベーシックな評価方法の１つである。

さらに、より簡易的に、センサ視野内の特徴の分布の偏り及び密度の少なくともいずれか一方を評価値として用いてもよい。この場合、偏りが大きいほど評価が悪く、密度が高いほど評価が良いとする。

また、予測した距離センサ２の移動方向を評価に用いてもよい。この場合、例えば、センサの移動方向に特徴が多く存在する場合に、評価が良いとする。

出力部１７は、マッピング評価部１６から得られる評価結果に基づいて、移動候補に対応する距離センサ２の移動方向及び移動速度の少なくともいずれか一方を使用者に対して提示する。提示方法としては、ディスプレイ等の表示装置を用いて図示する方法と、音声による方法とがある。

ここで、移動方向は、距離センサ２の現在地からマッピングの安定性を評価した移動候補に向かう方向として得られる。移動速度は、距離センサ２の取得データに移動速度に起因するブレが生じない速度、もしくは距離センサ２の現在地からマッピングの安定性を評価した移動候補までの距離を、距離センサ２のデータ取得の時間間隔で除算する等によって得られる。移動速度は絶対値として取得してもよいし、前回のデータ取得時の距離センサ２の移動速度に対する相対値として取得してもよい。

表示装置を用いて提示する内容としては、Ａ）現在距離センサ２から取得している計測データ及び抽出された特徴などの処理結果と、Ｂ）生成された３次元マップの俯瞰図及びセンサ位置方向など、記憶部１３に登録された情報との２つがある。ＡとＢとを同時に使用者に提示することで、スキャン状況の把握が容易になる。このとき、３次元マップにおけるセンサ位置方向をＢに重畳すると、状況把握はさらに容易である。

図１０は図１の出力部１７による表示装置への表示内容の一例を示す説明図であり、表示装置であるタブレットＰＣの表示部１ａに表示する例を示している。この例では、表示部１ａが左右２つに分割されており、左側が計測状況表示領域１ｂ、右側が３次元マップ表示領域１ｃとなっている。

計測状況表示領域１ｂには、距離センサ２による現在の計測状況と、出力部１７による距離センサ２の移動方向及び移動速度の提示内容とが表示される。３次元マップ表示領域１ｃには、作成中の３次元マップが表示される。

計測状況表示領域１ｂの周囲４辺には、枠部１ｄが設けられている。枠部１ｄは、マッピング済み領域の方向と未計測領域の方向とを区別して表示している。図１０の例では、マッピング済み領域の方向と未計測領域の方向とを異なる色又は濃淡で区別している。例えば、図１０では、濃い部分がマッピング済み領域の方向を示している。なお、未計測領域の検出については、後述の実施の形態６で説明する。

また、計測状況表示領域１ｂの中央、即ち枠部１ｄで囲まれた部分には、抽出された特徴、及び提示された距離センサ２の移動方向及び移動速度が表示されている。この例では、特徴が三角形で示されており、距離センサ２の移動方向が矢印の向きで示されており、距離センサ２の移動速度が矢印の長さで示されている。

３次元マップ表示領域１ｃには、作成されている３次元マップがマッピング作業に連動して表示される。図１１は図１０の３次元マップ表示領域１ｃに対応するマッピング作業の様子を示す説明図であり、距離センサ２の経路を矢印で示しており、距離センサ２の視野を点線の四角で示している。

上記のＢにおいては、計測対象によって俯瞰する視点を変更することも有効である。一例として、エレベータ昇降路のような閉鎖空間内が計測対象になる場合は、図１２に示すように、３次元マップを真上から俯瞰した視点（水平断面でもよい）と、図１３に示すように、距離センサ２の光軸方向が見える垂直断面との２視点の俯瞰図があるとよい。これにより、２次元の図面と３次元形状との両方を対応付けることが容易になる。なお、図１２及び図１３において、三角形のマークはセンサ位置方向を示している。

このとき、水平断面図の投影方式を平行投影すると、２次元の図面により近い表示となり、直感的な理解が容易になる。また、垂直断面図の投影方式を透視投影とすると、３次元的な見え方に近い表示になり、直感的な理解が容易になる。

その他の例として、部品検査などの目的で物体の外観が計測対象になる場合には、計測対象に対して死角がないよう取り囲むような複数視点の俯瞰図を表示すると、計測データが得られていない部分を容易に発見することができる。

上記のＡもしくはＢに、推奨される距離センサ２の移動方向、もしくは移動できない方向を重畳して表示することで、距離センサ２を移動させるべき方向が直感的に理解できる。移動方向を矢印で重畳表示する場合には、矢印の長さ変更又は点滅表示などの視覚効果を加えることで、使用者は現在の距離センサ２の移動速度が速過ぎるのか遅過ぎるのかを直感的に知ることができる。

音声により使用者に情報提示する場合は、表示装置を見ることなくスキャン誘導が実現できるという利点がある。また、表示装置による提示と音声による提示とを併用することで、より複雑な誘導が可能になる。

次に、図１４は図１の計測装置本体１の動作を示すフローチャートである。処理を開始すると、計測装置本体１は、距離センサ２から計測データを取得し（ステップＳ１）、計測データから特徴を抽出する（ステップＳ２）。次に、計測装置本体１は、複数の計測データの特徴を重ね合わせることにより３次元マップを作成する（ステップＳ３）。この後、マッピングが成功したかどうかを判定し（ステップＳ４）、成功していれば３次元マップを更新する（ステップＳ５）。

マッピングが不成功だった場合、マッピングを終了するかどうかを使用者に確認する（ステップＳ１２）。そして、マッピングを継続する場合には、使用者に対して距離センサ２を移動させるよう報知して（ステップＳ１３）ステップ１に戻る。

マッピングに成功し、３次元マップを更新した場合、距離センサ２の現在位置及び方向を算出し、更新する（ステップＳ６）。続いて、距離センサ２の移動候補を決定し（ステップＳ７）、移動候補内特徴を取得する（ステップＳ８）。

この後、計測装置本体１は、移動候補内特徴を用いて移動候補でのマッピングの安定性を評価する（ステップＳ９）。このマッピング評価は、全ての移動候補でのマッピングの安定性を評価するまで行う（ステップＳ９、Ｓ１０）。

全ての移動候補のマッピング評価が終了すると、計測装置本体１は、評価結果として、距離センサ２の移動方向及び移動速度の少なくともいずれか一方を使用者に対して提示する（ステップＳ１１）。そして、マッピングを終了するかどうかを使用者に確認し（ステップＳ１２）、マッピングを継続する場合には、使用者に対して距離センサ２を移動させるよう報知して（ステップＳ１３）ステップ１に戻る。また、使用者によりマッピングの終了が入力されると、処理を終了する。

このような３次元計測装置及びその計測支援処理方法では、マッピングの安定性の評価結果に基づいて、距離センサ２の移動方向及び移動速度の少なくともいずれか一方を使用者に対して提示するので、よりスムーズかつ精度良く３次元マップを作成することができる。

即ち、各計測データ及び抽出された特徴を目視で確認するだけでは、マッピングの成否及び精度を予想することは難しいが、計測装置本体１により移動候補におけるマッピングの安定性の評価が行われ、マッピングが失敗するセンサの移動方向が事前に分かるため、マッピングの失敗を防止することができ、スキャン作業のやり直しによる手間を低減できる。また、より精度良くマッピングできる移動方向が分かるため、マッピングの精度向上が期待できる。さらに、精度が良くなるまで試行錯誤的に繰り返しスキャンし直す必要がなくなる。

実施の形態２．
次に、図１５はこの発明の実施の形態２による３次元計測装置を示すブロック図である。実施の形態２では、距離センサ２に加えて、カラー又はモノクロの２次元画像を撮影可能な可視カメラ４が併用されており、距離データから抽出される形状的な特徴だけでなく、画像データから抽出される視覚的な特徴も同時に用いてマッピングが行われる。

特徴抽出部１１は、距離センサ２から得た距離データから特徴を抽出するとともに、可視カメラ４から得た画像データから視覚的な特徴、例えば特徴点及び直線等を抽出する。画像データからの特徴抽出方法としては、例えば、特徴点であれば物体の角にあたるコーナー点としてハフ変換を適用することができる。また、直線であれば、画像から物体輪郭を検出した上で、輪郭に対してハフ変換を適用することができる。

図１６は図１５の特徴抽出部１１による視覚的な特徴の抽出方法の例を示す説明図であり、可視カメラ４により撮影された画像を示している。図１６において、×印は、抽出された特徴点を示している。

特徴抽出部１１では、注目点周囲の色合い変化が大きい点が特徴点として抽出される。このとき、直線の抽出は可能であるが、例えば直線上の点のように、近傍の点と区別がつかない点は、色合い変化が大きかったとしても特徴点としては抽出されない。また、柱の角、及び壁に貼られているポスタ２２の角が特徴点として抽出される。
さらに、ポスタ２２の模様などから特徴点を抽出することもできる。

マッピング部１２、記憶部１３、登録特徴取得部１５及びマッピング評価部１６においても、距離データから得た特徴に加えて、画像データから得た特徴も利用する。他の構成及び動作は、実施の形態１と同様である。

このような３次元計測装置及びその計測支援処理方法によれば、より多くの特徴を利用することができ、マッピングの安定性をより向上させることができる。

なお、可視カメラ４は、距離センサ２と一体化しても別体で構成してもよい。

実施の形態３．
次に、図１７はこの発明の実施の形態３による３次元計測装置を示す正面図、図１８は図１７の３次元計測装置を示す背面図である。実施の形態３では、距離センサ２及び可視カメラ４が搭載された筐体５が計測装置本体１に固定されている。距離センサ２としては、距離計測用カメラが用いられている。

また、筐体５には、照明装置６及びプロジェクタ７も搭載されている。筐体５と計測装置本体１とは、ケーブル８を介して互いに接続されている。筐体５に搭載された機器は、ケーブル８を通して計測装置本体１から給電される。また、距離センサ２及び可視カメラ４は、ケーブル８を通して計測装置本体１にデータを送信する。さらに、筐体５に搭載された機器は、ケーブル８を通して計測装置本体１からの指令信号を受ける。

プロジェクタ７は、計測対象に対してパターン投光を行う。距離センサ２は、投光されたパターンを撮影し、アクティブステレオ方式で距離データを検出する。照明装置６は、計測対象に対して光を照射する。他の構成及び動作は、実施の形態２と同様である。

このように、距離センサ２の計測方法として、プロジェクタとカメラとを用いたシステムによるパターン投光を利用したアクティブステレオ方式を用いてもよい。

また、照明装置６で計測対象に光を当てることにより、エレベータ昇降路のピットなどの暗い場所で計測する場合にも、可視カメラ４により得られた画像データから視覚的特徴を抽出するのが容易になる。

さらに、距離センサ２及び可視カメラ４と照明装置６とを一体化したので、これらの位置関係が常に一定となり、視点の違いによる見え方の違いを低減することができる。また、計測対象と照明装置６との間に遮蔽物が存在することで影ができる可能性も低減できる。

なお、実施の形態３では、照明装置６を距離センサ２及び可視カメラ４と一体化したが、例えば昇降路ピットなどの計測環境に据え付けられている照明装置を利用してもよい。

実施の形態４．
次に、図１９はこの発明の実施の形態４による３次元計測装置を示すブロック図である。実施の形態４の計測装置本体１は、作成中の３次元マップ内からマッピングが安定する撮影地点を探索する安定位置探索部１８をさらに有している。また、マッピング評価部１６は、登録されたセンサ位置方向における評価結果を記憶部に登録する。さらに、出力部１７は、安定位置探索部１８により得られる撮影地点を使用者に提示する。

安定位置探索部１８は、記憶部１３に登録されているセンサ位置方向毎のマッピング評価結果のうち、評価結果の良い位置を探索する。出力する位置の優先順位の基準としては、マッピングの評価値の高さと現在位置からの近さとを考慮した評価関数の値によって決定する。

使用する評価関数は、常に同じものでもよいし、状況によって使用者が優先項目を選択することで変更してもよい。安定位置探索部１８が安定位置の探索を開始するのは、マッピングに失敗したとき、又は現在地のマッピング評価値が一定以下になったときである。これらのいずれかに加えて、使用者が指定したときとしてもよい。他の構成及び動作は、実施の形態１、２、又は３と同様である。

図２０は図１９の計測装置本体１の動作を示すフローチャートである。実施の形態４の計測装置本体１は、マッピングが成功したかどうかの判定結果（ステップＳ４）、マッピング評価結果（ステップＳ１１）、及び使用者の指定の有無によって、安定位置を探索するかどうかを判定する（ステップＳ１４）。そして、探索が必要と判定された場合、マッピングが安定する位置を探索し（ステップＳ１５）、探索された位置を使用者に対して提示する（ステップＳ１６）。

このような３次元計測装置及びその計測支援処理方法では、実施の形態１〜３の効果に加えて、センサ視野内の特徴数が減少するなどしてマッピングが不安定になったとき、マッピングが安定する撮影地点に戻ることでマッピングが不安定な状態から容易に復帰することができるという効果が得られる。

実施の形態５．
次に、図２１はこの発明の実施の形態５による３次元計測装置を示すブロック図である。実施の形態５の計測装置本体１は、作成中の３次元マップ内の任意の位置間の、マッピングが途切れずに移動可能なセンサ経路を算出するセンサ経路算出部１９をさらに有している。

センサ経路算出部１９で算出するセンサ経路は、始点と終点とセンサ経路上の複数の経由点とを含む。経由点の初期値は、センサ経路の始点と終点を結ぶ線分上を一定間隔でサンプリングした位置とする。各経由点におけるセンサ方向は、始点におけるセンサ方向と終点におけるセンサ方向とから線形補間で算出する。

また、経由点は、使用者が手動で設定してもよい。この場合、使用者が設定した経由点間をさらにサンプリングして経由点を増やしてもよい。手動で経由点を設定することで、より複雑なセンサ経路の算出が可能になる。また、使用者が設定した経由点間をサンプリングすることで、使用者が多数の経由点を設定する手間を省くことができる。

移動候補決定部１４は、上記の始点と終点と経由点とを移動候補として決定する。マッピング評価部１６は、上記の移動候補に対してマッピング評価を実行する。このとき、始点及び終点のいずれかがマッピング不能と判断された場合、センサ経路の算出処理を終了する。また、経由点においてマッピング不能な位置方向が含まれている場合は、その経由点近傍のセンサ位置方向を移動候補として決定し、再度マッピング評価を実行する。このとき、一定回数以上、経由点が変更された場合は、センサ経路の算出処理を終了する。

出力部１７は、センサ経路の算出結果を使用者に提示する。このとき、マッピング可能かどうかによって経路上のセンサ位置方向の表示を変更する。例として、マッピング可能なセンサ位置を緑、マッピング不能なセンサ位置を赤とするなど、異なる色で表示する。経路上のマッピング不能な位置を使用者に提示することで、センサ経路を手動で再設定する際の経由点の選択を効率良く行うことができる。他の構成及び動作は、実施の形態４と同様である。

図２２は図２１の計測装置本体１の動作を示すフローチャートである。実施の形態５の計測装置本体１は、距離センサ２の現在位置及び方向を更新すると（ステップＳ６）、センサ経路を算出するかどうかを判定する（ステップＳ１７）。そして、センサ経路の算出が必要と判定された場合、センサ経路を算出する（ステップＳ１８）。

また、全ての移動候補でのマッピングの安定性を評価（ステップＳ９、Ｓ１０）した後、センサ経路を評価するかどうかを判定する（ステップＳ１９）。そして、センサ経路の評価が必要と判定された場合、センサ経路上が全てマッピング可能となっているかどうかを判定する（ステップＳ２０）。

センサ経路上にマッピング不能な箇所がある場合、ステップＳ１８に戻る。センサ経路上が全てマッピング可能と判定された後、安定位置の探索が不要と判定（ステップＳ１４）された後、及び安定位置を探索（ステップＳ１５）し使用者に提示（ステップＳ１６）した後、センサ経路を使用者に提示するかどうかを判定する（ステップＳ２１）。

センサ経路の提示が必要と判定された場合、センサ経路を使用者に提示し（ステップＳ２２）、ステップＳ１２に進む。センサ経路の提示が不要であれば、直接ステップＳ１２に進む。

このような３次元計測装置及びその計測支援処理方法では、実施の形態４の効果に加えて、センサ経路算出部１９により、使用者は予め提示された経路を辿って目的地まで移動することができるため、スキャンに要する作業時間を短縮することができるという効果が得られる。

即ち、計測ができていない部分まで移動してスキャンする際に、マッピングが途切れないよう試行錯誤的に経路を発見しながら移動するとスキャンに要する作業時間が長くなってしまう恐れがあるが、実施の形態５では、最適なセンサ経路が提示されるので、作業時間を短縮することができる。

実施の形態６．
次に、図２３はこの発明の実施の形態６による３次元計測装置を示すブロック図である。実施の形態６の計測装置本体１は、作成中の３次元マップにおける未計測領域を検出する未計測領域検出部２０をさらに有している。

未計測領域検出部２０は、３次元マップとセンサ位置方向とセンサ視野角と測距可能距離とを用いて、距離センサ２及び可視カメラ４が観測済みの３次元領域を算出し、観測済みでない領域を未計測領域として検出する。

出力部１７は、探索された未計測領域を使用者に対して提示する。未計測領域を表示部１ａに表示する方法の一例として、図１０の枠部１ｄで表示する方法がある。他の構成及び動作は、実施の形態５と同様である。

図２４は図２３の計測装置本体１の動作を示すフローチャートである。実施の形態６の計測装置本体１は、センサ経路を提示するかどうかを判定（ステップＳ２１）した後、未計測領域を検出するかどうかを判定する（ステップＳ２３）。そして、未計測領域の検出が必要と判定された場合、未計測領域を検出し（ステップＳ２４）、使用者に対して提示する（ステップＳ２５）。

このような３次元計測装置及びその計測支援処理方法では、実施の形態５の効果に加えて、スキャン対象のどこに計測できていない部分があるかを容易に確認できるため、スキャン後に計測抜けが発覚して計測をやり直すような手戻りを防止できるという効果が得られる。

ここで、図２５は実施の形態１〜６の３次元計測装置を用いてエレベータ昇降路のピット内の３次元マップを作成する様子を示す平面図である。ピット内には、かご（図示せず）の昇降を案内する一対のガイドレール３１ａ，３１ｂ、及び緩衝器３２等が設置されている。

ピット内のような環境では、テクスチャ及び形状的な特徴に乏しく、マッピングに必要な特徴が比較的少ない。そのため、距離センサ２の経路によっては、マッピング不能に陥る可能性がある。

これに対して、実施の形態１〜６の３次元計測装置によれば、マッピング可能なセンサ経路でのスキャンになるよう使用者に情報を提示することで、マッピングの失敗によるスキャンのやり直しによる手戻りを防止することが可能である。また、未計測領域を検出することで、まだスキャンできていない部分を知ることができるため、計測漏れによる手戻りも防止することができる。

さらに、ピット内のような狭い空間（例えば２ｍ四方程度を想定）を計測する場合には、距離センサ２から計測対象までの距離が短くなる傾向にある。距離が短いと、センサ視野内で観測される特徴の数が相対的に減少するため、マッピングの安定性が低下する恐れがある。マッピング評価では特徴の数が多いほど良い評価値になるため、評価値の良いセンサ姿勢になるように狭い空間をスキャンする場合、空間の中心をはさんで反対側の昇降路壁を計測する姿勢を保った状態で、円を描くように計測を行うように誘導されることになる。

次に、図２６は実施の形態１〜６の３次元計測装置を移動ロボット３３に搭載した状態を示す斜視図であり、自律走行型で車輪型の移動ロボット３３を示している。このように、３次元計測装置を移動ロボット３３に搭載することにより、移動ロボット３３の周辺環境の３次元マップを生成することができる。

移動ロボット３３による３次元マップ生成では、ロボット自身が３次元マップ内のどこにいるか（自己位置）を常に認識できる必要があるが、マッピングに失敗してしまうと自己位置が不明になりシステムが破たんする。これに対して、実施の形態１〜６の３次元計測装置では、次の移動を開始する前に予めマッピング評価を行うため、移動ロボット３３はマッピングが失敗しない経路を選択することができる。

また、未計測領域を検出することで、計測できていない場所まで移動して３次元マップを更新することが可能である。これにより、欠損のない３次元マップを自動的かつ効率的に構築できる。

なお、実施の形態１〜６において、計測装置本体１の機能を２つ以上のコンピュータ又は電子回路に分割して実行させてもよい。
また、計測対象は特に限定されるものではなく、この発明はエレベータ昇降路以外の３次元計測にも適用できる。

Claims (17)

1. 計測対象までの距離の計測データを３次元空間中の点の集合として取得可能な距離センサ、及び
   前記距離センサで取得した複数の計測データから特徴を抽出し、抽出した前記特徴を重ね合わせることにより３次元マップを作成する計測装置本体
   を備え、
   前記計測装置本体は、前記距離センサの位置及び方向を算出し、前記距離センサを次に移動させるべき位置及び方向の候補である移動候補を決定し、前記移動候補において前記距離センサにより観測可能な前記特徴である移動候補内特徴を取得し、前記移動候補内特徴を用いて前記移動候補でのマッピングの安定性を評価し、評価結果に基づいて、前記距離センサの移動方向及び移動速度の少なくともいずれか一方を使用者に対して提示する３次元計測装置。
2. 前記計測装置本体は、表示部を有しており、前記距離センサによる現在の計測状況と、前記距離センサの移動に関する提示内容とを前記表示部に併せて表示する請求項１記載の３次元計測装置。
3. 前記計測装置本体は、前記距離センサの移動方向を矢印の向きとして前記表示部に表示し、前記距離センサの移動速度を前記矢印の長さとして前記表示部に表示する請求項２記載の３次元計測装置。
4. 前記計測装置本体は、前記距離センサによる現在の計測状況と作成中の３次元マップとを前記表示部に並べて表示する請求項２又は請求項３に記載の３次元計測装置。
5. 前記計測装置本体は、前記距離センサによる現在の計測状況を表示する領域の周囲の枠部に、マッピング済み領域の方向と未計測領域の方向とを区別して表示する請求項２から請求項４までのいずれか１項に記載の３次元計測装置。
6. 前記計測装置本体は、マッピングの評価値の高さと現在位置からの近さとを考慮した評価関数により、作成中の３次元マップ内からマッピングが安定する撮影地点を探索し使用者に対して提示する請求項１から請求項５までのいずれか１項に記載の３次元計測装置。
7. 前記計測装置本体は、作成中の３次元マップ内の任意の位置間の、マッピングが途切れずに移動可能な前記距離センサの経路を算出し使用者に対して提示する請求項１から請求項６までのいずれか１項に記載の３次元計測装置。
8. 前記計測装置本体は、作成中の３次元マップにおける未計測領域を検出し使用者に対して提示する請求項１から請求項７までのいずれか１項に記載の３次元計測装置。
9. 前記計測対象の２次元画像を撮影可能な可視カメラをさらに備え、
   前記計測装置本体は、前記可視カメラから得た複数の画像データから視覚的な特徴を抽出し、マッピングに利用する請求項１から請求項８までのいずれか１項に記載の３次元計測装置。
10. 計測対象に対して光を照射する照明装置をさらに備えている請求項１から請求項９までのいずれか１項に記載の３次元計測装置。
11. 計測対象に対してパターン投光を行うプロジェクタをさらに備え、
    前記距離センサは、投光されたパターンを撮影し、アクティブステレオ方式で距離データを検出する請求項１から請求項１０までのいずれか１項に記載の３次元計測装置。
12. 計測対象までの距離の計測データを３次元空間中の点の集合として取得可能な距離センサと、前記距離センサで取得した複数の計測データから特徴を抽出し、抽出した前記特徴を重ね合わせることにより３次元マップを作成する計測装置本体とを備えている３次元計測装置の前記計測装置本体によって、３次元計測を支援する処理方法であって、
    前記距離センサの位置及び方向を算出するステップ、
    前記距離センサを次に移動させるべき位置及び方向の候補である移動候補を決定するステップ、
    前記移動候補において前記距離センサにより観測可能な前記特徴である移動候補内特徴を取得するステップ、
    前記移動候補内特徴を用いて前記移動候補でのマッピングの安定性を評価するステップ、及び
    評価結果に基づいて、前記距離センサの移動方向及び移動速度の少なくともいずれか一方を使用者に対して提示するステップ
    を含む３次元計測装置の計測支援処理方法。
13. 前記距離センサによる現在の計測状況と前記距離センサの移動に関する提示内容とを表示部に併せて表示するステップをさらに含む請求項１２記載の３次元計測装置の計測支援処理方法。
14. 前記距離センサによる現在の計測状況を表示する際に、マッピング済み領域の方向と未計測領域の方向とを区別して表示する請求項１３記載の３次元計測装置の計測支援処理方法。
15. マッピングの評価値の高さと現在位置からの近さとを考慮した評価関数により、作成中の３次元マップ内からマッピングが安定する撮影地点を探索し使用者に対して提示するステップをさらに含む請求項１２から請求項１４までのいずれか１項に記載の３次元計測装置の計測支援処理方法。
16. 作成中の３次元マップ内の任意の位置間の、マッピングが途切れずに移動可能な前記距離センサの経路を算出し使用者に対して提示するステップをさらに含む請求項１２から請求項１５までのいずれか１項に記載の３次元計測装置の計測支援処理方法。
17. 作成中の３次元マップにおける未計測領域を検出し使用者に対して提示するステップをさらに含む請求項１２から請求項１６までのいずれか１項に記載の３次元計測装置の計測支援処理方法。

Images