JP6489552B2 - シーン内の寸法を求める方法 - Google Patents

Description

本発明は、包括的には、コンピュータービジョンに関し、より詳細には、屋内シーンの寸法を求めることに関する。

部屋及び廊下等の屋内シーンの寸法情報は、多種多様な用途において有益とすることができる。建物の建築中に、構造物を監視して、その構造物が仕様書及び図面の要件を満たすことを確実にするように寸法情報を用いることができる。建物の保守管理中に、寸法情報は、構造物が現行の建築基準法（building codes）に沿っているか否かを判断することができ、欠陥、例えばひび割れが存在する場合には、それらの欠陥を数量化することができる。加えて、建設自動化との関係では、寸法情報は、建設中にロボットが行う、窓の取り付け等の任意のタスクにおいて有益である。

窓取り付けロボットの場合、このロボットは、公差の不一致に起因して、窓枠の設計サイズではなく、建設された窓枠の実際のサイズを知る必要がある。ロボットは、この寸法情報を用いて、窓を正しく取り付けることができ、その窓が枠内に正確に収まることを確実にすることができる。加えて、自律ロボットが屋内環境を移動するためには、任意の開口の寸法が非常に重要である。例えば、ロボットは、ドアを通る際に、そのドアをそのまま通るか、又は別の方法を用いるかを自動的に判断することができるように、開口空間の寸法を検知する必要がある。

従来技術において、屋内シーンの３次元（３Ｄ）モデルを生成し、３Ｄモデル内の寸法を測定するのに、回転レーザーを使用する３Ｄセンサーが一般的に用いられてきた。それらのセンサーは、単一のロケーションから長距離及び３６０度カバレッジで３Ｄモデルを生成することができる。しかしながら、それらのセンサーは高価であり、長い走査時間を要する。この長い走査時間の間、それらのセンサーは定位置に置かれている必要がある。

近年、短距離及び狭視野カバレッジを有する３Ｄセンサーを容易に入手することができる。それらのセンサーは、単発のリアルタイム走査を可能にする。それらのセンサーを用いて大規模３Ｄモデルを生成する場合、１つの方法は、同時ローカリゼーション及びマッピング（ＳＬＡＭ：simultaneous localization and mapping：同時位置推定地図構築）技法を用いて、それらのセンサーにより取得された複数のフレームを位置合わせする。しかしながら、その方法は、位置合わせにおいてドリフトエラーを累積し、結果として寸法測定値の精度が低下する。

ユーザーインタラクションの観点から、１つの方法は、データに素早くアクセスするようにユーザーインタラクションを用いた建設品質（construction quality：施工品質）検査及び管理システムを提供する。インタラクティブシミュレーションモデリングの別の方法は、シミュレーションモデルを構築するための、ステップごとのガイダンスをユーザーに提供する。ユーザーガイダンスは、ユーザーの指導者としての役割を果たす。更に別の方法は、参照画像を所与として、参照画像が撮像された視点と同じ視点から画像を撮像するためのガイダンスをユーザーに提供する。

多くの土木工学タスクでは、人工構造物を含む屋内シーン等のシーンの寸法解析が、空間解析及び意思決定において重要である。竣工形状生成（as-built geometry generation）等のタスクは、様々な位置から収集されたデータに基づいて、散らかっている可能性のあるシーン内の特定のオブジェクト（例えば、パイプの直径、開口の幅）の限界寸法を効率的に解釈する必要がある。

したがって、本発明の１つの実施形態は、奥行きセンサーにより取得された単一奥行き画像から、屋内シーン内の寸法を求める方法を提供する。

奥行きセンサーは、シーンの奥行き画像を取得する３Ｄセンサーである。奥行き画像は、各画素が奥行き（又はセンサーからシーンまでの距離）を表す２次元画像である。センサーの内部パラメーターを用いて、各画素につきレイを逆投影し、測定された奥行きにおいて３Ｄ点を生成することにより、奥行き画像を３Ｄ点群に変換することができる。奥行き画像を輝度（intensity）又は色、例えば、赤、緑、及び青（ＲＧＢ）の画像と組み合わせると、ＲＧＢ−Ｄ画像（すなわち、３Ｄ色付き点群）を取得することができる。

次に、平面を抽出して幾何解析を行うことにより、単一奥行き画像から、シーン内の対象となる構造物の寸法を取得することができる。本方法は、寸法データ及び測定値の品質を評価し、例えばグラフィカルユーザーインターフェース（ＧＵＩ）を用いて、異なる姿勢にセンサーを位置決めしてより高品質のデータを取得するためのインタラクティブガイダンスをもたらす。このより高品質のデータから、より正確な形状測定値を取得することができる。本明細書において規定されるように、姿勢は、３つの並進成分と、３つの回転成分との６次元（６Ｄ）を有する。

本発明は、奥行きセンサーから屋内シーンの寸法を取得することが可能なユーザー誘導型寸法解析手法を部分的に用いる。奥行きセンサーから取得された単一奥行き画像に対して寸法解析を行い、高い計算効率を達成し、ＳＬＡＭ技法を用いたマルチフレーム位置合わせにおけるエラー累積を回避する。

センサーの視野が限られていることに起因して、単一奥行き画像は、対象となる全ての寸法情報を求めることができることを保証することはできない。加えて、求められた寸法の品質は、センサーの内在精度によって制限される。

したがって、単一奥行き画像を用いることの不利点を克服するために、センサーをより良い姿勢に再位置決めするようにユーザー（又は、センサーが載置されているロボット）を誘導し、それにより寸法解析に適切な十分で高品質なデータが収集されるように、知識ベースのユーザーガイダンスシステムが開発される。高品質な単一画像データが収集された後、必要な寸法情報を取得するように幾何解析が行われる。

本方法は、奥行き画像のシーケンスに対してではなく、単一奥行き画像に対して直接行われるので、本発明者らによる手法は従来技術とは異なる。単一奥行き画像を用いることで、屋内シーンの寸法情報のリアルタイム推定が可能になる。これは、自動化及びロボット工学に焦点を置いた幾つかの用途にとって重要である。

さらに、従来技術の手法とは異なり、本発明者らによるユーザーガイダンスシステムは、現在の画像のデータ品質を評価し、次に、その用途にとってのより良い結果を取得するためにセンサーを再位置決めすることをユーザーに提案する。本システムは、シンプルなガイダンスにより、ユーザーが高品質データ、及びしたがって高品質な寸法測定値を取得するように導くことができる。ユーザーは、専門家である必要がない。

図１は、本発明の実施形態に係る屋内シーンの寸法を求める方法のブロック図である。 図２は、本発明の実施形態に係る同一平面上の平面（coplanar planes）の境界点を抽出するプロシージャーのブロック図である。 図３（Ａ）、図３（Ｂ）、図３（Ｃ）及び図３（Ｄ）は、本発明の実施形態に係る屋内シーン内の平面により支持された箱形状の概略図および注釈付き画像である。 図４（Ａ）、図４（Ｂ）、図４（Ｃ）及び図４（Ｄ）は、本発明の実施形態に係る屋内シーン内の平面により支持された開口の概略図および注釈付き画像である。

図１に示すように、本発明の実施形態は、単一奥行き画像１０１によって表される屋内シーン１０３内の寸法を求める方法を提供する。奥行き画像は、奥行きセンサー１０２により取得することができる。本発明の焦点は、平面を有する、屋内の基礎構造（infrastructure：インフラストラクチャー）の寸法解析に置かれている。シーンは、結合タイプ、例えば、部屋又は廊下を含むことができる。このタイプは、箱又は開口等の所定の形状を画定することができる。

幾つかの実施形態では、屋内シーンの３Ｄ点群を取得する奥行きセンサーとして、ＸｂｏｘセンサーのためのＫｉｎｅｃｔ（商標）が使用される。Ｋｉｎｅｃｔは、赤外線（ＩＲ）カメラ及びカラー（ＲＧＢ）カメラを備えるので、シーンの奥行き画像及びカラー画像を取得することができる。したがって、全てではないが幾つかの実施形態では、センサー較正を用いることによって奥行き画像をカラー画像と位置合わせし（１０４）、ＲＧＢ−Ｄ画像１０１を取得することができる。

前処理１１０が奥行き画像又はＲＧＢ−Ｄ画像１０１に行われる。前処理は、平面を抽出することと、これらの平面の位相関係１１１を求めることとを含む。これらの平面及びそれらの関係に基づいて、幾何解析１２０を行い、シーンの初期寸法１２１を求める。

シーンタイプ及び初期寸法測定値を用いて、画像及び初期寸法の品質１３１が評価される（１３０）。品質が十分であれば（１４０）、最終寸法１０５が出力される。そうでない場合、より良い寸法を取得するためにデータの品質を改善するようにガイダンス１４１が出力される。例えば、ガイダンスは、センサーにとってのより良い姿勢１４２を示すことができる。出力は、ユーザーにセンサーを手動で再位置決めさせるか、ロボットに自動的に再位置決めさせるものとすることができる。

本方法のステップは、プロセッサ１００において行うことができる。プロセッサ１００は、当技術分野で既知のバスにより、本方法が用いる画像及び他のデータストラクチャーを記憶するためのメモリ並びに入出力インターフェースに接続されている。本質的には、本方法は、現実世界のオブジェクト、例えば、屋内シーン内の構造物の奥行き画像をそれらのオブジェクトの寸法に変換する。

屋内シーン及び平面
多くの屋内シーンは、平面に囲まれている。この前提に基づいて、幾何解析を行い、特定の基礎構造の寸法情報を取得する。効率的に平面を抽出するには、平面抽出プロシージャーが奥行き画像に適用される。例えば、Feng他「Fast plane extraction in organized point clouds using agglomerative hierarchical clustering」IEEE International Conference on Robotics and Automation (ICRA), pp. 6218-6225, 2014を参照されたい。

奥行き画像内の画素は、グラフを構築するのに用いられる群にセグメント化される。これらの群はノードにより表され、エッジは隣接する群を表す。次に、このグラフに凝集型階層的クラスタリングを行い、同一平面上のノードを結合する。これらの平面は、画素単位の領域拡張により改良される。

カラー画像が奥行き画像とともに利用可能である場合、すなわち、ＲＧＢ−Ｄ画像が使用される場合、色情報を用いて平面を更にセグメント化することができる。例えば、各平面に現れる色をクラスタリングすることができ、これらのクラスターに基づいて平面がセグメント化される。

奥行き画像から全ての平面を抽出した後、平面パラメーターに基づいて、これらの平面間の位相関係が推定される。４種類の位相平面関係が以下のように規定される。
平行である：２つの平面の法線ベクトルが互いに平行である場合、その２つの平面は平行な平面である。
同一平面上にある：２つの平面が同じパラメーターを有する場合、その２つの平面は同一平面上の平面であり、かつ平行である。
交差する：２つの平面が互いに平行でない場合、その２つの平面は交差する平面である。
直角をなす：２つの平面の法線ベクトルが互いに直角をなす（互いに直交する）場合、その２つの平面は互いに直角をなす。

センサー測定値における不確定性に起因して、これらの関係は近似的に求められることに留意すべきである。例えば、２つの平面の法線ベクトルの角度が５度未満ならば、それらの平面は、平行な平面であるとみなされる。

幾何解析
センサーからの測定値が全て正確な場合、シーンの形状表現に基づいて幾何寸法情報を直接求めることができる。しかしながら、センサーは完璧ではなく、測定値は不確定性を有する。正確な寸法情報を取得するには、最小二乗手順が用いられる。例えば、２つの平行な平面間の距離と、同一平面上の平面の境界間の距離とが対象となる。これらの２つの距離を求めるための２つの方法を用いて、正確な推定値を取得する。

平行な平面間の距離
平面を抽出した後、最小二乗手順により平面パラメーターが推定される。３Ｄ平面方程式は、ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０であり、ここで、ａ、ｂ、ｃ、及びｄは平面パラメーターである。測定値をＡ＝［ｘ,ｙ,ｚ,１］とし、ここで、ｘ、ｙ、ｚが、この平面に割り当てられた３Ｄ点全てのＸ、Ｙ、Ｚ座標全てを含む列ベクトルであり、かつ平面パラメーターがＰ＝［ａ,ｂ,ｃ,ｄ］^Ｔである場合、線形システムを以下のように構築することができる。

最小二乗推定値を取得するには、１つの解決策は、行列Ａに対して特異値分解（ＳＶＤ）を行うことである。次に、ＳＶＤの結果から平面パラメーターＰが抽出される。

複数組の平行な平面が存在するので、この事前情報を用いて平面パラメーター推定結果をより正確にすることができる。平面ｉ及び平面ｊが互いに平行であると仮定する。ここで、これらの平面に割り当てられた点は、それぞれＡ_ｉ及びＡ_ｊで表される。並列制約（parallel constraint）を行うには、平面ｉ及び平面ｊは同じ法線ベクトルを共有し、以下のように定義される。

次に、以下を用いて方程式（１）に類似した線形システムを構築することができる。

したがって、ＳＶＤを用いることにより、双方の平面における全ての点を用いて平行な平面の平面パラメーターが求められる。

平行な平面パラメーターが取得された後、平面パラメーターに基づいて平行な平面間の距離が直接求められる。例えば、平面ｉと平面ｊとの間の距離は、

である。

同一平面上の平面の境界間の距離
同一平面上の平面の境界の間の距離は、例えば、ドア枠の幅を推定するのに必要とされる。これに関連して、幅は、ドアの左方の壁と右方の壁（同一平面上の２つの平面）との境界間の距離である。この幅を求めるには、ドア枠の境界点が抽出され、次に、２本の線がこれらの境界点に基づいて当てはめられる。これらの２つの平行線の間の距離がドア枠の幅である。

ドア枠を自動的にロケーション特定するためには、抽出された平面間の位相関係が平面当てはめ結果に基づいて推定される。同一平面上の平面を検知した後、全ての同一平面上の平面が２Ｄ空間に回転される。

図２は、ドア枠境界点を抽出するための擬似コードのブロック図である。２つの平面の境界点、すなわちＣＰ１及びＣＰ２は、２Ｄアルファ形状アルゴリズムを用いて別々に抽出される。例えば、Bernardini他「Sampling and Reconstructing Manifolds Using Alpha-Shapes」Purdue e-Pubs, a Serv. Purdue Univ. Libr., pp. 1-11, 1997を参照されたい。

次に、第１の平面において、ＣＰ１の各点について、他の平面境界点ＣＰ２における最近点が探索される。第１の平面上の全ての点を反復した後、ＣＰ２における最近点として探索された点、すなわちＢＰ２が第２の平面上のドア枠境界点である。第２の平面においてこのプロセスを繰り返すことにより、第１の平面上のドア枠境界点、すなわちＢＰ１が得られる。ドア枠境界点ＢＰ１及びＢＰ２が検知された後、境界点の２つの集合から２本の線がそれぞれ推定される。距離は、２本の線から推定される。

ユーザーガイダンス
本発明者らによるユーザーガイダンスシステムは、対象となるシーンの事前知識に基づく。ユーザーガイダンスシステムの目的は、シーンから寸法情報を取得するという観点から現在の枠データの品質を示すことである。高品質データは、対象となる基礎構造特性を支持する平面からのデータを十分に含む画像と定義する。

ユーザーガイダンスシステムは、センサー及びシーンの特徴に基づいて、取得されたデータの品質を評価する。ユーザーガイダンスシステムは、事前情報を十分に活用するように、平面の位相関係を可視化する。箱形状と開口との２つの一般的なケースを示す。

箱形状
図３（Ａ）は、２つの平行な平面の２つの組を有する形状として定義される箱形状を示す。２つの組は、互いに直角をなす。図３（Ａ）に示すように、平面Ａと平面Ｃとが互いに平行であり、平面Ｂと平面Ｄとが互いに平行である。さらに、平面Ａは、平面Ｄに対して直角をなす。実線は、平面間の交線を示す。例として廊下シーンを用いる。

この構造物の寸法、すなわち廊下の幅及び高さを取得するには、４つの平面全てがセンサーにより取得されなければならない。センサーが４つの平面全てから十分な点を高精度に得ることを確実にするようにユーザーガイダンスが設計される。

ユーザーガイダンスは、シーンから少なくとも３つの平面が検知されたと仮定する。この仮定は妥当である。なぜならば、センサーが２つの平面のみを観測した場合、センサーは４つの平面全てを取得することができない場合があるからである。これは、廊下が高すぎてセンサーが４つの平面全てを捕捉することが不可能であるときに発生する。データにおいて１つの平面が取得されない場合、部分データに基づいて幾何解析が行われる。ユーザーを誘導するように、シーンの事前情報及び捕捉されたデータに基づいて、可能性のある形状が再構築される。

例えば、図３（Ｂ）に示すように、平面Ｄ、すなわち床がデータから検知されない場合、廊下の高さが不明である。しかしながら、２つの壁に基づいて、廊下の幅を依然として求めることができる。天井及び２つの壁が検知されるので、天井とこれらの壁との間の交線を導出することができる。事前情報及び求められた交線に基づいて、可能性のある高さを推定し、図３（Ｃ）に示すような箱形状（白線）を構築することができる。したがって、ユーザーガイダンスシステムは、この状況に対して対応するガイダンスを提供し、図３（Ｄ）に示すような床を取得して最終的な寸法を取得するのにより良い姿勢にセンサーを再位置決めする（１４２）ことができる。

本方法は、平面Ｄからは点が存在しないことを検知するので、システムは、平面Ｄ、すなわち床から点を取得するように、ユーザーにセンサーを再位置決めすることを提案する。ガイダンスに従うことによって、センサーは下げられるか、又はその向きが下方に傾けられ、次に、画像、すなわち図３（Ｄ）が取得される。この画像において、奥行き画像から４つの平面Ａ〜Ｄのうちの全てを抽出することができ、テンプレートに類似した箱形状が構築される。したがって、幾何解析により廊下の高さ及び幅の双方を求めることができる。

ユーザーガイダンスは、欠落した平面を取得するようにセンサーを再位置決めすることのほかに、データ品質に基づいて測定値の品質に関するコメントを提供することもできる。例えば、奥行きセンサーの不確定性は、シーンとセンサーとの間の距離が増加するにしたがって一般的に増加する。したがって、シーン要素がセンサーから離れている場合、このオブジェクトの点は高い不確定性を有し、それによって寸法測定値の正確性が影響される。

したがって、データから４つの平面のうちの全てが検知される場合、各平面につき、その重心とセンサーとの間の距離が求められる。センサーまでの距離が閾値よりも大きい、例えば、３．０ｍである場合、ユーザーガイダンスシステムは、測定の不確定性を最小化するように、その平面にセンサーを近づけるようにユーザーに提案する。

開口
開口構造物は、第１の平面に対して別の支持平面、例えば床が存在する、平面における開口と定義される。壁における開口であるドア枠を例として用いる。図４（Ａ）〜図４（Ｄ）に示すように、平面Ａ及び平面Ｂは、垂直な壁であり、同じ平面上に存在し、すなわち、これらの壁の関係は同一平面上であり、平面Ｃは、平面Ａと平面Ｂとに対して直角をなす床である。開口の正確な幅を取得するには、壁の再構築において制約をもたらすのに床が必要である。したがって、床がセンサーにより観測されることを保障するようにユーザーガイダンスが実施される。

データにおいて平面Ｃ、すなわち床が測定されない場合、システムは、図４（Ｂ）における２本の実線を依然として再構築することができる。ここで、この２本の実線に基づいて幅が推定される。しかしながら、センサーの奥行き境界周辺の測定値の不正確性に起因して線推定は正確でなく、したがって幅が常に正確とは限らない。ユーザーガイダンスシステムは、図４（Ａ）と図４（Ｃ）とを比較することにより、床のデータを取得することができるようにセンサーを下方に再位置決めすることをユーザーに指示する。このようにすることで、図４（Ｄ）において、より良い品質データを有する新しい画像が取得される。ドア幅の推定は、線は床に対して垂直であるという制約を加えることにより改良される。

加えて、通常ドアは壁に対して窪んでいるので、センサーの視認方向がドアに対して直角をなさない場合、壁がセンサーの視界を遮る可能性がある。したがって、ユーザーガイダンスシステムはこれも考慮する。この評価には、ドア表面の法線ベクトルが用いられる。センサーの視認方向がドア表面に対して垂直でない場合、視認方向はドア表面の法線ベクトルに対して平行ではない。したがって、ユーザーガイダンスシステムは、センサーの視認方向を調整することに関するフィードバックを提供することが可能である。

Claims (13)

1. シーン内の寸法を求める方法であって、
   センサーにより取得された前記シーンの単一奥行き画像を取得するステップと、
   前記単一奥行き画像から平面を抽出するステップと、
   前記平面の位相関係を求めるステップと、
   前記平面及び前記位相関係に基づいて前記寸法を求めるステップと、
   シーンタイプを用いて、前記単一奥行き画像から取得された前記平面の前記寸法の品質を評価するステップであって、前記品質が十分な場合には前記寸法を出力し、そうでなければ、前記センサーを再位置決めするガイダンスを出力する、ステップと、
   を備え、
   前記ステップは、プロセッサにおいて行われる
   方法。
2. 前記シーンの赤、緑、及び青（ＲＧＢ）画像と前記奥行き画像を組み合わせて、ＲＧＢ−奥行き画像を形成する
   請求項１に記載の方法。
3. 前記ガイダンスは、ユーザーに出力される
   請求項１に記載の方法。
4. 前記ガイダンスは、前記センサーが載置されているロボットに出力される
   請求項１に記載の方法。
5. 前記抽出するステップは、
   前記奥行き画像内の画素を群にセグメント化するステップと、
   グラフにおいて前記群をノードとして表すステップであって、エッジは、隣接する群を表す、ステップと、
   前記グラフに凝集型階層的クラスタリングを適用して、同一平面上のノードを結合するステップと、
   を更に備えた請求項１に記載の方法。
6. 前記位相関係は、
   ２つの平面の法線ベクトルが互いに平行である場合、平行な平面を含み、
   ２つの平面が同一のパラメーターを有する場合、同一平面上の平面を含み、
   ２つの平面が平行でない場合、交差する平面を含み、
   ２つの平面の前記法線ベクトルが互いに直角をなす場合、直角をなす平面を含む
   請求項１に記載の方法。
7. 前記平面を抽出するために最小二乗手順を用いるステップを更に備えた
   請求項１に記載の方法。
8. 前記シーンタイプは、所定の形状を画定する
   請求項１に記載の方法。
9. 前記所定の形状は、箱形状及び開口形状を含む
   請求項８に記載の方法。
10. 前記箱形状は、２つの平行な平面の２つの組を含み、
    前記２つの組は、互いに直角をなす
    請求項９に記載の方法。
11. 前記開口形状は、
    同一平面上の２つの平面と、
    前記同一平面上の２つの平面と直角をなす平面と、
    を含む請求項９に記載の方法。
12. コンピューターにシーン内の寸法を求める処理を実行させる方法のステップを記憶した非一時的コンピューター可読記録媒体であって、
    前記方法は、
    センサーにより取得された前記シーンの単一奥行き画像を取得するステップと、
    前記単一奥行き画像から平面を抽出するステップと、
    前記平面の位相関係を求めるステップと、
    前記平面及び前記位相関係に基づいて前記寸法を求めるステップと、
    シーンタイプを用いて、前記単一奥行き画像から取得された前記平面の前記寸法の品質を評価するステップであって、前記品質が十分な場合には前記寸法を出力し、そうでなければ、前記センサーを再位置決めするガイダンスを出力する、ステップと、
    を備えた非一時的コンピューター可読記録媒体。
13. メモリと通信するプロセッサを含む、シーン内の寸法を求めるシステムであって、
    前記システムは、前記シーンの単一奥行き画像を取得し、カラー画像とともに前記単一奥行き画像を送信するように構成された奥行きセンサーを備え、
    前記メモリは、前記プロセッサにシーン内の寸法を求める処理を実行させる方法のステップを記憶するように構成され、
    前記処理は、
    センサーにより取得された前記シーンの前記単一奥行き画像を取得するステップと、
    前記単一奥行き画像から平面を抽出するステップと、
    前記平面の位相関係を求めるステップと、
    前記平面及び前記位相関係に基づいて前記寸法を求めるステップと、
    シーンタイプを用いて、前記単一奥行き画像から取得された前記平面の前記寸法の品質を評価するステップであって、前記品質が十分な場合には前記寸法を出力し、そうでなければ、前記センサーを再位置決めするガイダンスを出力する、ステップと、
    を備えたシステム。

Images