JP7265639B2 - 優先点を識別して保持する点群の併合方法 - Google Patents

Description

本発明の１又は２以上の実施形態は、コンピュータグラフィックス及びバーチャルリアリティの分野に関する。より詳細には、限定するものではないが、本発明の１又は２以上の実施形態は、優先点を識別して保持する、点群を併合する方法を可能にするものである。

ＬＩＤＡＲなどのスキャナを用いてシーンから３Ｄデータを取り込むステップは、複数のスキャン、時には異なる視点からのスキャンを伴う場合がある。これらの複数のスキャンから得られた点群を結合して、シーンの統合３Ｄモデルを形成することができる。しかしながら、シーンの特定の領域では、スキャンが重複する場合がある。重複している領域の全点を保持すると、不必要な記憶容量及び処理能力を浪費し、シーンの１つの区域から別の区域へ移行する際にレンダリングアーティファクト又はノイズをもたらす可能性がある。それゆえ、点群を併合する際には、冗長な点を除去することが望ましい。

点群を結合する本技術分野で公知の従来の方法は通常、どの点を取り除くかを決定するために、多くの場合に単純な距離閾値を用いて、高価な八分木最近傍探索を使用する。この手法は、適切な閾値を見出すために反復実験を必要とする場合があり、これには、非常に大きな点群の場合には特に、非常に時間が掛かってしまう可能性がある。

点群は、距離画像として編成されることが多い。距離画像の点群は、冗長性に関する単一の距離閾値テストを用いた場合にアーティファクトに繋がる可能性のある遠近特性を有する。また、距離画像は、冗長な点を見出すため、並びに近傍点の集合から適切な点を選択するための、より効率的で直観的なプロセスを支援する。距離画像形式のために最適化された、点群を結合する方法は知られていない。

冗長な点を取り除くための公知の方法はまた、一般的に、点群が重複する区域における各点群の品質を考慮しない。例えば、１つのスキャンはシーンの或る領域を極めて詳細に取り込むのに対し、別のスキャンは、その領域を遥かに低い分解能で周辺的に取り込むに過ぎない場合がある。併合された点群に関して好ましい点を選択するために、各点群の品質を手動で又は自動的に評価する機構を提供する方法は知られていない。

少なくとも上述の制限のために、好ましい点を識別して保持する、点群を併合する方法が必要とされている。

本明細書に記載する１又は２以上の実施形態は、好ましい点を識別して保持する、点群を併合する方法に関するものである。本発明の実施形態は、例えば、共通の３Ｄシーンから取り込まれた２又は３以上の点群を処理して、最良の点を保持しつつ、重複区域内の冗長な点を取り除くことができる。何れか又は全ての処理ステップは、メモリを有する又はメモリに接続されたコンピュータを用いて実行することができる。

コンピュータによって実行される処理ステップは、点群を取得するステップと、２つの異なる点が高々１つを保持すれば足りるほどに近接しているかどうかを判定する近接度テストを取得又は生成するステップと、近接度テストを満たす近接点の集団と他の点群に近接していない孤立点とを識別するステップと、近接点の各集団に対して好ましい点を選択するステップと、好ましい点と孤立点とを結合することによって併合点群を生成するステップと、を含むことができる。点に加えて、点群は、これらが取り込まれた視点と、取り込まれた角度分解能とを含むことができる。

１又は２以上の実施形態では、点群は距離画像として編成することができ、各距離画像は、関係する点までの距離を含む画素の２Ｄ配列を備えている。各距離画像と関係付けられるのは、３Ｄシーンから２Ｄ画素への投影とすることができる。１又は２以上の実施形態で使用できる例示的な投影法は、球面の正距円筒図法である。

近接点を見出すために、１又は２以上の実施形態では、ベース点群の距離画像を使用し、他の点群をこの距離画像の上に投影することができる。画素に投影された点は、これらのベース点群視点からの距離が距離画像の画素における距離に近い場合に、ベース点群の画素点に近接しているとすることができる。

実施形態では、距離画像の画素をタイルに分割して、各タイル内の画素と関係付けられた点に対して境界体積を生成することができる。異なる点群からのタイル間での交差テストは、点の近接度に関する予備テストとして使用することができる。境界体積が交差するタイルを互いに連結することができ、交差タイルからの点だけを、上述の近接度テストのためにベース点群距離画像の画素上に投影することができる。

近接点の集団からの好ましい点の選択は、ユーザ入力を用いて又は完全に自動で実行することができる。１又は２以上の実施形態では、表示する点群をユーザが選択できるようにするユーザインタフェースを提示することができ、例えば、その点群と関係付けられた距離画像を表示することができる。点の表示は、表示された点群内の各点が、それが属する近接点の集団にとって好ましい点であるかどうかを示す指標を含むことができる。この指標は、その点が、異なる点群に属する好ましい点を備えた集団の要素であるかどうかも示すことができる。この指標は、例えば、色、陰影、又は模様とすることができる。ユーザは、１又は２以上の点を選択するための選択入力と、好ましい点の割当てを変更する追加、置換、又は削除などのアクションとを与えることができる場合がある。例えば、追加アクションは、選択した点を好ましい点に設定することができ、削除アクションは、選択した点が好ましい点でないようにすることができる。

１又は２以上の実施形態では、集団内の各点について品質尺度を計算し、最高の品質尺度を備えた点を選択することによって、好ましいポイントを自動的に選択することができる。例示的な品質尺度は、各点における各点群の分解能に反比例するとすることができる。この分解能は、例えば、点群の視点から点までの視線ベクトルの長さの２倍に、点群の角度分解能の半分に関する正接を乗算したものとして計算することができる。１又は２以上の実施形態では、更にこの分解能を、視線ベクトルと、その点における３Ｄシーンの表面に対する法線ベクトルとのなす角度の余弦で割ることができる。

本発明の上記並びに他の態様、特徴、及び利点は、以下の図面と併せて提示される、以下のより具体的な説明からより明らかになるであろう。

本発明の１又は２以上の実施形態によって対処されるシナリオの一例を示し、ここでは、２つの点群がシーンから取り込まれ、点群がシーンの一部分で重複している図である。 本発明の１又は２以上の実施形態の例示的な入力、出力、及び処理ステップの高水準フローチャートを示す図である。 処理ステップを実行するために本発明の１又は２以上の実施形態で使用できる、例示的なコンピュータアーキテクチャを示す図である。 点群の重複する区画において近接点を識別する例示的なステップを示す図である。 近接点の集団において好ましい点を識別する例示的なステップを示す図である。 孤立点と好ましい点とを結合して併合点群を形成する例示的なステップを示す図である。 本発明の１又は２以上の実施形態で使用できる、点群データの距離画像形式を示す図である。 近接点を探し出すために、１つの点群からの点を別の点群の距離画像の上に投影するステップを示す図である。 図８の例を続けて、別の点群から投影された点が距離画像群内の点に近接しているかどうかを判定するために、距離画像内の画素からの視錐台の形成を示す図である。 距離画像をタイルに分割し、各タイルの点の周りに境界体積を生成することを示す図である。 図１０の例を続けて、タイルと関係する境界体積が、近接点の検出を最適化するためにどのように使用できるかを示す図である。 点群の重複領域における好ましい点をユーザが選択するために使用できる例示的なユーザインタフェースを示す図である。 図１２の例を続けて、１つの点群におけるユーザの点選択と、これらの選択点を別の点群の観点からの表示とを示す図である。 図１３の例を続けて、ユーザが、別の点群で選択した点を表示された点群からの点で置き換えることを示す図である。 図１４の例を続けて、ユーザが一部の選択点を削除し、この削除の効果を別の点群の観点から表示することを示す図である。 １又は２以上の実施形態で使用できる、好ましい点の自動選択に関する例示的な技法を示す図である（この技法では、当該領域における各点群の分解能を比較することによって、重複領域における２つの点群の品質を比較する）。 図１６の例を拡張して、表面が点群スキャナからの視線ベクトルに垂直でない場合の点群表面分解能の計算を示す図である。 図１によるスキャンに対して好ましい点を自動選択するための点品質比較の適用例を示す斜視図である。 図１によるスキャンに対して好ましい点を自動選択するための点品質比較の適用例を示す上面図である。

ここで、好ましい点を識別して保持する点群を併合する方法について説明する。以下の例示的な説明では、本発明の実施形態についてのより完全な理解を提供するため、多数の具体的な詳細を明らかにする。しかしながら、本明細書に記載する具体的な詳細の全態様を組み入れずに本発明を実施できることは、当業者には明らかであろう。他の例では、当業者によく知られた特定の特徴、量、又は測定値は、本発明を不明瞭にしないように詳細には記載していない。読者は、本発明の例が本明細書に明らかにされるが、特許請求の範囲、並びにあらゆる等価物の全範囲が本発明の範囲を規定するものであるということに留意すべきである。

図１は、本発明の１又は２以上の実施形態が扱うことのできるシナリオを示す。共通の３Ｄシーンから複数の点群を取り込むことができ、これらの点群を単一の結合された点群に併合することが望ましい場合がある。しかしながら、複数の点群に含まれる３Ｄシーンの区域には冗長性が存在する可能性があるため、全ての点群の全ての点を結合点群に含めることは望ましくない場合がある。不必要な記憶装置及び処理リソースを浪費することに加えて、冗長な点は、点群間の移行においてアーティファクトをもたらす可能性がある。

図１に示す説明的な例では、３Ｄシーンは単純な円柱１００である。説明しやすいようにこの形状を示すが、適用においては、あらゆる数の点群を、あらゆるサイズ及び複雑さのあらゆる３Ｄシーン（複数可）から取り込むことができる。本発明の１又は２以上の実施形態によって併合される点群は、現実の環境から、コンピュータで生成された環境から、又はこれらの何れかの組み合わせから取り込むことができる。図２では、シーン１００から２つの点群が取り込まれており、第１の点群（黒いドットで示す）がスキャナ１０１によって取り込まれ、第２の点群（白いドットで示す）がスキャナ１０２によって取り込まれる。点群の例示的な点は、スキャナ１０１によって取り込まれた点１０５と、スキャナ１０２によって取り込まれた点１０６である。（１又は２以上の実施形態では、スキャナ１０１と１０２は、物理的に同一のものでもよいが、異なる時間に異なるスキャンのために再配置する又は再作動させることができる）。１又は２以上の実施形態では、２つの点群を含むがこれに限定されない、あらゆる数の点群を処理及び併合することができる。

スキャナ１０１及び１０２は、例えばＬＩＤＡＲ、構造化光、及びステレオビジョンを含むがこれらに限定されない、シーンから３Ｄデータを形成するために結合された何れかのタイプ（複数可）の３Ｄスキャナ又は２Ｄセンサであるとすることができる。各スキャナと関連付けられるのは、例えば、スキャンが行われた視点、並びにスキャン点に対する１又は２以上の角度分解能など、特定のパラメータとすることができる。例えば、スキャナ１０１は、視点１１１から角度分解能１２１で第１の点群を取り込み、スキャナ１０２は、視点１１２から角度分解能１２２で第２の点群を取り込む。角度分解能はスキャン全体で一定ではなく、水平方向と垂直方向で角度分解能が異なる場合もある。本明細書における角度分解能という用語は、点群を取り込む際に可能な角度分解能の何れか又は全てを指す。説明を容易にするために、例では、例えばスキャン全体で並びに軸全体で一定であるとすることのできる単一の角度分解能だけを示している。

点群は異なる視点から取り込むことができるので、３Ｄシーンの異なる特徴を取り込むことができる。例えば、図１では、スキャナ１０２は、円柱１００の後ろ側にある点１０７と共に、前側にある点１０６（図１で見えている）などの点を取り込み、スキャナ１０１は、円柱の前側の点だけを取り込む。しかしながら、点群は、領域１３０などの１又は２以上の領域で重複する場合がある。シーン全体を表現する完全な「ゲシュタルト」点群を生成するために、１又は２以上の実施形態では、重複する領域（複数可）内の点群から特定の好ましい点を選択することができる。これらの好ましい点を選択するための例示的なプロセスを以下に説明する。

説明を容易にするために、図１に示す点群は、それぞれ少数の点を含む。実際には、点群はそれぞれ数百万又は数十億の点を含む可能性があり、従って、点群を併合するための処理及び記憶の効率は重要な関心事である。以下に説明するプロセスは、効率の良いアクセスのためにデータを編成することにより、並びに不必要な処理を回避するために点の比較を最適化することによって、これらの問題に対処することができる。

図２は、図１のデータを例として使用しながら、２又は３以上の点群を併合するために本発明の１又は２以上の実施形態で使用できる入力、出力、及び処理ステップの高水準フローチャートを示す。３Ｄシーンから取り込まれた点群１３１及び１３２は、例えば直接スキャナから又はメモリから取得される。点群１３１、１３２内の３次元点そのものに加えて、視点１１１及び１１２、並びに角度分解能１２１及び１２２などの取込み属性は、それぞれ点群の一部とする、或いは点群に関連付けることができる。１又は２以上の実施形態では、例えば取込みの垂直方向及び水平方向の範囲など、他の属性を利用することができる。点群１３１、１３２は、３Ｄシーンの共通座標系に登録される、又は登録可能である必要がある。点群データ１３１及び１３２は、データを処理するプロセッサ２０１に入力されて、併合された点群２２０の出力をもたらす。併合された点群２２０は、例えば、点群１３１と１３２が重複するシーンの領域において冗長度を低減できている。

高水準では、プロセッサ２０１は３つのステップを実行し、個々の点群１３１及び１３２を併合点群２２０に変換することができる。ステップ２１１は、近接点の１又は２以上の集団を識別することができ、その場合、近接度の判定基準は、ソース点群又は適用例に依存する。これらの集団は、存在し得る冗長性を表している。ステップ２１２は、これらの集団の１又は２以上から好ましい点を選択することができる。ステップ２１３で、好ましい点をソース点群からの他の点と組み合わせて、最終的な併合点群２２０を形成することができる。

図３は、図２のステップ又は本明細書に記載するあらゆる他のステップを実行するために、本発明の１又は２以上の実施形態で使用できる例示的なハードウェアを示す。この実施形態では、システム内で、システムによって、又はシステム内の何れかの構成要素として、例示的なコンピュータ３００を利用することができる。１又は２以上の実施形態では、コンピュータ３００はコンピュータのネットワークとすることができ、その各々は、図３に示す構成要素の何れか又は全てを有することができる。１又は２以上の実施形態では、コンピュータ（複数可）３００はまた、システム内の何れかの機能、すなわち、システム内の何れかのコンピュータ又はサーバ又はエンジンで実行される何れかのステップ又は動作又は機能を実装するために利用することができる。コンピュータ３００は、本発明の実施形態のそれぞれの機能に特化したソフトウェア命令を実行するプロセッサＣＰＵ３０７を含むことができる。コンピュータプログラム命令とも呼ばれるソフトウェア命令は、メモリ３０６内に常駐することができる。コンピュータ３００は、例えば、高度な並列演算用のグラフィックス命令又は他の命令を実行できるプロセッサＧＰＵ３０５を含むことができる。ＧＰＵプログラム命令もまた、メモリ３０６内に常駐することができる。コンピュータ３００は表示インタフェース３０８を含むことができ、これは、必要に応じてシステム内の何れかのコンピュータの表示ユニット（複数可）３１０を駆動することができる。コンピュータ３００の中には、ディスプレイを利用するものもあれば、利用しないものもある。コンピュータ３００は、通信インタフェース３２４を含むことができ、これは、無線通信又は有線通信用ハードウェアプロトコルチップを含むことができる。本発明の１又は２以上の実施形態では、通信インタフェース３２４は電話通信及び／又はデータ通信用ハードウェアを含むことができる。１又は２以上の実施形態では、通信インタフェース３２４はＷｉ－Ｆｉ（商標）及び／又はＢＬＵＥＴＯＯＴＨ（登録商標）の無線通信インタフェースを含むことができる。何れかの無線ネットワークプロトコル又はタイプを本発明の実施形態で利用することができる。ＣＰＵ３０７、ＧＰＵ３０５、メモリ３０６、表示インタフェース３０８、通信インタフェース３２４、ヒューマンインタフェースデバイス３３０、ハードディスク３１４などの２次メモリ３１２、リムーバブル記憶装置３１６、２次メモリインタフェース３２０、及びリムーバブル記憶ユニット３１８及び３２２は、一般に「バス」として知られる通信インフラストラクチャ３０２を介して互いに通信することができる。通信インタフェース３２４は、ネットワーク３４０を介して他の有線又は無線デバイスとの通信を可能にする何れかの有線又は無線媒体を介して通信することができる。ネットワーク３４０は、インタネット３６０及び／又はデータベース（複数可）３５０と通信することができる。データベース３５０を利用して、本明細書に記載するあらゆるデータベースを実装することができる。

図４、５及び６は、それぞれ図２のステップ２１１、２１２、及び２１３の実施形態を示す。図４に示すように、本発明の１又は２以上の実施形態は、２つの点が、併合された点群からこれらの一方（又は両方）を取り除くことが望ましいほどに近接しているかどうかを判定する近接度テスト４０１を規定することができ、或いはそれを取得することができる。１又は２以上の実施形態は、点が互いに近接しているかどうかを判定するために、何れかのタイプの近接度テスト（複数可）を使用することができる。例示的なテスト４０１では、簡単な距離閾値を用いて、点が十分に近接しているかどうかをテストする。この閾値テストには、何れかの距離関数（複数可）を使用することができる。近接度テスト４０１に従って近接する２又は３以上の点を集団に入れることができ、この集団を以下のように処理して、この集団の好ましい点を決定することができる。図４に示す説明的な例では、点群１３１及び１３２が近接度テスト４０１で処理され、近接点の集団４０２が得られる。例えば、集団４０３は、点群１３１の１つの点と点群１３２の２つの点とを含む。一般に、近接点の集団は、何れかの数の点群から何れかの数の点を含むことができる。他の点群内の何れの他点とも近接していない全ての点は、孤立点４０４として分類することができる。

図５は、図４の例を続けている。近接点の集団４０２における各集団の好ましい点を識別するために、処理５０１が実行される。集団４０３の好ましい点として点５０３を選択する識別５０２など、好ましい点は矢印で示される。この例では、近接点の集団４０２の各々について、好ましい点が識別される。１又は２以上の実施形態では、これらの集団の部分集合に対してだけ、好ましい点を識別することができ、例えば、指定された好ましい点のない集団からは、全ての点を保持することができる。以下で説明する手動の又は自動化された方法を含め、何れか所望の方法を用いて、好ましい点を識別することができる。好ましい点の識別５０１の後、ステップ５０４は、好ましくない点を取り除き、好ましい点だけを保持して、点５０５という結果になる。図６に示すように、これらの好ましい点５０５は次に、孤立点４０４と結合され、併合点群６０１を作り出すことができる。

図７～１７は、上述の一般的なステップを詳述し、これらのステップを実行するために１又は２以上の実施形態で使用できる特定の方法及び最適化を示している。これらの方法及び最適化の一部では、点群データの距離画像内への編成を用いることができる。距離画像は、例えば、点群の個々の標本を表す画素の２Ｄ配列を有することができ、その場合、各画素は、対応する標本に取り込まれた、シーン内の点までの距離値を含む。距離画像は、３次元点の非構造化集合よりも、点群データのより効率的な処理を支援することができる。図７は、点群１３１に対する例示的な距離画像表現７２０を示す。２次元画素配列７２０は、３次元シーンの画素座標への投影を表している。説明のため、各画素の輝度は、各画素の距離値に関係しており、より明るい画素はより小さな距離に対応する。

１又は２以上の実施形態では、距離画像のために何れかのタイプ（複数可）の投影を使用することができる。図７に示す投影法は、正距円筒図法７１０であり、３次元シーンからの点は、スキャナの視点１１１を中心とする球面７０１上に投影され、次いでその球面が、投影７１０で２次元配列にマッピングされる。正距円筒図法は、方位角及び仰角を増加させてシーンをスキャンすることによって取り込まれた点群に関して、自然な投影であるとすることができる。また、正距円筒図法は、全３６０度の水平方向及び全１８０度の垂直方向のスキャン（又はその部分範囲）に関する表現を２Ｄ画素配列で扱うことができる。

点群１３１の例示的な点７０２及び７０４について、投影を示す。点７０２は、球面７０１上の点７０３に投影され、これは次に、距離画像７２０の画素７２３にマッピングされる。画素７２３と関係付けられるのは、３Ｄシーンにおける視点１１１と点７０２の距離７２４である。同様に、点７０４は球面７０１上の点７０５に投影され、次いで、点７０４と視点１１１の距離７２２を備えて、距離画像７２０の画素７２１に投影される。距離値は、画素７２１及び７２３について示され、他の画素については示されないが、各画素ごとに距離画像内に存在している。

点群の距離画像表現は、近接点の検出を容易にする可能性がある。非構造化点群（例えば、３Ｄ点の非順序集合として表現される）では、所与の点に近接する点を見出すには、広範な処理を必要とする場合がある。１つの手法は、全組の点間距離を求めることである；これは、大きな点群の場合、計算回数が点群のサイズの関数として２次関数的に増加するため、非実用的なものとなる。もう１つの代案は、点群を前処理して八分木又は類似のデータ構造にすることである；この手法は、比較の回数を減らすことができるが、高価な前処理ステップを必要とする。距離画像表現を使用することで、これらの煩雑さを回避し、近接点を効率良く検出することができる。

図８及び９は、１又は２以上の実施形態で使用することができる、距離画像を用いた近接点の検出技法を示す。この技法は、２つのステップで近接度テストを実行する：まず初めに、点が距離画像内の同じ画素に投影されるかどうかをテストし、次に、同じ画素内の点と関係付けられた投影距離が閾値内にあるかどうかをテストする。図８は、点群１３１と関係付けられた距離画像７２０上への、点群１３２の点の投影を示している。図７に関して説明したように、点群１３２からの点は、距離画像７２０と関係する投影７１０を用いて、距離画像の画素７２０に投影することができる。１つの点群を、別の点群と関係付けられた距離画像に投影する場合、複数の点が同じ画素に投影される可能性がある。例えば、図８では、点８０１、８０２、８０３及び８０４は全て、それぞれ投影点８１１、８１２、８１３、及び８１４として、距離画像７２０の画素８１０に投影されている。従って、これらの点は、図７に示すように同じく画素８１０に投影される、点群１３１の点７０４に近接する点の候補となり得る。点群１３２の他の点は、同じ画素に投影されないため、候補とはならない。

図９は、図８の例を続けて、１又は２以上の実施形態で近接点候補に対してどのように近接度テストを規定できるかを示すものである。この手順は、点群１３１の点７０４、並びに点７０４と同じ画素に投影される点群１３２の候補点８１１、８１２、８１３、及び８１４について示されている。これらの点の各々と関係付けられているのは、点群１３１の視点１１１とそれぞれの点との距離である。例えば、点７０４は、視点１１１まで距離７２２にあり、点８１２は、視点１１１まで距離９０４にある。１又は２以上の実施形態では、閾値距離９０２を規定することができ、距離７２２と視点１１１から或る点までの距離との差の絶対値がこの閾値よりも小さい場合に、その点は点７０４に近接すると見なすことができる。距離閾値は、点７０４までの距離に依存してもよい。

１又は２以上の実施形態では、視点１１１からの距離７２２にある点７０４を含む画素の投影サイズを考慮して、近接度テストを規定することができる。特に、システムは、点７０４の周りに視錐台９０１を生成することができ、この視錐台の寸法は、点７０４までの距離と、その点における点群の角度分解能とに依存することができる。実際には、点と関係付けられた画素を距離画像から外へ点群内のその点に向かって投影することができ、画素の周りに視錐台を生成することができる。１又は２以上の実施形態では、視錐台は、ほぼ立方体の形状を有することができ、従って、その幅は閾値距離９０２の約２倍とすることができる。点７０４周りのこの視錐台９０１内にある別の点群からの点は、点７０４に近接すると見なすことができる。この判定基準を用いると、点８１１及び８１２は、この近接度テストを満たすことができるが、点８１３及び８１４は、点７０４の「後方」、円柱１００の後ろ側にあるため、このテストを満たすことができない。従って、点７０４、点８１１、及び点８１２は、集団４０２における近接点の集団９０３に加えることができる。

１又は２以上の実施形態では、近接度テストの効率を向上させるための付加的な最適化を実行することができる。このような最適化の１つを図１０及び１１に示す。図１０は、スキャナ１００１から取り込まれて距離画像１００２に投影された点群の一部を示したものである。説明を容易にするため、図１０及び１１に示す距離画像の投影は、正距円筒図法ではなく、平面透視投影であるが、説明する概念は、全てのタイプの投影に等しく適用される。距離画像１００２の画素は、タイル１０１１、１０１２、１０３、及び１０１４に分割することができる。ここでは簡単にするために４個のタイルを示しているが、１又は２以上の実施形態では、あらゆる寸法のあらゆる個数のタイルを使用することができる。各タイルについて、そのタイル内の画素上に投影された点の周りで境界体積を計算することができる。この境界体積は、例えば、タイルから外方に投影された視錐台とすることができ、タイルの画素に投影された点の、視点からの最小距離と最大距離とによって、前面と後面とがそれぞれ決定される。図１０は、タイル１０１１及び１０１４に対する２つの視錐台１０２１及び１０２２をそれぞれ示している。

ひとたびタイルに投影された点について境界体積が計算されると、図１１に示すように、これらの境界体積を用いて近接度テストを最適化することができる。図１１は、スキャナ１００１及び１１０１によって取り込まれ、それぞれ距離画像１００２及び１１０２の上に投影された２つの点群１１２１及び１１２２を示す。各距離画像は、説明のために４つのタイルに分割され、各タイルと関係する視錐台境界体積が示されている。点に関する第１水準の近接度テストは、点を収容する境界体積が交差するかどうかを判定することによって規定することができる。図１１に示す例では、視錐台１０２２と１１０３だけが交差している。従って、２つの点群１１２１と１１２２の間に近接点があるとすれば、それは、距離画像１００２のタイル１０１４に投影され、且つ距離画像１１０２のタイル１１１２に投影された点においてだけ見出すことができる。他の全タイルからの点は、近接度テストに関して評価する必要がないとすることができる。例えば、図８及び９で説明した手順を用いて、投影１１１０で点群１１２２の点を距離画像１００２に投影することにより、点群１１２０１と１１２２の間に近接点の集団を見出す場合、近接度評価のために体積１１０３内の点だけをタイル１０１４に投影する必要がある。

本発明の１又は２以上の実施形態では、図１１に示すようなタイル境界体積を、併合される全ての点群について計算することができ、各境界体積は、他の点群による境界体積との交差に関して調べられるとすることができる。交差テストは、分離軸定理に基づくものなど、周知のアルゴリズムによって迅速に実行することができる。各タイルの境界体積は、例えば、それが交差するタイルの境界体積と連結することができる。点群の他点群との重複について距離画像の領域を評価する場合、その領域内のタイルを用いて、連結された境界体積を他の点群から識別することができ、これらの連結された境界体積内の点だけを考慮する必要がある。

ここで、好ましい点の識別に目を向けると、１又は２以上の実施形態では、好ましい点を選択するためにユーザ入力を組み入れる方法、又は完全自動式の方法の何れかを使用することができる。また、これらの手法の組み合わせを用いて、例えば、提案する好ましい点を自動的に選択し、これらの選択を手動入力で確認又は却下することができる。図１２～１５は、ユーザの入力を取得して好ましい点を選択する方法を示し、図１６～１７は、自動化された方法を示している。これらの方法は例示であり、１又は２以上の実施形態では、何れかのタイプの方法を使用して、近接点の集団から好ましい点を識別することができる。

１又は２以上の実施形態では、システムは、ユーザにユーザインタフェースを提示し、このユーザインタフェースから好ましい点の選択を受け入れることができる。図１２～１５に示す実施形態は、２Ｄ距離画像投影を中心にして編成されたユーザインタフェースを示す。ユーザは、点群の２Ｄ投影として選択された何れかの距離画像の観点から、点群を見ることができる。これらの２Ｄビューから、ユーザは、自分が描いた又は別の方法で指し示した領域内の好ましい点に対して、どの点群を使用すべきかを指示することができる。点群の２Ｄ投影を中心にしてユーザ入力を編成することにより、以下で示すように、ユーザは２Ｄ画像に領域を描くだけで好ましい点を選択することができるので、使用感が簡略化される。

図１２は、初期画面１２０１を有する例示的なユーザインタフェースを示す。ユーザは、選択区域１２０２でどの点群距離画像を見るかを選択するが、この選択肢は、初期は点群１に設定されている。選択された点群の距離画像投影は、ウィンドウ１２０３に示される。画面１２１１で、ユーザは選択肢１２１２内の点群２を見るために切り替え、投影１２１３を表示させる。これらの初期画面では、ユーザはまだ好ましい点を指し示していない。システムは、点群と関係付けられた距離画像投影を表示する場合に、その投影に示された点に近接する他の点群からの点を追跡又は計算することができる。これらの点は、前述のように決定することができ、図１１に関して説明したように、予め計算された境界体積の交差を用いて最適化することができる。例えば、ウィンドウ１２０３内の点１２０４は、この点に近接する点群２の点を含む集団１２０５と関係付けられる。同様に、画面１２１１では、ウィンドウ１２１３内の点１２１４のどちらか一方を何れかをこの同じ集団１２０５と関係付けることができる。これらの関係付けは、異なる点群の観点からビューが表示される際に、システムによって計算又は追跡されるとすることができる。ユーザが画面で選択を行うと、集団１２０５などの点群に対して好ましい点を割り当てることができる。好ましい点のこれらの割当て及び再割当ては、図１３～１５に示されている。

図１３は、この例を続けて、好ましい点のユーザ選択を示す。画面１３０１で、ユーザは、目に見える点群から好ましい点を追加するために、追加アクション１３０２を選択する。次にユーザは、領域１３０３を描き、塗りつぶし、又は別の方法で選択して、この領域内の点群１からの点を、これらが属する近接点の何れかの集団において好ましい点として識別すべきであるということを示す。１又は２以上の実施形態では、サイズ、タグ、形状、陰影、模様、又は色などの様々な指標を用いて点の状態を示すことができ、図１３に示す例では、凡例１３２０は、これらの画面において点の状態が模様によって表されることを示している。この凡例１３２０は、１又は２以上の実施形態ではユーザインタフェースに表示される、又は別の画面で利用可能であるとすることができる。１又は２以上の実施形態では、ユーザはまた、各点群においてどの点が好ましい点として選択されるかに関する指標を備えた、点群の３Ｄビューを見ることができる場合がある。例えば、全ての点を示し、どの点が好ましい点として選択されるかを示すビュー１３３０が利用可能であるとすることができる。（説明を容易にするために、円柱の３Ｄシーンをウィンドウ１３３０に示す。）ユーザが画面１３１１を切り替えて選択肢１３１２で点群２を見る場合、ディスプレイは、領域１３１３を、別の点群で好ましい点として選択されたものとして表示するが、それは、これらの点が領域１３０３内の点群１に割り当てられた選択点と重複するからである。ユーザは、異なる点群の中で好ましい点として点を漸増的に選択し、これら選択の影響を異なる点群の観点から、３Ｄで見ることができる。

図１４は、画面１４０１でこの例を続けており、ここでもユーザは、点群２の観点から距離画像を見る。ユーザは置換アクション１４０２を選択し、領域１４０３を描き、塗りつぶし、又は別の方法で選択して、異なる点群で選択された点をこの点群からの点で置き換える。この置換アクションはまた、それまでに選択されていない新しい点を追加する。このアクションは、点群１に割り当てられた点の領域１３１３を、より小さな領域１４０４に縮小する。ユーザが選択肢１４１２を実行して画面１４１１で点群１を見る時、以前に点群１に対して選択されていた区域１３０３が区域１４１３に縮小され、点１４１４が別の点群に対して選択されたものとして示される。この例を続けて、図１５では、ユーザは画面１５０１で削除アクション１５０２を選択し、次に領域１５０３を選択して、これらの点のあらゆる点群への割当てを削除する。ユーザが画面１５１１に切り替え、選択肢１５１２を実行して点群２の距離画像ビューを表示させると、点群１で以前に選択されていた点１５１３は、今や未割当ての状態で示される。

図１２～１５に示したユーザインタフェース画面、選択オプション、及びアクションは、説明的な例である。１又は２以上の実施形態は、併合点群に対して好ましい点を選択するために、何れかのタイプのユーザインタフェースを用いてユーザから入力を得ることができる。画面１５０１及び１５１１に示すような２Ｄ投影を提示するユーザインタフェースの場合、何れかのタイプの２Ｄ描画又は画像操作のツール又はコントロールを用いて、点、領域、区域、又は形状を選択し変更することができる。

好ましい点を選択するためにユーザの入力を取得する代わりに又はそれに加えて、１又は２以上の実施形態では、好ましい点を自動的に選択することができる。自動選択は、例えば、近接点の集団内の各点について計算される点の品質尺度を用いて実行することができ、集団内で最高の品質尺度を備えた点を、その集団の好ましい点として選択することができる。何れかの品質尺度（複数可）を使用することができる。図１６及び１７は、シーン内の各点で各点群が捉える３Ｄシーンの詳細度を反映する品質尺度の計算を示す。例えば、関係する点群がより細かな詳細を捉える領域内の点には、より高い品質尺度を与えることができる。詳細度に基づく品質尺度の使用により、不必要な点又は冗長な点を追加することなく、シーンを最大限詳細に示す併合点群を生成することができる。

或る点において点群が捉える詳細度は、その点における点群の表面分解能に反比例するとすることができる。或る点におけるこの表面分解能は、例えば、その点を中心とした画素が、その点にある点群が描き出す表面上に投影された時の画素幅として規定することができる。この幅は、その点において画素から表面まで延びる視錐台の後面の幅と等価であると見なすことができる。図１６に示すように、この表面分解能は、点群の角度分解能と、点群の視点と表面との距離の関数であるとすることができる。説明を容易にするため、図１６の計算は、ただ１つの軸、水平軸に沿った表面分解能を示すが、１又は２以上の実施形態では、複数の軸に沿った表面分解能を計算することができる。図１６に示す例では、３Ｄシーンの局所的な部分を表すことのできる平面状の表面１６００が、２つのスキャナ１０１及び１０２によって、それぞれ視点１１１及び１１２から取り込まれる。２つの点群の点は、品質尺度の計算を強調するために、図１６では非重複として示すが、一般に、これらの品質尺度は、近接点の集団から最良の点を選択するために、点群が重複する区域で使用されることになる。品質尺度の計算が、２つの点、スキャナ１０１が取り込んだ点群からの点１６１５と、スキャナ１０２が取り込んだ点群からの点１６１６とについて示されている。スキャナ１０１からのスキャン点を画素内に配置し、各画素の中心に１つの点がある場合、表面１６００上に投影された点１６１５を中心とする画素は、矩形１６４１である。この矩形の幅１６１１を、その点１６１５におけるこの点群に関する表面分解能の尺度として使用することができる。同様に、矩形１６４２の幅１６１２を、点１６１６におけるスキャナ１０２の点群に関する表面分解能の尺度として使用することができる。簡単にするために、表面１６００が視点１１１から点１６１５までの視線ベクトル１６３１に垂直であると仮定すると、表面分解能１６１１は、視線ベクトル１６３１の長さ１６０１（これはスキャナから表面までの距離である）の２倍に、スキャナの角度分解能１２１の半分に関する正接を乗算したものに等しい。同様に、表面分解能１６１２は、視線ベクトル１６３２の長さ１６０２の２倍に、スキャナ１０２の角度分解能１２２の半分に関する正接を乗算したものに等しい。これらの計算により、点１６１５及び１６１６に対する品質尺度１６２１及び１６２２がそれぞれ得られる。この例では、スキャナ１０１からの点群に関する表面分解能１６１１は、スキャナ１０２からの点群に関する表面分解能１６１２よりも粗い（大きい）；従って、これらの点群が重複するこのスキャン領域では、スキャナ１０２からの点の方が好ましいとすることができる。

図１６で上述した表面分解能と点の品質尺度とに対する計算は、或る点での視線ベクトルがその点でスキャンされた表面に垂直であることを仮定している。本発明の１又は２以上の実施形態では、視線ベクトルとスキャン表面の法線ベクトルとのなす角度がゼロであると仮定するのではなく、代わりにこの角度を見積もり、この角度を用いて点の品質尺度を精密化することができる。この手法を図１７に示す。簡単のため、図１７は垂直軸の周りだけに傾斜した表面を示し、表面上方からの上面視による幾何学的配置を示している。図１７に示す計算は、あらゆる表面方位に対して直ちに一般化される。スキャン点１７０５は、表面１６００ａに位置し、この点を中心とする画素がこの表面に投影される。投影された画素は幅１６１１ａを有し、これは点１７０５における表面１６００ａ上の点群の表面分解能である。表面１６００ａ（上方から示す）は、点１７０５への視線ベクトル１６３１に対して角度１７０３にある法線ベクトル１７０２を有する。三角法計算により、投影画素幅１６１１ａは、距離１６０１の２倍に、角度分解能１２１の半分に関する正接を掛けて、角度１７０３の余弦で割ったものとなる。品質尺度は、例えば、この表面分解能１６１１ａの逆数として算出することができる。視線ベクトルと表面法線の間の非ゼロ角度１７０３により、表面分解能が角度１７０３の余弦で除算される結果となるので、品質尺度にはこの因子が掛けられる。

表面に対する法線ベクトル１７０２は、点群データから計算することができ、或いはシーンに関する他の情報から利用可能であるとすることができる。１又は２以上の実施形態で使用できる例示的な技法は、本技術分野で公知の法線推定に関する最小二乗法である。この技法は、法線ベクトルを計算する画素を中心とする、距離画像内の画素の３ｘ３配列など、点群の小パッチの点を通して平面を適合させるものである。適合させた平面に対する法線ベクトルは、その点における表面の法線として使用することができる。

図１８Ａ及び１８Ｂは、好ましい点を選択するために、図１７に記載した調整済み品質尺度をどのように使用することができるかを示す。図１の円柱シーンの一部１００ａが示されている。 図１８Ａは斜視図を示し、図１８Ｂは上面図を示す。スキャナ１０１が取り込んだ点１８０１と、スキャナ１０２が取り込んだ点１８０２は、近接点の集団内にある。点１８０１及び１８０２間での好ましい点の自動選択では、上述した３つの因子、つまり、スキャナと点の距離、スキャナの角度分解能、及びスキャン視線ベクトルと表面法線の角度の全てを考慮に入れることができる。この例では、スキャナ１０２をシーン１００ａにより近く位置決めすることができ、スキャナ１０２の角度分解能はより小さいとすることができるが、点１８０１及び１８０２のそれぞれにおいて、スキャナ１０１からの視線ベクトル１８１１が表面法線ベクトル１８１０にほぼ平行であるのに対し、スキャナ１０２からの視線ベクトル１８１２は法線ベクトル１８１０にほぼ垂直である。従って、角度１８１４の余弦は１に近いが、角度１８１３の余弦は０に近い。その結果、２つの点１８０１及び１８０２間の品質尺度比較１８２０では、点１８０１を選択する。

特定の実施形態及びその適用例を用いて、本明細書に開示する本発明を説明してきたが、当業者は、特許請求の範囲に記載される本発明の範囲から逸脱することなく、数多くの変更形態及び変形形態を作成することができよう。

１００：単純な円柱（３Ｄシーン）
１０１：スキャナ
１０２：スキャナ
１０５：スキャナ１０１によって取り込まれた点
１０６：スキャナ１０２によって取り込まれた点
１０７：円柱の後ろ側にある点
１１１：視点
１１２：視点
１２１：角度分解能
１２２：角度分解能
１３０：重複する取込み領域

Claims (20)

1. 好ましい点を識別して保持する点群の併合方法であって、
   メモリに接続されたコンピュータを使用して、
   ３Ｄシーンから取り込まれた複数の点群を取得することであって、前記複数の点群の各点群が、
   複数の点と、
   視点と、
   角度分解能と、を備えることと、
   前記複数の点群からの２つの異なる点が、前記２つの異なる点の高々１つを保持すれば足りるほどに近接しているかどうかを判定する近接度テストを取得又は生成することと、
   近接点の１又は２以上の集団を識別することであって、
   近接点の前記１又は２以上の集団の各集団が、前記複数の点群からの２又は３以上の点を備え、並びに
   前記各集団の前記２又は３以上の点の各点が、前記各集団の前記２又は３以上の点の内の異なる点に関して前記近接度テストを満たすことと、
   孤立点を識別することであって、前記孤立点が、近接点の前記１又は２以上集団の何れにも含まれない、前記複数の点群からの全ての点を備えることと、
   近接点の前記１又は２以上集団の各集団に対して、前記各集団の前記２又は３以上の点の中から好ましい点を識別することと、
   併合点群を生成することであって、前記併合点群が、
   前記孤立点と、
   近接点の前記１又は２以上集団の各集団の前記好ましい点と、を備え、
   前記好ましい点ではない前記各集団の点を含まない、ことと、
   を含む方法。
2. 前記各点群は、
   前記複数の点を画素の２Ｄ配列として表現する距離画像であって、
   前記複数の点の各点が画素の前記２Ｄ配列に対応し、並びに
   画素の前記２Ｄ配列の各画素が、前記画素と関係付けられた点と前記各点群の前記視点との距離を備える、距離画像と、
   前記３Ｄシーンから画素の前記２Ｄ配列への投影と、
   を備える、請求項１に記載の方法。
3. 前記投影は、
   前記３Ｄシーン内の点から、前記視点を中心とする球面へのマッピングと、
   前記球面から画素の前記２Ｄ配列への正距円筒図法と、
   を備える、請求項２に記載の方法。
4. 近接点の１又は２以上の集団を前記識別することは、
   前記複数の点群の中からベース点群を選択することと、
   前記ベース点群の画素の前記２Ｄ配列から画素のセットを選択することと、
   前記ベース点群を除く前記複数の点群から点のセットを選択することと、
   前記ベース点群と関係付けられた前記投影を前記点のセットの各点に対して適用して、
   前記ベース点群の画素の前記２Ｄ配列の投影画素と、
   前記各点と、前記ベース点群の前記視点との投影距離と、を取得し、並びに
   前記投影距離が、前記ベース点群における前記投影画素と関係付けられた前記距離の閾値内に入る場合に、各点と、前記投影画素と関係付けられた前記ベース点群内の点とを、前記投影画素と関係付けられた点群の集団に加えることと、
   を含む、請求項２に記載の方法。
5. 前記コンピュータを使用して、
   前記各点群の画素の前記２Ｄ配列を複数のタイルに分割することと、
   前記複数のタイルの各タイルに対して、
   前記各タイル内の画素に投影される前記各点群の点を収容する境界体積を生成することと、
   前記各点群を除いて、関係する境界体積が前記境界体積と交差する前記複数の点群と関係するタイルを識別する
   ことと、
   を更に含む、請求項２に記載の方法。
6. 近接点の１又は２以上の集団を前記識別することは、
   前記複数の点群の中からベース点群を選択することと、
   前記ベース点群からタイルのセットを選択することと、
   前記ベース点群を除く前記複数の点群から点のセットを選択することであって、前記点のセットが、前記ベース点群からの前記タイルのセットの１又は２以上のタイルと交差する、前記ベース点群を除く前記複数の点群のタイル内の点を備えることと、
   前記ベース点群と関係する前記投影を、前記点のセットの各点に適用して、
   前記ベース点群の画素の前記２Ｄ配列の投影画素と、
   前記各点と、前記ベース点群の前記視点との投影距離と、を取得し、並びに
   前記投影距離が、前記ベース点群における前記投影画素と関係付けられた前記距離の閾値内に入る場合に、各点と、前記投影画素と関係付けられた前記ベース点群内の点とを、前記投影画素と関係付けられた点群の集団に加えることと、
   を含む、請求項５に記載の方法。
7. 前記各集団の前記２又は３以上の点の中から前記好ましい点を前記識別することは、
   前記複数の点群の第１点群から点のセットを表示するユーザインタフェースをユーザに提示することと、
   前記点群の前記集団の或る集団内にある前記点のセットの各点に対して、前記各点が前記集団の前記好ましい点であるかどうかを示す指標を前記ユーザインタフェースに表示することと、
   前記ユーザから選択入力を受け入れて、前記第１点群の前記点のセットから１又は２以上の選択点を選択することと、
   前記ユーザから編集アクション入力を受け入れることであって、前記編集アクション入力が追加アクション又は削除アクションを備えることと、
   前記編集アクションが前記追加アクションの場合に、前記１又は２以上の選択点を、前記１又は２以上選択点を含む近接点の集団の好ましい点として設定することと、
   前記編集アクションが前記削除アクションの場合に、前記１又は２以上の選択点を、前記１又は２以上選択点を含む近接点の集団の好ましくない点として設定することと、
   を含む、請求項２に記載の方法。
8. 前記指標は更に、前記集団の前記好ましい点が、前記第１点群とは異なる第２点群内の点であるかどうかを示す、請求項７に記載の方法。
9. 前記指標は、前記各点を含む前記第１点群の画素の前記２Ｄ配列の画素に適用される色、模様、又は形状であり、
   前記色、模様、又は形状は、
   前記各点が前記集団の前記好ましい点であることを示す第１の値と、
   前記集団の前記好ましい点が、前記第１点群とは異なる第２点群内の点であることを示す第２の値と、
   前記集団には好ましい点が指定されていないことを示す第３の値と、
   を備える、請求項８に記載の方法。
10. 前記各集団の前記２又は３以上の点の中から前記好ましい点を前記識別することは、
    前記複数の点群の第１点群から点のセットを表示するユーザインタフェースをユーザに提示することと、
    前記点群の前記集団の或る集団内にある前記点のセットの各点に対して、前記各点が前記集団の前記好ましい点であるかどうかを示す指標を前記ユーザインタフェースに表示することと、
    前記ユーザから選択入力を受け入れて、前記第１点群の前記点のセットから１又は２以上の選択点を選択することと、
    前記ユーザから編集アクション入力を受け入れることであって、前記編集アクション入力が追加アクション又は削除アクションを備えることと、
    前記編集アクションが前記追加アクションの場合に、前記１又は２以上の選択点を、前記１又は２以上選択点を含む近接点の集団の好ましい点として設定することと、
    前記編集アクションが前記削除アクションの場合に、前記１又は２以上の選択点を、前記１又は２以上選択点を含む近接点の集団の好ましくない点として設定することと、
    を含む、請求項６に記載の方法。
11. 前記指標は更に、前記集団の前記好ましい点が、前記第１点群とは異なる第２点群内の点であるかどうかを示す、請求項１０に記載の方法。
12. 前記指標は、前記各点を含む前記第１点群の画素の前記２Ｄ配列の画素に適用される色、模様、又は形状であり、
    前記色、模様、又は形状は、
    前記各点が前記集団の前記好ましい点であることを示す第１の値と、
    前記集団の前記好ましい点が、前記第１点群とは異なる第２点群内の点であることを示す第２の値と、
    前記集団には好ましい点が指定されていないことを示す第３の値と、
    を備える、請求項１１に記載の方法。
13. 前記好ましい点を前記識別することは、
    前記各集団の前記２又は３以上の点の各点に対して品質尺度を計算することと、
    前記好ましい点を、最高の品質尺度を備えた前記２又は３以上の点の内の１点として識別することと、
    を含む、請求項１に記載の方法。
14. 前記各点に対する前記品質尺度は、前記各点を含む前記点群の前記各点における分解能に反比例する、請求項１３に記載の方法。
15. 前記分解能は、前記各点を含む前記点群の前記視点から、前記各点までの視線ベクトルの長さの２倍に、前記点群の前記角度分解能の半分に関する正接を乗算したものを含む、請求項１４に記載の方法。
16. 前記分解能は更に、前記視線ベクトルと、前記３Ｄシーンで前記各点が位置する表面に対する法線ベクトルとのなす角度の余弦で除算される、請求項１５に記載の方法。
17. 前記好ましい点を前記識別することは、
    前記各集団の前記２又は３以上の点の各点に対して品質尺度を計算することと、
    前記好ましい点を、最高の品質尺度を備えた前記２又は３以上の点の内の１点として識別することと、
    を含む、請求項６に記載の方法。
18. 前記各点に対する前記品質尺度は、前記各点を含む前記点群の前記各点における分解能に反比例する、請求項１７に記載の方法。
19. 前記分解能は、前記各点を含む前記点群の前記視点から、前記各点までの視線ベクトルの長さの２倍に、前記点群の前記角度分解能の半分に関する正接を乗算したものを含む、請求項１８に記載の方法。
20. 前記分解能は更に、前記視線ベクトルと、前記３Ｄシーンで前記各点が位置する表面に対する法線ベクトルとのなす角度の余弦で除算される、請求項１９に記載の方法。

Images