JP6843773B2 - 環境の走査及び無人航空機の追跡 - Google Patents

Description

〔関連出願への相互参照〕
本出願は、引用によってその全体が本明細書に組み込まれている「環境の走査及び無人航空機の追跡」という名称の２０１５年３月３日出願の米国仮特許出願第６２／１２７，４７６号に対する優先権を主張するものである。

本発明の開示は、一般的に、環境の走査及び無人航空機の追跡に関する。

無人航空機（ＵＡＶ）は、そうでなければ有人航空機又は衛星を用いて実行されると考えられる広範なタスクを実施するための益々一般的なデバイスになっている。そのようなタスクは、監視タスク、撮像タスク、及びペイロード送出タスクを含む。

しかし、ＵＡＶにはいくつかの欠点がある。例えば、狭い一角で、例えば、建物、樹木、又は他の物体の近くでＵＡＶを特に自律的に作動させることは困難である可能性がある。特に、ＵＡＶがそのような物体と衝突することを防止することは困難であり得る。ＵＡＶ及び他の自律車両を複合環境内で制御するための技術は存在するが、そのような技術は、典型的に、過度に重く、過度に嵩張り、及び／又はＵＡＶの航続距離及び／又はペイロード容量に劇的に影響を与えることなく典型的なＵＡＶによって搬送するには過度に大きい電力を必要とするハードウエアに依存している。従って、ＵＡＶをそれらの作動環境内で安全かつ正確に航行させることができる技術及び関連のシステムに対する必要性が残っている。

本発明の技術の実施形態による環境を走査してＵＡＶを環境内で追跡するための全体処理を示す部分概略ブロック図である。 本発明の技術の実施形態による環境を走査してＵＡＶを環境内で追跡するための全体処理を示す部分概略ブロック図である。 本発明の技術の実施形態による環境を走査してＵＡＶを環境内で追跡するための全体処理を示す部分概略ブロック図である。 本発明の技術の特定の実施形態によって構成された代表的な走査及び追跡処理の流れ図である。 本発明の技術の実施形態によって構成された代表的スキャナを示す図である。 本発明の技術の代表的実施形態により走査モードで作動する代表的スキャナの構成要素を示すブロック図である。 本発明の技術の実施形態により追跡モードで作動する代表的スキャナの構成要素を示すブロック図である。 本発明の技術の実施形態によりＵＡＶを識別及び／又は追跡することを容易にする符号化装置を有するＵＡＶの概略図である。 本発明の技術の実施形態によりＵＡＶを識別及び／又は追跡することを容易にする符号化装置を有するＵＡＶの概略図である。 本発明の技術の実施形態による環境を走査するように位置決めされた複数のスキャナの配置を示す図である。 本発明の技術の実施形態によりＵＡＶによって担持された機器を通じて走査作動を実行する構成を示す図である。 物体を走査するための従来の処理を概略的に示す図である。 本発明の技術の実施形態により物体の特徴を選択的に走査するための技術を概略的に示す図である。 本発明の技術の実施形態により走査される特徴を識別及びスケジュールに入れるための処理を示す概略ブロック図である。 本発明の技術の実施形態により飛行経路軌道を計画及び実行するための処理を示す流れ図である。 本発明の技術の実施形態により環境に位置決めされたスキャナを示す図である。 図１２に示す環境の画像の等角投影図である。 図１２に示す環境の画像の平面図である。 図１２に示す環境の別の部分の画像を示す図である。 本発明の技術の実施形態による風力タービンを含む環境及び関連のＵＡＶ飛行経路の正面図を示す図である。 本発明の技術の実施形態による風力タービンを含む環境及び関連のＵＡＶ飛行経路の上面図を示す図である。 本発明の技術の実施形態による風力タービンを含む環境及び関連のＵＡＶ飛行経路の側面図を示す図である。 本発明の技術の実施形態によりブレードが運動中にデータを風力タービンブレードから取得するための処理を示す図である。 本発明の技術の実施形態によりブレードが運動中にデータを風力タービンブレードから取得するための処理を示す図である。 本発明の技術の実施形態によりブレードが運動中にデータを風力タービンブレードから取得するための処理を示す図である。 本発明の技術の実施形態によりブレードが運動中にデータを風力タービンブレードから取得するための処理を示す図である。

本発明の技術は、一般的に、無人航空機（ＵＡＶ）に関し、より具体的には、無人航空機が作動する環境を走査し、環境のうちの１又は２以上を通る無人航空機の飛行を計画し、無人航空機の運動をそれらの環境内で追跡するためのシステム及び方法に関する。開示する技術のいくつかの実施形態の特定の詳細を特定の代表的な構成を参照して以下に説明する。他の実施形態では、開示する技術は、他の構成を有するＵＡＶ及び関連システムに従って実施することができる。更に別の実施形態では、開示する技術の特定の態様は、ＵＡＶ（例えば、自律型乗用車又は船舶）以外の自律型車両の関連で実施することができる。公知であってＵＡＶに関連付けられることが多いが本発明に開示する技術の一部の有意な態様を不要に不明瞭にする可能性がある構造又は処理を説明する特定の詳細は、明瞭さのために以下の説明では割愛する。更に、以下の開示は開示する技術の異なる態様のいくつかの実施形態を説明するが、この技術のいくつかの他の実施形態は、この節に説明するものとは異なる構成及び／又は構成要素を有することができる。従って、本発明の技術は、追加の要素を有する及び／又は図１Ａ〜図１５Ｃを参照して以下に説明する要素のうちのいくつかのない他の実施形態を有する場合がある。

開示する技術のいくつかの実施形態は、プログラマブルコンピュータ又はコントローラによって実行されるルーチンを含むコンピュータ実行可能命令の形態を取る場合がある。当業者は、本発明の技術は以下に示して説明するもの以外のコンピュータシステム又は制御システム上で実施することができることを認めるであろう。本発明の技術は、以下に説明するコンピュータ実行可能命令のうちの１又は２以上を実行するように特別にプログラム、設定、又は構成された専用コンピュータ、コントローラ、又はデータプロセッサに具現化することができる。従って、本明細書に一般的に使用する用語「コンピュータ」及び「コントローラ」は、適切なデータプロセッサ含み、かつパームトップコンピュータ、ウェアラブルコンピュータ、セルラー又はモバイル電話、マルチプロセッサシステム、プロセッサベース又はプログラマブル消費者電子機器、ネットワークコンピュータ、ラップトップコンピュータ、及びミニコンピュータなど含むインターネット家電及び手持ち式デバイスを含むことができる。これらのコンピュータによって扱われた情報は、液晶ディスプレイ（ＬＣＤ）を含むあらゆる適切な表示媒体で提示することができる。当業技術で公知のように、これらのコンピュータ及びコントローラは、様々なプロセッサ、メモリ（例えば、非一時的コンピュータ可読媒体）、入力／出力デバイスなどを一般的に有する。

本発明の技術はまた、タスク又はモジュールが通信ネットワークを通してリンクされた遠隔処理デバイスによって実行される分散環境内で実施することができる。分散コンピュータ環境内では、プログラムモジュール又はサブルーチンは、ローカル及びリモートメモリストレージデバイスに位置付けることができる。以下に説明する技術の態様は、磁気的又は光学的に可読又は着脱可能なコンピュータディスクを含むコンピュータ可読媒体上に格納するか又は分散させ、並びにネットワーク上で電子的に分散させることができる。本発明の技術の態様に固有のデータ構造及びデータの送信も、本発明の技術の範囲に包含される。

１．概要
図１Ａ〜図１Ｃは、本出願に開示する技術の一部として実施することができるいくつかの機能を概略的に識別している。図１Ａは、ＵＡＶが作動することが予想される環境１９０を走査するための処理を示している。環境１９０は、屋内及び／又は屋外とすることができ、１又は２以上の物体１９１、例えば、建物を含むことができる。本発明の技術の実施形態によるシステム１００は、スキャナ１１０を含み、スキャナ１１０は、環境１９０のコンピュータベースのモデル１３６を生成するために環境１９０、特に、１又は複数の物体１９１を走査するのに使用される。スキャナ１１０は、コントローラ１３０によって制御することができる。同じコントローラ１３０を使用して、本発明の技術の特定の実施形態により、本明細書でも説明する様々な追加の機能を実行することができる。他の実施形態では、これらの機能は、複数のコントローラ上で分散させることができる。複数のコントローラを「コントローラ」と本明細書で呼ぶ場合があり、１又は２以上のコントローラは、「制御システム」に含めることができる。上述のように、コントローラ１３０は、様々な適切な構成のうちのいずれか、例えば、ラップトップコンピュータ構成を有することができる。

図１Ｂに概略的に示すように、コントローラ１３０は、プロセッサ１３１と、メモリ１３２（例えば、非一時的コンピュータ可読媒体）と、１又は２以上の入力／出力デバイス１３３とを含むことができる。入力／出力デバイス１３３は、入力デバイス１３４（例えば、キーボード）と、出力デバイス１３５（例えば、グラフィカルユーザインタフェースを表示する画面）とを含むことができる。図１Ｂに示すように、出力デバイス１３５は、図１Ａに示す物体１９１を含む環境１９０のコンピュータベースのオブジェクト画像１３６を表示している。出力デバイス１３５はまた、物体１９１の領域内のＵＡＶの提案飛行経路を表す提案飛行経路画像１３７を表示する。従って、コントローラ１３０は、例えば、飛行経路内の障害物を識別し、オペレーターにそのような障害物に対して警告し、及び／又は代替飛行経路を示唆するか又は自動的に実施することにより、ＵＡＶの飛行経路を計画するのに使用することができる。

システムの更に別の態様を図１Ｃに示す。コントローラ１３０及びスキャナ１１０は、最初に図１Ａを参照して上述したが、ＵＡＶ１５０の運動をそれが環境１９０内で及び物体１９１の周りで作動する時に追跡するのに使用することができる。特に、スキャナ１１０は、物体１９１のコンピュータベースのモデルに対するＵＡＶ１５０の実際の位置を識別するためにこの関連で使用することができ、この情報は、通信デバイス１３８（例えば、アンテナ）を通じてＵＡＶ１５０に通信することができる。従って、システム１００は、ＵＡＶの位置に関するリアルタイムデータを提供するのに使用することができ、そのデータを図１Ａ及び図１Ｂを参照して上述したモデルと比較することにより、位置フィードバックをＵＡＶに供給することができる。フィードバックは、ＵＡＶが高い精度でその任務を遂行し及び／又は衝突を回避することができるように、ＵＡＶの実際の飛行経路１５１を必要に応じて予定飛行経路１３７と比較して調節するのに使用することができる。

かくして、システム１００は、（ａ）ＵＡＶが作動する環境をマップし、（ｂ）環境内のＵＡＶに対する飛行計画の定義を容易にし、かつ（ｃ）ＵＡＶが飛行計画から外れた場合にフィードバックをＵＡＶに提供するのに使用することができる。これらの機能の各々の詳細を図２〜図１５Ｃを参照して以下に説明する。

２．走査及び追跡
図２は、本発明の技術の実施形態により環境を走査して環境内のＵＡＶを追跡する代表的な処理を示す流れ図である。全体処理は、走査、飛行経路の計画、及びＵＡＶの追跡の部分処理を含むことができる。実施形態に応じて、これらの部分処理は、単一の全体処理の一部として順番に実行することができ、又は部分処理のいずれかを個別に実行することができる。処理２００は、ローカル環境を地上又は他の非搭載型スキャナで走査すること（ブロック２０１）を含むことができる。代表的実施形態では、スキャナは、地上に位置付けられ、例えば、三脚又は別の適切な構造体によって支持される。他の実施形態では、スキャナは、他の位置を有することができる、例えば、バルーン又は航空機によって空中に運ぶことができる。

ブロック２０２において、処理は、環境内の飛行経路を計画する段階を含み、次に、飛行経路は、人間オペレーターが手動で入力することができ、又は様々な制約に基づいて自動的に計算することができる。判断ブロック２０３において、処理は、計画された経路が達成可能であるか否かを決定し、例えば、経路に障害物がないか否かを決定する段階を含む。障害物がある場合に、処理は、予定飛行経路を更新するためにブロック２０２に戻る。様々な実施形態では、処理は、修正経路を計算する時に検出した障害物を除外することができる。経路が達成可能な場合に（例えば、ＵＡＶの近接性制約及び動力学を考慮して障害物がない）、処理は、処理の追跡部分を開始するブロック２０４に進む。この処理の一部として、システムは、ＵＡＶが使用中である時、例えば、ＵＡＶが離陸して飛行する時のＵＡＶの軌道を取得する。追跡情報が得られた時（例えば、ＵＡＶの位置がカメラ及び／又は距離計を用いて得られた時）、この位置情報は、コントローラ１３０に送信することができ、コントローラ１３０は、ＵＡＶを視野内に継続的に維持しながら追跡デバイスをパン軸及びチルト軸で制御する。コントローラ１３０は、ＵＡＶを発進させて（ブロック２０５）、ＵＡＶを予定飛行経路の開始点に誘導する（ブロック２０６）。ブロック２０７において、ＵＡＶは、その終点までの飛行経路を辿り、ブロック２０８で任務の終了で着陸する。飛行中に、ＵＡＶ追跡を通じて受信した情報（例えば、ＵＡＶの座標）は、ＵＡＶの軌道を更新するためにコントローラ１３０に送信することができる。例えば、ＵＡＶが事前定義された飛行計画から外れ始めた場合に、その情報を使用してＵＡＶを計画されたルートに案内して戻すことができる（例えば、自動的に）。従って、コントローラの各部分は、ＵＡＶ制御及びフィードバックが実行される方法に基づいてＵＡＶに搭載され、ＵＡＶに搭載されず、又はその両方で位置付けることができる。

ＵＡＶが飛行する時に（ブロック２０５〜２０８）、処理は、ＵＡＶが失敗せずに追跡されているか否かを決定するために検査され、例えば、継続的に検査する段階を含む（ブロック２０９）。ＵＡＶが失敗せずに追跡されている限り、処理は、図示のように続く。システムがＵＡＶを見失った場合に、ブロック２１０において、処理は、ＵＡＶ上の軌道の再取得を容易にする対策を講じる段階を含む。そのような対策は、ＵＡＶにホバリングし、着陸させ、及び／又はスキャナに向けて飛行するように指図し、及び／又はＵＡＶの位置付けるためにスイープ（及び／又は他の）運動をスキャナで実行する対策、及び／又は他の適切な対策を含むことができる。

ＵＡＶを飛行させる処理の一部として、オペレーターは、ＵＡＶの進行を飛行経路に沿って操作することができる。例えば、オペレーターは、ＶＣＲ制御と似た制御を使用してＵＡＶの進行を飛行経路に沿って早送り、逆転、又は休止することができる。そのような制御は、勿論、ＵＡＶ構成に依存することになり、例えば、ＵＡＶは、休止するためにホバリング機能を有するべきである。類似の手法を使用して、飛行経路の計画処理の一部としてＵＡＶの飛行を提案飛行経路に沿ってプレビューすることができ、これを図１１〜図１５Ｃを参照して以下で更に説明する。

図３は、本発明の技術の実施形態により構成された特徴を有する代表的スキャナ１１０の等角投影図である。スキャナ１１０は、カメラ１１７と距離計１１８とを担持する支持体１１１を含むことができる。カメラ１１７は、可視スペクトル、赤外線範囲、及び／又は他の適切な周波数範囲で放射線を環境から受け入れることにより、スキャナ１１０の周りの環境の２次元光学画像を生成するように構成することができる。距離計１１８は、エミッタ１１９とレシーバ１２０とを含むことができる。エミッタ１１９は、環境内の物体から反射してレシーバ１２０によって受信される信号を放出する。その後に、スキャナ１１０から物体までの距離は、信号がエミッタ１１９から物体までかつレシーバ１２０に戻るのに要求される時間量（「飛行時間」）の推定を含む様々な適切な技術のいずれかを使用することによって決定又は推定される。従って、カメラ１１７は、環境に関する２次元情報を識別及び送信することができ、距離計１１８は、第３の次元を追加することができる。

カメラ１１７及び距離計１１８は、チルト台１１４が担持することができ、かつスキャナ１１０の周りの環境を走査するユニットとして共に移動することができる。チルト台１１４は、カメラ１１７及び距離計１１８をユニットとして第１の軸（例えば、水平軸Ｈ）の周りに回転させるチルトモータ１１５を担持する。対応するチルトエンコーダ１１６が、水平軸Ｈに対するカメラ１１７と距離計１１８との運動を追跡する。支持体１１１によって担持されたパンモータ１１２は、チルト台１１４（カメラ１１７と距離計１１８を含む）をユニットとして第２の軸（例えば、垂直軸Ｖ）の周りに回転させる。パンエンコーダ１１３は、垂直軸Ｖの周りのカメラ１１７及び距離計１１８の回転位置を追跡する。従って、パンモータ１１２及びチルトモータ１１５は、スキャナ１１０の周りのほぼ半球の容積をカバーするのに十分な円弧を通してカメラ１１７及び距離計１１８まで回転することができる。

特定の実施形態では、距離計１１８は、レーザ光（例えば、ＩＲレーザ光）を放出かつ受光するライダー（ＬＩＤＡＲ）検出器を含むことができる。適切なライダー検出器は、エミッタ１１９とレシーバ又は検出器１２０とのサイズを含むファクタ及び使用される測距技術に応じて数百メートルの測距機能を有する。上述のように、測距技術は、一実施形態において飛行時間技術を含むことができる。他の実施形態では、ＳＥＴ技術のような他の技術により、より低いコスト及びより低い（依然として適切な）解像度で直接的な飛行時間計算を必要とすることなく適切な結果を生成することができる。走査は、系統的掃引パターン又は粗い走査で、次に、詳細な走査又は適応走査（図９Ａ〜図１０を参照して以下で更に説明する）で、又は別の適切な技術を通じて行うことができる。他の実施形態では、距離計１１８は、スキャナ１１０とスキャナの周りの物体の間の距離を検出するのに適するレーザ信号以外の信号を放出することができる。例えば、レーダー信号は、追跡に使用することができるが、レーザ信号が走査に対してはレーダー信号よりも性能が優れることが予想される。別の実施形態では、レーザスキャナは、走査処理を実行するために複数の高解像度カメラ又は構造化照明配置で置換することができる。

図４は、本発明の技術の実施形態により走査モードで作動するシステム１００を示す概略ブロック図である。図４に示すように、カメラ１１７は、周囲の環境１９０の画像を記録し、一方、距離計１１８は、環境１９０内の物体までの距離を記録する。従って、カメラ１１７は、ＲＧＢデータ（又は他の光データ）１２３を発生し、距離計１１８は、深度又は距離データ１２４を発生させる。ＲＧＢデータ１２３は、プロセッサ１３１に送信される。深度データ１２４は、チルトエンコーダ１１６及びパンエンコーダ１１３からの情報に対して演算する従来の変換論理部１２５を使用してプロセッサで球座標から直交座標に変換される。この変換された座標情報は、ポイントクラウド構築論理部１２７を使用してカメラ１１７及び距離計１１８によって捕捉されたデータからポイントクラウドを発生させるのに使用される。

システム１００はまた、命令をチルトモータ１１５及びパンモータ１１２に供給し、かつそれ自体が走査コントローラ４３０の制御下にあるモータ制御ユニットを含むことができる。走査コントローラ４３０は、図９Ａ−１０を参照して以下でより詳細に説明する走査領域論理部１２２を含むことができる。走査コントローラ４３０は、独立型コントローラとすることができ、又は１又は２以上の他のコントローラ、例えば、図１Ａ〜図１Ｃを参照して上述したコントローラ１３０と一体化することができる。

電源１２６は、電力をシステム１００の様々な構成要素に供給する。入力／出力デバイス１３３は、情報をオペレーターから受信し、出力情報をオペレーターに供給する。図４に示す走査モード中に実行された処理の結果は、環境１９０のコンピュータベースのモデル（例えば、ポイントクラウド）である。

特定の実施形態では、走査作動中に得られて３次元モデルを形成するのに使用されるデータは、追加データで補足することができる。例えば、モデルは、スキャナカメラ１１７により、又は走査される環境を通って飛行するＵＡＶによって撮られる写真又は他のセンサ読取値で増強又は強化することができる。この作動は、一部の実施形態においてリアルタイムで、他の実施形態においてオフラインで行うことができる。強化は、カメラ画像に含有された色情報をポイントクラウド内のポイントに追加し、各ポイントでスペクトル表現を表示するより現実的な着色モデルを発生させることを含むことができる。

特定の走査から得られたデータは、格納されて同じスキャナにより（例えば、追跡モードで）、又は同じく追跡モードにある異なるスキャナにより、又は非搭載型追跡デバイスとは独立に作動するＵＡＶによって後で使用することができる。特定の実施形態では、追跡器が特定の区域に位置決めされた時に、それは、その環境に対して行われた以前の走査に自動的にアクセスすることができ、それらの走査は、スキャナにそれが追跡モードで作動する時にダウンロードすることができる。更に、特定の走査は、必ずしも初期走査が行われた位置と同じとは限らない複数の位置で使用することができる。例えば、特定の風力タービン、送電線鉄塔、又は他の構造体に対して行われた走査は、同一構成、例えば、同じ製造及び型式の風力タービンを有する他の構造体を測量又は検査するのに使用することができる。そのような場合に、走査された情報は、各風力タービンに対して異なる場合がある個々の風力タービンの特定の位置に対して較正することができる。

図５は、追跡モードで作動するためのシステム１００を示している。このモードにおいて、カメラ１１７は、ＵＡＶ１５０を識別し（例えば、ＵＡＶによって担持されたＬＥＤのような基準点を追跡することにより、マシン学習アルゴリズムによって訓練された時に機体特性に適合させることにより、又は他の手段により）、かつ２次元追跡データ１２３を発生させる。同時に、距離計１１８は、ＵＡＶが飛行する時に、スキャナ１１０とＵＡＶ１５０の間の距離に対応する測距データ５６１を発生させる。この情報は、位置推定論理部５６２を使用してＵＡＶ１５０の位置の推定値を発生させるプロセッサ１３１に供給される。位置情報は、情報をＵＡＶ１５０に情報信号５６３を通じて送信することができるＩ／Ｏデバイス１３３に送信することができる。この情報を用いて、ＵＡＶ１５０は、それが実行する飛行経路の変動を修正、調節、及び／又は補償することができる。位置情報は、モータ制御ユニット１２１にも送信され、モータ制御ユニット１２１は、パンモータ１１２及びチルトモータ１１５を起動してＵＡＶが飛行する時にＵＡＶ１５０をカメラ１１７の視野内にかつ距離計１１８の前に継続的に維持する。

別の実施形態では、システムは、コーナー立体干渉分光法をレーザベースの位置感知デバイスと組み合わせて位置推定値をＵＡＶ１５０に対して発生させることによってＵＡＶ１５０を追跡することができる。位置情報は、Ｉ／Ｏデバイス１３３が飛行経路の変動を修正、調節、及び／又は補償することができるようにＩ／Ｏデバイス１３３及びＵＡＶ１５０に送信することができる。

特定の実施形態では、システムは、情報をＵＡＶ１５０に送信するだけでなく、情報をＵＡＶ１５０から受信することができる。この実施形態の特定の態様では、ＵＡＶ１５０から受信した情報は、ＵＡＶ１５０のアイデンティティー及び／又はＵＡＶ１５０の方位に対応することができる。図６Ａ及び図６Ｂは、本体６５２及び１又は２以上の回転子６５３（４つを図６Ａ及び図６Ｂに図示）を推進力のために有する代表的なＵＡＶ６５０を示している。ＵＡＶ６５０は、物理符号化スキーマ、例えば、リング６５４又は照明システムを含むことができ、これは、逆に、１又は２以上の符号化パターン６５５を含む（図６Ｂ）。符号化パターン６５５は、追跡処理中にスキャナ１１０（図５）によって検出されたＵＡＶのタイプを識別するために、例えば、適切なＵＡＶが追跡されていることを確認するのに使用することができる。この手順は、追跡処理が行われている環境に入る場合がある新規又は追加のＵＡＶを識別するのに使用することができる。従って、符号化パターン６５５は、識別基準の機能を実行することができる。

これに加えて、符号化パターン６５５は、符号化リング６５４の周りの異なる周方向の位置で異なる特性を有することができる。従って、システム１００は、符号化パターン６５５を検出した時に、ＵＡＶ６５０の方位を検出することができる。この情報は、次に、ＵＡＶ６５０を制御、案内、及び／又は誘導するのを補助するのに使用することができる。この情報を取得するために、カメラ１１７（又は個別の専用カメラ）は、符号化パターンの画像を取得することができ、それは、次に処理される（例えば、バーコーダー方式で）。別の実施形態では、システム１００は、符号化パターン６５５に衝突し、かつそれによって反射される問い合せ信号６６４を出すことができる（例えば、情報信号５６３に加えて）。その後に、反射信号は、ＵＡＶ６５０の方位及び／又はアイデンティティーを決定するために処理される。上述の実施形態の両方において、符号化パターン６５５は、受動的である。他の実施形態では、符号化パターン６５５は、ＵＡＶ６５０により、例えば、無線放射、ＬＥＤパターン又はフラッシュシーケンス、及び／又は他の適切な配置を通じて能動的に送信することができる。

上述の方位機能の利点は、この方位機能が搭載型慣性航行システムによって与えられ方位機能よりも正確である場合があることである。別の利点は、搭載型慣性航行システムは、典型的に、その近くの構造体、例えば、磁気又は金属構造体の影響を受ける可能性がある磁力計を含むことである。非搭載型スキャナは、そのような構造によって影響されず、ＵＡＶをそうでなければ不可能であると考えられる環境内で作動させる方位情報を提供することができる。

少なくとも一部の事例では、単一スキャナは、ＵＡＶがタスクを実行するのに要求される全てのデータを供給するのに不十分である場合がある。例えば、図７に示すように、ターゲット物体７９１は、単一位置で単一スキャナがアクセスすることができないターゲット特徴を有する建物を含む場合がある。一実施形態では、スキャナ１１０は、望ましいポイントクラウドに対して十分なデータが得られるように複数の位置間で移動される。各位置では、スキャナ１１０は、上述のように２次元画像データ及び深度データを取得し、複数のデータセットを互いに「縫い合わせて」複合コンピュータモデルを形成することができる。他の実施形態では、複数のスキャナ１１０を使用して、ＵＡＶがその任務で飛行する時に建物の特徴の走査、及びＵＡＶ１５０に対する追跡の両方を行うことができる。スキャナ１１０は、ＵＡＶ１５０が任務を遂行する時に一方のスキャナから他方のスキャナに追跡の責任を移すように矢印Ｍに示すように互いに通信することができる。

図８に示す更に別の実施形態では、走査機能は、ＵＡＶ８５０自体によって実行することができる。そのような実施形態では、走査機器は、ＵＡＶ８５０によって担持されるのに十分にコンパクトで軽量になる。一部の実施形態では、走査機器は、軽量化するために何らかの方式で妥協される場合がある。例えば、走査機器は、解像度が粗くなり、範囲が狭まり、視野が低減し、及び／又は他の軽量化に関する特徴を有する可能性がある。しかし、搭載されたシステムを用いて、ＵＡＶ８５０は、文字Ａ、Ｂ、Ｃ、及びＤによって識別される位置を仮定して建物７９１の特徴をマップすることができる。特徴をマップした後に、ＵＡＶ８５０は、文字Ｅによって示すようにその任務を遂行することができる。

上述の実施形態では、図５を参照して上述した追跡機能は、ＵＡＶが位置Ａ〜Ｄで地上にいる間にＵＡＶによって行われた走査によって生成されたポイントクラウド情報とＵＡＶ８５０が飛行中にＵＡＶ８５０によって撮られた画像とを比較することによって実行することができる。別の実施形態では、追跡作動は、スキャナが各々に装備された２つのＵＡＶ８５０によって実行される。従って、一方のＵＡＶ８５０は，任務（例えば、検査任務）飛行を行うことができ、第２のＵＡＶ８５０は、第１のＵＡＶ８５０を追跡することができる。追跡機能は、上述の走査位置Ａ〜Ｄのいずれかから又は（オフセットを調節して）異なる位置から実行することができる。

システムは、ＵＡＶ追跡に向けて更に別の機能を実行することができる。例えば、追跡モードでは、システムは、環境を走査し、ＵＡＶが区域内にいるか否かを決定することができる。追跡器は、ＵＡＶを検出すると、上述の配置のいずれかを使用してＵＡＶと任意的にその方位とを識別することができる。追跡器はまた、視程外であるか又は視線超え（ＢＬＯＳ）であるＵＡＶと通信することができる。そのようなＵＡＶは、位置及び軌道を追跡器に中継することができ（例えば、ＧＰＳ及び無線通信を通じて）、従って、追跡器は、ＵＡＶが範囲に来ることが予想される位置にそれ自体を向けることができる。ＵＡＶが範囲内に来た状態で、追跡器は、上述の追跡作動を実行することができる。他の実施形態では、ＵＡＶは、ＧＰＳに加えて又はその代わりにＡＤＳ−Ｂを使用して追跡することができる。更に、システムは、事前走査した環境を走査し、初期走査が完了した後にその環境に入った可能性がある新規物体がないかを検査することができる。そのような新規物体は、ＵＡＶ、又はＵＡＶの障害物になる場合がある他の物体を含むことができる。そのような物体が検出された場合に、環境の３次元モデルは、それらの物体の存在を反映するように更新することができる。

図７を参照して上述したように、一部の配置は、走査機能及び／又は追跡機能を実行する複数のスキャナを含むことができる。そのような場合に、これらのスキャナは、互いに通信して、これらのスキャナが生成する３次元モデル内に連続性をもたらし、それらの個々の環境内のＵＡＶに関連する情報を送信することができる。例えば、スキャナは、ＵＡＶに最も近いか又は引き継ぎ前にＵＡＶと最も長く連絡すると予想されるスキャナに制御優先度を与えるように協働することができる。これに加えて、作動が１つのスキャナ又は１よりも多いスキャナを含むか否かにかかわらず、システムは、搭載型の写真／記録／感知機能をスケジュールに入れることができる。例えば、正確な位置から感知機能を実行するようにＵＡＶに指図することが有利であると考えられる。スキャナが追跡モードで実行している時に、それは、ＵＡＶが正確な位置に到達した時にＵＡＶにリアルタイムで警告し、感知機能が適切な位置で実行されることを保証することができる。この技術はまた、ＵＡＶの画像をそれが特定の位置にいる時にスキャナの地上に置かれたカメラ部分を使用して捕捉するために使用することができる。このようにして、ＵＡＶは、画像を特定の位置で捕捉することができ、スキャナは、ＵＡＶの画像をその位置で捕捉することができる。両方の技術を使用して、例えば、同じ画像が異なる時間に得られることになる場合に、データの再現性を改善することができる。追跡器からのＵＡＶ位置情報を使用して計算を低減し、かつポイントのクラウドへの写真の当て嵌めを改善することができる。例えば、データの下流解析は、データが取られた正確な位置でデータがタグ付けされる時により簡単及び／又はより正確にすることができる。

３．適応走査
図９Ａは、従来の走査技術によってスキャナ１１０によって走査されている物体９９１を示している。この技術を使用して、スキャナ１１０は、系統的かつ順番にパン及びチルトして物体９９１をカバーする走査経路９９４ａ（点線で図示）を生成する。この処理は、特に物体９９１のある一定の特徴のみがエンドユーザの真の関心事であると考えられる時に時間を消費する可能性がある。例えば、エンドユーザは、ある一定のターゲット特徴９９２により関心がある場合がある。ターゲット特徴９９２は、ターゲット領域９９３、例えば、建物の屋根及び窓を形成する直線を含むことができる。

図９Ｂは、本発明の技術の実施形態により適応走査ルーチンを行っているスキャナ１１０を示している。この実施形態では、スキャナ１１０によって実行される走査経路９９４ｂは、具体的にターゲット特徴９９２に、従って、ターゲット領域９９３に向けられる。それによってスキャナ１１０は、関心事ではない特徴を不要に走査するのに掛ける時間を少なくする。従って、物体９９１を走査するための処理は、従来の技術を使用するよりも時間を有意に低減することができ、使用するリソースを有意に少なくすることができる。

図１０は、図９Ｂに示す走査作動を実行するための処理を示すブロック図である。本発明の開示の実施形態による全体処理１０００は、画像処理ブロック１００１を含み、それは、逆に、画像取得ブロック１００２を含む。ブロック１００２で、処理は、例えば、カメラ１１７から画像データを取得する段階を含む。ブロック１００３で、画像データは、例えば、特定の特徴、より具体的には、例えばエンドユーザによって関心事である可能性がある特徴を識別するために解析される。そのような特徴は、ユーザが識別することができる線、コーナー、及び／又は他のターゲット形状又は特徴を含むことができる。

ブロック１００４で、ターゲット形状は、ドア、窓、及び／又は他の形状又は区域に対応する場合がある領域にグループ分けすることができる。ブロック１００５及び１００６は、例えば、距離計１１８によるターゲット式走査に対して関心のある領域を選択することにより（ブロック１００９）、ターゲット領域の各々を分類する段階を含む。この処理は、手動、自動、又は手動及び自動技術の組合せを通じて実行することができる。例えば、処理は、コンピュータベースの形状認識ルーチンを使用してターゲット特徴（又はターゲット領域）を識別する段階を含むことができ、ユーザは、自動的に発生された選択を承認又は拒否することができる。他の実施形態では、ユーザは、選択処理の完全な制御（完全手動）を有するか、又は制御を委譲（完全自動）することができる。特定の実施形態では、当該の特徴及び／又は領域を識別するためにＨｏｕｇｈ変換のようなアルゴリズムが使用される。他の実施形態では、機械学習及び／又はニューラルネットワーク技術を使用して当該の特徴及び／又は領域を識別することができ、それによって所要のユーザ入力が減る。特徴及び／又は領域が関心事である場合に、スケジューラー１００７が、各々の領域に対して情報を収集し、最適（あるいは、少なくとも得策である）走査経路を識別する（ブロック１００８）。ブロック１００９で、走査コントローラ４３０（図４）は、ブロック１００８で識別された走査経路に沿ってカメラ１１７及び関連の距離計１１８（図４）を向ける。出力（ブロック１０１０）は、ＵＡＶが航行してその任務を遂行するのに使用する３次元モデルである。

４．飛行経路計画
図１１及び図１５Ｃは、飛行経路を形成又は定義する代表的な処理を示しており、ＵＡＶは、上述のように、それを用いて飛行経路に従ってスキャナによって走査される環境内で任務を実行する。図１１に示す代表的な処理１１００は、環境を走査する段階又は環境の３次元モデルをインポートする段階を含む（ブロック１１０１）。ブロック１１０２で、処理は、環境内の飛行経路を構成する段階を含む。特定の実施形態では、飛行経路は、ユーザ入力１１０３を使用して構成される。例えば、ユーザは、３次元モデルをコンピュータ画面上で見て、マウス、キー、ジョイスティック、及び／又は他の入力デバイスを通じて飛行経路を構成することができる。飛行経路が３次元であるので、システムは、ユーザが、環境を複数の視点から見て適切な３次元飛行経路を与えるようにあらゆる方式で（例えば、画像をひっくり返す）で画像を回転させることを可能にすることができる。

別の実施形態では、飛行経路は、ブロック１１０４によって示すように自動的に発生させることができる。この場合に、処理は、追加入力１１０５を必要とする場合がある。そのような入力は、例えば、望ましい飛行経路の一般的な特徴付け、例えば、対象領域及びＵＡＶが飛行することになる対象領域からの距離の識別を含むことができる。（ａ）物体との衝突を防止し、及び／又は（ｂ）物体をＵＡＶに搭載されたセンサのターゲット範囲に保つために物体からの設定された距離を維持することが特に重要である場合がある。これに加えて、情報は、ＵＡＶの速度、ＵＡＶの飛行動力学及び機能、及びカメラ又は他のセンサをターゲット領域に向けるＵＡＶの機能に関連付けられたあらゆる制限又は限界を含むことができる。この情報及びユーザからの入力に基づいて（例えば、ユーザは、特徴又は物体をクリックし、オフセット距離を選択することができる）、システムは、飛行経路を自動的に発生させることができる。飛行経路は、ＵＡＶベースのセンサの視野とセンサが感知する物体の望ましい解像度とを含むファクタに応じて単一通過経路又は多重通過経路（例えば、「芝刈機」パターン）とすることができる。

ブロック１１０６は、上述のＵＡＶの速度、ＵＡＶの飛行動力学及び機能、及び他の制限を考慮に入れて予想軌道をブロック１１０２で決定されたＵＡＶ経路に基づいて計算する段階を含む。ブロック１１０７は、経路に衝突がない、例えば、ブロック１１０１でインポートされたモデル内で表現された物体との衝突がないか否かを決定するように検査する段階を含む。経路が衝突を確かに含む場合に（又は衝突の閾値可能性よりも大きい場合に）、処理は、飛行経路への調節のためにブロック１１０２に戻る。一例として、処理は、衝突を引き起こしそうな経路の区域が適切な経路のその後の構成に含まれないようにすることができる。飛行経路が衝突を含まない場合に、飛行経路は、ブロック１１０８に示すように開始及び実行することができる。

図１２は、第１の物体（例えば、銅像１２９１ａ）と第２の物体（例えば、建物１２９１ｂ）とを含む代表的な環境１２９０内のスキャナ１１０を示している。図１３Ａは、スキャナ１１０から得られたデータに基づく銅像１２９１ａと建物１２９１ｂとを含む環境のコンピュータベースのモデルを示している。図１３Ａは、環境１３３６のポイントクラウドを見るユーザが構成することができる提案飛行経路１３３７も示す。図１３Ｂは、図１３Ａに示すポイントクラウド環境１３３６の平面図（上から下）である。ユーザは、予め設定された図（例えば、平面図、側面図、正面図のような）を切り換えることができ、又はポイントクラウド環境１３３６の周りを回転させることによって図を１つの図から別の図にあらゆる速度で徐々にかつ区分的に移動することができる。

図１４は、提案飛行経路１３３７と共に図１３Ａ及び図１３Ｂに示す建物１２９１ｂの１つを示している。提案飛行経路１３３７は、ＵＡＶが建物１２９１ｂと衝突するか又は建物１２９１ｂに近づきすぎると考えられる干渉部分１３３７ａを含む。従って、ユーザは、例えば、飛行経路の干渉部分１３３７ａを非干渉部分とは異なる色で表示することによって干渉に対して警告される。他の実施形態では、システムは、他の警告技術（例えば、点減及び／又は可聴信号）を使用することができる。これに加えて、システムは、例えば、飛行経路を修正することによって干渉部分が取り除かれるまでユーザが任務で飛行させることを防止することができる。

図１５Ａ、図１５Ｂ、及び図１５Ｃは、風力タービン１５９１を含む物体１５９１の正面図、上面図、及び側面図である。図１５Ａ〜図１５Ｃは、ＵＡＶ１５０が風力タービン１５９１を調べるために飛行する飛行経路１５５１、及び地上にあるスキャナの（概略的な）視野１５９３も示す。３つの図による例示は、衝突又は衝突の可能性がＵＡＶ１５０に対して存在しないことをユーザに示すのに適している。上述のように、画像は、ひっくり返すか又は他の方法で回転させてこの情報をユーザに提供することができる。上述の実施形態のいずれにおいても、スキャナによって収集されたデータを使用してＵＡＶが少なくとも２つの機能を実行するのを補助することができる。第１に、データを使用して、ＵＡＶが任務の内容を実行するのを補助することができる。例えば、図１５Ａ〜図１５Ｃに示すように、任務は、風力タービンのブレードを検査することを含む場合がある。従って、画像データにより、ブレードの位置、及び／又はＵＡＶが任務の一部として着目する場合がある当該の他の区域の正確な表示を得ることができる。第２に、データは、ＵＡＶが任務を遂行する時に障害物を回避するのを補助することができる。例えば、画像データは、ＵＡＶが風力タービンブレードを担持するパイロン１５９２に衝突することを回避することを可能にすることができる。

図１５Ａ〜図１５Ｃに示す実施形態では、風力タービン１５９１は、ＵＡＶ１５０が検査を実行している間は停止される。別の実施形態では、ＵＡＶ１５０は、図１６Ａ〜図１６Ｄに示す代表的実施形態に示すように、タービンブレードが回転している間に検査を実行することができる。

図１６Ａから始めると、風力タービン１５９１は、３つのブレード１５９５を担持する上述のパイロン１５９２を含む。ブレード１５９５が運動している時に、それは、円板Ｄを掃引する。各ブレード１５９５は、ブレード先端から内向きに延びる複数の領域を含むことができる。２つの代表的な領域が、第１の領域１５９６ａ及び第２の領域１５９６ｂとして図１６Ａ〜図１６Ｄに示されている。図１６Ａに示す実施形態では、ＵＡＶ１５０は、ブレードが通過する時に各ブレード１５９５の第１の領域１５９６ａと位置合わせするように円板Ｄの外周囲に向けて位置付けられた第１の位置Ｐ１に移動する。

図１６Ｂをここで参照すると、ブレード１５９５のうちの１つの第１の領域１５９６ａは、ＵＡＶ１５０によって担持されたセンサの視野１５９７内に回転されている。ＵＡＶ及び／又は地上にあるスキャナ／追跡器によって決定されるような視野１５９７の第１の領域１５９６ａを用いて、センサが起動される。例えば、センサがカメラを含む時に、カメラは、第１の領域１５９６ａを撮像するように起動される。ＵＡＶ１５０は、第１の位置Ｐ１に留まることができ、各連続したブレード１５９５の第１の領域１５９６ａが視野１５９７に入ると、ＵＡＶ１５０は、撮像するか又は他のデータを収集するようにセンサを起動させることができる。各ブレード１５９５の第１の領域１５９６ａが撮像されたか又は他の方法で感知された時に、ＵＡＶ１５０は、図１６Ｃに示すように、第２の位置Ｐ２に移動することができる。第２の位置Ｐ２から、ＵＡＶ１５０は、図１６Ｄに示すように、各ブレード１５９５の第２の領域１５９６ｂを撮像するか又は他の方法で感知することができる。上述の処理は、追加の対象領域、例えば、ブレード１５９５がそこから延びるハブ１５９９に向けて第２の領域１５９６ｂから内向きに位置付けられた領域に対して繰り返すことができる。上述の手法の利点は、ＵＡＶ１５０が、以下に限定されるものではないが、ブレード１５９５の画像データを含む診断情報を取得している間に、風力タービン１５９１が停止する必要がないことである。これは、次に、定期的な診断データを取得する必要性を損なうことなく、風力タービン１５９１の稼働時間を増大させることができる。

上述の実施形態のうちの少なくとも一部の１つの特徴は、システムが、ＵＡＶが飛行することが予想される環境をマップするためにカメラ（又は他の２次元撮像デバイス）とレーザスキャナ（又は他の距離計）との組合せを含むことができることである。この配置の１つの利点は、従来の測量レーザスキャナ又はスピン式ライダーデバイスと比較して比較的廉価であることである。上述の配置の別の利点は、既存のシステムと異なる機能が得られることである。例えば、既存の測量距離計は、０．５〜１Ｈｚで作動し、得られる解像度がミリメートル又はサブミリメートルレベルである。本発明のシステムの実施形態は、５０Ｈｚ〜１００Ｈｚの速度で作動し、これは、（１Ｈｚの速度と異なり）典型的なＵＡＶの飛行速度及びオフセット距離に追随するのに十分である。本発明のシステムの実施形態の解像度は、センチメートルレベルまで落とすことができ、これは、典型的なＵＡＶのタスクに十分であり、かつシステムのコストを低減する。

開示するシステムの実施形態の更に別の予想される利点は、このシステムは、ＵＡＶに搭載されずに位置付けることができるので、ＵＡＶは、走査及びマッピング機器のためのペイロード容量及び処理機能を与える必要がないことである。代わりに、ペイロード容量は、任務遂行機器のために取っておくことができ、電力は、ＵＡＶの任務を行うために保存することができる。この特徴は、特に、限られたバッテリ容量を有するＵＡＶには重要である場合がある。更に別の利点は、組合せ式スキャナ及び距離計配置はコンパクトであるので、他のマッピング機器、例えば、赤外線カメラのアレイを含む機器よりも可搬的であることである。

上述の実施形態のうちの少なくとも一部の別の特徴は、スキャナが走査機能に加えて追跡機能を実行することができることである。この特徴の利点は、ＵＡＶが飛行しているのとほぼ同じ時間尺度でＵＡＶの位置がどこであるかをＵＡＶに非搭載型ソースから伝えることができることである。特に、ＵＡＶは、秒当たりに複数回、更に必要に応じて、例えば、障害物を回避するのにＵＡＶがコースを変更することを可能にする速度で最新情報を受信することができる。この特徴の別の利点は、ＵＡＶの位置をローカル環境の正確な３次元モデルを使用して定義された事前定義飛行経路と継続的に比較することができることである。従って、ＵＡＶが軌道から外れる可能性が低減され、ＵＡＶが軌道から外れた場合に、システムは、ＵＡＶを高い精度で向け直すことができる。

上述の実施形態のうちの少なくとも一部の更に別の特徴は、飛行を計画するための処理を従来の中間点計画配置よりも自動化、半自動化、及び／又は視覚的に対話型にすることができることである。この配置の利点は、特に、混乱するローカル環境内の飛行経路立案の処理を高速化することができることである。別の利点は、飛行経路は、より正確とすることができ、それは、ここでもまた、ＧＰＳが利用不能か又はそのような区域を航行するのに必要なレベルの詳細を供給するには不十分であるＧＰＳ拒否又は混雑した区域に特に有用性を有することである。更に別の利点は、インタフェースは直観的とすることができることである。これは、少なくとも、インタフェースに提示されている物体が実際に現れるように物体を視覚的に示すという理由から直観的である。建物は、建物の姿をし、木は、木の姿をしている等々である。更に別の利点は、インタフェースは、実際の３次元環境を（回転又はひっくり返しを通じて）より良好に模擬することができ、ユーザは、当該の障害物及びターゲットが複数の角度から見えるように画像を回転させることによって飛行環境の３次元的性質を認めることができることである。これは、ユーザが障害物の高さを想像しなければならない典型的な撮影計画配置とは異なっている。更に別の利点は、飛行計画処理の少なくとも一部の態様を自動化することができることである。例えば、ユーザは、代表的な飛行経路を入力することができ、この飛行経路は、衝突に関する問題がないかを自動的に評価することができる。飛行経路は、特定の物体、例えば、飛行経路に沿って飛行中のＵＡＶによって検査される風力タービンブレードからの一定のオフセットを提示するように自動的に調節することができる。

上述の実施形態のうちの少なくとも一部の更に別の特徴は、３次元モデルを形成するのに使用されるデータを取得するための処理を走査される環境に対処するように適応させることができることである。特に、走査処理は、全体としての環境よりもむしろ対象領域に集中させることができる。この手法の利点は、似通っている区域（例えば、大きい平坦平面）及び物理的に走査不能である区域（例えば、空）を回避することができ、従って、マップするのに時間がかからないので環境を走査するための処理が高速化可能であることである。別の利点は、特定のモデルに利用可能な限定された数のデータポイントを当該区域に集中させることができ、それによってそれらの区域は、重要度の劣る区域よりも高い解像度でモデル化されることである。更に、特定のモデルを定めるのに必要な点の全体的な個数を低減することができる。更に、採取するデータ点が少なくなると、走査モータに対する要求（従って、コスト）が低減される。この手法は、システム全体のコスト／複雑性を低減することができる。

５．更に別の実施形態
特定の実施形態では、スキャナ１１０は、走査作動の場合でも追跡作動の場合でも同じ位置のままである。他の実施形態では、スキャナは、これらの２つの作動間で移動することができる。そのような場合に、ＵＡＶを追跡するための処理は、スキャナが走査を行った位置とスキャナがそこからＵＡＶを追跡する位置との間のオフセットに対処する段階を含むことができる。オフセットは、ＧＰＳ及び／又は他の適切な技術を使用して決定することができる。特定の走査は、異なる位置に追跡器を各々が有することができる複数の任務に使用することができるように、ＧＰＳ座標でタグ付けすることができる。初期走査がそこから行われるＧＰＳ座標は、複数の使用に適する一定基準点を与えることができる。これに代えて、ローカル座標系をＧＰＳの代わりに使用することができる。

特定の実施形態では、ＵＡＶによって担持される基準点は、上述のように、符号化パターンの形態を取ることができる。他の実施形態では、基準点は、他の配置、例えば、ＬＥＤ又はＬＥＤパターンを含むことができる。更に別の実施形態では、追跡モードである時に、スキャナは、ＵＡＶのある一定の特性（例えば、その輪郭）を機械学習アルゴリズム、例えば、ディープニューラルネットワークによって訓練された事前識別された輪郭のライブラリと適合させることによってＵＡＶを識別することができる。

本発明の技術の特定の実施形態を例示目的で本明細書に説明したが、上記から様々な修正を本発明の開示から逸脱することなく行うことができることが認められるであろう。例えば、特定の実施形態をＵＡＶの関連で説明したが、他の実施形態では、類似の技術は、例えば、他のタイプのロボット、水ベースのロボット、及び特に潜水可能なロボットに使用することができ、これらのロボットは、航空機が直面するのと類似の３次元環境に関連付けられた問題に直面する可能性があるものである。上述の特定の実施形態では、追跡モードは、追跡座標を含む。他の実施形態では、追跡モードは、飛翔体座標の追跡に加えて又はその代わりに、進行方向、ＵＡＶ速度、及び／又は他の変数を追跡することを含むことができる。追跡処理及び関連の走査処理は、上図のいくつかに示すように、屋外で実行することができ、屋内でも実行することができる。システムは、同じ環境に使用される時でさえも、例えば、環境の変化を検出するために走査モードと追跡モード間で循環又は往復することができる。その後に、そのような変化は、関連の３次元モデルを更新するようにポイントクラウド又は他のコンピュータベースの画像ファイルにインポートすることができる。システムの特定の実施形態を四回転子ＵＡＶの関連で上述したが、他の実施形態では、ＵＡＶは、他の四回転子構成又は非四回転子構成を有することができる。

スキャナは、異なる実施形態に異なる配置を有することができる。例えば、上述の代表的実施形態では、カメラ及び距離計の各々は、環境及びＵＡＶまでの独立した光路を有する。別の実施形態では、プリズム又は他のビームスプリッタが、同一光学情報をカメラ及び距離計に供給する。この手法は、カメラによって供給される情報と距離計によって供給される情報の間の対応性を改善することができる。他の実施形態では、スキャナは、単一カメラ及び単一距離計以外のデバイス、例えば、複数のカメラ（異なる視野、波長感度、及び／又は他の関数パラメータを有する）及び／又は複数の距離計（異なる距離にわたる異なる感度、及び／又は他の関数パラメータを有する）を含むことができる。

特定の実施形態の関連に説明した本発明の技術のある一定の態様は、他の実施形態において結合又は排除することができる。例えば、特定の実施形態では、上述の飛行経路計画アルゴリズムは、上述の走査及び追跡処理とは独立に使用することができる。別の実施形態では、上述の適応走査技術は、上述の追跡及び／又は飛行計画処理とは独立に使用することができる。更に、本発明の技術のある一定の実施形態に関連付けられた利点をそれらの実施形態の関連で説明したが、他の実施形態もそのような利点を示すことができ、必ずしも全ての実施形態が本発明の開示の範囲に該当するようにそのような利点を示す必要があるわけではない。従って、本発明の開示及び関連の技術は、本明細書に明示的に図示又は説明していない他の実施形態を包含する可能性がある。

本出願は、各々が引用によって本明細書に全体的に組み込まれている以下の現在特許出願中の同時提出出願に関連している：「ＳＣＡＮＮＩＮＧ ＥＮＶＩＲＯＮＭＥＮＴＳ ＡＮＤ ＴＲＡＣＫＩＮＧ ＵＮＭＡＮＮＥＤ ＡＥＲＩＡＬ ＶＥＨＩＣＬＥＳ」という名称の米国特許出願第＿＿／＿＿＿，＿＿＿号（代理人整理番号１１５５７７−８００１．ＵＳ０１）、「ＳＣＡＮＮＩＮＧ ＥＮＶＩＲＯＮＭＥＮＴＳ ＡＮＤ ＴＲＡＣＫＩＮＧ ＵＮＭＡＮＮＥＤ ＡＥＲＩＡＬ ＶＥＨＩＣＬＥＳ」という名称の米国特許出願第＿＿／＿＿＿，＿＿＿号（代理人整理番号１１５５７７−８００２．ＵＳ００）、及び「ＳＣＡＮＮＩＮＧ ＥＮＶＩＲＯＮＭＥＮＴＳ ＡＮＤ ＴＲＡＣＫＩＮＧ ＵＮＭＡＮＮＥＤ ＡＥＲＩＡＬ ＶＥＨＩＣＬＥＳ」という名称の米国特許出願第＿＿／＿＿＿，＿＿＿号（代理人整理番号１１５５７７−８００３．ＵＳ００）。引用によって本明細書に組み込まれるいずれかの内容が本開示と矛盾する範囲では、本開示が優先する。
本開示は、以下の態様を含む。
［２３］
環境内の無人航空機の飛行を該環境の３次元モデルを使用して計画するために、メモリとプロセッサとを有するコンピュータシステムによって実施される方法であって、
ユーザへの提示のために、複数の物体を含む前記環境の前記３次元モデルの可視表現を特徴付ける情報を提供する段階と、
前記ユーザからの入力に基づいて、該ユーザが前記環境の前記３次元モデルの前記可視表現を見る視点をシフトする段階と、
前記ユーザから、前記環境を通る前記無人航空機のための提案飛行経路に関連する入力を受信する段階と、
前記受信した入力と前記無人航空機の飛行動力学及び機能とに少なくとも部分的に基づいて前記環境を通る該無人航空機の予想軌道を計算する段階と、
前記環境を通る前記無人航空機の前記計算した予想軌道に衝突がないか否かを検査する段階と、
を含む方法。
［２４］
前記環境の前記３次元モデルを少なくとも部分的にカメラ及び距離計を用いて該環境を走査することによって発生させる段階を更に含む、［２３］に記載の方法。
［２５］
前記環境の前記３次元モデルをインポートする段階を更に含む、［２３］に記載の方法。
［２６］
前記環境の前記３次元モデルを少なくとも部分的に前記無人航空機又は別の無人航空機によって捕捉された画像から空間情報を抽出することによって発生させる段階を更に含む、［２３］に記載の方法。
［２７］
前記無人航空機のための前記好ましい飛行経路に関連する前記受信した入力は、
対象領域の表示と、
個々の対象領域に関して、前記無人航空機が飛行することになる該対象領域からの距離と、を含む、
［２３］に記載の方法。
［２８］
前記環境を通る前記無人航空機の前記計算した予想軌道に衝突がないか否かを決定するために検査する段階は、
前記環境の前記３次元モデルを、該環境を通る前記無人航空機の前記予想軌道と比較し、該無人航空機が該環境内の物体と接触すると考えられるか否かを決定する段階を含む、 ［２３］に記載の方法。
［２９］
前記環境を通る前記無人航空機の前記計算した予想軌道に衝突があると決定する段階と、
前記環境を通る前記無人航空機の前記計算した予想軌道に衝突があると決定する段階に応答して、該無人航空機の該計算した予想軌道に衝突があるというフィードバックを前記ユーザに提供する段階と、
を更に含む［２３］に記載の方法。
［３０］
前記環境を通る前記無人航空機の前記計算した予想軌道に衝突があると決定する段階に応答して、該環境の干渉部分を識別する段階を更に含み、
前記無人航空機の前記計算した予想軌道に衝突があるというフィードバックを前記ユーザに提供する段階は、前記環境の前記干渉部分を該環境の非干渉部分とは異なる色で表示する段階を含む、
［２９］に記載の方法。
［３１］
前記環境を通る前記無人航空機の前記計算した予想軌道に衝突があると決定する段階に応答して、該環境の前記３次元モデルの前記可視表現を特徴付ける前記情報を修正して衝突を引き起こす区域の表示を阻止する段階を更に含む、［２９］に記載の方法。
［３２］
前記環境を通る前記無人航空機の前記計算した予想軌道に衝突があると決定する段階に応答して、該無人航空機の前記提案軌道を修正して該無人航空機が衝突のない経路を辿ることになることを確実にする段階を更に含む、［２９］に記載の方法。
［３３］
前記環境を通る前記無人航空機のための前記提案飛行経路に関連する前記受信した入力は、該無人航空機に関する近接性制約及び速度を含む、［２３］に記載の方法。
［３４］
少なくとも部分的に、
前記カメラを用いて前記環境の画像を捕捉し、
前記捕捉画像内の物体に関する深度データを少なくとも部分的に前記距離計から複数の該物体の各々までの距離を決定又は推定することによって発生させ、かつ
前記チルトエンコーダ及び前記パンエンコーダから収集された情報に少なくとも部分的に基づいて前記発生された深度データを直交座標に変換することにより、
前記カメラ、距離計、チルトエンコーダ、及びパンエンコーダから収集された情報に少なくとも部分的に基づき、前記環境の３次元モデルを発生させる段階、
を更に含む［２３］に記載の方法。
［３５］
前記環境を通る前記無人航空機の前記予想軌道に従って該無人航空機をして飛行を開始させる段階と、
前記環境を通る前記無人航空機の前記飛行を第１のスキャナを用いて追跡する段階と、 を更に含む［２３］に記載の方法。
［３６］
前記環境を通る前記無人航空機の前記飛行を追跡する段階は、コーナー立体干渉分光法をレーザベースの位置感知デバイスからの出力と組み合わせて該無人航空機に対する位置推定値を発生させる段階を含む、［３５］に記載の方法。
［３７］
前記無人航空機が飛行している間に、該無人航空機を追跡する責任を前記第１のスキャナから第２のスキャナに引き渡す段階を更に含む、［３５］に記載の方法。
［３８］
前記環境を通る前記無人航空機の前記飛行を追跡しながら、該環境を通る該無人航空機の該飛行を、該環境を通る該無人航空機の前記予想軌道と比較する段階を更に含む、［３５］に記載の方法。
［３９］
前記比較する段階に基づいて、前記無人航空機が、前記環境を通る該無人航空機の前記予想軌道から外れたと決定する段階に応答して、該無人航空機の前記飛行を調節する段階を更に含む、［３８］に記載の方法。
［４０］
メモリとプロセッサとを有するコンピュータシステムによって実行された場合に該コンピュータシステムをして方法を実施させる命令を格納するコンピュータ可読ストレージ媒体であって、
前記方法は、
ユーザへの提示のために、複数の物体を含む前記環境の３次元モデルの可視表現を特徴付ける情報を提供する段階と、
前記ユーザから、前記環境を通る前記無人航空機の提案飛行経路に関連する入力を受信する段階と、
前記環境を通る前記無人航空機の予想軌道を前記受信した入力と該無人航空機の飛行動力学及び機能とに少なくとも部分的に基づいて計算する段階と、
前記環境を通る前記無人航空機の前記計算した予想軌道に衝突がないか否かを決定するために検査する段階と、を含む、
コンピュータ可読ストレージ媒体。
［４１］
前記方法は、前記ユーザからの入力に基づいて、該ユーザが前記環境の前記３次元モデルの前記可視表現を見る視点をシフトする段階を更に含む、
［４０］に記載のコンピュータ可読媒体。
［４２］
カメラと、
距離計と、
チルトエンコーダと、
パンエンコーダと、
前記カメラから収集された情報、前記距離計から収集された情報、前記チルトエンコーダから収集された情報、及び前記パンエンコーダから収集される情報に少なくとも部分的に基づいて環境の３次元モデルを発生させるように構成された構成要素と、
ユーザへの提示のために、複数の物体を含む前記環境の前記３次元モデルの可視表現を特徴付ける情報を提供するように構成された構成要素と、
前記ユーザから前記環境を通る無人航空機の提案飛行経路に関連する入力を受信するように構成された構成要素と、
前記環境を通る前記無人航空機の予想軌道を前記受信した入力と該無人航空機の飛行動力学及び機能とに少なくとも部分的に基づいて計算するように構成された構成要素と、
を含むシステム。
［４３］
前記環境を通る前記無人航空機の前記計算した予想軌道に衝突がないか否かを検査するように構成された構成要素を更に含む、［４２］に記載のシステム。
［４４］
前記カメラから収集された情報及び前記距離計から収集された情報が、前記環境の周りの複数の場所の各々から収集された情報を含む、［４２］に記載のシステム。
［４５］
環境内の無人航空機の飛行を該環境の３次元モデルを使用して追跡するために、メモリとプロセッサとを有するコンピュータシステムによって実施される方法であって、
少なくとも１つのカメラと少なくとも１つの距離計とを含むスキャナシステムを用いて、前記環境内の前記無人航空機の前記飛行を追跡する段階、及び、前記環境内の物体を識別する段階と、
前記環境内の前記無人航空機の実際の飛行を３次元モデル内に構成された飛行経路と比較する段階と、
前記無人航空機の前記実際の飛行が前記３次元モデル内に構成された前記飛行経路から外れたと決定する段階と、
前記無人航空機の前記実際の飛行が前記３次元モデル内に構成された前記飛行経路から外れたと決定する段階に応答して、少なくとも部分的に該無人航空機に案内情報を送信することにより、該３次元モデル内に構成された該飛行経路に従って該無人航空機の該実際の飛行を向け直す段階と、
を含む方法。
［４６］
前記環境内の前記無人航空機の前記飛行を追跡する段階は、
少なくとも１つのカメラを用いて画像を繰返し捕捉する段階と、
前記捕捉画像を解析して前記無人航空機の位置及び方位を推定する段階と、を含む、
［４５］に記載の方法。
［４７］
前記環境内の前記無人航空機の前記飛行を追跡する段階は、
少なくとも１つのカメラを用いて画像を繰返し捕捉する段階と、
前記捕捉画像を解析して前記無人航空機の位置付ける段階と、
光測距距離計、及び、無線周波数測距距離計のうちの少なくとも一方を含む少なくとも１つの距離計を用いて、前記無人航空機までの距離を決定又は推定する段階と、を含む、 ［４５］に記載の方法。
［４８］
前記環境内の前記無人航空機の前記飛行を追跡する段階は、前記無人航空機から自動従属監視−ブロードキャスト情報を受信する段階を含む、［４５］に記載の方法。
［４９］
前記３次元モデルは、前記環境の３次元モデルであり、
前記方法が、前記無人航空機を追跡しながら前記環境の前記３次元モデルを更新する段階を更に含む、
［４５］に記載の方法。
［５０］
前記環境の前記３次元モデルを更新する段階は、
前記少なくとも１つのカメラを用いて、前記環境の画像を捕捉する段階と、
前記環境の前記捕捉画像のうちの１又は２以上の特徴を識別する段階と、
前記距離計を用いて、少なくとも部分的に該距離計から複数の前記識別された特徴の各々までの距離を決定することにより、深度データを発生させる段階と、
前記発生された深度データをチルトエンコーダ及びパンエンコーダから収集された情報に少なくとも部分的に基づいて球座標から直交座標に変換する段階と、
前記プロセッサを用いて、前記変換された深度データに少なくとも部分的に基づいて前記環境の更新された３次元モデルを発生させる段階と、
を含む、［４９］に記載の方法。
［５１］
前記環境の前記更新された３次元モデルを該環境の前記３次元モデルと比較して該環境内の新規物体を識別する段階を更に含む、［５０］に記載の方法。
［５２］
ユーザへの提示のために、前記環境の前記３次元モデルの可視表現を特徴付ける情報を提供する段階を更に含む、［４５］に記載の方法。
［５３］
前記環境内の前記無人航空機の前記実際の飛行を前記３次元モデル内に構成された前記飛行経路と比較する段階は、
前記無人航空機から速度及び位置情報を受信する段階と、
前記無人航空機から前記受信した速度及び位置情報を前記３次元モデル内に構成された前記飛行経路と比較する段階と、を含む、
［４５］に記載の方法。
［５４］
ユーザから、前記環境を通る前記無人航空機の提案飛行経路に関連する入力を受信する段階と、
前記受信した入力と前記無人航空機の飛行動力学及び機能とに少なくとも部分的に基づいて前記３次元モデル内に前記飛行経路を構成する段階と、
を更に含む［４５］に記載の方法。
［５５］
以前に発生された３次元モデルのライブラリから前記３次元モデルを取り出す段階を更に含む、［４５］に記載の方法。
［５６］
前記以前に発生された３次元モデルのライブラリのうちの前記３次元モデルのうちの少なくとも１つが、複数の環境を通る無人航空機の前記経路を追跡するのに使用される［５５］に記載の方法。
［５７］
前記環境内の前記無人航空機の前記飛行を追跡する段階は、
前記無人航空機の捕捉画像を解析する段階と、
前記解析する段階に基づいて、前記無人航空機の前記捕捉画像のうちの少なくとも１つ内で、該無人航空機に関連付けられた少なくとも１つの物理的符号化パターンを識別する段階と、
前記無人航空機のアイデンティティーを該無人航空機に関連付けられた前記少なくとも１つの物理的符号化パターンに少なくとも部分的に基づいて確認する段階と、を含む、
［４５］に記載の方法。
［５８］
前記無人航空機の前記解析される捕捉画像は、別の無人航空機に取り付けられたカメラによって捕捉される［５７］に記載の方法。
［５９］
前記環境の前記３次元モデルは、少なくとも部分的に、
少なくとも１つのカメラと少なくとも１つの距離計とを各スキャナが含む異なる場所に位置付けられた複数のスキャナの各々を用いて、前記環境の画像と該画像内で識別された複数の特徴の各々に関連付けられた深度情報とを捕捉し、かつ
前記深度情報に基づいて、前記環境の前記画像のうちの少なくとも２つを互いに結合して該環境の複合３次元モデルを形成することによって発生される、
［４５］に記載の方法。
［６０］
前記環境内の前記無人航空機の前記飛行を追跡する段階は、前記無人航空機に取り付けられたカメラによって撮られた画像を前記環境の前記３次元モデルと比較する段階を含む、
［４５］に記載の方法。
［６１］
前記無人航空機のための飛行経路上の制限に対応する情報を受信する段階と、
前記３次元モデル内に構成された前記飛行経路が前記制限に違反する場合にフィードバックを提供する段階と、
を更に含む［４５］に記載の方法。
［６２］
プロセッサを有するコンピュータシステムによって実行された場合に該コンピュータシステムをして環境内の無人航空機の飛行を該環境の３次元モデルを使用して追跡する方法を実施させる命令を格納するコンピュータ可読ストレージ媒体であって、
前記方法は、
前記環境内の前記無人航空機の前記飛行を追跡する段階と、
前記環境内の物体を識別する段階と、
前記環境内の前記無人航空機の実際の飛行を３次元モデル内に構成された飛行経路と比較する段階と、
前記無人航空機の前記実際の飛行が前記３次元モデル内に構成された前記飛行経路から外れたと決定する段階と、
前記無人航空機の前記実際の飛行が前記３次元モデル内に構成された前記飛行経路から外れたと決定する段階に応答して、該無人航空機に案内情報を送信する段階と、を含む、 コンピュータ可読ストレージ媒体。
［６３］
前記環境内の前記無人航空機の前記飛行を追跡する前記段階は、該無人航空機から受信した位置情報に少なくとも部分的に基づいている、［６２］に記載のコンピュータ可読ストレージ媒体。
［６４］
カメラ、距離計、チルトエンコーダ、及び、パンエンコーダを含むスキャナと、
前記カメラから収集された情報、前記距離計から収集された情報、前記チルトエンコーダから収集された情報、及び、前記パンエンコーダから収集された情報に少なくとも部分的に基づいて環境の３次元モデルを発生させるために前記スキャナに結合された第１の構成要素と、
前記環境の３次元モデルを通る前記無人航空機のための予定飛行経路を計算するために前記第１の構成要素に結合された第２の構成要素と、
前記無人航空機をして前記予定飛行経路に従って前記環境を通る飛行を開始させるために前記第２の構成要素に結合された第３の構成要素と、
前記カメラから収集された情報、前記距離計から収集された情報、前記チルトエンコーダから収集された情報、及び、前記パンエンコーダから収集された情報に少なくとも部分的に基づいて、前記環境を通る前記無人航空機の前記飛行を追跡するために、前記スキャナに結合された第４の構成要素と、
環境を通る前記無人航空機の前記追跡された飛行を該環境の前記３次元モデルを通る該無人航空機の前記予定飛行経路と比較するために前記スキャナに結合された第５の構成要素と、
を含むシステム。
［６５］
前記環境の複数のターゲット特徴の表示を受信するために前記スキャナに結合された第６の構成要素を更に含み、
前記カメラは、前記環境の前記ターゲット特徴のうちの１又は２以上を含む該環境の画像のみを捕捉する、
［６４］に記載のシステム。

１００ 本発明の技術の実施形態によるシステム
１１０ スキャナ
１３０ コントローラ
１９０ ＵＡＶが作動する環境
１９１ 物体

Claims (22)

1. プロセッサを有し、無人航空機が作動することが予想される環境を走査かつマップするためのシステムであって、
   前記環境の２次元光学画像を捕捉するように構成されたカメラと、
   前記環境の深度データを発生させるように構成された距離計と、
   前記カメラに結合された第１の構成要素であって、前記環境の前記捕捉された２次元光学画像のうちの１又は２以上の特徴を識別し、前記距離計からの深度データを使用せずに、前記識別された特徴から１つ以上のターゲット特徴を走査のために選択するように構成された前記第１の構成要素と、
   前記距離計に結合された第２の構成要素であって、前記１つ以上のターゲット特徴に向けられた走査経路に追従するように前記距離計を方向付けるように構成された前記第２の構成要素と、を含み、前記距離計は、少なくとも部分的に（１）前記走査経路に追従すること、及び（２）前記距離計から前記１つ以上のターゲット特徴までの各々の距離を決定又は推定することにより、前記深度データを発生させるように構成され、
   更に、前記第１の構成要素及び前記第２の構成要素に結合された第３の構成要素であって、前記深度データに少なくとも部分的に基づいて前記環境の３次元ポイントクラウドモデルを発生させるように構成された前記第３の構成要素を含む、
   システム。
2. 前記カメラ及び距離計は、各々が前記環境までの独立した光路を有する、請求項１に記載のシステム。
3. ビームスプリッタが、前記カメラ及び前記距離計の両方に同一光学情報を提供する、請求項１に記載のシステム。
4. 水平軸に対する前記カメラ及び前記距離計の運動を追跡するように構成されたチルトエンコーダを更に含み、
   前記第２の構成要素は、更に、前記チルトエンコーダから収集された情報に少なくとも部分的に基づいて、前記発生された深度データを球座標から直交座標へ変換するように構成されている、
   請求項１に記載のシステム。
5. 垂直軸の周りの前記カメラ及び前記距離計の回転位置を追跡するように構成されたパンエンコーダを更に含み、
   前記第２の構成要素は、さらに、前記パンエンコーダから収集された情報に少なくとも部分的に基づいて、前記発生された深度データを球座標から直交座標への変換するように構成されている、
   請求項１に記載のシステム。
6. 前記第３の構成要素に結合された第４の構成要素を更に含み、前記第４の構成要素は、前記環境を通る前記無人航空機のための飛行を計画するように構成されている、請求項１に記載のシステム。
7. 前記第４の構成要素に結合された第５の構成要素であって、前記無人航空機が前記計画された飛行から外れたか否かを決定するように構成された前記第５の構成要素と、
   前記第５の構成要素に結合された第６の構成要素であって、前記無人航空機が前記計画された飛行から外れたと決定することに応答して該無人航空機にフィードバックを提供するように構成された前記第６の構成要素と、
   を更に含む請求項６に記載のシステム。
8. 前記第３の構成要素に結合された第４の構成要素であって、少なくとも部分的に、前記無人航空機の位置情報を前記環境の前記発生された３次元ポイントクラウドモデルと比較することにより、前記無人航空機が前記環境内で作動する時の位置フィードバックを前記無人航空機に提供するように構成された、前記第４の構成要素を更に含む、請求項１に記載のシステム。
9. 前記無人航空機の前記位置情報は、該無人航空機から受信される、請求項８に記載のシステム。
10. 前記無人航空機の前記位置情報は、前記カメラによって捕捉された該無人航空機の１又は２以上の２次元光学画像を解析することによって少なくとも部分的に決定される、請求項８に記載のシステム。
11. 前記カメラ及び前記距離計は、前記無人航空機に取り付けられる請求項１に記載のシステム。
12. 前記カメラ及び前記距離計は、地上に位置付けられる請求項１に記載のシステム。
13. 前記カメラは、前記環境から放射線を可視スペクトルで受光するように構成される請求項１に記載のシステム。
14. 前記カメラは、前記環境から放射線を赤外線、紫外線、又は電磁スペクトル範囲の他の範囲で受光するように構成される請求項１に記載のシステム。
15. 前記距離計は、ライダー検出器を含む請求項１に記載のシステム。
16. 前記第３の構成要素に結合された第４の構成要素であって、前記発生された３次元ポイントクラウドモデルを前記カメラによって捕捉された２次元光学画像で補完するように構成された前記第４の構成要素を更に含む、
    請求項１に記載のシステム。
17. 前記第３の構成要素に結合された第４の構成要素であって、前記環境の複数のターゲット特徴の表示を受信するように構成された前記第４の構成要素を更に含み、
    前記カメラは、前記ターゲット特徴のうちの１又は２以上を含む前記環境の２次元光学画像のみを捕捉する、
    請求項１に記載のシステム。
18. 環境を走査かつマップするためにメモリとプロセッサとを有するコンピュータシステムによって実施される方法であって、
    カメラを用いて前記環境の２次元光学画像を捕捉する段階と、
    前記環境の前記捕捉した２次元光学画像のうちの１又は２以上の特徴を識別する段階と、
    距離計からの深度データを使用せずに、前記識別された特徴から１つ以上のターゲット特徴を走査のために選択する段階と、
    前記１つ以上のターゲット特徴に向けられた走査経路を決定する段階と、
    前記距離計を用いて、少なくとも部分的に、（１）前記走査経路に追従するように前記距離計を方向付けること及び（２）該距離計から前記１つ以上のターゲット特徴の各々までの距離を決定することによって、深度データを発生させる段階と、
    前記プロセッサを用いて、前記深度データに少なくとも部分的に基づいて前記環境の３次元ポイントクラウドモデルを発生させる段階と、
    を含む方法。
19. 前記環境の以前に走査された３次元ポイントクラウドモデルを取り出す段階と、
    前記環境の前記取り出された以前に走査された３次元ポイントクラウドモデルを該環境の前記発生された３次元ポイントクラウドモデルと比較して該環境内の新規物体を識別する段階と、
    を更に含む請求項１８に記載の方法。
20. メモリとプロセッサとを有するコンピュータシステムによって実行された場合に該コンピュータシステムをして環境を走査かつマップする方法を実施させる命令を格納するコンピュータ可読ストレージ媒体であって、
    前記方法は、
    カメラによって捕捉された前記環境の２次元光学画像を受信する段階と、
    前記環境の前記捕捉した２次元光学画像のうちの１又は２以上の特徴を識別する段階と、
    距離計からの深度データを使用せずに、前記識別された特徴から１つ以上のターゲット特徴を走査のために選択する段階と、
    前記１つ以上のターゲット特徴に向けられた走査経路を決定する段階と、
    前記距離計により、少なくとも部分的に該距離計から前記１つ以上のターゲット特徴の各々までの距離を推定することによって発生された深度データを受信する段階と、
    前記深度データに少なくとも部分的に基づいて前記環境の３次元ポイントクラウドモデルを発生させる段階と、を含む、
    コンピュータ可読ストレージ媒体。
21. プロセッサを有するコンピュータシステムによって実施される環境を走査かつマップする方法であって、
    前記方法は、
    前記環境の複数の特徴の表示を受信する段階と、
    カメラを用いて前記環境の２次元光学画像を捕捉する段階であって、該環境の前記特徴のうちの１又は２以上を含む該環境の２次元光学画像を捕捉する段階を含む前記捕捉する段階と、
    距離計からの深度データを使用せずに、前記複数の特徴から１つ以上のターゲット特徴を走査のために選択する段階と、
    前記１つ以上のターゲット特徴に向けられた走査経路を決定する段階と、
    前記距離計を用いて、前記環境の前記ターゲット特徴のうちの１又は２以上に対してのみ深度データを発生させる段階と、
    前記深度データに少なくとも部分的に基づいて前記環境の３次元ポイントクラウドモデルを発生させる段階と、を含む、
    方法。
22. 前記ターゲット特徴を領域にグループ分けする段階と、
    前記ターゲット領域の各々を分類する段階と、
    を更に含む請求項２１に記載の方法。

Images