JP6395362B2 - 分散された位置の識別 - Google Patents

分散された位置の識別 Download PDF

Info

Publication number
JP6395362B2
JP6395362B2 JP2013211205A JP2013211205A JP6395362B2 JP 6395362 B2 JP6395362 B2 JP 6395362B2 JP 2013211205 A JP2013211205 A JP 2013211205A JP 2013211205 A JP2013211205 A JP 2013211205A JP 6395362 B2 JP6395362 B2 JP 6395362B2
Authority
JP
Japan
Prior art keywords
movable platform
platform
identification
operating environment
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013211205A
Other languages
English (en)
Other versions
JP2014078232A (ja
Inventor
ジョン ライル ヴィアン,
ジョン ライル ヴィアン,
イーマッド ウィリアム サード,
イーマッド ウィリアム サード,
カーソン ジョナサン レイノルズ,
カーソン ジョナサン レイノルズ,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of JP2014078232A publication Critical patent/JP2014078232A/ja
Application granted granted Critical
Publication of JP6395362B2 publication Critical patent/JP6395362B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Description

本発明は概して、ロボット又は無人飛行体等の可動プラットフォームの位置を識別することと、識別された可動プラットフォームの位置の精度を識別することに関するものである。さらに具体的には、本発明は、可動プラットフォーム上のカメラシステムから取得した画像を使用して、可動プラットフォームの位置、及び他の可動プラットフォーム及びデバイスから受信した位置情報を識別する方法及び装置に関するものである。
可動プラットフォームを使用して、さまざまな環境において様々な作業が行われる。例えば、ロボットは自動可動プラットフォームの一例である。ロボットを使用して、工場又は他の環境において製品を製造するための様々な作業が行われる。例えば、任意の数のロボットを使用して、航空機又は別の輸送手段又は他の製品が組み立てられる。
無人飛行体は、自動可動プラットフォームの別の例である。無人飛行体を使用して、さまざまな操作環境において様々な任務が行われる。例えば、偵察任務又は他の任務を行っている間に、無人飛行体を制御して様々な作業が実施される。
操作環境における可動プラットフォームの位置は、操作環境におけるプラットフォームの所在場所、操作環境におけるプラットフォームの方位、またはこの両方によって定義される。プラットフォームによって行われる作業が効率的に行われるために、操作環境において、可動プラットフォームの位置を精確に制御することが望ましい。操作環境において可動プラットフォームの位置を精確に制御するためには、任意の時点において操作環境における可動プラットフォームの位置を精確に識別することが望ましい。
例えば、任意の時点において無人飛行体又は他の航空機の位置は、三次元空間における航空機の所在場所、航空機の方位、または航空機の所在場所と方位の両方の観点において定義される。例えば、航空機の所在場所は、航空機の地理的座標及び高度によって定義される。航空機の方位は、水平線等の所定の線又は平面に対する航空機の角度の観点から定義される。航空機の方位は、姿勢と呼ばれる。航空機の姿勢は、ロール、ピッチ及びヨーと呼ばれる三自由度を参照して表わされる。
可動プラットフォームの位置を識別するために、様々なシステムが使用される。例えば、無人飛行体又はその他の航空機の所在場所は、全地球測位システム(GPS)を使用して識別される。この場合、航空機上の全地球測位システムのハードウェアには、任意の数の衛星から信号を受信するように構成された受信機が含まれる。航空機上の追加のハードウェアおよびソフトウェアは、受信した衛星信号から航空機の現在の所在場所を識別する。
あるいは、地上の任意の既知の所在場所から受信した無線信号から航空機の現在の所在場所を識別するために、航空機上の無線ナビゲーションシステムが使われる。航空機の方位を識別するために、様々なハードウェア、またはハードウェアおよびソフトウェアシステムも使われる。例えば、任意の時点において航空機の姿勢を識別するために、電気機械ジャイロスコープシステムが使用される。
任務を行うために航空機を効率的に制御するには、操作環境において無人飛行体又は他の航空機の現在の位置を精確に認識していることが望ましい。航空機の位置を識別する現在のシステム及び方法は、航空機の効率的な操作に影響を与えうる。
操作環境において航空機の位置を識別する現在のシステム及び方法は、さまざまな操作条件において、さまざまな操作条件下で、または他の状況において要求されるほど精確には、航空機の位置を識別できない。例えば、全地球測位システム(GPS)及び無線ナビゲーションシステムは、ある場合、たとえばこれらのシステムによって使用される信号が利用できない、または操作環境のフィーチャによってブロックされ航空機が受信できない等の場合に、航空機の位置を精確に識別することができない。
様々な操作環境において他の可動プラットフォームの位置を識別する現在のシステム及び方法もまた、さまざまな操作環境、操作条件、または他の状況において要求されるほど精確には、可動プラットフォームの現在位置を識別することができない。例えば、屋内の位置づけシステムも、信号がブロックされてプラットフォームが受信できない等の場合に、プラットフォームの位置を精確に識別することができない。ある場合には、初期条件が不正確である、及びセンサのドリフト、ホイールのすべり、または他の理由によりエラーが蓄積した場合などの場合、プラットフォーム搭載のシステムは、長期間にわたってプラットフォームの位置を精確に識別することができない。
したがって、上述した問題の一又は複数と、起こりうる他の問題とを考慮する方法と装置を有することが有利である。
本発明の例示的実施形態により、可動プラットフォームの位置を識別する方法が提供される。第1可動プラットフォーム上のカメラシステムによって画像が提供される。この画像には、第2プラットフォームの画像が含まれる。第1可動プラットフォームの識別位置は、第2プラットフォームの画像及び位置情報を使用して判定される。第2プラットフォームの位置情報により、第2プラットフォームの位置が識別される。
この方法はさらに、プロセッサユニットによって、第1可動プラットフォームの識別位置の精度を識別することと、第1可動プラットフォームの識別位置の精度を使用して、第1可動プラットフォームを制御することと、第1可動プラットフォームの識別位置と、第1可動プラットフォームの識別位置の精度を表示することを含む。第2プラットフォームの位置情報は、第2プラットフォーム上のカメラシステムによって供給される画像を使用して生成される。第1プラットフォーム及び第2プラットフォームは、ロボット及び無人飛行体から選択される。
本発明の別の実施形態は、カメラシステム、通信システム、および位置識別器を備える装置を提供する。カメラシステムは第1可動プラットフォーム上にあり、第2可動プラットフォームの画像を含む画像を供給するように構成される。通信システムは、第2可動プラットフォームから第2可動プラットフォームの位置情報を受信するように構成される。第2可動プラットフォームの位置情報は、第2可動プラットフォームの所在場所の識別である。位置識別器は、第2可動プラットフォームの画像と位置情報を使用して、第1可動プラットフォームの識別位置を判定するように構成される。
位置識別器はさらに、第1可動プラットフォームの識別位置の精度を識別するように構成される。この装置はさらに、第1可動プラットフォームの識別位置の精度を使用して、第1可動プラットフォームを制御するように構成されたプラットフォームコントローラを備える。プラットフォームコントローラはさらに、第1可動プラットフォームの識別位置と、第1可動プラットフォームの識別位置の精度を表示するように構成される。第2可動プラットフォームの位置情報は、第2可動プラットフォームのカメラシステムによって供給される画像を使用して生成される。第1可動プラットフォームの識別位置は第1識別位置であり、位置識別器はさらに、第2可動プラットフォームの位置情報を使用せずに、第1可動プラットフォームの第2の識別位置を判定し、第1可動プラットフォームの第1識別位置と、第1可動プラットフォームの第2の識別位置を使用して、第1可動プラットフォームの最終的な識別位置を判定するように構成される。第1可動プラットフォームと第2可動プラットフォームは、ロボットと無人飛行体から選択される。
本発明の別の実施形態により、可動プラットフォームの位置を識別する方法が提供される。複数の異なる方法を使用して、可動プラットフォームの複数の識別位置が判定される。可動プラットフォームの複数の識別位置を結合させて、可動プラットフォームの最終的な識別位置が生成される。
可動プラットフォームは第1可動プラットフォームであり、複数の異なる方法のうちの一つは、プロセッサユニットによって、第1可動プラットフォーム上のカメラシステムによって供給される、第2可動プラットフォームの画像を含む画像を受信することと、プロセッサユニットによって、第2可動プラットフォームの所在場所を識別する第2可動プラットフォームの位置情報を受信することと、プロセッサユニットによって、第2可動プラットフォームの画像及び位置情報を使用して、可動プラットフォームの複数の識別位置のうちの一つを判定することを含む。第2可動プラットフォームの位置情報は、第2可動プラットフォームのカメラシステムによって供給される画像を使用して生成される。この方法はさらに、プロセッサユニットによって、可動プラットフォームの最終的な識別位置の精度を識別することと、可動プラットフォームの最終的な識別位置の精度を使用して、可動プラットフォームを制御することを含む。この方法はさらに、可動プラットフォームの最終的な識別位置と、可動プラットフォームの最終的な識別位置の精度を表示することを含む。可動プラットフォームは、ロボットと、無人飛行体から選択される。
上記のフィーチャ、機能及び利点は、本発明の様々な実施形態で独立に実現することが可能であるか、他の実施形態において組み合わせることが可能である。これらの実施形態について、後述の説明及び添付図面を参照してさらに詳細に説明する。
実施形態の特徴と考えられる新規の機能は、特許請求の範囲に明記される。しかしながら、実施形態と、好ましい使用モード、さらにはその目的と利点は、添付図面を参照しながら本発明の一実施形態の以下の詳細な説明を読むことにより最もよく理解されるであろう。
一実施形態による操作環境での任意の数の可動プラットフォームを図示する。 一実施形態による任意の数のプラットフォームを含む操作環境のブロック図である。 一実施形態に係る位置識別器のブロック図である。 一実施形態による位置情報ディスプレイの図である。 一実施形態によるプラットフォームの位置を識別するプロセスのフロー図を示したものである。 一実施形態によるプラットフォームの位置を識別し、プラットフォームを制御するプロセスのフロー図である。 一実施形態によるデータ処理システムの図解である。
例示の異なる実施形態は、任意の数の異なる検討事項を認識し考慮している。本明細書でアイテムを参照する際に使用している「任意の数の」は、一又は複数のアイテムを意味する。例えば、「任意の数の異なる検討事項」は、一又は複数の異なる検討事項を意味する。
種々の実施形態は、可動プラットフォームの位置を識別する現在のシステムと方法が、特定の操作環境、操作条件、または他の状況において要求されるほど精確に可動プラットフォームの位置を識別することができないことを認識し、考慮している。例えば、無人飛行体又は他の航空機の位置を識別する現在のシステム及び方法の利用可能性は、多くの状況において制限される。いくつかの操作環境においては、全地球測位システムと無線ナビゲーションシステム信号が干渉を受ける。上記信号は、航空機が操作されている密閉されたエリアに侵入することができない、または故障する、または他の干渉を受ける場合がある。
さらに、種々の実施形態は、可動プラットフォームの所在場所と方位を識別するために、モーションキャプチャシステムが使用されることを認識し考慮している。しかしながら、上記システムは、操作環境の物体による密閉された状態の影響を受ける場合があり、操作環境の照明条件に敏感である。可動プラットフォームの位置を識別する走行距離計測法、慣性センサ、及び他の推測航法システム及び方法には、さまざまな不正確さがありがちである。同時位置特定及び地図作製システムは、コンピュータ資源に集約されており、センサの機能及び騒音の影響を受ける。
種々の実施形態は、可動プラットフォーム上のカメラシステムから取得した画像を使用して、可動プラットフォームの位置を識別する独立型画像ベースシステムは、可動プラットフォームの所在場所と方位の良質の情報を提供することを認識し、考慮している。しかしながら、上記独立型システムによって得られる解像度と精密さは、ある用途に対しては十分なものではない。例えば、上記システムが提供する解像度と精密さは、サブミリ波レベルの位置の識別が要求される用途に対して十分なものではない。さらに、操作環境の密閉及び照明条件も、上記システムによる位置情報の識別に悪影響を及ぼす可能性がある。
この実施形態は、任意の数の可動プラットフォームの位置情報を提供する方法及び装置を提供する。位置情報は、可動プラットフォームの所在場所、可動プラットフォームの方位、及び位置情報の精度を識別したものである。
例示の実施形態は、可動プラットフォームが操作されている環境の画像を供給する、可動プラットフォーム上のカメラシステムと、操作環境の中で他のプラットフォームと通信するための無線通信システムと、可動プラットフォームの位置を識別するための位置識別器を備える。通信システムは、他のプラットフォームの位置情報を受信するために使用される。位置識別器は、カメラシステムによって供給された画像から可動プラットフォームの位置を識別するように構成され、この画像は、操作環境における他のプラットフォームの画像と、他のプラットフォームの位置情報を含む。一実施形態による画像ベースの位置識別により、可動プラットフォームの識別位置の精度を判定することが可能になる。
一実施形態による位置の識別により、たとえば工場の組み立てエリアなどの複数のプラットフォームが活動している密閉された操作環境において、可動プラットフォームの位置をより精確に識別することができる。一実施形態による可動プラットフォームの識別位置の精確な情報を提供することにより、操作環境の可動プラットフォームが様々な作業を行うための機器又は機能を制御するためにより信頼性の高い位置情報を使用することが可能になる。
例えば、可動プラットフォームの識別位置の精確な情報を提供することで、さまざまなレベルの位置精度が要求される機能が、より信頼性高く、さらに安全性高く実行される。高い精密さが要求される機能に対しては、例示の実施形態は、操作環境において環境問題が存在する中で操作されている複数のプラットフォームを使用して、より精確に所在場所と方位の情報を識別することができる。例えば、上記問題には、操作環境における照明条件、障害物、またはこの両方が原因の密閉された状態が含まれる。
図1を参照して、一実施形態による、操作環境での任意の数の可動プラットフォームについて説明する。例えば、非限定的に、操作環境100は、たとえば工場の組み立てエリア、またはその他何らかの操作環境などの産業環境である。任意の数の可動プラットフォームは、操作環境100において様々な作業を行うために制御される。
この実施例では、操作環境100における任意の数の可動プラットフォームは、ロボット101、102、104、106、及び108と、無人飛行体110及び112を備える。ロボット101、102、104、106及び108は、操作環境100において様々な機能を実施するように構成された様々な種類のロボットを含む。例えば、非限定的に、ロボット101は、操作環境100において組立作業、または別の作業、または作業の組み合わせを行うように構成された産業ロボットである。同様に、無人飛行体110および112は、操作環境100において様々な機能を行うように構成された様々な種類の無人飛行体を含む。一実施形態による操作環境100は、図1に示すものよりも多い又は少ない可動プラットフォーム及び異なる種類の可動プラットフォームを含む。
ロボット101、102、104、106及び108と、無人飛行体110及び112には、操作環境100においてロボット101、102、104、106及び108と、無人飛行体110及び112の位置を識別するための画像ベースシステムが備えられている。例えば、非限定的に、上記システムには、操作環境100において物体114及び116の画像を取得するカメラシステムが備えられている。操作環境100における物体114及び116の位置は固定されており、既知、又は未知のものである。この例では、物体114は基準マーカー118を備える。操作環境100における基準マーカー118の位置は固定されており、既知のものである。
操作環境100におけるロボット101、102、104、106及び108と、無人飛行体110及び112の位置を識別するためのロボット101、102、104、106及び108と、無人飛行体110及び112の画像ベースシステムは、ロボット101、102、104、106及び108と、無人飛行体110及び112のカメラシステムによって供給される物体114及び116の画像及び基準マーカー118からロボット101、102、104、106及び108と、無人飛行体110及び112の位置を識別するように構成される。ロボット101、102、104、106及び108と、無人飛行体110及び112は、操作アーム119、又は他の様々な作業構成要素等の様々な作業構成要素を備える。この場合、操作環境100におけるロボット101、102、104、106及び108と、無人飛行体110及び112の位置を識別するための、ロボット101、102、104、106及び108と、無人飛行体110及び112の画像ベースシステムは、上記作業構成要素のカメラシステムによって供給される物体114及び116の画像と基準マーカー118から上記作業構成要素の位置を識別するように構成される。
操作環境100の物体114及び116は、ロボット101、102、104、106及び108と、無人飛行体110及び112上のカメラシステムの視野を妨げる場合がある。例えば、この場合、物体114によって、ロボット102上のカメラシステムから見た物体116及び基準マーカー118の視野が妨げられる。ロボット101、102、104、106及び108と、無人飛行体110及び112の位置の識別に使用されるカメラシステムの視野の妨害は、操作環境100におけるロボット101、102、104、106及び108と、無人飛行体110及び112、又はこれらの作業構成要素の位置の識別に影響する。操作環境100の照明条件もまた、ロボット101、102、104、106及び108と、無人飛行体110及び112上の画像ベースの位置識別システムによる、操作環境100におけるロボット101、102、104、106及び108と、無人飛行体110及び112、又はこれらの作業構成要素の位置の識別に影響を与える。
操作環境100におけるロボット101、102、104、106及び108と、無人飛行体110及び112は、ロボット101、102、104、106及び108と、無人飛行体110及び112上のカメラシステムの視線上にある。例えば、この場合には、ロボット106は無人飛行体112上のカメラシステムの視線120上にある。この例では、ロボット104は、ロボット106のカメラシステム123の視線122上にある。
一実施形態によれば、ロボット101、102、104、106及び108と、無人飛行体110及び112は、ロボット101、102、104、106及び108と、無人飛行体110及び112の間での無線通信を可能にする通信システムを備える。上記通信システムは、ロボット101、102、104、106及び108と、無人飛行体110及び112の間での光通信リンク、無線周波数通信リンク、又は他の無線通信リンク又は通信リンクの組み合わせを提供するように構成された通信システムを備える。
例えば、この場合には、ロボット106及び108の通信システムを使用して、ロボット106と108との間の通信リンク124が提供される。通信リンク124により、ロボット106とロボット108の間の情報通信が可能になる。ロボット102と104上の通信システムを使用して、ロボット102及びロボット104の間に通信リンク126が得られる。通信リンク126により、ロボット102とロボット104の間の情報通信が可能になる。ロボット102と無人飛行体110上の通信システムを使用して、ロボット102及び無人飛行体110の間に通信リンク128が得られる。通信リンク128により、ロボット102と無人飛行体110の間での情報通信が可能になる。
一実施形態によれば、ロボット101、102、104、106及び108と、無人飛行体110及び112の間の通信リンクを使用して、ロボット101、102、104、106及び108と、無人飛行体110及び112との間で、ロボット101、102、104、106及び108と、無人飛行体110及び112の位置情報が送信される。この位置情報を、操作環境100におけるロボット101、102、104、106及び108と、無人飛行体110及び112の画像を含む、ロボット101、102、104、106及び108と、無人飛行体110及び112上のカメラシステムからの画像と結合させて使用して、操作環境100におけるロボット101、102、104、106及び108と、無人飛行体110及び112、又はこれらの作業構成要素のさらに精確な位置の識別が可能になる。この例では、操作環境100におけるロボット101、102、104、106及び108と、無人飛行体110及び112により、操作環境100におけるロボット101、102、104、106及び108と、無人飛行体110及び112、又はこれらの作業構成要素の位置を識別するための、ロボット101、102、104、106及び108と、無人飛行体110及び112上のカメラシステムによって画像取得され、ロボット101、102、104、106及び108と、無人飛行体110及び112上の画像ベースシステムによって使用される、操作環境100において識別所在場所を有する物体がさらに効率的に得られる。
ここで図2に注目する。図2は、一実施形態による任意の数のプラットフォームを備える操作環境のブロック図である。図1の操作環境100は、操作環境200の一実装態様の一例である。図1のロボット101、102、104、106及び108と、無人飛行体110及び112は、操作環境200における任意の数のプラットフォーム202の実装態様の例である。
操作環境200は、任意の数のプラットフォーム202が任意の作業又は任務を行うために操作される任意の環境である。例えば、操作環境200は、開放203されている、又は密閉205されている。密閉205されている操作環境200は、例えば非限定的に、建造物、又は他の人口構造物、洞窟又はその他の自然発生した構造物、又は完全に又は部分的に密閉されたその他何らかの自然又は人口のエリアを含む。例えば非限定的に、操作環境200は工業環境、例えば工場の組立てエリア、又は任意の数のプラットフォーム202を操作するための他の何らかの環境である。
操作環境200は、フィーチャ207を備える。フィーチャ207は、人工の物体、自然発生した物体、構造物、パターン、又は操作環境200の他の物体を含む。フィーチャ207は、任意の波長で動作するカメラに対して可視である。操作環境200のフィーチャ207の所在場所は既知のものである、又は未知のものである。基準マーカー208は、フィーチャ207の例である。操作環境200の基準マーカー208の所在場所は既知のものである。
任意の数のプラットフォーム202は、任意の数の、様々な組み合わせの同じ又は異なる種類のプラットフォームを含む。例えば、任意の数のプラットフォーム202は、可動プラットフォーム204及び他のプラットフォーム206を含む。可動プラットフォーム204は、第1プラットフォーム又は第1可動プラットフォームと呼ばれる。他のプラットフォーム206は、第2プラットフォーム又は第2可動プラットフォームと呼ばれる。任意の数のプラットフォーム202には、他の実施形態では2を超えるプラットフォームが含まれる。
可動プラットフォーム204は、操作環境200の中を移動して、操作環境200において作業又は任務を行うように構成される。一例では、可動プラットフォーム204は輸送手段210である。輸送手段210は、例えば航空機又は他の何らかの種類の輸送手段である。輸送手段210は例えば非限定的に、固定翼航空機、回転翼航空機、軽飛行機、又はその他何らかの好適な種類の航空機である。輸送手段210は、空中、宇宙空間、又は空中及び宇宙空間の両方で操作されるすべての航空宇宙輸送手段を含む。輸送手段210はまた、地上、水中、又は水上、又は他の何らかの操作媒体又は複数の媒体の組み合わせにおいて操作されるすべての輸送手段も含む。輸送手段210は有人のものもあれば、無人のものもある。例えば非限定的に、輸送手段210は無人飛行体212である。
別の例として、可動プラットフォーム204はロボット214である。例えば非限定的に、ロボット214は、製品の製造、組み立て、検査、又は試験、又はこれらの又はその他の機能の任意の組み合わせに使用される工業ロボット、又は別の種類のロボットを含む。例えば非限定的に、ロボット214は頭上クレーンである。別の実施例では、ロボット214は、深海又は惑星探査、又はその他なんらかの環境での操作等の科学的な目的で使用されるロボットを含む。さらに別の例として、ロボット214は、軍事又は犯罪防止の用途に使用されるロボットを含む。
他のプラットフォーム206は、可動プラットフォーム204と同じ種類のプラットフォームであり、可動プラットフォーム204と同じ機能を有する。あるいは、他のプラットフォーム206は、可動プラットフォーム204とは違う種類のプラットフォームである、あるいは可動プラットフォーム204とは異なる機能を有する、又はその両方である。他のプラットフォーム206は可動のものもあれば、可動でないものもある。
任意の時点で、可動プラットフォーム204は操作環境200の位置224にある。位置224は、操作環境200における可動プラットフォーム204の実際の位置と呼ばれる。位置224は、可動プラットフォーム204の所在場所226、可動プラットフォーム204の方位228、又は可動プラットフォーム204の所在場所226及び方位228の両方を含む。所在場所226は、可動プラットフォーム204が位置決めされる三次元空間のポイント、又は複数のポイントを含む。所在場所226は、任意の三次元座標系を参照して定義される。例えば、無人飛行体212の所在場所226は、操作環境200における無人飛行体212の地理座標及び高度によって定義される。
方位228は、三次元空間の所定の線又は平面に対する可動プラットフォーム204の角度である。方位228は、ロール、ピッチ、及びヨーと呼ばれる三自由度を参照して表される。これらの例では、操作環境200での無人飛行体212の方位228は、無人飛行体212の高度と呼ばれる。
可動プラットフォーム204は、任意の数の作業構成要素230を備える。任意の数の作業構成要素230は、操作環境200における特定位置において作業を行うのに使用される可動プラットフォーム204のパーツを含む。例えば非限定的に、任意の数の作業構成要素230は、操作アーム、又は他の作業構成要素、又は作業構成要素の様々な組み合わせを含む。任意の数の作業構成要素230は、可動プラットフォーム204の他の部分に対して可動である、又は固定されている。本願においては、請求項の範囲に含まれる可動プラットフォーム204の位置224は、操作環境200における可動プラットフォーム204の任意の数の作業構成要素230の位置と呼ばれる。ある場合には、可動プラットフォーム214は、任意の数のプラットフォーム202のうちの大きな固定又は可動プラットフォームの作業構成要素である。
一実施形態では、操作環境200の可動プラットフォーム204の位置224は、位置識別器232によって識別される。位置識別器232は、可動プラットフォーム204に関連付けられている。例えば、位置識別器232の構成要素は、これらの実施例において可動プラットフォーム204に取り付けられている。
位置識別器232は、識別位置情報234を生成するよう構成される。識別位置情報234は、識別位置236の情報を含む。識別位置236は、プラットフォーム204の位置224を識別するための位置識別器232によって算出される任意の数の値を含む。識別位置236はしたがって、可動プラットフォーム204の位置224の推定値である。識別位置情報234はまた、識別位置の精度238も含む。識別位置の精度238は、位置識別器232によって計算され、識別位置236の精度を表す任意の数の値を含む。例えば、識別位置の精度238は、識別位置236のプラットフォーム204の位置224との予想される違いの度合いを表す任意の数の値を含む。
一実施形態によれば、位置識別器232は、可動プラットフォーム204上のカメラシステム242によって供給された画像240と、他のプラットフォーム206の位置情報244を使用して、可動プラットフォーム204の識別位置情報234を生成するように構成される。画像240は、可動プラットフォーム204が操作される操作環境200の画像であり、操作環境200の他のプラットフォーム206の画像を含む。
画像240は、可動プラットフォーム204上のカメラシステム242から位置識別器232に供給される。カメラシステム242は、任意の適切な方法で可動プラットフォーム204に取り付けられる。カメラシステム242は、単一のカメラを備える。他の実施形態では、カメラシステム242は複数のカメラを備える。マルチカメラシステムの使用により、位置識別器232によって判定される位置の精度が向上する。
カメラシステム242は、任意の望ましい波長の画像を取得するように操作されるデジタルビデオカメラ、又は他のビデオカメラを備える。例えば非限定的に、カメラシステム242は、可視波長域又は赤外線波長域、又は複数の異なる波長域、又は波長帯において、操作環境200の画像240を生成する。カメラシステム242は、高速カメラを備える。例えば非限定的に、カメラシステム242は、一秒当たり約100フレームのフレーム率、又はより高いフレーム率で操作される。あるいは、カメラシステム242は、任意のフレーム率で操作される。
一実施形態では、カメラシステム242が操作される波長、フレーム率、又は波長とフレーム率の両方が変動する。この場合、例えば、波長、フレーム率、又はこの両方は、可動プラットフォーム204の特定の作業又は任務、又は可動プラットフォーム204が操作されている操作環境200の状態に基づいて調節される。
任意の時点において、カメラシステム242は特定の視野246を有する。視野246とは、操作環境200の、カメラシステム242によって生成される画像240に現れる部分である。したがって、基準マーカー208、又は操作環境200の他のフィーチャ207がカメラシステム242の視野246に入る場合、基準マーカー208、又は他のフィーチャ207の画像がカメラシステム242によって生成される画像240に現れる。同様に、他のプラットフォーム206がカメラシステム242の視野内にある場合、他のプラットフォーム206の画像は、カメラシステム242によって生成される画像240に現れる。
一実施形態によれば、位置識別器232は既知の手法を使用して、操作環境200の物体の画像240と、操作環境200のこれらの物体の既知の所在場所から、可動プラットフォーム204の識別位置236を判定する。具体的には、一実施形態により、位置識別器232は既知の手法を用いて、操作環境200の他のプラットフォーム206の画像を含む画像240と、操作環境200の他のプラットフォーム206の位置情報244から可動プラットフォーム204の識別位置236を判定する。一実施形態によれば、位置識別器232はまた、識別位置236の識別位置の精度238を判定するようにも構成される。
他のプラットフォーム206の位置情報244は、操作環境200の他のプラットフォーム206の所在場所を識別する情報を含む。他のプラットフォーム206の位置情報244は、他のプラットフォーム206上の位置識別システムによって判定される。例えば、非限定的に、他のプラットフォーム206上の位置識別システムは、他のプラットフォーム206の位置情報244を生成するように構成された画像ベース又は他の位置識別システムである。他のプラットフォーム206上の位置識別システムは、可動プラットフォーム204上の位置識別器232と同様のものである、又は異なったものである。
可動プラットフォーム204は、他のプラットフォーム206から他のプラットフォーム206の位置情報244を受け取るように構成される。例えば、可動プラットフォーム204は通信システム248を備える。通信システム248は、他のプラットフォーム206から位置情報244を受け取るように構成されたすべての通信システムを含む。通信システム248は、無線通信システム250であってもよい。例えば、通信システム248は、任意の適切な通信プロトコルを使用して、可動プラットフォーム204の光通信リンク、無線周波数通信リンク、又は他の無線通信リンク、又は通信リンクの組み合わせを可能とするように構成される。通信システム248が受け取った他のプラットフォーム206の位置情報244は、通信システム248から位置識別器232に送られ、位置識別器232によって可動プラットフォーム204の識別位置236を判定するのに使用される。
位置識別器232は、ハードウェアにおいて、又は共に操作されるハードウェア及びソフトウェアにおいて実行される。位置識別器232は、十分な速度で識別位置情報234を生成する任意のハードウェア、又はハードウェア及びソフトウェアの組み合わせを使用して実行され、可動プラットフォーム204の動きを制御して、操作環境200において要求される作業を行うことが可能になる。
可動プラットフォーム204の識別位置情報234は、直接又は間接的にプラットフォームコントローラ252に送られる。プラットフォームコントローラ252は、可動プラットフォーム204の識別位置情報234を使用して、操作環境200において可動プラットフォーム204の動きを制御して、要求される作業又は任務を行うように構成される。プラットフォームコントローラ252は、自動コントローラ、人間のオペレータ、又は人間のオペレータと機械との組み合わせを備える。いずれの場合でも、可動プラットフォーム204の動きを制御して、作業又は任務を良好に行うために、可動プラットフォーム204の識別位置情報234が精確に信頼性高く判定されることが望ましい。
プラットフォームコントローラ252は、すべて可動プラットフォーム204上で実行される。あるいは、プラットフォームコントローラ252は、全体的に又は部分的に可動プラットフォーム204上ではない所在場所で実行される。後者の場合には、プラットフォームコントローラ252は、可動プラットフォーム204上ではない所在場所から、可動プラットフォーム204と無線通信して、可動プラットフォーム204の動きを制御する。例えば、この場合、可動プラットフォーム204の識別位置情報234は、可動プラットフォーム204上の通信システム248を介して、可動プラットフォーム204からプラットフォームコントローラ252へ送られる。プラットフォームコントローラ252は、識別位置情報234を使用して、可動プラットフォーム204の動きを制御するように構成される。例えば、非限定的に、プラットフォームコントローラ252は、可動プラットフォーム204上の通信システム248を介して、プラットフォームコントローラ252から可動プラットフォーム204へ送られた制御信号を使用して可動プラットフォーム204を制御するように構成される。
プラットフォームコントローラ252は、位置情報ディスプレイ254に、可動プラットフォーム204の識別位置情報234を表示するように構成される。プラットフォームコントローラ252は、可動プラットフォーム204の識別位置情報234を使用して、可動プラットフォーム204の動きを制御して作業を行うためにプラットフォーム制御の判断256を行うことができる。
プラットフォームコントローラ252は、可動プラットフォーム204以外の、操作環境200の任意の数のプラットフォーム202を制御するように構成される。例えば、非限定的に、プラットフォームコントローラ252は、調和した方法又は他の方法で、可動プラットフォーム204と、操作環境200の他のプラットフォーム206又は任意の数のプラットフォーム202の他の様々な組み合わせを制御するよう構成される。
ここで、図3を参照すると、例示の一実施形態に係る位置識別器のブロック図が示されている。この実施例では、位置識別器300は、図2の位置識別器232の一実装態様の一例である。
位置識別器300は、任意の数の位置識別器302を含む。任意の数の位置識別器302は様々な異なる方法を用いて、可動プラットフォーム上のカメラシステムから取得した画像304、他のプラットフォーム306からの位置情報、その他の情報又は様々な情報の組み合わせから、可動プラットフォームの位置情報を識別する。
例えば、非限定的に、任意の数の位置識別器302は、一連の画像308のフィーチャの位置のシフトを使用して第1位置情報310を生成する位置識別器を備える。この種の位置識別器は例えば、2011年8月9日出願の画像ベースの位置測定と題された米国特許出願第13/206456号明細書に記載されている。
任意の数の位置識別器302は、他のプラットフォームの画像と、他のプラットフォーム312の位置情報を使用して、第2位置情報314を生成する位置識別器を含む。この種の位置識別器は、図2の位置識別器232を参照して、上記に記載されている。
任意の位置識別器302は、基準マーカー316の画像を使用して第3位置情報318を生成する位置識別器を含む。任意の数の位置識別器302は、他の情報320を使用して第4位置情報322を識別する位置識別器を含む。
第1位置情報310、第2位置情報314、第3位置情報318、及び第4位置情報322を、位置情報結合器324によって結合させて、識別位置情報326が生成される。例えば、位置情報結合器324は、統計的結合328、幾何学的結合330、ベイズ的結合332、他の結合334、または複数の結合を使用して、位置情報を結合させる。
識別位置情報326は、識別位置336及び識別位置の精度338を含む。識別位置情報は、位置情報ディスプレイ340上に表示され、プラットフォーム制御の判断324を行う際に使用される。
図2に示す操作環境200と、図3に示す位置識別器300は、物理的又はアーキテクチャ的な限定を暗示するものではなく、種々の実施形態を実施可能である。図示された構成要素に加えて、代えて、又は加え及び代えて他の構成要素を使用することができる。一部の例示的実施形態では、いくつかの構成要素は不要である。また、ブロックは、幾つかの機能的な構成要素を示すために提示されている。種々の例示的実施形態において実施されるとき、これらのブロックの一又は複数は、異なるブロックに結合又は分割することができる。
ここで図4を参照する。図4は一実施形態による位置情報ディスプレイを示す図である。この例において、位置情報ディスプレイ400は、図2の位置情報ディスプレイ254、または図3の位置情報ディスプレイ340の一実装態様の一例である。
この例において、識別位置情報402と、識別位置の精度の情報404は、任意の数のロボットと、ロボット上の任意の数の作業構成要素について表示される。この例において、ロボットは位置情報ディスプレイ400の列406において識別されており、ロボット上の作業構成要素は、位置情報ディスプレイ400の列408において識別されている。
ここで図5を参照する。図5は、例示的な一実施形態によるプラットフォームの位置を識別するプロセスのフロー図である。例えば、このプロセスは図2の位置識別器232、または図3の位置識別器300において実行される。
このプロセスは、別のプラットフォームの画像を取得(工程502)し、他のプラットフォームの位置情報を受け取る(工程504)ことによって開始される。次に、他のプラットフォームの画像と、他のプラットフォームの位置情報からこのプラットフォームの位置と、位置の精度が識別され(工程506)、その後このプロセスは終了する。
次に図6を参照すると、例示的な実施形態によるプラットフォームの位置を識別し、プラットフォームを制御するプロセスのフロー図が描かれている。例えば、このプロセスは、図2の位置識別器232とプラットフォームコントローラ252において実行される。
このプロセスは、様々な種類の情報及びアルゴリズムを使用して、プラットフォームの位置と位置の精度を識別することによって、開始される。例えば、位置と位置の精度は、一連の画像のフィーチャの位置のシフトから識別される(工程602)。この位置と位置の精度は、別のプラットフォームの画像と、別のプラットフォームの位置情報を使用して識別される(工程604)。位置及び位置の精度は、基準マーカーの画像を使用して識別される(工程606)。位置と位置の精度は、他の情報を使用して識別される(工程608)。
工程602、604、606、及び608からの位置及び位置の精度の情報を結合させて、プラットフォームの位置と位置の精度が識別される(工程610)。識別位置と位置の精度が表示される(工程612)。次に、識別位置の精度は作業を行うのに十分なものか否かが判定される。識別位置の精度が十分でないと、作業は行われず、その後プロセスは終了する。識別位置の精度が十分である場合、プラットフォームを制御して作業が行われ(工程616)、その後プロセスは終了する。
次に図7を注目する。図7は、一実施形態によるデータ処理システムを示す図である。この例では、データ処理システム700は、図2の位置識別器232、または図3の位置識別器300の機能を実行するのに使用されるシステムの一例である。この実施例では、データ処理システム700は、通信構造702を含む。通信構造702は、プロセッサユニット704、メモリ706、固定記憶域708、通信ユニット710、入出力ユニット712、及びディスプレイ714の間の通信を可能にする。
プロセッサユニット704は、メモリ706に読み込まれうるソフトウェアに対する命令を実行するように働く。プロセッサユニット704は、特定の実行形態に応じて、任意の数のプロセッサ、マルチプロセッサコア、又は他の形式のプロセッサであってもよい。さらに、プロセッサユニット704は、単一チップ上でメインプロセッサが二次プロセッサと共存する異種プロセッサシステムを任意の個数だけ使用して実装することもできる。別の例示された実施例では、プロセッサユニット704は同一形式の複数のプロセッサを含む対称型マルチプロセッサシステムであってもよい。
メモリ706及び固定記憶域708は、記憶デバイス716の例である。記憶デバイスは、例えば、限定しないが、データ、機能的な形態のプログラムコードなどの情報、他の適切な情報、又は情報の組合せを、一時的に、永続的に、又はその双方の形で保存することができる任意のハードウェア部分である。記憶デバイス716は、これらの実施例ではコンピュータで読取可能な記憶デバイスと呼ばれることもある。これらの実施例では、メモリ706は例えば、ランダムアクセスメモリ又は他の何らかの適切な揮発性又は不揮発性の記憶デバイスであってもよい。固定記憶域708は具体的な実装に応じて様々な形態をとりうる。
例えば、固定記憶域708は、一又は複数の構成要素又はデバイスを含みうる。例えば、固定記憶域708は、ハードドライブ、フラッシュメモリ、書換え型光ディスク、書換え可能磁気テープ、又はそれらの何らかの組み合わせである。永続記憶域708によって使用される媒体はリムーバブルなものであってもよい。例えば、着脱式ハードドライブは固定記憶域708に使用することができる。
通信ユニット710はこれらの例では、他のデータ処理システム又はデバイスとの通信を行う。このような実施例では、通信ユニット710はネットワークインターフェースカードである。通信ユニット710は、物理的及び無線の通信リンクのいずれか一方又は両方を使用することによって、通信を提供することができる。
入出力ユニット712は、データ処理システム700に接続される他のデバイスとのデータの入出力を可能にする。例えば、入出力ユニット712は、キーボード、マウス、他の幾つかの適切な入力デバイス、又はデバイスの組合せを介してユーザ入力への接続を提供することができる。さらに、入出力ユニット712は出力をプリンタに送ることができる。ディスプレイ714はユーザに情報を表示するメカニズムを提供する。
オペレーションシステム、アプリケーション、又はプログラムについての命令は記憶デバイス716に配置されており、通信構造702を介してプロセッサユニット704と通信している。これらの実施例では、命令は、固定記憶域708の機能形態である。これらの命令は、プロセッサユニット704によって実行するため、メモリ706に読み込まれうる。種々の実施形態のプロセスは、メモリ706などのメモリに配置されうる命令を実装したコンピュータを使用して、プロセッサユニット704によって実施することができる。
これらの命令は、プログラム命令、プログラムコード、コンピュータで使用可能なプログラムコード、又はコンピュータ可読プログラムコードと呼ばれ、プロセッサユニット704内のプロセッサによって読み込まれて実行される。様々な実施形態のプログラムコードは、メモリ706または永続記憶域708等、様々な物理的なまたはコンピュータ可読記憶媒体上に具現化し得る。
プログラムコード718は、選択的に着脱可能でコンピュータ可読記憶媒体720上に機能的な形態で配置され、プロセッサユニット704での実行用のデータ処理システム700に読込み又は転送することができる。プログラムコード718及びコンピュータ可読媒体720は、これらの実施例ではコンピュータプログラム製品722を形成する。1つの実施例では、コンピュータ可読記憶媒体720は、コンピュータ可読記憶媒体724又はコンピュータ可読信号媒体726であってもよい。コンピュータ可読記憶媒体724は、例えば、固定記憶域708のパーツであるハードディスクなどのように、記憶デバイス上に転送するための固定記憶域708のパーツであるドライブ又は他のデバイスに挿入又は配置される光ディスク又は磁気ディスクなどを含みうる。
また、コンピュータ可読記憶媒体724は、データ処理システム700に接続されているハードドライブ、サムドライブ、又はフラッシュメモリなどの固定記憶域の形態をとることができる。場合によっては、コンピュータ可読記憶媒体724には、データ処理システム700から取り外しができないものでもよい。これらの実施例では、コンピュータ可読記憶媒体724は、プログラムコード718を伝搬又は転送する媒体よりはむしろプログラムコード718を保存するために使用される物理的な又は有形の記憶デバイスである。コンピュータ可読記憶媒体724は、コンピュータで読取可能な有形の記憶デバイス又はコンピュータで読取可能な物理的な記憶デバイスと呼ばれることもある。すなわち、コンピュータ可読記憶媒体724は、人が触れることのできる媒体である。
代替的に、プログラムコード718はコンピュータ可読信号媒体726を用いてデータ処理システム700に転送可能である。コンピュータ可読信号媒体726は、例えば、プログラムコード718を含む伝播データ信号である。例えば、コンピュータ可読信号媒体726は、電磁信号、光信号、他の適切な形式の信号、又は信号の組合せであってもよい。これらの信号は、無線通信リンク、光ファイバケーブル、同軸ケーブル、有線などの通信リンク、他の適切な形式の通信リンク、又はこれらのリンクの組合せなどの通信リンクによって転送可能である。すなわち、これらの実施例では、通信リンク又は接続は物理的なものでもよく、無線でもよい。
幾つかの例示的な実施形態では、プログラムコード718は、コンピュータ可読信号媒体726により、ネットワークを介して別のデバイス又はデータ処理システムから固定記憶域708にダウンロードされて、データ処理システム700内で使用される。例えば、サーバーデータ処理システムのコンピュータ可読記憶媒体に保存されたプログラムコードは、ネットワークを介してサーバーからデータ処理システム700にダウンロードすることができる。プログラムコード718を提供するデータ処理システムは、サーバコンピュータ、クライアントコンピュータ、又はプログラムコード718を記憶及び転送可能な別の装置とすることができる。
データ処理システム700に例示されている種々の構成要素は、種々の実施形態が実装されうる方法に対して構造的な制限を加えることを意図したものではない。異なる例示的実施形態は、データ処理システム700に対して図解されている構成要素に対して、追加的又は代替的な構成要素を含むデータ処理システム内に実装しうる。図7に示した他の構成要素は、例示的な実施例と異なることがある。種々の実施形態は、プログラムコードを実行できる任意のハードウェアデバイス又はシステムを用いて実施することができる。一つの例として、データ処理システム700は、無機構成要素と統合された有機構成要素を含むことができる、又は人間を除く有機構成要素全体からなるとしてもよい。例えば、記憶デバイスは、有機半導体で構成することができる。
別の例示的な実施例では、プロセッサユニット704は、特定の用途のために製造又は構成された回路を有するハードウェアユニットの形態をとってもよい。この種のハードウェアは、工程を実行するように構成された記憶デバイスからメモリにプログラムコードを読み込む必要なく、工程を実施することができる。
例えば、プロセッサユニット704がハードウェアユニットの形態をとる場合、プロセッサユニット704は回路システム、特定用途向け集積回路(ASIC)、プログラム可能論理デバイス、又は任意の数の工程を実施するために構成された他の適切な形式のハードウェアであってもよい。プログラマブル論理デバイスにより、デバイスは任意の数の工程を実施するように構成されている。デバイスは、後で再構成することができるか、又は任意の数の工程を実行するように恒久的に構成することができる。プログラマブル論理デバイスの例としては、たとえば、プログラマブル論理アレイ、プログラマブルアレイ論理、フィールドプログラマブル論理アレイ、フィールドプログラマブルゲートアレイ、および他の適切なハードウェアデバイスが挙げられる。この種の実施により、種々の実施形態のプロセスはハードウェアユニットで実施されるので、プログラムコード718は省略することができる。
さらに別の例示的な実施例では、プロセッサユニット704は、コンピュータ及びハードウェアユニットの中に見られるプロセッサの組み合わせを使用して実装可能である。プロセッサユニット704は、プログラムコード718を実行するように構成されている任意の数のハードウェアユニット及び任意の数のプロセッサを有していてもよい。ここに描かれている実施例では、プロセスの一部は任意の数のハードウェアユニットで実行することが可能であるが、一方、他のプロセスは任意の数のプロセッサで実行可能である。
別の実施例では、バスシステムは、通信構造702を実施するために使用することができ、且つ、システムバス又は入出力バスといった一以上のバスを含むことができる。言うまでもなく、バスシステムは、バスシステムに取り付けられた種々の構成要素又はデバイスの間のデータ伝送を行う任意の適する種類のアーキテクチャを使用して実施できる。
加えて、通信ユニット710は、データの送信、データの受信、又はデータの送受信を行う任意の数のデバイスを含むことができる。通信ユニット710は、例えば、モデム又はネットワークアダプタ、2個のネットワークアダプタ、又はこれらの何らかの組み合わせであってもよい。さらに、メモリは例えば、通信構造702に備わっている場合があるインターフェース及びメモリコントローラハブにみられるような、メモリ706又はキャッシュであってもよい。
図示した異なる実施形態でのフロー図及びブロック図は、実例となる実施形態で実装可能な装置及び方法の構造、機能、及び作業を示している。その際、フロー図又はブロック図の各ブロックは、工程又はステップのモジュール、セグメント、機能又は部分を表わすことができる。例えば、ブロックの一又は複数は、プログラムコードとして、ハードウェア内で、又はプログラムコードとハードウェアの組合せとして実施可能である。ハードウェアにおいて実施されるとき、ハードウェアは、例えば、フロー図又はブロック図の一又は複数の工程を実施するように製造又は構成された集積回路の形態をとることができる。
例示的な一実施形態の幾つかの代替的な実装態様では、ブロックに記載された1つ又は複数の機能は、図中に記載の順序を逸脱して現れることがある。たとえば、場合によっては、連続して示されている二つのブロックが略同時に実行でき、あるいはそれらのブロックは関係する機能によっては、時として逆順に実行されることがあり得る。また、フロー図又はブロック図に示されているブロックに加えて他のブロックが追加されてもよい。
上述した種々の例示的な実施形態の説明は、例示及び説明を目的とするものであり、完全な説明であること、又はこれらの実施形態を開示された形態に限定することを意図していない。当業者には、多数の修正例及び変形例が明らかであろう。さらに、種々の例示的な実施形態は、他の例示的な実施形態とは異なる利点を提供することができる。選択された一又は複数の実施形態は、実施形態の原理、実際の用途を最もよく説明するため、及び他の当業者に対し、様々な実施形態の開示内容と、考慮される特定の用途に適した様々な修正との理解を促すために選択及び記述されている。
一又は複数の実施形態により、現在のシステムよりもさらに効率的に実行でき、より精確に、またより高い信頼性で航空機の位置を識別することができる航空機の位置を識別するシステム及び方法が提供される。一実施形態によれば、航空機の位置は、航空機上のカメラシステムによって生成される一連の画像に基づいて判定される。一連の画像には、航空機が移動している環境のフィーチャが含まれる。これらのフィーチャは、一連の画像の中で識別される。カメラシステムの視点のシフトは、一連の画像のフィーチャの位置のシフトから識別される。航空機の位置の変化は、カメラシステムの視点のシフトから識別される。航空機の現在の位置は、航空機の位置の変化及び航空機の始動位置に基づいて識別される。
100 操作環境
101 ロボット
102 ロボット
104 ロボット
106 ロボット
108 ロボット
110 無人飛行体
112 無人飛行体
114 物体
116 物体
118 基準マーカー
120 カメラシステムの視線
122 カメラシステムの視線
123 カメラシステム
124 通信リンク
126 通信リンク
128 通信リンク
400 位置情報ディスプレイ

Claims (10)

  1. 可動プラットフォームの位置を識別する方法であって、
    第1可動プラットフォーム上のカメラシステムによって供給される、第2プラットフォームの画像及び操作環境におけるフィーチャの一連の画像を含む画像をプロセッサユニットによって受信することと、
    前記一連の画像における前記フィーチャの位置のシフトから、第1の位置及び第1の位置精度を、前記プロセッサユニットによって識別することと、
    前記第2プラットフォームの前記画像、及び、前記第2プラットフォームの所在場所を識別する前記第2プラットフォームの位置情報を使用して、第2の位置及び第2の位置精度を、前記プロセッサユニットによって識別することと、
    前記第1の位置、前記第1の位置精度、前記第2の位置及び前記第2の位置精度の結合を使用して、前記第1可動プラットフォームの識別位置及び識別位置精度を前記プロセッサユニットによって判定することと
    を含む方法。
  2. 前記第1可動プラットフォームの前記識別位置及び前記識別位置精度を使用して、前記第1可動プラットフォームを制御することをさらに含む、請求項1に記載の方法。
  3. 前記第1可動プラットフォームの前記識別位置及び前記識別位置精度を表示することをさらに含む、請求項1又は2に記載の方法。
  4. 前記第2プラットフォームの前記位置情報が、前記第2プラットフォーム上のカメラシステムによって供給される画像を使用して生成される、請求項1から3のいずれか1項に記載の方法。
  5. 前記第1可動プラットフォームと前記第2プラットフォームが、ロボット及び無人飛行体から選択される、請求項1から4のいずれか1項に記載の方法。
  6. 第1可動プラットフォーム上のカメラシステムであって、第2可動プラットフォームの画像及び操作環境におけるフィーチャの一連の画像を含む画像を供給するように構成されたカメラシステムと、
    第2可動プラットフォームの所在場所を識別する前記第2可動プラットフォームの位置情報を受信するように構成された通信システムと、
    前記一連の画像における前記フィーチャの位置のシフトから、第1の位置及び第1の位置精度を識別することと、
    前記第2可動プラットフォームの前記画像、及び、前記第2可動プラットフォームの所在場所を識別する前記第2可動プラットフォームの位置情報を使用して、第2の位置及び第2の位置精度を識別することと、
    前記第1の位置、前記第1の位置精度、前記第2の位置及び前記第2の位置精度の結合を使用して、前記第1可動プラットフォームの識別位置及び識別位置精度を判定するように構成された位置識別器と
    を備える装置。
  7. 前記第1可動プラットフォームの前記識別位置及び前記識別位置精度を使用して、前記第1可動プラットフォームを制御するように構成されたプラットフォームコントローラをさらに備える、請求項6に記載の装置。
  8. 前記プラットフォームコントローラがさらに、前記第1可動プラットフォームの前記識別位置及び前記識別位置精度を表示するように構成されている、請求項7に記載の装置。
  9. 前記第2可動プラットフォームの前記位置情報が、前記第2可動プラットフォーム上のカメラシステムによって供給される画像を使用して生成される、請求項6から8のいずれか1項に記載の装置。
  10. 前記第1可動プラットフォームと前記第2可動プラットフォームが、ロボットと無人飛行体から選択される、請求項6から9のいずれか1項に記載の装置。
JP2013211205A 2012-10-09 2013-10-08 分散された位置の識別 Active JP6395362B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/647,866 US9214021B2 (en) 2012-10-09 2012-10-09 Distributed position identification
US13/647,866 2012-10-09

Publications (2)

Publication Number Publication Date
JP2014078232A JP2014078232A (ja) 2014-05-01
JP6395362B2 true JP6395362B2 (ja) 2018-09-26

Family

ID=50432693

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013211205A Active JP6395362B2 (ja) 2012-10-09 2013-10-08 分散された位置の識別

Country Status (2)

Country Link
US (1) US9214021B2 (ja)
JP (1) JP6395362B2 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9183638B2 (en) * 2011-08-09 2015-11-10 The Boeing Company Image based position determination
US9513371B2 (en) * 2013-02-28 2016-12-06 Identified Technologies Corporation Ground survey and obstacle detection system
US9429425B2 (en) 2013-03-05 2016-08-30 Here Global B.V. Aerial image collection
US10324476B2 (en) * 2014-10-02 2019-06-18 Robotic Research, Llc Robotic swarm localization using ranging radios
WO2016069723A1 (en) 2014-10-29 2016-05-06 Identified Technologies Corporation Structure and manufacturing process for unmanned aerial vehicle
WO2016069915A1 (en) * 2014-10-30 2016-05-06 Sync-N-Scale, Llc Method and system for geolocation verification of resources
CN104477399B (zh) * 2014-11-26 2016-09-07 马鞍山市靓马航空科技有限公司 一种夜间搜救多旋翼无人机
US9761147B2 (en) 2014-12-12 2017-09-12 Amazon Technologies, Inc. Commercial and general aircraft avoidance using light pattern detection
JP6480587B2 (ja) * 2014-12-12 2019-03-13 アマゾン テクノロジーズ インコーポレイテッド 光、音、及び/またはマルチスペクトルパターン検出を使用する商用及び一般航空機の回避
JP6276250B2 (ja) * 2015-12-24 2018-02-07 ファナック株式会社 被加工物を搬送する製造システム
US10078330B2 (en) 2016-03-25 2018-09-18 International Business Machines Corporation Coordinating robotic apparatus deliveries
US9840339B1 (en) 2016-04-26 2017-12-12 Amazon Technologies, Inc. Sensors embedded within aerial vehicle control surfaces
US9954599B2 (en) 2016-07-14 2018-04-24 At&T Intellectual Property I, L.P. Method and system to dynamically identify and control a UAV with emitting instruments
CN106143936B (zh) * 2016-08-01 2018-10-02 苏州光景照明科技有限公司 一种无人机空中led照明装置
US10033980B2 (en) 2016-08-22 2018-07-24 Amazon Technologies, Inc. Determining stereo distance information using imaging devices integrated into propeller blades
CN106598073B (zh) * 2016-12-27 2019-06-28 武汉理工大学 基于四旋翼无人机的岸桥起重机结构检测系统
EP3367315A1 (de) * 2017-02-28 2018-08-29 TRUMPF Werkzeugmaschinen GmbH + Co. KG Produktionssystem und verfahren zum bedrucken und transportieren von werkstücken mittels eines unbemannten fluggeräts
CN110997488A (zh) * 2017-07-28 2020-04-10 高通股份有限公司 动态控制用于处理传感器输出数据的参数的系统和方法
US10607310B1 (en) 2017-10-17 2020-03-31 Amazon Technologies, Inc. Determining ranges by imaging devices with dynamic baseline reconfiguration
JP6944354B2 (ja) 2017-11-22 2021-10-06 川崎重工業株式会社 ロボットシステム及びそれを用いて物を作る方法
CN109838716A (zh) * 2017-11-24 2019-06-04 智飞智能装备科技东台有限公司 一种用于无人机挂载式的led辅助探照灯
JP7112978B2 (ja) * 2018-05-15 2022-08-04 東邦ガスネットワーク株式会社 検査装置
US10429487B1 (en) * 2018-05-18 2019-10-01 Here Global B.V. Drone localization
CN108845080B (zh) * 2018-06-15 2021-04-09 幻飞智控科技(上海)有限公司 一种环境监测用无人机及其监测方法
US20210298474A1 (en) * 2020-03-30 2021-09-30 Charmaine Brewer Waterproof and Fire-resistant Storage Device

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4671650A (en) 1982-09-20 1987-06-09 Crane Co. (Hydro-Aire Division) Apparatus and method for determining aircraft position and velocity
JPH0771978A (ja) * 1993-09-03 1995-03-17 Suzuki Motor Corp 自己位置認識装置
US6088469A (en) * 1996-09-30 2000-07-11 Sony Corporation Identifying apparatus and method, position detecting apparatus and method, robot apparatus and color extracting apparatus
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
US6950552B2 (en) 2001-02-05 2005-09-27 National Instruments Corporation System and method for precise location of a point of interest
JP3533204B2 (ja) * 2002-03-13 2004-05-31 株式会社日立製作所 車両位置測定装置およびそれを搭載した車両
US6678582B2 (en) * 2002-05-30 2004-01-13 Kuka Roboter Gmbh Method and control device for avoiding collisions between cooperating robots
WO2004018159A1 (ja) * 2002-08-26 2004-03-04 Sony Corporation 環境同定装置及び環境同定方法、並びにロボット装置
US7071970B2 (en) 2003-03-10 2006-07-04 Charles Benton Video augmented orientation sensor
CN101167088A (zh) * 2004-06-25 2008-04-23 数字环球股份有限公司 确定与图像相联系的位置的方法和装置
JP4460411B2 (ja) * 2004-10-01 2010-05-12 本田技研工業株式会社 ロボット制御装置
JP4262196B2 (ja) * 2004-12-14 2009-05-13 本田技研工業株式会社 自律移動ロボット
EP1717596A1 (en) * 2005-04-28 2006-11-02 Cambridge Positioning Systems Limited Transfer of position information to a mobile terminal
US8059887B2 (en) * 2006-09-25 2011-11-15 Sri International System and method for providing mobile range sensing
US7941271B2 (en) * 2006-11-21 2011-05-10 Microsoft Corporation Displaying images related to a requested path
DE102006056338A1 (de) * 2006-11-29 2008-06-05 Rohde & Schwarz Gmbh & Co. Kg Verfahren und Vorrichtung zur Bestimmung der Position eines Endgeräts in einem Mobilfunknetz
US9848172B2 (en) * 2006-12-04 2017-12-19 Isolynx, Llc Autonomous systems and methods for still and moving picture production
DE102007009851B3 (de) * 2007-02-28 2008-05-29 Kuka Roboter Gmbh Industrieroboter und Verfahren zum Bestimmen der Lage eines Industrieroboters relativ zu einem Objekt
EP1972893A1 (en) * 2007-03-21 2008-09-24 Universiteit Gent System and method for position determination
US8244469B2 (en) * 2008-03-16 2012-08-14 Irobot Corporation Collaborative engagement for target identification and tracking
US8213706B2 (en) 2008-04-22 2012-07-03 Honeywell International Inc. Method and system for real-time visual odometry
DE102009019399B4 (de) 2009-04-29 2015-09-24 Audi Ag Verfahren zur automatischen Bestimmung wenigstens einer die Änderung der Lage eines Kraftfahrzeugs beschreibenden Zielgröße
US8576069B2 (en) * 2009-10-22 2013-11-05 Siemens Corporation Mobile sensing for road safety, traffic management, and road maintenance
US8559673B2 (en) * 2010-01-22 2013-10-15 Google Inc. Traffic signal mapping and detection
CN101762277B (zh) 2010-02-01 2012-02-15 北京理工大学 基于路标导航的六自由度位置姿态确定方法
DE112011102132T5 (de) * 2010-06-25 2013-05-23 Trimble Navigation Ltd. Verfahren und Vorrichtung für eine imagebasierte Positionierung
US9013550B2 (en) * 2010-09-09 2015-04-21 Qualcomm Incorporated Online reference generation and tracking for multi-user augmented reality
JP5639945B2 (ja) * 2011-04-04 2014-12-10 株式会社日立製作所 ネットワークシステム
US9746988B2 (en) * 2011-05-23 2017-08-29 The Boeing Company Multi-sensor surveillance system with a common operating picture
US9183638B2 (en) * 2011-08-09 2015-11-10 The Boeing Company Image based position determination
US20130050499A1 (en) * 2011-08-30 2013-02-28 Qualcomm Incorporated Indirect tracking
JP5874252B2 (ja) * 2011-09-07 2016-03-02 株式会社Ihi 対象物との相対位置計測方法と装置

Also Published As

Publication number Publication date
US20140098990A1 (en) 2014-04-10
JP2014078232A (ja) 2014-05-01
US9214021B2 (en) 2015-12-15

Similar Documents

Publication Publication Date Title
JP6395362B2 (ja) 分散された位置の識別
US11866198B2 (en) Long-duration, fully autonomous operation of rotorcraft unmanned aerial systems including energy replenishment
US10565732B2 (en) Sensor fusion using inertial and image sensors
EP3158293B1 (en) Sensor fusion using inertial and image sensors
US8315794B1 (en) Method and system for GPS-denied navigation of unmanned aerial vehicles
EP3158417B1 (en) Sensor fusion using inertial and image sensors
Nguyen et al. Robust target-relative localization with ultra-wideband ranging and communication
Schmid et al. Autonomous vision‐based micro air vehicle for indoor and outdoor navigation
EP3158411B1 (en) Sensor fusion using inertial and image sensors
US9183638B2 (en) Image based position determination
Tuna et al. Unmanned aerial vehicle-aided wireless sensor network deployment system for post-disaster monitoring
US20210042522A1 (en) Method of and apparatus for analyzing images
US9746330B2 (en) System and method for localizing two or more moving nodes
Li et al. A novel distributed architecture for UAV indoor navigation
EP3788730B1 (en) Radio link coverage map and loss mitigation systems and methods
Hosseinpoor et al. Pricise target geolocation based on integeration of thermal video imagery and rtk GPS in UAVS
Klavins et al. Unmanned aerial vehicle movement trajectory detection in open environment
US20220230550A1 (en) 3d localization and mapping systems and methods
WO2021053715A1 (ja) 制御システムおよび制御方法
Sahmoudi et al. Analysis of a navigation system based on partially tight integration of IMU-visual odometry with loosely coupled GPS
Strate Self-Describing Fiducials for GPS-Denied Navigation of Unmanned Aerial Vehicles
Krüger et al. Single-Layer Laser Scanner for Detection and Localization of Unmanned Swarm Members
Serrano López Micro Aerial Vehicles (MAV) Assured Navigation in Search and Rescue Missions Robust Localization, Mapping and Detection

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180731

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180828

R150 Certificate of patent or registration of utility model

Ref document number: 6395362

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250