JP7234026B2 - 隠された対象物の操作の支援 - Google Patents

Description

本開示は、概して、隠された対象物の操作の支援に関し、詳細には、隠された対象物の３Ｄモデルを使用する、隠された対象物の操作の支援に関する。

人間の視覚とカメラのいずれかを使用するシーン（ｓｃｅｎｅ）の直接視認は、時に不可能なことがある。なぜなら、視認角度が中間物体によって覆い隠されるから、又は、当該シーンを見通すことができる視線（ＬＯＳ）を有する観察者を配置することが不可能であるからである。時には、人間が、隠されている対象物又は容易に視認できない対象物の空間的操作を試行することがある。１つの対処法では、シーンの可視性及び情報量（ｉｎｆｏｒｍａｔｉｏｎ ｃｏｎｔｅｎｔ）を人工的に強化するための、合成システム又は強化視覚システムが使用される。しかし、この対処法は、モデルベースのシーン生成の制約を受けないという特性を最大活用するものではなく、一般的には、センサからの画像表現における情報量の単純な強化に制限される。別の対処法では、ロボットサーボシステムにおいて対象物の操作を支援するための、視覚制御型ロボットシステムが使用される。この対処法も同様に、シーン内の対象物の３Ｄモデルの知識を通して得られる利点を最大活用するものではない。

したがって、上述の問題の少なくとも一部と共に、起こりうるその他の問題も考慮した、システム及び方法を有することができれば、それが望ましい。

本開示の例示的な実行形態は、隠された対象物の操作の支援を対象とする。例示的な実行形態により、シーン内の対象物の３Ｄモデルを使用して視覚化を動的に発生させることによって、オペレータが、シーン内の隠された対象物をリアルタイムで観察することが可能になりうる。例示的な実行形態により、燃料補給機やタンカーブーム（ｂｏｏｍ）といったアクチュエータのオペレータに、観察が不可能だったであろう３Ｄ空間における相互作用を、視覚化する能力が提供されうる。また、例示的な実行形態により、気付かれなかったかもしれない衝突の、標示が提供されうる。更に、例示的な実行形態は、製造又はサービスにおいて、器具設備の操作が必要とされるが直接的に視認できない場合に使用されうる。

ゆえに、本開示は、以下の例示的な実行形態を含むが、それらに限定されるわけではない。

一部の例示的な実行形態は、燃料補給機の燃料補給ブームの操作を支援するためのシステムであって、受給機に燃料補給するためのレセプタクルを有する受給機の画像を獲得するよう構成された、燃料補給機上のカメラと、カメラに連結された、燃料補給機上のプロセッサであって、少なくとも、受給機の画像上の点から、姿勢推定アルゴリズム及び受給機の画像上の点と受給機の３Ｄモデル上の対応する点との間の既知の関連性を使用して、カメラに対する受給機の配向及び位置を判断することと、受給機の配向及び位置に基づいて、燃料補給機の燃料補給ブームと受給機のレセプタクルとの分離距離及びそれぞれの位置を判断することと、燃料補給ブームとレセプタクルとの分離距離及びそれぞれの位置を使用して、燃料補給機内のディスプレイデバイス上に表示を生成することであって、この表示が、燃料補給ブームの３Ｄモデル及びレセプタクルを有する受給機の３Ｄモデルの側方斜視図の表示であり、燃料補給ブームの側方に位置付けられる仮想カメラの視点からの、当該時点のレセプタクルの位置に対する当該時点の燃料補給ブームの位置を示す、表示を生成することとを行うよう構成された、プロセッサとを備え、当該時点のレセプタクルの位置に対する当該時点の燃料補給ブームの位置を示す側方斜視図の表示は、燃料補給機上のオペレータが、燃料補給ブームを観察し、レセプタクルに誘導することを可能にする、システムを提供する。

任意の前述の例示的な実行形態又は前述の例示的な実行形態の任意の組み合わせのうちの、一部の例示的なシステムの実行形態では、プロセッサが、表示を生成するよう構成されることは、燃料補給ブームとレセプタクルとの分離距離及びそれぞれの位置に基づいて、燃料補給ブームの３Ｄモデル及び受給機の３Ｄモデルの位置を取得し、定位する（ｏｒｉｅｎｔ）よう構成されることを含む。

任意の前述の例示的な実行形態又は前述の例示的な実行形態の任意の組み合わせのうちの、一部の例示的なシステムの実行形態では、プロセッサが、表示を生成するよう構成されることは、側方斜視図に標示を重ねて、燃料補給ブームと受給機との衝突点を示すよう構成されることを含む。

任意の前述の例示的な実行形態又は前述の例示的な実行形態の任意の組み合わせのうちの、一部の例示的なシステムの実行形態では、システムは、燃料補給ブームの３Ｄモデル及び受給機の３Ｄモデルを含む、記憶デバイスを更に備える。

任意の前述の例示的な実行形態又は前述の例示的な実行形態の任意の組み合わせのうちの、一部の例示的なシステムの実行形態では、燃料補給機の燃料補給ブームのそれぞれの位置は燃料補給ブームの１つの位置を含み、プロセッサが、分離距離及びそれぞれの位置を判断するよう構成されることは、燃料補給ブーム上の一又は複数のセンサを使用して、燃料補給ブームの位置を判断するよう構成されることを含む。

任意の前述の例示的な実行形態又は前述の例示的な実行形態の任意の組み合わせのうちの、一部の例示的なシステムの実行形態では、側方斜視図の表示は、燃料補給機上のオペレータが、燃料補給ブームの先端を観察し、レセプタクルに誘導することを可能にする。

一部の例示的な実行形態は、燃料補給機の燃料補給ブームの操作を支援する方法であって、燃料補給機上のカメラによって、受給機に燃料補給するためのレセプタクルを有する受給機の画像を獲得すること、及び、燃料補給機上のプロセッサによって、受給機の画像上の点から、姿勢推定アルゴリズム及び受給機の画像上の点と受給機の３Ｄモデル上の対応する点との間の既知の関連性を使用して、カメラに対する受給機の配向及び位置を判断することと、受給機の配向及び位置に基づいて、燃料補給機の燃料補給ブームと受給機のレセプタクルとの分離距離及びそれぞれの位置を判断することと、燃料補給ブームとレセプタクルとの分離距離及びそれぞれの位置を使用して、燃料補給機内のディスプレイデバイス上に表示を生成することであって、この表示が、燃料補給ブームの３Ｄモデル及びレセプタクルを有する受給機の３Ｄモデルの側方斜視図の表示であり、燃料補給ブームの側方に位置付けられる仮想カメラの視点からの、当該時点のレセプタクルの位置に対する当該時点の燃料補給ブームの位置を示す、表示を生成することとを含み、当該時点のレセプタクルの位置に対する当該時点の燃料補給ブームの位置を示す側方斜視図の表示は、燃料補給機上のオペレータが、燃料補給ブームを観察し、レセプタクルに誘導することを可能にする、方法を提供する。

一部の例示的な実行形態は、燃料補給機の燃料補給ブームの操作を支援するための、非一過性のコンピュータ可読記憶媒体であって、コンピュータ可読プログラムコードが記憶されており、このコンピュータ可読プログラムコードが、プロセッサによって実行されることに応じて、コンピュータシステムに、少なくとも、燃料補給機上のカメラから、受給機に燃料補給するためのレセプタクルを有する受給機の画像を獲得することと、受給機の画像上の点から、姿勢推定アルゴリズム及び受給機の画像上の点と受給機の３Ｄモデル上の対応する点との間の既知の関連性を使用して、カメラに対する受給機の配向及び位置を判断することと、受給機の配向及び位置に基づいて、燃料補給機の燃料補給ブームと受給機のレセプタクルとの分離距離及びそれぞれの位置を判断することと、燃料補給ブームとレセプタクルとの分離距離及びそれぞれの位置を使用して、燃料補給機内のディスプレイデバイス上に表示を生成することであって、この表示が、燃料補給ブームの３Ｄモデル及びレセプタクルを有する受給機の３Ｄモデルの側方斜視図の表示であり、燃料補給ブームの側方に位置付けられる仮想カメラの視点からの、当該時点のレセプタクルの位置に対する当該時点の燃料補給ブームの位置を示す、表示を生成することとを実行させ、当該時点のレセプタクルの位置に対する当該時点の燃料補給ブームの位置を示す側方斜視図の表示は、燃料補給機上のオペレータが、燃料補給ブームを観察し、レセプタクルに誘導することを可能にする、コンピュータ可読記憶媒体を提供する。

本開示の、上記の特徴、態様、及び利点、及びその他の特徴、態様、及び利点は、簡潔に後述する添付図面と併せて、以下の詳細説明を読むことで自明となろう。本書に記載の具体的かつ例示的な実行形態において、この開示に明記している２つ、３つ、４つ、又はそれ以上の数の特徴又は要素が、明示的に組み合わされるか否か、又は別様に列挙されるか否かにかかわらず、本開示は、かかる特徴又は要素の任意の組み合わせを含む。この開示は、全体論的に読まれることが意図されており、これにより、本開示の分離可能ないかなる特徴又は要素も、そのいかなる態様及び例示的な実行形態においても、本開示の文脈に明記されない限りは、組み合わされることが可能であると見なされるはずである。

したがって、この「発明の概要」は、本開示のいくつかの態様の基本的な理解を供するように、いくつかの例示的な実行形態を要約することのみを目的として、提供されていると認識されよう。そのため、上述の例示的な実行形態は例に過ぎず、いかなる意味においても、本開示の範囲又は本質を狭めると解釈すべきではないことが、認識されよう。その他の例示的な実行形態、態様、及び利点は、添付図面と併せて以下の詳細説明を参照することで自明となろう。添付図面は、記載されているいくつかの例示的な実行形態の原理を、例を用いて示している。

上述のように、本開示の例示的な実行形態を一般的な用語で説明しているが、ここで添付図面を参照する。これらの図面は必ずしも正確な縮尺で描かれているわけではない。

本開示の例示的な実行形態によるシステムを利用する、例示的な燃料補給機及び受給機を示す。 本開示の例示的な実行形態によるシステムを示す。 様々な例示的な実行形態による、燃料補給ブームの３Ｄモデル及びレセプタクルを有する受給機の３Ｄモデルの側方斜視図の表示を示す。 様々な例示的な実行形態による、燃料補給ブームと受給機との衝突点を示している、側方斜視図の表示を示す。 様々な例示的な実行形態による、システムのアーキテクチャを示す。 様々な例示的な実行形態による、燃料補給機の燃料補給ブームの操作を支援する方法における様々な工程を示すフロー図である。 一部の例示的な実行形態による装置を示す。

添付図面を参照しつつ、本開示の一部の実行形態について、これより下記でより網羅的に説明する。添付図面には、本開示の実行形態の一部が示されているのであって、すべてが示されているわけではない。実際のところ、本開示の様々な実行形態は、多くの異なる形態で具現化されてよく、本書に明記されている実行形態に限定されると解釈すべきではない。むしろ、これらの例示的な実行形態は、この開示が包括的かつ完全なものになるように、かつ当業者にこの開示の範囲が十分に伝わるように、提供されている。例えば、特に明記されない限り、何かが「第１の」、「第２の」等のものであるという表現は、特定の順序を暗示していると解釈すべきではない。また、（特に明記されない限り）何か別のものの上にあると説明されうるものは、その代わりに下にあることもあり、逆もまた然りである。同様に、何か別の物の左にあると説明されうるものは、その代わりに右にあってもよく、逆もまた然りである。全体を通じて、類似の参照番号は類似の要素を表わしている。

本開示の例示的な実行形態は、概して、隠された対象物の操作の支援を対象とし、詳細には、隠された対象物の３Ｄモデルを使用する、隠された対象物の操作の支援を対象とする。

図１Ａは、本開示の例示的な実行形態によるシステムを利用する、例示的な燃料補給機及び受給機を示している。図示しているように、燃料補給機１１は、燃料補給ブーム１２を通じて、受給機１０に燃料補給している。燃料補給ブームの操作を支援するためのシステム（下記の図１Ｂで説明する）は、燃料補給機の中にありうる。

図１Ｂは、本開示の例示的な実行形態による、燃料補給機の燃料補給ブームの操作を支援するためのシステム１００を示している。このシステムは、本書では、単に「システム」と称されうる。

システム１００は、一又は複数の機能又は動作を実施するための、任意の数の異なるサブシステム（各々は個別のシステムである）のうちの任意のものを含む。図示しているように、一部の例では、システムは、一又は複数の、カメラ１０１、燃料補給機ディスプレイサブシステム１１０（本書では「サブシステム」とも称される）、及びディスプレイデバイス１０６の各々を含む。同じく図示しているように、燃料補給機ディスプレイサブシステムは、姿勢推定モジュール１０２と、３Ｄ対象物モデル１０３と、定位モジュール１０４と、レンダリング（ｒｅｎｄｅｒｉｎｇ）モジュール１０５とを含みうる。カメラとサブシステムとディスプレイデバイスとは、互いに共配置されうるか、若しくは直接的に連結されてよく、又は、一部の例では、一又は複数のコンピュータネットワークを通じて互いに通信しうる。更に、姿勢推定モジュール、３Ｄ対象物モデル、定位モジュール、及びレンダリングモジュールはシステムの一部として図示されているが、これらのうちの任意の一又は複数は、他のいかなるサブシステムにも関連せずに、別個のシステムとして機能又は動作しうることを、理解すべきである。システムは、図１Ｂに示しているもの以外に、一又は複数の追加的又は代替的なサブシステムを含みうることも、理解すべきである。

一部の例では、燃料補給機上のカメラ１０１は、受給機に燃料補給するためのレセプタクルを有する受給機の画像を獲得するよう構成される。一例では、受給機は飛行中であってよく、燃料補給機も、燃料補給ブームを通じて燃料補給機に燃料補給するという役割を果たすよう、飛行中でありうる。カメラは画像キャプチャによって画像を獲得してよく、サブシステム１１０は、カメラから画像を獲得しうる。

一部の例では、燃料補給機ディスプレイサブシステム１１０（又は、より詳細には、その姿勢推定モジュール１０２）は、カメラ１０１から画像を獲得した後に、受給機の画像上の点から、姿勢推定アルゴリズム及び受給機の画像上の点と受給機の３Ｄモデル上の対応する点との間の既知の関連性を使用して、カメラに対する受給機の配向及び位置を判断するよう、構成される。一例では、受給機の３Ｄモデルは３Ｄ対象物モデル１０３内に記憶される。

一部の例では、定位モジュール１０４は、受給機の配向及び位置に基づいて、燃料補給機の燃料補給ブームと受給機のレセプタクルとの分離距離及びそれぞれの位置を判断するよう構成される。一部の例では、燃料補給機の燃料補給ブームのそれぞれの位置は燃料補給ブームの１つの位置を含み、定位モジュールは、燃料補給ブーム上の一又は複数の位置センサを使用して、燃料補給ブームの位置を判断するよう構成される。一例では、定位モジュールは、燃料補給ブームと受給機との衝突点を判断するよう構成された、干渉算出モジュール１０４１を含む。

一部の例では、レンダリングモジュール１０５は、燃料補給ブームとレセプタクルとの分離距離及びそれぞれの位置を使用して、燃料補給機内のディスプレイデバイス１０６上に表示を生成するよう構成される。この表示は、燃料補給ブームの３Ｄモデル及びレセプタクルを有する受給機の３Ｄモデルの側方斜視図を示し、かつ、燃料補給ブームの側方に位置付けられる仮想カメラの視点からの、当該時点のレセプタクルの位置に対する当該時点の燃料補給ブームの位置を示す。当該時点のレセプタクルの位置に対する当該時点の燃料補給ブームの位置を示す側方斜視図の表示は、燃料補給機上のオペレータが、燃料補給ブームを観察し、レセプタクルに誘導することを可能にする。

一部の例では、システム１００は、燃料補給ブームの３Ｄモデル及び受給機の３Ｄモデルを含む、記憶デバイスを更に備える。一例では、記憶デバイスは、メモリ（下記の図６に示している）でありうるか、又は、別個の記憶デバイスでありうる。記憶デバイスには３Ｄ対象物モデル１０３が記憶されうる。姿勢推定モジュール１０２及び定位モジュール１０４は、記憶デバイスから、燃料補給ブームの３Ｄモデル及び受給機の３Ｄモデルを取得しうる。

一部の例では、レンダリングモジュール１０５は、表示を生成するために、燃料補給ブームとレセプタクルとの分離距離及びそれぞれの位置に基づいて、燃料補給ブームの３Ｄモデル及び受給機の３Ｄモデルの位置を取得し、定位するよう構成される。一部の例では、レンダリングモジュールは、側方斜視図に標示を重ねて、燃料補給ブームと受給機との衝突点を示すよう構成される。

上述したように、レンダリングモジュール１０５は、燃料補給機上のオペレータが燃料補給ブームを観察し、レセプタクルに誘導することを可能にするための、表示を生成しうる。一部の例では、側方斜視図の表示は、燃料補給機上のオペレータが、燃料補給ブームの先端を観察し、レセプタクルに誘導することを可能にする。

図２は、様々な例示的な実行形態による、システム１００のレンダリングモジュール１０５によって生成された、燃料補給ブーム２１１の３Ｄモデル及びレセプタクル２０２を有する受給機２０１の３Ｄモデルの側方斜視図の表示２００を示している。図２は、燃料補給機の燃料補給ブームと受給機との間の相互作用の視覚化の一例を示している。この例では、燃料補給機のオペレータ（人間と自動システムのいずれかでありうる）は、受給機のレセプタクル内への燃料補給ブームの先端２１２の誘導を、試行している。燃料補給ブーム自体により、先端はオペレータの視点から隠されている。別の例では、先端は挟角で視認されうる。この遮蔽性又は挟角視点により、先端とレセプタクルとの位置合わせは困難になりうる。

一例では、図２の表示２００は、合成視点からの側方斜視図の描出を表わしている。この側方斜視図は、当該時点のレセプタクル２０２の位置に対する当該時点の燃料補給ブーム２１１の位置を示すシーンを含む。図２に示しているシーンでは、シーン内の全ての対象物（例えば、レセプタクルを有する受給機２０１、及び先端２１２を有する燃料補給ブーム）が、３Ｄモデルによって表わされている。燃料補給ブームの位置は、指令関節位置についての知識から推測されうるか、又は、燃料補給ブーム上のセンサにより測定されうる。更なる力により燃料補給ブームが進路変更した場合、燃料補給ブームの構造体上の具体的な点を特定して、燃料補給ブーム又は先端２１２の位置の推定を向上させるために、画像処理が使用されうる。受給機は、その位置がセンサによって直接的に測定されないことがある対象物でありうる。その代わりに、受給機の位置は、燃料補給航空機上のカメラ１０１により獲得された画像に基づいて、測定されうる。例えば、６Ｄ空間（すなわち３Ｄ位置及び３Ｄ配向）における受給機の配向又は姿勢は、測定された画像座標又は画像内の点に対して動作する姿勢推定アルゴリズムを使用して、判断されうる。測定された画像座標又は点は、受給機の３Ｄモデル上に、対応する既知の点を有する。

一例では、表示２００は、レンダリングモジュール１０５によって生成され、燃料補給機内のディスプレイデバイス１０６上に表示される、合成画像でありうる。この表示は、燃料補給ブーム２１１の３Ｄモデル及びレセプタクル２０２を有する受給機２０１の３Ｄモデルの側方斜視図を示す。側方斜視図の表示は、燃料補給機上のオペレータが、燃料補給ブームを観察し、レセプタクルに誘導することを可能にする。換言すると、この側方斜視図は、まるで、仮想カメラが、燃料補給ブームの側方に位置付けられており、側方斜視図を捕捉しているかのように、生成される。図２に示しているように、燃料補給機上のオペレータの視点からは隠されていることがある燃料補給ブームの先端２１２が、燃料補給機内のディスプレイデバイス上に表示される表示（合成画像）では視認されうる。

図３は、様々な例示的な実行形態による、システム１００のレンダリングモジュール１０５によって生成された、燃料補給ブーム２１１と受給機２０１との衝突点を示す側方斜視図の表示３００を示している。上述したように、一部の例では、レンダリングモジュール１０５は、側方斜視図に標示を重ねて、燃料補給ブームと受給機との衝突点を示すよう構成される。図３は、衝突点３０１及び３０２を示すための注釈付き標示（ａｎｎｏｔａｔｅｄ ｉｎｄｉｃｉａ）を含む、表示を示している。衝突点は、先端２１２と受給機又はレセプタクル２０２との、実際の又は起こりうる衝突又は接触（例えばスクラッチ）を示しうる。一例では、燃料補給ブームと受給機との衝突は、６Ｄ空間（すなわち３Ｄ位置と３Ｄ配向）におけるそれらの配向に基づいて、干渉算出モジュール１０４１によって算出されうる。衝突は、燃料補給ブームと受給機との接触が発生したこと、又は今にも発生しそうなことを、オペレータに警告するために表示されうる。

一例では、表示２００又は３００は合成視覚化を提示可能であり、システム１００は、リアルタイムで、又は若干の処理遅延（プロセッサのスピードによってしか制限されない）を伴って、算出と衝突警報の提供とを行いうる。

図４は、様々な例示的な実行形態による、システム１００のアーキテクチャ４００を示している。図示しているように、複数の対象物（例えば対象物４０１、４０２、及び４０３）は、シーン内に存在しうる対象物である。対象物４０１及び対象物４０２は、それぞれの位置センサ４０４及び４０５を有しうる。センサ４０４と４０５はそれぞれ、対象物４０１と４０２に取り付けられ、対象物４０１と４０２の位置を直接的に測定しうる。一例では、対象物４０１と４０２はそれぞれ、燃料補給ブーム２１１と先端２１２でありうる。

対象物４０３は、センサを通じて直接的に測定されるわけではないこともある。その代わりに、対象物の位置は、燃料補給機上のカメラ４０６（カメラ１０１に対応している）によって獲得された画像に基づいて、間接的に測定されうる。画像は、姿勢推定アルゴリズムを使用して、姿勢推定モジュール４０７（姿勢推定モジュール１０２に対応している）を通じて解析されうる。姿勢推定モジュールは、既知の３Ｄ関連性を有する画像内の特徴点の場所を見い出し、この関連性を、対象物の態勢（ａｔｔｉｔｕｄｅ）、配向、及び位置（姿勢）を算出するために使用しうる。一例では、対象物は、レセプタクル２０２を有する受給機２０１でありうる。

一例では、直接的又は間接的に測定された、対象物４０１、４０２、及び４０３の位置データは、定位モジュール４０９（定位モジュール１０４に対応している）に送信される。定位モジュールは、３Ｄ対象物モデル４０８（３Ｄ対象物モデル１０３に対応している）から、対象物４０１、４０２、及び４０３の３Ｄモデルを取得しうる。３Ｄ対象物モデルは、シーン内に出現すると予測されうる既知の対象物の３Ｄモデルを含みうる。定位モジュールは、位置データから対象物の位置、配向、及び態勢の測定値を取り込み、これらの情報と対象物の適切な３Ｄモデルとを関連付けうる。定位モジュールは、位置データに基づいて、対象物同士の分離距離及びそれぞれの位置を判断しうる。一例では、定位モジュールにより、干渉算出モジュール４１０（干渉算出モジュール１０４１に対応している）が、対象物同士の空間的な重複（干渉）を判断することが可能になり、これによって、衝突警報又は衝突インジケータの生成が可能になりうる。

一例では、レンダリングモジュール４１１（レンダリングモジュール１０５に対応している）は、対象物４０１、４０２、及び４０３の３Ｄモデルを、それらが測定された位置及び配向において描出し、かつ、外部に画定された視点４１２からの、このシーンの合成画像を作り出しうる。一例では、オペレータが思い通りに視点を選択しうる。合成画像は次いで、人が視認するために、ディスプレイ４１３（ディスプレイ１０６に対応している）上に提示されうる。ゆえに、レンダリングモジュールは、思い通りの視点からのシーンの合成表現を描出しうる。レンダリングモジュールは、描出用のハードウェア又はソフトウェアを含みうる。本書で使用される場合、モジュールという語は、一又は複数の機能を実施するよう動作する、ハードウェアシステム及び／又はソフトウェアモジュールを含みうる。例えば、姿勢推定モジュール、配向推定モジュール、及びレンダリングモジュールは、例えば有形かつ非一過性のコンピュータ可読記憶媒体（コンピュータメモリなど）に記憶された命令に基づいて、前述の機能及び下記の図５におけるフロー図を実現するよう動作を実施する、コンピュータプロセッサ、コントローラ、又はその他の論理ベースデバイスを含みうる。あるいは、姿勢推定モジュール、配向推定モジュール、レンダリングモジュール、及びシステムは、デバイスのハードワイヤード論理に基づいて動作を実施する、ハードワイヤードデバイスを含みうる。説明しているモジュール及び添付図に示しているフロー図は、ソフトウェア命令とハードウェア論理に基づいて動作するハードウェアか、動作を実施するようハードウェアに指示するソフトウェアか、又はこれらの組み合わせを表わしうる。

一例では、レンダリングモジュール４１１は、対象物４０１、４０２、及び４０３の実際に測定された位置及び配向によって駆動されてよく、かつ、仮想シーン及び衝突警報を生成するためのエンジンとして作動しうる。対象物の推定された位置及び配向は、合成シーンのリアルタイム更新を提供するために、レンダリングモジュールによって入力として使用されうる。対象物の推定された位置及び配向は、例えば２つの表面が空間内でどれほど近接しているかについての、インジケータとしても使用されてよく、かつ、この２つの表面が衝突する場合に警報を提供するために使用されうる。レンダリングモジュールは、手動での対象物の操作を試行していることがある人間の観察者に、リアルタイム画像を提供しうる。一例では、シーン内の対象物が、既知ではないが、限定的な一連の可能性から選ばれるものである場合、対象物を特定し、対象物同士を区別するために、システム１００により更なる画像処理が実施されうる。

図５は、様々な例示的な実行形態による、燃料補給機の燃料補給ブーム２１１の操作を支援する方法５００における様々な工程を示すフロー図である。図示しているように、ブロック５０１において、方法５００は、燃料補給機上のカメラ１０１によって、受給機に燃料補給するためのレセプタクル２０２を有する受給機２０１の画像を獲得することを含む。

ブロック５０２において、方法５００は、受給機２０１の画像上の点から、姿勢推定アルゴリズム及び受給機の画像上の点と受給機の３Ｄモデル上の対応する点との間の既知の関連性を使用して、カメラ１０１に対する受給機の配向及び位置を判断することを含む。ブロック５０３において、方法は、受給機の配向及び位置に基づいて、燃料補給機の燃料補給ブーム２１１と受給機のレセプタクル２０２との分離距離及びそれぞれの位置を判断することを含む。

ブロック５０４において、方法５００は、燃料補給ブーム２１１とレセプタクル２０２との分離距離及びそれぞれの位置を使用して、燃料補給機内のディスプレイデバイス１０６上に表示を生成することであって、この表示が、燃料補給ブームの３Ｄモデル及びレセプタクルを有する受給機２０１の３Ｄモデルの側方斜視図の表示であり、燃料補給ブームの側方に位置付けられる仮想カメラの視点からの、当該時点のレセプタクルの位置に対する当該時点の燃料補給ブームの位置を示す、表示を生成することを含む。一部の例では、当該時点のレセプタクルの位置に対する当該時点の燃料補給ブームの位置を示す側方斜視図の表示は、燃料補給機上のオペレータが、燃料補給ブームを観察し、レセプタクルに誘導することを可能にする。

本開示の例示的な実行形態によれば、燃料補給機ディスプレイサブシステム１１０と、燃料補給機の姿勢推定モジュール１０２、３Ｄ対象物モデル１０３、定位モジュール１０４、及びレンダリングモジュール１０５とは、様々な手段によって実装されうる。かかる手段は、独立型の（ａｌｏｎｅ）、又は、コンピュータ可読記憶媒体の一又は複数のコンピュータプログラムの指示を受ける、ハードウェアを含みうる。一部の例では、一又は複数の装置は、本書で図示及び説明されている燃料補給機ディスプレイサブシステム１１０として機能するよう、又は別様にかかる燃料補給機ディスプレイサブシステム１１０を実装するよう、構成されうる。１を上回る数の装置を伴う例では、それぞれの装置は、いくつかの異なる様態で（例えば直接的に、又は、有線若しくは無線のネットワークなどを介して間接的に）、互いに接続されうるか、又は別様に互いに通信可能でありうる。

図６は、一部の例示的な実行形態による装置６００を示している。通常、本開示の例示的な実行形態の装置は、一又は複数の固定的な若しくは携帯式の電子デバイスを備えうるか、かかる電子デバイスを含みうるか、又は、かかる電子デバイスにおいて具現化されうる。好適な電子デバイスの例は、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーションコンピュータ、サーバコンピュータなどを含む。装置は、一又は複数の、例えばメモリ６０２（記憶デバイスなど）に接続されたプロセッサ６０１（処理回路など）といったいくつかの構成要素の各々を、含みうる。一部の例では、装置６００により、燃料補給機ディスプレイサブシステム１１０が実装される。

プロセッサ６０１は、独立型の、又は、一又は複数のメモリと組み合わされた、一又は複数のプロセッサで構成されうる。プロセッサは、概括的には、情報（例えば、データ、コンピュータプログラム、及び／又はその他の好適な電子情報など）を処理することが可能な、任意のコンピュータハードウェアである。プロセッサは、電子回路の集合体で構成され、その一部は、１つの集積回路又は相互接続された複数の集積回路としてパッケージングされうる（集積回路はより一般的には「チップ（ｃｈｉｐ）」と称されることもある）。プロセッサは、コンピュータプログラムを実行するよう構成されてよく、このコンピュータプログラムは、プロセッサに搭載された状態で記憶されうるか、又は別様に（同じ又は別の装置の）メモリ６０２内に記憶されうる。

プロセッサ６０１は、特定の実行形態に応じて、いくつかのプロセッサ、１つのマルチプロセッサコア、又は他の何らかの種類のプロセッサでありうる。更に、プロセッサは、いくつかのヘテロジニアスプロセッサシステム（メインプロセッサが、一又は複数の二次プロセッサと共に単一のチップ上に存在している）を使用して、実装されうる。別の実施例としては、プロセッサは、複数の同種のプロセッサを包含する、対称型マルチプロセッサシステムでありうる。さらに別の例では、プロセッサは、一又は複数のＡＳＩＣやＦＰＧＡなどとして具現化されうるか、又は別様に、それらを含みうる。ゆえに、プロセッサは一又は複数の機能を実施するためにコンピュータプログラムを実行することが可能でありうるが、様々な例のプロセッサは、コンピュータプログラムの支援がなくとも、一又は複数の機能を実施することが可能でありうる。いずれの事例においても、プロセッサは、本開示の例示的な実行形態により機能又は動作を実施するよう、適切にプログラムされうる。

メモリ６０２は、概括的には、一時的かつ／又は恒久的に、例えば、データ、コンピュータプログラム（コンピュータ可読プログラムコード６０３など）、及び／又はその他の好適な情報といった、情報を記憶することが可能な、任意のコンピュータハードウェアである。メモリは、揮発性及び／又は不揮発性のメモリを含んでよく、かつ、固定されうるか又は取り外し可能でありうる。好適なメモリの例は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、ハードドライブ、フラッシュメモリ、サムドライブ、取り外し可能コンピュータディスケット、光ディスク、磁気テープ、又は、これらの何らかの組み合わせを含む。光ディスクは、ＣＤ－ＲＯＭ、ＣＤ－Ｒ／Ｗ、ＤＶＤなどを含みうる。様々な事例において、メモリはコンピュータ可読記憶媒体と称されうる。コンピュータ可読記憶媒体は、情報を記憶することが可能な非一過性デバイスであり、コンピュータ可読伝送媒体（ある場所から別の場所へと情報を運ぶことが可能な一過性の電子信号など）とは区別されうる。本書に記載のコンピュータ可読媒体は、概括的には、コンピュータ可読記憶媒体又はコンピュータ可読伝送媒体を表わしうる。

プロセッサ６０１は、メモリ６０２に加えて、情報を表示し、送信し、かつ／又は受信するための一又は複数のインターフェースにも接続されうる。このインターフェースは、通信インターフェース６０４（例えば通信ユニット）、及び／又は一又は複数のユーザインターフェースを含みうる。通信インターフェースは、例えば他の装置（複数可）やネットワーク（複数可）などとの間で、情報を送信及び／又は受信するよう構成されうる。通信インターフェースは、物理的な（有線の）及び／又は無線の通信リンクにより情報を送信及び／又は受信するよう、構成されうる。好適な通信インターフェースの例は、ネットワークインターフェースコントローラ（ＮＩＣ）、無線ＮＩＣ（ＷＮＩＣ）などを含む。

ユーザインターフェースは、ディスプレイ６０６及び／又は一又は複数のユーザ入力インターフェース６０５（例えば、入出力ユニット）を含みうる。ディスプレイは、ユーザに情報を提示するか、又は別様に表示するよう構成されてよく、その好適な例は、液晶ディスプレイ（ＬＣＤ）、発光ダイオードディスプレイ（ＬＥＤ）、プラズマディスプレイパネル（ＰＤＰ）などを含む。ユーザ入力インターフェースは、有線又は無線であってよく、かつ、例えば処理、記憶、及び／又は表示のための装置内にユーザからの情報を受信するよう構成されうる。ユーザ入力インターフェースの好適な例は、マイク、画像又はビデオのキャプチャデバイス、キーボード又はキーパッド、ジョイスティック、（タッチスクリーンとは別個の、又はタッチスクリーンに統合された）タッチ感応面、生物測定センサなどを含む。ユーザインターフェースは、周辺機器（例えばプリンタやスキャナなど）と通信するための、一又は複数のインターフェースを更に含みうる。一部の例では、ユーザインターフェースはＧＵＩ１０６を含む。

上述したように、プログラムコード命令は、本書に記載のシステム、サブシステム、ツール、及びそれらの各々の要素の機能を実装するために、メモリに記憶され、プロセッサ（プログラムコード命令によってプログラムされる）によって実行されうる。認識されることであるが、ある特定の機械を、本書で特定されている機能を実装するための手段となるようにするために、任意の好適なプログラムコード命令が、コンピュータ可読記憶媒体からコンピュータ又はその他のプログラマブル装置に読み込まれうる。これらのプログラムコード命令はコンピュータ可読記憶媒体に記憶されてもよく、コンピュータ可読記憶媒体は、コンピュータ、プロセッサ、又はその他のプログラマブル装置に特定の様態で機能するよう指示することにより、ある特定の機械又は製造品を作り出すことが可能である。コンピュータ可読記憶媒体に記憶された命令により、製造品が作り出されてよく、この製造品が、本書に記載の機能を実装するための手段となる。プログラムコード命令は、コンピュータ、プロセッサ、又はその他のプログラマブル装置上で又はコンピュータ、プロセッサ、又はその他のプログラマブル装置によって実施されるべき動作を実行するよう、かかるコンピュータ、プロセッサ、又はその他のプログラマブル装置を構成するために、コンピュータ可読記憶媒体から読み出され、かつ、かかるコンピュータ、プロセッサ、又はその他のプログラマブル装置に読み込まれうる。

プログラムコード命令の読み出し、読み込み、及び実行は、一度に１つの命令が読み出され、読み込まれ、かつ実行されるように、連続的に実施されうる。一部の例示的な実行形態では、複数の命令をまとめて読み出し、読み込み、かつ／又は実行するように、読み出し、読み込み、及び／又は実行が、並行して実施されることもある。コンピュータ、プロセッサ、又はその他のプログラマブル装置によって実行される命令が、本書に記載の機能を実装するための動作を提供するように、プログラムコード命令の実行により、コンピュータ実装型プロセスが生成されうる。

プロセッサによる命令の実行、又は、コンピュータ可読記憶媒体における命令の記憶により、特定の機能を実施するための動作の組み合わせがサポートされる。この様態では、装置６００は、プロセッサ６０１と、プロセッサに連結されたコンピュータ可読記憶媒体又はメモリ６０２とを含んでよく、プロセッサは、メモリに記憶されたコンピュータ可読プログラムコード６０３を実行するよう構成される。一又は複数の機能及び機能の組み合わせは、特殊用途ハードウェアベースのコンピュータシステム及び／若しくは特定の機能を実施するプロセッサ、又は、特殊用途ハードウェアとプログラムコード命令との組み合わせによって実装されうることも、理解されよう。

本開示の例示的な実行形態により、上述した燃料補給機の燃料補給ブームの操作の支援に関する即時認識が得られる。本開示の例示的な実行形態は、対象物の相互作用の直接視認が求められるが、それを実現することが不可能な、いかなる状況にも適用されうる。本開示の例示的な実行形態は、好適な対象物姿勢推定装置と連結されて、例えば、誘導滑走路上の複数の航空機の所在地を視覚化し、それらの近接度を算出して衝突回避を支援するために、使用されうる。別の例では、本開示の例示的な実行形態は、衛星上で任務を遂行する必要があるロボットアームを操作するのに使用されうる。

更に、本開示は、以下の条項による実施形態を含む。

条項１．燃料補給機の燃料補給ブーム（２１１）の操作を支援するためのシステム（１００）であって、
受給機（２０１）に燃料補給するためのレセプタクル（２０２）を有する受給機の画像を獲得する（５０１）よう構成された、燃料補給機上のカメラ（１０１）と、
カメラに連結された、燃料補給機上のプロセッサ（６０１）であって、少なくとも、
受給機の画像上の点から、姿勢推定アルゴリズム及び受給機の画像上の点と受給機の３Ｄモデル上の対応する点との間の既知の関連性を使用して、カメラに対する受給機の配向及び位置を判断すること（５０２）と、
受給機の配向及び位置に基づいて、燃料補給機の燃料補給ブームと受給機のレセプタクルとの分離距離及びそれぞれの位置を判断すること（５０３）と、
燃料補給ブームとレセプタクルとの分離距離及びそれぞれの位置を使用して、燃料補給機内のディスプレイデバイス（１０６）上に表示（２００、３００）を生成すること（５０４）であって、この表示が、燃料補給ブームの３Ｄモデル及びレセプタクルを有する受給機の３Ｄモデルの側方斜視図の表示であり、燃料補給ブームの側方に位置付けられる仮想カメラの視点からの、当該時点のレセプタクルの位置に対する当該時点の燃料補給ブームの位置を示す、表示を生成することとを行うよう構成された、
プロセッサとを備え、
当該時点のレセプタクルの位置に対する当該時点の燃料補給ブームの位置を示す側方斜視図の表示は、燃料補給機上のオペレータが、燃料補給ブームを観察し、レセプタクルに誘導することを可能にする、
システム（１００）。

条項２．プロセッサ（６０１）が、表示（２００、３００）を生成するよう構成されることは、燃料補給ブーム（２１１）とレセプタクル（２０２）との分離距離及びそれぞれの位置に基づいて、燃料補給ブームの３Ｄモデル及び受給機（２０１）の３Ｄモデルの位置を取得し、定位するよう構成されることを含む、条項１に記載のシステム（１００）。

条項３．プロセッサが、表示（２００、３００）を生成するよう構成されることは、側方斜視図に標示を重ねて、燃料補給ブーム（２１１）と受給機（２０１）との衝突点（３０１）を示すよう構成されることを含む、条項１に記載のシステム（１００）。

条項４．燃料補給ブーム（２１１）の３Ｄモデル及び受給機（２０１）の３Ｄモデルを含む、記憶デバイス（６０２）を更に備える、条項１に記載のシステム（１００）。

条項５．燃料補給機の燃料補給ブーム（２１１）のそれぞれの位置は燃料補給ブームの１つの位置を含み、プロセッサ（６０１）が、分離距離及びそれぞれの位置を判断するよう構成されることは、燃料補給ブーム上の一又は複数のセンサ（４０４、４０５）を使用して、燃料補給ブームの位置を判断するよう構成されることを含む、条項１に記載のシステム（１００）。

条項６．側方斜視図の表示（２００、３００）は、燃料補給機上のオペレータが、燃料補給ブーム（２１１）の先端（２１２）を観察し、レセプタクル（２０２）に誘導することを可能にする、条項１に記載のシステム（１００）。

条項７．燃料補給機の燃料補給ブーム（２１１）の操作を支援する方法（５００）であって、
燃料補給機上のカメラ（１０１）によって、受給機（２０１）に燃料補給するためのレセプタクル（２０２）を有する受給機の画像を獲得すること（５０１）、及び、燃料補給機上のプロセッサによって、
受給機の画像上の点から、姿勢推定アルゴリズム及び受給機の画像上の点と受給機の３Ｄモデル上の対応する点との間の既知の関連性を使用して、カメラに対する受給機の配向及び位置を判断すること（５０２）と、
受給機の配向及び位置に基づいて、燃料補給機の燃料補給ブームと受給機のレセプタクルとの分離距離及びそれぞれの位置を判断すること（５０３）と、
燃料補給ブームとレセプタクルとの分離距離及びそれぞれの位置を使用して、燃料補給機内のディスプレイデバイス（１０６）上に表示（２００、３００）を生成すること（５０４）であって、この表示が、燃料補給ブームの３Ｄモデル及びレセプタクルを有する受給機の３Ｄモデルの側方斜視図の表示であり、燃料補給ブームの側方に位置付けられる仮想カメラの視点からの、当該時点のレセプタクルの位置に対する当該時点の燃料補給ブームの位置を示す、表示を生成することとを含み、
当該時点のレセプタクルの位置に対する当該時点の燃料補給ブームの位置を示す側方斜視図の表示は、燃料補給機上のオペレータが、燃料補給ブームを観察し、レセプタクルに誘導することを可能にする、
方法（５００）。

条項８．表示（２００、３００）を生成することが、燃料補給ブーム（２１１）とレセプタクル（２０２）との分離距離及びそれぞれの位置に基づいて、燃料補給ブームの３Ｄモデル及び受給機（２０１）の３Ｄモデルの位置を取得し、定位することを含む、条項７に記載の方法（５００）。

条項９．表示（２００、３００）を生成することが、側方斜視図に標示を重ねて、燃料補給ブーム（２１１）と受給機（２０１）との衝突点（３０１）を示すことを含む、条項７に記載の方法（５００）。

条項１０．記憶デバイス（６０２）から、燃料補給ブーム（２１１）の３Ｄモデル及び受給機（２０１）の３Ｄモデルを取得することを更に含む、条項７に記載の方法（５００）。

条項１１．燃料補給機の燃料補給ブーム（２１１）のそれぞれの位置は燃料補給ブームの１つの位置を含み、分離距離及びそれぞれの位置を判断することは、燃料補給ブーム上の一又は複数のセンサ（４０４、４０５）を使用して、燃料補給ブームの位置を判断することを含む、条項７に記載の方法（５００）。

条項１２．側方斜視図の表示（２００、３００）は、燃料補給機上のオペレータが、燃料補給ブーム（２１１）の先端（２１２）を観察し、レセプタクル（２０２）に誘導することを可能にする、条項７に記載の方法（５００）。

条項１３．燃料補給機の燃料補給ブーム（２１１）の操作を支援するための、非一過性のコンピュータ可読記憶媒体（６０２）であって、コンピュータ可読プログラムコード（６０３）が記憶されており、このコンピュータ可読プログラムコードが、プロセッサ（６０１）によって実行されることに応じて、コンピュータシステム（１１０）に、少なくとも、
燃料補給機上のカメラ（１０１）から、受給機（２０１）に燃料補給するためのレセプタクル（２０２）を有する受給機の画像を獲得すること（５０１）と、
受給機の画像上の点から、姿勢推定アルゴリズム及び受給機の画像上の点と受給機の３Ｄモデル上の対応する点との間の既知の関連性を使用して、カメラに対する受給機の配向及び位置を判断すること（５０２）と、
受給機の配向及び位置に基づいて、燃料補給機の燃料補給ブームと受給機のレセプタクルとの分離距離及びそれぞれの位置を判断すること（５０３）と、
燃料補給ブームとレセプタクルとの分離距離及びそれぞれの位置を使用して、燃料補給機内のディスプレイデバイス（１０６）上に表示（２００、３００）を生成すること（５０４）であって、この表示が、燃料補給ブームの３Ｄモデル及びレセプタクルを有する受給機の３Ｄモデルの側方斜視図の表示であり、燃料補給ブームの側方に位置付けられる仮想カメラの視点からの、当該時点のレセプタクルの位置に対する当該時点の燃料補給ブームの位置を示す、表示を生成することとを実行させ、
当該時点のレセプタクルの位置に対する当該時点の燃料補給ブームの位置を示す側方斜視図の表示は、燃料補給機上のオペレータが、燃料補給ブームを観察し、レセプタクルに誘導することを可能にする、
コンピュータ可読記憶媒体（６０２）。

条項１４．コンピュータシステム（１１０）に、表示（２００、３００）を生成することを実行させることが、燃料補給ブーム（２１１）とレセプタクル（２０２）との分離距離及びそれぞれの位置に基づいて、燃料補給ブームの３Ｄモデル及び受給機（２０１）の３Ｄモデルの位置を取得し、定位することを実行させることを含む、条項１３に記載のコンピュータ可読記憶媒体（６０２）。

条項１５．コンピュータシステム（１１０）に、表示（２００、３００）を生成することを実行させることが、側方斜視図に標示を重ねて、燃料補給ブーム（２１１）と受給機（２０１）との衝突点（３０１）を示すことを実行させることを含む、条項１３に記載のコンピュータ可読記憶媒体（６０２）。

条項１６．コンピュータシステム（１１０）に、記憶デバイス（６０２）から、燃料補給ブーム（２１１）の３Ｄモデル及び受給機（２０１）の３Ｄモデルを取得することを更に実行させる、条項１３に記載のコンピュータ可読記憶媒体（６０２）。

条項１７．燃料補給機の燃料補給ブーム（２１１）のそれぞれの位置は燃料補給ブームの１つの位置を含み、コンピュータシステム（１１０）に、分離距離及びそれぞれの位置を判断することを実行させることが、燃料補給ブーム上の一又は複数のセンサ（４０４、４０５）を使用して、燃料補給ブームの位置を判断することを実行させることを含む、条項１３に記載のコンピュータ可読記憶媒体（６０２）。

条項１８．側方斜視図の表示（２００、３００）は、燃料補給機上のオペレータが、燃料補給ブーム（２１１）の先端（２１２）を観察し、レセプタクル（２０２）に誘導することを可能にする、条項１３に記載のコンピュータ可読記憶媒体（６０２）。

上述の説明及び関連図面に提示されている教示の恩恵を受ける、本開示に関連する当業者には、本書に明記された本開示の多数の改変例及びその他の実行形態が想起されよう。したがって、本開示は開示されている特定の実行形態に限定されるものではないこと、及び、改変例及びその他の実行形態も付随する特許請求の範囲に含まれることが意図されていることを、理解されたい。更に、上述の説明及び関連図面は、要素及び／又は機能の特定の例示的な組み合わせに照らして例示的な実行形態を説明しているが、付随する特許請求の範囲から逸脱しなければ、代替的な実行形態によって、要素及び／又は機能の様々な組み合わせが提供されうることを、認識すべきである。つまり、付随する特許請求の範囲の一部に明記されうるように、例えば、明示的に上述されているものと異なる要素及び／又は機能の組み合わせも想定される。本書では特定の用語が用いられているが、それらは、一般的かつ解説的な意味でのみ使用されており、限定を目的とするものではない。

Claims (12)

1. 燃料補給機の燃料補給ブーム（２１１）の操作を支援するためのシステム（１００）であって、
   受給機（２０１）に燃料補給するためのレセプタクル（２０２）を有する前記受給機の画像を獲得する（５０１）よう構成された、前記燃料補給機上のカメラ（１０１）と、
   前記カメラに連結された、前記燃料補給機上のプロセッサ（６０１）であって、少なくとも、
   前記受給機の前記画像上の点から、姿勢推定アルゴリズム及び前記受給機の前記画像上の前記点と前記受給機の３Ｄモデル上の対応する点との間の既知の関連性を使用して、前記カメラに対する前記受給機の配向及び位置を判断すること（５０２）と、
   前記受給機の前記配向及び前記位置に基づいて、前記燃料補給機の前記燃料補給ブームと前記受給機の前記レセプタクルとの分離距離及びそれぞれの位置を判断すること（５０３）と、
   前記燃料補給ブームと前記レセプタクルとの前記分離距離及び前記それぞれの位置を使用して、前記燃料補給機内のディスプレイデバイス（１０６）上に表示（２００、３００）を生成すること（５０４）であって、前記表示が、前記燃料補給ブームの３Ｄモデル及び前記レセプタクルを有する前記受給機の前記３Ｄモデルの側方斜視図の表示であり、前記燃料補給ブームの側方に位置付けられる仮想カメラの視点からの、当該時点の前記レセプタクルの位置に対する当該時点の前記燃料補給ブームの位置を示す、表示を生成することとを行うよう構成された、
   プロセッサとを備え、
   前記当該時点の前記レセプタクルの位置に対する前記当該時点の前記燃料補給ブームの位置を示す前記側方斜視図の前記表示は、前記燃料補給機上のオペレータが、前記燃料補給ブームを観察し、前記レセプタクルに誘導することを可能にする、
   システム（１００）。
2. 前記プロセッサ（６０１）が、前記表示（２００、３００）を生成するよう構成されることは、前記燃料補給ブーム（２１１）と前記レセプタクル（２０２）との前記分離距離及び前記それぞれの位置に基づいて、前記燃料補給ブームの前記３Ｄモデル及び前記受給機（２０１）の前記３Ｄモデルの位置を取得し、定位するよう構成されることを含む、請求項１に記載のシステム（１００）。
3. 前記プロセッサが、前記表示（２００、３００）を生成するよう構成されることは、前記側方斜視図に標示を重ねて、前記燃料補給ブーム（２１１）と前記受給機（２０１）との衝突点（３０１）を示すよう構成されることを含む、請求項１又は２に記載のシステム（１００）。
4. 前記燃料補給ブーム（２１１）の前記３Ｄモデル及び前記受給機（２０１）の前記３Ｄモデルを含む記憶デバイス（６０２）を更に備える、請求項１から３のいずれか一項に記載のシステム（１００）。
5. 前記燃料補給機の前記燃料補給ブーム（２１１）の前記それぞれの位置は前記燃料補給ブームの１つの位置を含み、前記プロセッサ（６０１）が、前記分離距離及び前記それぞれの位置を判断するよう構成されることは、前記燃料補給ブーム上の一又は複数のセンサ（４０４、４０５）を使用して、前記燃料補給ブームの位置を判断するよう構成されることを含む、請求項１から４のいずれか一項に記載のシステム（１００）。
6. 前記側方斜視図の前記表示（２００、３００）は、前記燃料補給機上の前記オペレータが、前記燃料補給ブーム（２１１）の先端（２１２）を観察し、前記レセプタクル（２０２）に誘導することを可能にする、請求項１から５のいずれか一項に記載のシステム（１００）。
7. 燃料補給機の燃料補給ブーム（２１１）の操作を支援する方法（５００）であって、
   前記燃料補給機上のカメラ（１０１）によって、受給機（２０１）に燃料補給するためのレセプタクル（２０２）を有する前記受給機の画像を獲得すること（５０１）、及び、前記燃料補給機上のプロセッサによって、
   前記受給機の前記画像上の点から、姿勢推定アルゴリズム及び前記受給機の前記画像上の前記点と前記受給機の３Ｄモデル上の対応する点との間の既知の関連性を使用して、前記カメラに対する前記受給機の配向及び位置を判断すること（５０２）と、
   前記受給機の前記配向及び前記位置に基づいて、前記燃料補給機の前記燃料補給ブームと前記受給機の前記レセプタクルとの分離距離及びそれぞれの位置を判断すること（５０３）と、
   前記燃料補給ブームと前記レセプタクルとの前記分離距離及び前記それぞれの位置を使用して、前記燃料補給機内のディスプレイデバイス（１０６）上に表示（２００、３００）を生成すること（５０４）であって、前記表示が、前記燃料補給ブームの３Ｄモデル及び前記レセプタクルを有する前記受給機の前記３Ｄモデルの側方斜視図の表示であり、前記燃料補給ブームの側方に位置付けられる仮想カメラの視点からの、当該時点の前記レセプタクルの位置に対する当該時点の前記燃料補給ブームの位置を示す、表示を生成することとを含み、
   前記当該時点の前記レセプタクルの位置に対する前記当該時点の前記燃料補給ブームの位置を示す前記側方斜視図の前記表示は、前記燃料補給機上のオペレータが、前記燃料補給ブームを観察し、前記レセプタクルに誘導することを可能にする、
   方法（５００）。
8. 前記表示（２００、３００）を生成することが、前記燃料補給ブーム（２１１）と前記レセプタクル（２０２）との前記分離距離及び前記それぞれの位置に基づいて、前記燃料補給ブームの前記３Ｄモデル及び前記受給機（２０１）の前記３Ｄモデルの位置を取得し、定位することを含む、請求項７に記載の方法（５００）。
9. 前記表示（２００、３００）を生成することが、前記側方斜視図に標示を重ねて、前記燃料補給ブーム（２１１）と前記受給機（２０１）との衝突点（３０１）を示すことを含む、請求項７又は８に記載の方法（５００）。
10. 記憶デバイス（６０２）から、前記燃料補給ブーム（２１１）の前記３Ｄモデル及び前記受給機（２０１）の前記３Ｄモデルを取得することを更に含む、請求項７から９のいずれか一項に記載の方法（５００）。
11. 前記燃料補給機の前記燃料補給ブーム（２１１）の前記それぞれの位置は前記燃料補給ブームの１つの位置を含み、前記分離距離及び前記それぞれの位置を判断することが、前記燃料補給ブーム上の一又は複数のセンサ（４０４、４０５）を使用して、前記燃料補給ブームの位置を判断することを含む、請求項７から１０のいずれか一項に記載の方法（５００）。
12. 前記側方斜視図の前記表示（２００、３００）は、前記燃料補給機上の前記オペレータが、前記燃料補給ブーム（２１１）の先端（２１２）を観察し、前記レセプタクル（２０２）に誘導することを可能にする、請求項７から１１のいずれか一項に記載の方法（５００）。

Images