JP6769145B2

JP6769145B2 - テレプレゼンス及びロボット遠隔操作のためのフォーカスアンドコンテクストビューのシステム及び方法、第１の機器、第１の機器のための方法、及び非一時的コンピュータ読み取り可能媒体

Info

Publication number: JP6769145B2
Application number: JP2016137521A
Authority: JP
Inventors: 良太水谷; ドナルド　キンバー; キンバードナルド; クラッツスベン; ボーガンジェイムズ
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2015-12-11
Filing date: 2016-07-12
Publication date: 2020-10-14
Anticipated expiration: 2036-07-12
Also published as: US20170168482A1; US10012982B2; JP2017107535A

Description

本開示は一般にロボットシステムに関し、特に、ロボットシステムを遠隔制御及び管理するシステム及び方法に関する。

関連技術において、ビデオフィードを用いた、キーボード又はジョイスティックによる手動のロボット遠隔操作（例えば制御）は、苛立たしく退屈な作業となる場合がある。そのような関連技術の実装では、誤りが発生しやすい可能性もある。例えばビデオの受信におけるレイテンシは、それが少量であっても、ユーザは古い情報に基づいてコマンド送信することになるため、ロボットと物体との間の衝突をもたらす可能性がある。

自律的位置決め及び操縦（ａｕｔｏｎｏｍｏｕｓｌｏｃａｌｉｚａｔｉｏｎａｎｄｎａｖｉｇａｔｉｏｎ）のための関連技術の方法は、同時位置決め及びマッピング（ｓｉｍｕｌｔａｎｅｏｕｓｌｏｃａｌｉｚａｔｉｏｎａｎｄｍａｐｐｉｎｇ）技法によるマップの生成と、レーザスキャナ又はビーコンを使用したマップ内での位置決めとを含む。しかしこれらの関連技術の技法は、セットアップに時間を費やす必要があり、環境が変化するにつれて更新する必要がある。

人の視覚は、周囲状況の単一の包括的な視界の感覚を提供する。それぞれの目の固定された位置について、人は約１２０度の水平視野角を有し、そのうち、小さな中央の中心窩領域のみが「高分解能」を有する。中心窩は視野のうち中央の約２度のみを見、約３１．４６秒角の「分解能」を有する。中心窩は、網膜の約１パーセントを占め、しかし脳内の視覚皮質の５０パーセント超を占める。両方の目が一緒に前方を見る場合、人は約１８０度の前方を向いた視野角を有する。目の運動のみを使用する（かつ頭を動かさない）場合、人は約２７０度の視野角を有する。人の脳はこれを非常に良好に統合するため、小さな中心窩領域の外側で我々の分解能がいかに低いかということにも、空間の全体的視覚を生成するためのサッカード（例えば、２つの停留フェーズの間の同じ方向における両方の目の迅速な同時移動、これは放射信号の周波数の偏移、あるいは身体部分又は装置の移動と関連付けられ得る）の必要性にも、更には頭部の運動にも、人は通常は気付かない。

Kevin Wayne Arthur著、「Effects of Field of View on Performance with Head-Mounted Displays」、博士学位論文, University of North Carolina, Chapet Hill, 2000 Patrick Baudisch、Nathaniel Good、Victoria Bellotti、and Pamela Schraedley著、「Keeping Things in Context: A Comparative Evaluation of Focus Plus Context Screens, Overviews, and Zooming」、CHI 2002 (April 20-25, 2002) Andy Cockburn、Amy Karlson & Benjamin B. Bederson著、「A Review of Overview + Detail, Zooming, and Focus + Context Interfaces」、ACM Computing Surveys, 2009 Steven Johnson、Irene Rae、Bilge Mutlu、Leila Takayama著、「Can You See Me Now? How Field of View Affects Collaboration in Robotic Telepresence」、CHI 2015 (April 18-23, 2015) Juho Kannala and Sami S. Brandt著、「A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses」、IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006 Malthias Trapp著、「Interactive Rendering Techniques for Focus Context Visualization of 3D Geovirtual Environments.」、博士学位論文, Hasso Plaltner Institute, University Potsdam, 2013 Xin Zhao、Wei Zeng、Xianfeng Gu、Arie Kaufman、Wei Xu、and Klaus Mueller著、「Conformal Magnifier: A Focus + Context Technique with Local Shape Preservation」、IEEE Transactions on Visualization and Computer Graphics, 2012 Shaun Williams. Blinky著、「Proof of concept to put peripheral vision into games」、インターネット（https://github.com/shaunlebron/blinky、https://youtube.com/watch?v-f9v_XN7Wxh）

対照的に、関連技術において遠隔カメラからのビューを見ている場合、ビュー内には均一な分解能が存在し、ビューの外側には何も見えない。これは、遠隔の空間から切り離されている（ｒｅｍｏｖｅｄ）と感じるような「トンネル視野」の感覚を与える。カメラが操縦可能であるか、あるいは動き回ったり曲がったりすることが可能なロボットや遠隔車両上にある場合でさえ、カメラを移動させ、全体的場面が「知覚的」から「認知的」レベルの心的処理に移行する感覚を作るためには努力が必要である。高度に没入する体験のために、ユーザは、目の視野角（以下ＦＯＶと呼ぶ）に近い視野角を有するヘッドマウントディスプレイと、ヘッドトラッカとを備えてもよく、これにより、頭部が動いても遠隔位置にいるのと実質的に同じビューが提供されるようになる。あるいはユーザは、壁又はその他の周囲面上でビデオが表示される「ケイブ（ＣＡＶＥ）」内に座ってもよい。しかし多くの関連技術適用例について、これらは実際的ではないか、さもなければ望ましくない。そのようなビューの提供には、高帯域幅、低レイテンシネットワーキング、より精巧なハードウェアが必要とされるか、又はユーザが不自然な装置を着用してユーザ自身の局所環境から実質的に切り離されることが必要となる。ユーザは、例えば大きなディスプレイ上、ウェブページ内、又はタブレット上でビューを見ることを好む可能性がある。

遠隔ロボット制御又は監視のために広いビュー又は周辺認識を人々に提供する例示的方法は、複数のカメラを使用するか、又は広視野角レンズを使用するものである。複数のカメラのビューは理解しにくい可能性があり、広視野角レンズは画像全体を通して歪みを作るか、又は１８０度の近くのビューに対して望ましくない「伸張した」画像を作る。例示的実装は、ビューパニングとロボット基部の回転との統合を提供し、これにより遠隔操作者に、より紛らわしくない体験が提供される可能性がある。

本開示の態様は、移動可能な第２の機器を操縦するように構成された第１の機器を含んでもよい。第１の機器は、ディスプレイと、プロセッサとを含んでもよく、プロセッサは、移動可能な第２の機器からの１つ以上のカメラ画像のそれぞれを第１の領域及び第２の領域に処理し、第２の領域は第１の領域を囲むゆがめられた画像であり、第１の領域は１つ以上のカメラ画像のそれぞれの中央領域であり、第１の領域及び第２の領域は連続歪み関数（ｃｏｎｔｉｎｕｏｕｓｄｉｓｔｏｒｔｉｏｎｆｕｎｃｔｉｏｎ）によって生成され、そして、入力からの、ディスプレイの選択された部分の受信に対して、選択された部分を第１の領域として処理し、選択された部分に基づいて１つ以上のカメラ画像から第２の領域を決定し、移動可能な第２の機器に、選択された部分に基づいて前方方向に方向付けられるよう命令するように構成される。第２の領域は処理される画像のパノラマ領域であってもよい。

本開示の態様は、移動可能な第２の機器を操縦するように構成された第１の機器のためのプロセスを実行する命令を記憶する、非一時的コンピュータ読み取り可能媒体を更に含む。命令は、移動可能な第２の機器からの１つ以上のカメラ画像のそれぞれを第１の領域及び第２の領域に処理し、第２の領域は第１の領域を囲むゆがめられた画像であり、第１の領域は１つ以上のカメラ画像のそれぞれの中央領域であり、第１の領域及び第２の領域は連続歪み関数によって生成され、そして、入力からの、ディスプレイの選択された部分の受信に対して、選択された部分を第１の領域として処理し、選択された部分に基づいて１つ以上のカメラ画像から第２の領域を決定し、移動可能な第２の機器に、選択された部分に基づいて前方方向に方向付けられるよう命令することを含んでもよい。生成された画像の方向がロボットの進行方向と一致しない場合、ロボットはこの方向に向けて回転されてもよく、同時にビュー方向は調節され、従ってユーザは回転を意識しない。

本開示の態様は、移動可能な第２の機器を操縦するように構成された第１の機器のための方法を更に含む。方法は、移動可能な第２の機器からの１つ以上のカメラ画像のそれぞれを第１の領域及び第２の領域に処理し、第２の領域は第１の領域を囲むゆがめられた画像であり、第１の領域は１つ以上のカメラ画像のそれぞれの中央領域であり、第１の領域及び第２の領域は連続歪み関数によって生成され、そして、入力からの、ディスプレイの選択された部分の受信に対して、選択された部分を第１の領域として処理し、選択された部分に基づいて１つ以上のカメラ画像から第２の領域を決定し、移動可能な第２の機器に、選択された部分に基づいて前方方向に方向付けられるよう命令することを含んでもよい。

本開示の態様は、移動可能な第２の機器からの１つ以上のカメラ画像のそれぞれを第１の領域及び第２の領域に処理する手段であって、第２の領域は第１の領域を囲むゆがめられた画像であり、第１の領域は１つ以上のカメラ画像のそれぞれの中央領域であり、第１の領域及び第２の領域は連続歪み関数によって生成される、手段と、入力からの、ディスプレイ手段の選択された部分の受信に対して、選択された部分を第１の領域として処理する手段と、選択された部分に基づいて１つ以上のカメラ画像から第２の領域を決定する手段と、移動可能な第２の機器に、選択された部分に基づいて前方方向に方向付けられるよう命令する手段とを含み得るシステムを更に含んでもよい。

広角レンズの例を示す図である。例示的実装による例示的仮想ビューを示す図である。例示的実装による例示的仮想ビューを示す図である。例示的実装による、ビュー生成の幾何学的配置を示す図である。例示的実装による、ビュー生成のための例示的フローを示す図である。例示的実装による、移動可能な機器のためのカメラ及び制御様式の例を示す図である。例示的実装による、移動可能な機器のためのカメラ及び制御様式の例を示す図である。例示的実装による、移動可能な機器のためのカメラ及び制御様式の例を示す図である。例示的実装によるフローチャートである。例示的実装によるフローチャートである。例示的実装によるフローチャートである。例示的実装による、移動可能な機器の例示的ハードウェア図である。一部の例示的実装における使用に好適な例示的コンピュータ装置を有する、例示的コンピューティング環境を示す図である。

以下の詳細な説明では、本出願の図面及び例示的実装の更なる詳細を示す。図面間の冗長要素の参照番号及び説明は、明確化のために省略される。本明細書全体を通して使用される用語は、例として提供されるものであり、限定することを意図するものではない。例えば「自動」という用語の使用は、本出願の実装を実施する当業者の所望の実装に応じて、全自動の実装を、あるいは実装の特定の側面に対するユーザ又は操作者の制御を含む半自動の実装を含み得る。更に、本明細書に記載する例示的実装は、移動可能なロボットの文脈で説明されるが、例示的実装は、任意の移動可能な機器（例えばリモートコントロールカー）に適用され得、ロボットに限定されない。

トンネル視野の問題に対処し、努力を要しない周辺視野を単純なシングルウィンドウディスプレイにおいて提供するために、例示的実装は、特別に構築されたフォーカスプラスコンテクスト（Ｆ＋Ｃ）ビューを含む。フォーカスプラスコンテクストの方法は、情報可視化の目的のために関連技術において適用されてきたが、ビデオテレプレゼンス又は遠隔操作のための関連技術においては考察されてこなかった。

図１は、広く使用されているが、提案される例示的実装のフォーカスプラスコンテクストビューとは異なる、「魚眼レンズ」を含む広角レンズの例を示す。遠近感を維持する広角ビュー（すなわちピンホールカメラモデルに対応）は、１８０度の最大視野角（ＦＯＶ）に制限され、ＦＯＶが約１６０度より大きくなるにつれて非常に「エリアディストーションした（ａｒｅａｄｉｓｔｏｒｔｅｄ）」ものとなる。

例示的実装の要素は、中央領域において歪みがなく周囲エリア内に大量の周辺部を示すフォーカスプラスコンテクストビュー（注目箇所に関する情報とともに、状況把握や全体を概観する情報を表示するような手法）を提供するカメラシステムである。このビューは特別なフォーカス＋コンテクストミラー又はレンズシステムによって提供され得るが、そのようなシステムの設計は困難な可能性があり、複雑な取り付け、又は複数のミラー／レンズを必要とする場合がある。より実際的な解決法としては、パノラマカメラ又は非常に広角のカメラからの画像をデジタル的にゆがませることが含まれ得る。理想的な画像のゆがみは、画像全体において不連続性がないという特性を有さなければならない。中央の歪みのない領域において、ワールド内の直線は画像内の直線にマッピングされなければならない（パースペクティブカメラに対応）。３６０度の視野角全体にわたって直線を直線にマッピングすることは可能ではないが、線は（角を導入しないように）連続的な派生物を用いて理想的には連続経路にマッピングされ得る。

Ｆ＋Ｃ（フォーカス＋コンテント）ビューを生成するための例示的実装においては、設計された特性を有するビューに対して画像を再度デジタル的にゆがませることある。例示的実装では、入力は非常に広角のイメージングシステム又はパノラマのイメージングシステムを含み得、このイメージングシステムは複数のカメラを含んでもよく、又は図１に示すような非常に広角の「魚眼」レンズを有する単一のカメラを含んでもよい。最大２４０度のＦＯＶを有する広角レンズが入手可能である。そのようなカメラシステムの出力は、次に、所与の方向におけるビューにマッピングされ、ここで、ビューの中央ピクセルはその方向に対応し、中央からより遠いピクセルは、その方向からの徐々により大きな角度に対応する。

例示的実装は、特にロボット制御のための、テレプレゼンスに関する。例示的実装では、インタフェースは、ユーザが周辺部からの物体を可視化し、歪みのないビューのために周辺部にフォーカスするのを容易にする。例示的実装では、画像上の任意の場所の点を中央のフォーカス領域に向けてドラッグすることによって、周辺部はビュー内に入れられ得る。他の例示的実装では、画像内の任意の場所の点に対するユーザ操作（例えばダブルクリック）によって、周辺部はビュー内に入れられ得る。この操作は、指定された点がフォーカスして見られるよう、より円滑な移行のために、ビューを動画化してもよい。これはユーザにとっては、選択点がビュー内で中央に置かれるまで、その選択点に向けてカメラが移動しているかのように見える。

周辺部をビュー内に入れるための一例示的実装では、ロボット（及び物理的カメラ）を固定位置のままとし、新たな仮想ビューを決定する。遠隔カメラがロボットも電動式プラットフォームも有さない単なる固定されたパノラマカメラである場合に、こうすることが周りを見回すために望ましい可能性がある。別のシナリオは、ユーザが画像内の任意の場所の点をクリックした場合に、ロボット（又はプラットフォーム）が回転してその点にフォーカスするというものである。

所望の実装に応じてハイブリッド方法も考慮されてもよい。迅速に周りを見回すためには、仮想パニングが、慣性を有する物理的装置を移動させるよりも円滑かつ迅速であり得る。しかし、ロボットが移動される際に、ロボットの前方運動がカメラの方向にない場合、ビューは非常に紛らわしい可能性がある。一部のロボットは、全方向に移動可能な車輪型移動機構（ホロノミックホイールシステム；ｈｏｌｏｎｏｍｉｃｗｈｅｅｌｓｙｓｔｅｍ）を装備している場合、ロボットの正面である前方方向に対して垂直方向への移動（ストレイフ；ｓｔｒａｆｅ）又は任意の方向への直接移動が可能である。しかし多くのロボットは「前方方向」を有し、移動する前に、最初に目標方向に回転しなければならない。この回転は、フォーカスプラスコンテクストパノラマインタフェース内に組み込まれてもよく、これにより、ユーザがどこを見ていても、前方に移動することをユーザが要求した場合、ロボットは最初にその位置に回転し、同時に、ロボットが回転する際に固定方向を見続けるように仮想ビューを調節する。

例示的実装は、中央の歪みのない（遠近感的に正確な）領域が、ゆがめられたより大きな周辺画像によって囲まれて、継ぎ目なく（すなわち不連続性も不自然な角もなしに）接合されたものを示す、ビュー画像を生成する。ビュー画像の各ピクセルは、空間内のある方向に対応し、その方向に対応する入力カメラ（１つ又は複数）からのピクセルによって提供されなければならない。ピクセルはまた、所望の方向に最も近い入力ピクセルの補間値によって生成されてもよい。中央の歪みのない領域と、ゆがめられたより大きな周辺領域とは、以下で説明する連続歪み関数を使用することによって連続的にかつ継ぎ目なしに結合されたビュー画像が生成される。

図２（ａ）及び図２（ｂ）は、例示的実装による例示的仮想ビューを示す。図２（ａ）及び図２（ｂ）では、フォーカスされた部分は中央領域であり、この領域はより大きくかつ歪みがないようにされている。周辺部は圧縮されかつ歪んでおり、従って直線は曲がって見える。図２（ａ）では、仮想ビューは、コンピュータモニタの背面をフォーカスして示し、周辺部内のホワイトボードを右側に示す。ホワイトボード上の点をダブルクリックすると、図２（ｂ）に示すように、その点が中央に移動されて歪みのないフォーカスされたビューとなる。

多くのゆがめるための方法が可能であり、一例示的方法は、放射対称性ワーピング関数（ｒａｄｉａｌｌｙｓｙｍｍｅｔｒｉｃｗａｒｐｉｎｇｆｕｎｃｔｉｏｎｓ）を含む。ある方向を指す仮想カメラを考慮すると、主光線は、中央ピクセルを通る光学中心からのベクトルｎに対応する。ビュー画像座標ｖ_ｘ，ｖ_ｙにおける所与のピクセルは、法線ベクトルｖによって与えられるある所与の方向における光線に対応する。ビュー画像において、例示的実装は、ビュー画像を極座標θ，ｒに変換してもよい。ｎとｖとの間の角度αはα＝ｔａｎ^-１ｒ／ｆによって与えられ、ｆは仮想カメラの焦点距離であることに留意されたい。自然な種類の歪み（Ａｎａｔｕｒａｌｃｌａｓｓｏｆｄｉｓｔｏｒｔｉｏｎｓ）は放射対称性であり、ある単調増加関数ｄについて、θ→θ及びｒ→ｄ（ｒ）によって記述される。（ｄが非単調である場合、一部のピクセル（ビュー方向）は画像内で繰り返される可能性がある。）ある固定定数ｋについてｄ（ｒ）＝ｋｒの場合、効果は、画像を１／ｋだけ均一に「拡大すること」と同じである（より長い焦点距離を使用してより狭い視野角を得ることと同等）。例示的実装では、ｒ≦ｒ_０についてｄ（ｒ）＝ｋｒを選択して、半径ｒ_０を有する円の内側に、パースペクティブカメラに一致するビューを生成する。ｒ_０の外側では、例示的実装は、ｄ（ｒ）が線形よりも速く増加するようにして、生成されるビュー内により多くの周辺ビューを押し込めてもよい。ｄ（ｒ）が連続かつ微分可能であるように選択される限り、例示的実装では、画像内にいかなる不連続性も導入されず、線の画像内に角を導入することも回避される。

この方法には、いかに速くｄ（ｒ）が増加しても１８０度より大きな視野角を生成することはできないという点で、明白な制限が存在することに留意されたい。これは、ｄ（ｒ）が無限大に近付くにつれて、α＝ｔａｎ^−１ｒ／ｆがπ／２（すなわち主方向ｎから９０度）に漸近的に近付くからである。しかしこの制限は、ビュー座標をθ，ｒではなくθ，αとして再パラメータ化することによって容易に克服され得る。すなわち例示的実装では、ｖ_ｘ，ｖ_ｙをθ，ｒではなくθ，αにマッピングし、ここでα＝ｔａｎ^−１ｒ／ｆであり、次に、マッピングα→ｄ_α（α）によって歪みを生成する。ここで、ｄ_αは、ｄ（ｒ）がｒからαに再パラメータ化されたものである。従って、α＜α_０＝ｔａｎ^−１ｒ_０／ｆについて、ｄ_α（α）＝ｔａｎ^−１（ｋｆｔａｎ（α））／ｆが存在する場合、結果は、拡大率１／ｋを有する遠近感的に正確な画像をｒ_０の内側に含み得、しかしｒ_０の外側では、例示的実装は、全視野角３６０度についてαを１８０度まで増加させ得る。

図３は、例示的実装による、ビュー生成の幾何学的配置を示す。ビュー平面は、光学中心から距離ｆにある画像平面と同様である（ｆは焦点距離）。光学中心から中央ピクセルまでの方向はベクトルｎに対応し、ｖ_ｘ，ｖ_ｙにおける任意のピクセルまでの方向はｖである。ｖ_ｘ，ｖ_ｙは極座標においてθ，ｒとして表されてもよい。ｖとｎとの間の角度はα＝ｔａｎ^−１ｒ／ｆである。

例示的実装において、ビュー生成の幾何学的配置はインタフェースに適用される。フォーカスプラスコンテクストビューを用いる場合、ユーザの観点から、ロボットはその車輪という意味での前方方向を有する。従ってロボットの前方方向は、前方にある物体の方を向き、ユーザはそれをフォーカスして見るとともに、そしてユーザはフォーカスプラスコンテクストビュー内で何かを周辺に見て、ユーザがそれをクリックした場合、いくつかのことが発生する。

従って例示的実装では、フォーカスプラスコンテクスト実装を使用することによって、ロボットが静止したままである間にカメラは仮想的にパンされ得る。３６０度カメラを含む例示的実装では、ユーザはビデオの任意の部分を選択することができ、次に、選択された部分内に再フォーカスし、従って仮想ビューは変更される。

上述のような例示的実装では、提示されるビューは、ロボットの前方方向ではない方向に向けられている可能性がある。ロボットを操縦するための入力がユーザによって行われる場合、ビューがロボットの前方方向のビューではないかもしれなく、かつロボットはビューに対する前方に誘導されないので、結果として提供されているビューはユーザーにとって紛らわしいかもしれない。操縦するためには、ロボットが操縦され得るようになる前に、ユーザは仮想ビューを前方方向に戻さなければならない可能性がある。

例示的実装では、ビュー内の点についての入力を受信した場合、ロボットはその操作を、選択された方向に移動するためのものと解釈して移動するように構成されてもよい。更に例示的実装では、ロボットが移動する際にビューがフォーカスプラスコンテクスト実装によって中央に保たれるように、仮想ビューは維持されてもよい。そのような例示的実装では、ビュー内での選択がビューを中央に変更し、ロボットは、選択に応答して、選択されたビューが前方方向となるよう方向を変更するように自らを構成する。これは、ロボットを所定の位置で回転させること、又は所望の実装に応じたその他の方法を含んでもよい。

上述のようにフォーカスプラスコンテクストビューを利用する例示的実装では、対角視野角はおおよそ２５６度となり得る。例示的実装はパースペクティブカメラに改良を加え、ここで、パースペクティブカメラは可能な限り広角に拡張されたとしても最大視野角は１８０度である。従って、追加の周辺視野が画像に追加され得る。

例示的実装では、カメラ画像は、フォーカスされた部分及びコンテクスト部分として処理され、コンテクスト部分はディスプレイ上のフォーカスされた部分の周りでゆがめられる。ビューが提供される場合、制御される移動可能な機器の前方方向（例えば、移動可能な機器の車輪の観点からの前方方向、機器のカメラアレイの観点からの前方方向など）を示すための指示（ｉｎｄｉｃａｔｉｏｎ）が提供される。

例示的実装では、前方方向は、フォーカスされた部分として設定される。ディスプレイのフォーカスされた部分以外の部分に対する入力操作を（例えばタッチスクリーン、マウス入力などを介して）受信すると、カメラは所望の部分に仮想的にパンされることができ、所望の部分をフォーカス部分として提供するためにカメラ画像が再処理される。そのような例示的実装では、制御される移動可能な機器は静止したままで、仮想ビューのみが変更されてもよい。

更なる例示的実装では、移動可能な機器は、選択された部分が、移動可能な機器の前方方向に向くよう回転するように命令されてもよい。そのような実装は、表示されるビューが、移動可能な機器の前方ではないいずれかの方向であるという問題に対処し得る。移動可能な機器を操縦するための入力が行われる場合、結果として示されているビューは紛らわしい可能性があるため、移動可能な機器が操縦される前に、仮想ビューを前方方向に戻すよう操縦することをユーザに強制する。

従って例示的実装は、仮想ビューの中心以外の部分を選択するための入力が行われた場合に、移動可能な機器が回転して、選択された部分が移動可能な機器の前方方向となるように自らの方向を変更する処理を導入する。別の例示的実装様式では、仮想ビューの中心以外の部分を選択するための入力が行われた場合に、移動可能な機器は、選択された部分によって示される方向に移動するよう命令されてもよく、同時に、仮想ビューは、選択された部分がフォーカスされた部分として中央に置かれるように維持される。従って、移動可能な機器が移動している場合、仮想ビューは、入力によって指定された方向に移動可能な機器が移動しているかのように変更されてもよい。

図４は、例示的実装による、ビュー生成のための例示的フローを示す。４００において、カメラからのカメラ画像が処理される。カメラは、図１に示す３６０度又はその他の広角カメラ（魚眼カメラ等）であってもよい。処理は、ピッチφ及びヨーβから光学中心を導出することを含む。決定に基づいて、例示的実装は４０１において中央部分を決定するように構成されてもよく、これは次に、図３に示すフォーカスされた部分を生成するフォーカシングのために処理される。カメラ画像の残りの部分は、フォーカスされた部分の周りでゆがめられたコンテクスト部分として処理される。４０２におけるこの処理のために、仮想ビュー内の各ピクセルについて、フローは、方向、ピッチφ、及びヨーβを計算する。４０３において、ピッチφ及びヨーβのそれぞれについて、フローは、カメラ内のカメラ画像から、最も近いピクセルを取得する。そのようなピクセルが取得され、次に、コンテクスト部分として中央部分の周りでゆがめられる。

図５（ａ）〜図５（ｃ）は、例示的実装による、移動可能な機器のためのカメラ及び制御様式の例を示す。図５（ａ）では、移動可能な機器５００は物体５０１の方を向いており、物体５０１はディスプレイ５０３内に物体５０１-１として現れる。フォーカスされた部分はディスプレイ５０３の中央に提供され、これは物体５０１-１のように表示される。物体５０２はコンテクスト部分としてディスプレイ５０３内に、物体５０２-１のように表示される。矢印は、移動可能な機器５００の前方方位を示す。図５（ｂ）の例において、ユーザは、ディスプレイ上でコンテクスト部分の物体５０２-１をフォーカス部分として選択したとする。そうすると、次に、ディスプレイ５０３-１内に物体５０２-２で示したように、コンテクスト部分の物体５０２がフォーカスされた物体としてディスプレイ上でフォーカスされる。元のフォーカス物体５０１-１はこのとき、ディスプレイ５０３-１内において物体５０１-２として示すように、コンテクスト部分に移動され、フォーカス部分の側部の周りでゆがめられて表示される。図５（ｂ）に示すように、仮想ビューの表示内容は変更されるが、移動可能な機器５００は静止したままである。図５（ｂ）における矢印は、移動可能な機器の前方方位が依然として物体５０１及びコンテクスト物体５０１-２に向けられていることを示す。

図５（ｂ）に示すように、ユーザーにより、中心部分とは異なる部分がフォーカス部分として選択された場合、移動可能な機器５００は、移動可能な機器の前方方向が、選択されたフォーカス部分に向けて方向付けられるよう、自らを方向付けるように構成されてもよい。図５（ｃ）の例では、移動可能な機器５００は、所定の位置に回転することによって、前方方向が物体５０２に向くよう自らを方向付ける。

図６（ａ）は、例示的実装によるフローチャートを示す。このフローチャートでは、移動可能な機器を制御する機器が、図５（ｂ）に示すようなフォーカスする部分を設定するための、選択された部分を受信する。６０１において、フローは、選択された部分をフォーカスする部分となるよう処理する。新たなフォーカス部分は、３６０度カメラ又は広角カメラから提供されるカメラ画像から導出され、次に、図３及び図４のフローに基づいて処理される。６０２において、フローは、図３及び図４のフローに従って、新たなフォーカスされた部分に基づいてカメラ画像からコンテクスト部分を決定する。６０３において、移動可能な機器の前方方向を、選択された部分に基づく方向に向けるための命令が、移動可能な機器に送信されてもよい。例示的実装では、移動可能機器の前方方向が選択された部分になるように、移動可能な機器が自らの方向を変更している間に、移動可能な機器を移動させるための入力が受信された場合、移動可能な機器は、方向付けが完了するまで待ち、その後、入力に基づいて移動を開始するように更に構成されてもよい。このようにして、移動可能な機器の操作者は、移動可能な機器を移動させるための入力が行われる場合に、提供されるカメラビューが前面ビューであることが保証され、そして、移動可能機器が、カメラビューに従って自らの方向を変更するための回転が完了するまで、移動命令を保留することが保証され得る。

図６（ｂ）は、例示的実装によるフローチャートを示す。一例示的実装では、移動可能な機器が、移動可能な機器の前方方向を、選択されたフォーカス部分に向くように向きを変更している間に、移動可能な機器を移動させるための入力が機器に対して行われる。この処理の間、６１１において、機器は、移動可能な機器の前方方位に基づいて、移動可能な機器からのカメラ画像をフォーカス部分及びコンテクスト部分に処理する。６１２において、機器は、新たに処理されたフォーカス部分及びコンテクスト部分に基づいてディスプレイを調節する。６１３において、機器は次に、入力に基づいて移動するよう移動可能な機器に命令する。この例示的実装では、入力を受信するとディスプレイは直ちに変化して、フォーカス部分を直接、移動可能な機器の現在の前方方位に、及びコンテクスト部分を、移動可能な機器の前方方位の周りに変更し、次に、移動可能な機器が入力に従って移動される。

図６（ｃ）は、例示的実装によるフローチャートを示す。例示的実装では、移動可能な機器の前方方向が、選択されたフォーカス部分を向いているようにするために、移動可能な機器が自らの向きを変更している間に、移動可能な機器を移動させるための入力が行われる。６２１において、機器は、移動させるための入力に従って、移動可能な機器からのカメラ画像をフォーカスされた部分及びコンテクスト部分に処理する。６２２において、機器は、移動させるための入力に基づいて、前方方位の指示を更新する。この例示的実装では、移動可能な機器の前方方位を示すための指示がディスプレイ上に提供される。移動可能な機器を移動させるための入力が行われた場合、移動可能な機器はその前方方位に従って移動する。しかし、選択されたフォーカス部分のパースペクティブは維持され、移動可能な機器の前方方位がどこに操作されたかを示すように、指示が更新される。従って仮想ビューは、カメラに基づいて、移動可能な機器が選択された方向に移動したかのように変更される。この例示的実装では、移動可能な機器は、静止したままであるように、かつ移動可能な機器が入力に従って移動したかのようにフォーカス部分及びコンテクスト部分上にズームインするように更に構成されてもよい。

図７は、例示的実装による、移動可能な機器の例示的ハードウェア図を示す。移動可能な機器７００は、プロセッサ７０１と、メモリ７０２と、ベースバンドプロセッサを有する通信インタフェース７０３と、１つ以上のカメラ７０４と、１つ以上のアクチュエータ７０５とを含んでもよい。メモリ７０２は、例えば図７に示すようなフローチャートを実行するためにプロセッサ７０１内にロードされてもよい命令を記憶してもよい。通信インタフェース７０３は、図６（ａ）〜図６（ｃ）に示すように図８の機器から命令を受信し、プロセッサによる実行のために命令をメモリ７０２内に記憶するように構成されてもよい。カメラ７０４は、図３及び図４に示すフォーカスアンドコンテクスト処理に好適なカメラ画像を取得するための、３６０度カメラ又は広角カメラなどのカメラを含んでもよく、カメラ画像は、通信インタフェース７０３を介して図８の機器に送り返される。アクチュエータ７０５は、移動可能な機器７００を操縦し、移動させるように構成されてもよい。例示的実装では、移動可能な機器７００は、移動可能なロボットであってもよいが、所望の実装に応じてその他の実装も可能である。例えば、移動可能な機器７００は、可動カメラを介した監視を提供するセキュリティカメラのアレイであってもよく、これにより、所望の実装に応じて１つ以上のカメラ７０４が移動可能になる。

図８は、別の移動可能な機器を操縦する機能を容易にする機器などの、一部の例示的実装における使用に好適な例示的コンピュータ装置を有する、例示的コンピューティング環境を示す。コンピューティング環境８００内のコンピュータ装置８０５は、１つ以上の処理ユニット、コア、又はプロセッサ８１０、メモリ８１５（例えば、ＲＡＭ、ＲＯＭなど）、内部記憶装置８２０（例えば、磁気、光、半導体記憶装置、及び／又は有機）、及び／又は、Ｉ／Ｏインタフェース８２５を含んでもよく、これらのいずれも、情報を通信するための通信機構又はバス８３０上で結合されるか、又はコンピュータ装置８０５内に組み込まれてもよい。

コンピュータ装置８０５は、入力／ユーザインタフェース８３５、及び出力装置／インタフェース８４０に通信可能に結合されてもよい。入力／ユーザインタフェース８３５、及び出力装置／インタフェース８４０のうちの一方又は両方は、有線又は無線インタフェースであってもよく、着脱可能であってもよい。入力／ユーザインタフェース８３５は、入力（例えば、ボタン、タッチスクリーンインタフェース、キーボード、ポインティング／カーソル制御、マイクロフォン、カメラ、ブライユ点字、運動センサ、光学式読取装置など）を提供するために使用され得る物理的又は仮想的な任意の装置、構成要素、センサ、又はインタフェースを含んでもよい。出力装置／インタフェース８４０は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、ブライユ点字などを含んでもよい。一部の例示的実装では、入力／ユーザインタフェース８３５、及び出力装置／インタフェース８４０は、コンピュータ装置８０５に組み込まれるか、又は物理的に結合されてもよい。他の例示的実装では、他のコンピュータ装置が、コンピュータ装置８０５のための入力／ユーザインタフェース８３５、及び出力装置／インタフェース８４０として機能するか、又はその機能を提供してもよい。

コンピュータ装置８０５の例としては、以下に限定されないが、高移動性装置（例えば、スマートフォン、車両及びその他のマシン内の装置、人及び動物によって運ばれる装置など）、移動性装置（例えば、タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、携帯型テレビ、ラジオなど）、及び移動性のために設計されていない装置（例えば、デスクトップコンピュータ、その他のコンピュータ、情報キオスク、１つ以上のプロセッサが組み込まれた及び／又は結合されたテレビ、ラジオなど）が含まれ得る。

コンピュータ装置８０５は、外部記憶装置８４５に、並びに、同じ又は異なる構成の１つ以上のコンピュータ装置を含む任意の数のネットワーク接続された構成要素、装置、及びシステムと通信するためのネットワーク８５０に、（例えばＩ／Ｏインタフェース８２５を介して）通信可能に結合されてもよい。コンピュータ装置８０５又は任意の接続されたコンピュータ装置は、サーバ、クライアント、シンサーバ、汎用マシン、専用マシン、又は別のもの（ａｎｏｔｈｅｒｌａｂｅｌ）として機能してもよく、又はそのサービスを提供してもよく、又はそのように呼ばれてもよい。

Ｉ／Ｏインタフェース８２５は、以下に限定されないが、コンピューティング環境８００内の少なくとも全ての接続された構成要素、装置、及びネットワークとの間で情報を通信するための、任意の通信又はＩ／Ｏプロトコル又は標準（例えば、イーサネット（登録商標）、８０２．１１ｘ、ユニバーサルシステムバス、ＷｉＭａｘ、モデム、セルラネットワークプロトコルなど）を使用する有線及び／又は無線インタフェースを含んでもよい。ネットワーク８５０は、任意のネットワーク又はネットワークの組み合わせ（例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、電話ネットワーク、セルラネットワーク、衛星ネットワークなど）であってもよい。

コンピュータ装置８０５は、一時的媒体及び非一時的媒体を含むコンピュータ使用可能又はコンピュータ読み取り可能媒体を使用すること、及び／又はそれらを使用して通信を行うことが可能である。一時的媒体は、伝送媒体（例えば、金属ケーブル、光ファイバ）、信号、搬送波などを含む。非一時的媒体は、磁気媒体（例えば、ディスク、及びテープ）、光媒体（例えば、ＣＤＲＯＭ、デジタルビデオディスク、ブルーレイディスク）、半導体媒体（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、半導体記憶装置）、及びその他の不揮発性記憶装置又はメモリを含む。

コンピュータ装置８０５は、一部の例示的コンピューティング環境内で、技法、方法、アプリケーション、プロセス、又はコンピュータ実行可能命令を実装するために使用されてもよい。コンピュータ実行可能命令は、一時的媒体から取り出されてもよく、非一時的媒体上に記憶されてそこから取り出されてもよい。実行可能命令は、１つ以上の任意のプログラミング、スクリプティング、及び機械言語（例えば、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、ＶｉｓｕａｌＢａｓｉｃ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔ（登録商標）など）に由来するものであってもよい。

プロセッサ（１つ又は複数）８１０は、ネイティブ又は仮想環境において、任意のオペレーティングシステム（ＯＳ）（図示せず）の下で実行可能である。論理ユニット８６０と、アプリケーションプログラミングインタフェース（ＡＰＩ）ユニット８６５と、入力ユニット８７０と、出力ユニット８７５と、様々なユニットが互いに通信するための、及びＯＳ、他のアプリケーション（図示せず）と通信するためのユニット間通信機構８９５とを含む、１つ以上のアプリケーションが配備されてもよい。説明したユニット及び要素は、設計、機能、構成、又は実装において変更可能であり、提供された説明に限定されない。

一部の例示的実装では、情報又は実行命令がＡＰＩユニット８６５によって受信された場合、その情報又は実行命令は１つ以上の他のユニット（例えば、論理ユニット８６０、入力ユニット８７０、出力ユニット８７５）に通信されてもよい。場合によっては、上述のいくつかの例示的実装において、論理ユニット８６０は、ユニット間の情報の流れを制御し、ＡＰＩユニット８６５、入力ユニット８７０、出力ユニット８７５によって提供されるサービスを指揮するように構成されてもよい。例えば、１つ以上のプロセス又は実装の流れは、論理ユニット８６０のみによって、又はＡＰＩユニット８６５と連携して制御されてもよい。入力ユニット８７０は、例示的実装において説明した計算のための入力を取得するように構成されてもよく、出力ユニット８７５は、例示的実装において説明した計算に基づく出力を提供するように構成されてもよい。

プロセッサ（１つ又は複数）８１０は、移動可能な機器７００からのカメラ画像を受信し、それらを図３及び図４のフロー図に従って、フォーカスされた部分である第１の領域、及びコンテクスト部分である第２の領域のために処理するように構成されてもよい。プロセッサ（１つ又は複数）８１０は、図３及び図４のフロー図に従って、フォーカスされた部分の周りで、カメラ画像のコンテクスト部分をゆがめる処理を実行してもよい。プロセッサ（１つ又は複数）８１０はまた、移動可能な機器７００に、受信された移動命令に従って図６（ａ）〜図６（ｃ）に示したように移動するよう命令するように構成されてもよい。従って例示的実装では、プロセッサ（１つ又は複数）は、移動可能な機器からの１つ以上のカメラ画像のそれぞれを第１の領域及び第２の領域に処理してもよく、第２の領域は第１の領域を囲むゆがめられた画像であり、第１の領域は１つ以上のカメラ画像のそれぞれの中央領域であり、第１の領域と第２の領域との間の連続性を提供するために、第１の領域及び第２の領域は連続歪み関数によって生成される。例示的実装では、所望の実装に応じて、連続歪み関数による画像の処理は、移動可能な機器７００によって行われてもよい。

プロセッサ（１つ又は複数）８１０はまた、受信された入力に基づいてカメラ画像の別の部分がフォーカスされた部分であるようにするための、入力を受信するように命令されてもよい。入力は入力インタフェース８３５を介して行われてもよく、フォーカスされた部分は選択された部分であるように更新される。コンテクスト部分も、選択されフォーカスされた部分に基づいて更新される。更なる例示的実装では、プロセッサ（１つ又は複数）８１０はまた、移動可能な機器７００の前方方位を示すための指示をディスプレイ上に提供するように構成されてもよい。

詳細な説明のいくつかの部分は、コンピュータ内部の動作のアルゴリズム及び記号表現によって示されている。これらのアルゴリズム的記述及び記号表現は、データ処理技術の当業者によって自身のイノベーションの本質を他の当業者に伝達するために使用される手段である。アルゴリズムは、所望の最終状態又は結果をもたらす一連の定義されたステップである。例示的実装では、実行されるステップは、具体的な結果を達成するために具体的な量の物理的操作を必要とする。

特に明記しない限り、説明から明らかなように、本明細書を通じて、「処理（ｐｒｏｃｅｓｓｉｎｇ）」、「演算（ｃｏｍｐｕｔｉｎｇ）」、「計算（ｃａｌｃｕｌａｔｉｎｇ）」、「判定（ｄｅｔｅｒｍｉｎｉｎｇ）」、「表示（ｄｉｓｐｌａｙｉｎｇ）」などのような用語を利用する説明は、コンピュータシステムのレジスタ及びメモリの内部で物理的（電子的）量として表されるデータを操作して、コンピュータシステムのメモリ又はレジスタあるいはその他の情報記憶、伝送、又は表示装置の内部で物理的量として同様に表される他のデータに変換する、コンピュータシステム又はその他の情報処理装置の動作及び処理を含み得るということが理解される。

例示的実装はまた、本明細書における動作を実行するための機器に関する。この機器は、必要な目的のために特別に構築されてもよく、又は１つ以上のコンピュータプログラムによって選択的に作動又は再構成される１つ以上の汎用コンピュータを含んでもよい。そのようなコンピュータプログラムは、コンピュータ読み取り可能な記憶媒体又はコンピュータ読み取り可能な信号媒体などの、コンピュータ読み取り可能媒体内に記憶されてもよい。コンピュータ読み取り可能な記憶媒体は、以下に限定されないが、光ディスク、磁気ディスク、読み取り専用メモリ、ランダムアクセスメモリ、半導体装置及びドライブなどの有形媒体、あるいは電子情報を記憶するのに適した任意のその他のタイプの有形又は非一時的媒体を含んでもよい。コンピュータ読み取り可能な信号媒体は、搬送波などの媒体を含んでもよい。本明細書中に示すアルゴリズム及びディスプレイは、いかなる特定のコンピュータ又はその他の機器にも本来的に関連するものではない。コンピュータプログラムは、所望の実装の動作を実行する命令を含む純粋なソフトウェア実装を含んでもよい。

様々な汎用システムが、本明細書中の例によるプログラム及びモジュールと共に使用されてもよく、又は所望の方法ステップを実行するためのより特化された機器を構築することが好都合であることが判明する場合がある。加えて、例示的実装は、いずれかの特定のプログラミング言語に準拠して説明されてはいない。様々なプログラミング言語が、本明細書中で説明した例示的実装の教示を実装するために使用されてもよいということが理解されるであろう。プログラミング言語（１つ又は複数）の命令は、１つ以上の処理装置、例えば中央処理ユニット（ＣＰＵ）、プロセッサ、又はコントローラによって実行されてもよい。

当技術分野において周知であるように、上述の動作はハードウェア、ソフトウェア、又はソフトウェアとハードウェアとの何らかの組み合わせによって実行されてもよい。例示的実装の様々な態様は、回路及び論理デバイス（ハードウェア）を使用して実装されてもよく、他の態様は、プロセッサによって実行された場合に本出願の実装を実行する方法をプロセッサに実行させる、機械読み取り可能媒体上に記憶された命令（ソフトウェア）を使用して実装されてもよい。更に、本出願の一部の例示的実装はハードウェアのみにおいて実行されてもよく、他の例示的実装はソフトウェアのみにおいて実行されてもよい。その上、記載された様々な機能は、単一のユニット内で実行されてもよく、又は様々な手法で複数の構成要素にわたって分散されてもよい。ソフトウェアによって実行される場合、方法は、コンピュータ読み取り可能媒体上に記憶された命令に基づいて、汎用コンピュータなどのプロセッサによって実行されてもよい。所望される場合、命令は、圧縮及び／又は暗号化された形式で媒体上に記憶されてもよい。

その上、本明細書の検討及び本出願の教示の実施から、本出願の他の実装は当業者にとって明らかであろう。記載された例示的実装の様々な態様及び／又は構成要素は、単独で、又は任意の組み合わせにおいて使用されてもよい。本明細書及び例示的実装は例としてのみ考慮されることが意図されており、本出願の真の範囲及び精神は特許請求の範囲によって示される。

５００移動可能な機器
５０１物体
５０２物体
５０３ディスプレイ
７００移動可能な機器
７０１プロセッサ
７０２メモリ
７０３通信インタフェース
７０４カメラ
７０５アクチュエータ
８００コンピューティング環境
８０５コンピュータ装置
８１０プロセッサ
８１５メモリ
８２０内部記憶装置
８２５Ｉ／Ｏインタフェース
８３０バス
８３５入力／ユーザインタフェース
８４０出力装置／インタフェース
８４５外部記憶装置
８５０ネットワーク
８６０論理ユニット
８６５ＡＰＩユニット
８７０入力ユニット
８７５出力ユニット
８９５ユニット間通信機構

Claims

移動可能な第２の機器を操縦するように構成された第１の機器であって、前記第１の機器は、
プロセッサを備え、前記プロセッサは、
前記移動可能な第２の機器からの１つ以上のカメラ画像のそれぞれを第１の領域及び第２の領域に処理し、前記第２の領域は前記第１の領域を囲むゆがめられた画像であり、前記第１の領域は前記１つ以上のカメラ画像の前記それぞれの中央領域であり、前記第１の領域と前記第２の領域とからなる画像が生成され、そして、
入力からの、ディスプレイの選択された部分の受信に対して、
前記選択された部分を前記第１の領域として処理し、
前記選択された部分に基づいて前記１つ以上のカメラ画像から前記第２の領域を決定し、
前記移動可能な第２の機器に対して、前記選択された部分に基づいて前記移動可能な第２の機器の前方方向を変更するよう命令する
ように構成される、第１の機器。
前記１つ以上のカメラ画像は、魚眼カメラ及び３６０度カメラのうちの少なくとも１つから提供される、請求項１に記載の第１の機器。
前記プロセッサは、フォーカスされた部分を前記１つ以上の画像から生成することによって、前記１つ以上の画像を前記第１の領域に処理するように構成される、請求項１に記載の第１の機器。
前記プロセッサは、前記移動可能な第２の機器が前記選択された部分に基づいて前記移動可能な第２の機器の前記前方方向を変更する間の、前記移動可能な第２の機器を移動させるための入力に対して、方向の変更が完了したことを前記移動可能な第２の機器から受信次第、移動するための命令を前記移動可能な第２の機器に提供するように構成される、請求項１に記載の第１の機器。
前記プロセッサは、
前記移動可能な第２の機器が、前記選択された部分に基づいて前記移動可能な第２の機器の前記前方方向を変更する間の、前記移動可能な第２の機器を移動させるための入力に対して、
前記移動可能な第２の機器の前記前方方向に基づいて、前記移動可能な第２の機器からの前記１つ以上のカメラ画像を前記第１の領域及び前記第２の領域に処理し、
処理された前記第１の領域及び前記第２の領域に基づいて前記ディスプレイの表示を調節し、
前記入力に基づいて移動するよう前記移動可能な第２の機器に命令する
ように構成される、請求項１に記載の第１の機器。
前記プロセッサは、
前記ディスプレイ上に、前記移動可能な第２の機器の前記前方方向の表示を提供し、
前記移動可能な第２の機器が前記選択された部分に基づいて前記移動可能な第２の機器の前記前方方向を方向付けている間の、前記移動可能な第２の機器を移動させるための入力に対して、
移動させるための前記入力に従って、前記移動可能な第２の機器からの前記１つ以上のカメラ画像を前記第１の領域及び前記第２の領域に処理し、
移動させるための前記入力に基づいて、前記前方方向の前記表示を更新する
ように構成される、請求項１に記載の第１の機器。
前記プロセッサは、前記第１の領域と前記第２の領域とからなる画像を、連続歪み関数によって生成するように構成される、請求項１に記載の第１の機器。
移動可能な第２の機器を操縦するように構成された第１の機器のための方法であって、前記方法は、
前記移動可能な第２の機器からの１つ以上のカメラ画像のそれぞれを第１の領域及び第２の領域に処理し、前記第２の領域は前記第１の領域を囲むゆがめられた画像であり、前記第１の領域は前記１つ以上のカメラ画像の前記それぞれの中央領域であり、前記第１の領域及び前記第２の領域は連続歪み関数によって結合され、そして、
入力からの、ディスプレイの選択された部分の受信に対して、
前記選択された部分を前記第１の領域として処理し、
前記選択された部分に基づいて前記１つ以上のカメラ画像から前記第２の領域を決定し、
前記移動可能な第２の機器に対して、前記選択された部分に基づいて前記移動可能な第２の機器の前方方向を変更するよう命令すること
を含む、方法。
前記１つ以上のカメラ画像は、魚眼カメラ及び３６０度カメラのうちの少なくとも１つから提供される、請求項８に記載の方法。
前記１つ以上の画像を前記第１の領域に処理することは、フォーカスされた部分を前記１つ以上の画像から生成することを含む、請求項８に記載の方法。
前記移動可能な第２の機器が、前記選択された部分に基づいて前記移動可能な第２の機器の前記前方方向を変更する間の、前記移動可能な第２の機器を移動させるための入力に対して、方向の変更が完了したことを前記移動可能な第２の機器から受信次第、移動するための命令を前記移動可能な第２の機器に提供することを更に含む、請求項８に記載の方法。
前記移動可能な第２の機器が、前記選択された部分に基づいて前記移動可能な第２の機器の前記前方方向を変更する間の、前記移動可能な第２の機器を移動させるための入力に対して、
前記移動可能な第２の機器の前記前方方向に基づいて、前記移動可能な第２の機器からの前記１つ以上のカメラ画像を前記第１の領域及び前記第２の領域に処理し、
処理された前記第１の領域及び前記第２の領域に基づいて前記ディスプレイの表示を調節し、
前記入力に基づいて移動するよう前記移動可能な第２の機器に命令すること
を更に含む、請求項８に記載の方法。
前記ディスプレイ上に、前記移動可能な第２の機器の前記前方方向の表示を提供し、
前記移動可能な第２の機器が前記選択された部分に基づいて前記移動可能な第２の機器の前記前方方向を方向付けている間の、前記移動可能な第２の機器を移動させるための入力に対して、
移動させるための前記入力に従って、前記移動可能な第２の機器からの前記１つ以上のカメラ画像を前記第１の領域及び前記第２の領域に処理し、
移動させるための前記入力に基づいて、前記前方方向の前記表示を更新すること
を更に含む、請求項８に記載の方法。
移動可能な第２の機器を操縦するように構成された第１の機器のための命令を記憶する、非一時的コンピュータ読み取り可能媒体であって、前記命令は、
前記移動可能な第２の機器からの１つ以上のカメラ画像のそれぞれを第１の領域及び第２の領域に処理し、前記第２の領域は前記第１の領域を囲むゆがめられた画像であり、前記第１の領域は前記１つ以上のカメラ画像の前記それぞれの中央領域であり、前記第１の領域及び前記第２の領域は連続歪み関数によって結合され、そして、
入力からの、ディスプレイの選択された部分の受信に対して、
前記選択された部分を前記第１の領域として処理し、
前記選択された部分に基づいて前記１つ以上のカメラ画像から前記第２の領域を決定し、
前記移動可能な第２の機器に対して、前記選択された部分に基づいて前記移動可能な第２の機器の前方方向を変更するよう命令すること
を含む、非一時的コンピュータ読み取り可能媒体。
前記１つ以上のカメラ画像は、魚眼カメラ及び３６０度カメラのうちの少なくとも１つから提供される、請求項１４に記載の非一時的コンピュータ読み取り可能媒体。
前記１つ以上の画像を前記第１の領域に処理することは、フォーカスされた部分を前記１つ以上の画像から生成することを含む、請求項１４に記載の非一時的コンピュータ読み取り可能媒体。
前記移動可能な第２の機器が、前記選択された部分に基づいて前記移動可能な第２の機器の前記前方方向を変更する間の、前記移動可能な第２の機器を移動させるための入力に対して、方向の変更が完了したことを前記移動可能な第２の機器から受信次第、移動するための命令を前記移動可能な第２の機器に提供すること、を前記命令は更に含む、請求項１４に記載の非一時的コンピュータ読み取り可能媒体。
前記移動可能な第２の機器が前記選択された部分に基づいて前記移動可能な第２の機器の前記前方方向を変更する間の、前記移動可能な第２の機器を移動させるための入力に対して、
前記移動可能な第２の機器の前記前方方向に基づいて、前記移動可能な第２の機器からの前記１つ以上のカメラ画像を前記第１の領域及び前記第２の領域に処理し、
処理された前記第１の領域及び前記第２の領域に基づいて前記ディスプレイの表示を調節し、
前記入力に基づいて移動するよう前記移動可能な第２の機器に命令すること
を前記命令は更に含む、請求項１４に記載の非一時的コンピュータ読み取り可能媒体。
前記ディスプレイ上に、前記移動可能な第２の機器の前記前方方向の表示を提供し、
前記移動可能な第２の機器が前記選択された部分に基づいて前記移動可能な第２の機器の前記前方方向を方向付けている間の、前記移動可能な第２の機器を移動させるための入力に対して、
移動させるための前記入力に従って、前記移動可能な第２の機器からの前記１つ以上のカメラ画像を前記第１の領域及び前記第２の領域に処理し、
移動させるための前記入力に基づいて、前記前方方向の前記表示を更新すること
を前記命令は更に含む、請求項１４に記載の非一時的コンピュータ読み取り可能媒体。