JP6332718B1 - 遠隔地のリアルタイム撮影をコントロールするための方法及びプログラム製品 - Google Patents

Abstract

撮影者の撮影システムとの双方向通信チャネルを確立することを含む方法及びプログラム製品。 少なくとも一つの指示が撮影者の撮影システムに通信される。指示には、撮影を行うための指示が含まれており、撮影者の撮影システム上でそれを表示可能である。少なくとも撮影のリアルストリームを受信する。少なくとも追加の指示が、受信時に撮影者の撮影システムに伝達される。そこでの通信、受信及び受信中の通信は、撮影時に負帰還ループを構成することになる。【選択図】図２

Description

本発明の1つまたは複数の実施形態は、遠隔地のリアルタイム撮影に関する。特に、本発明は、遠隔地のリアルタイム撮影を制御し、通信ネットワークを介して視聴することに関連するものである。

以下の背景情報は、先行技術の特定の側面の例を提示することができ（例えば、アプローチ、事実、または共通の知恵であるがこれに制限するものではない）、先行技術のさらなる側面として、読者を教育するのに役立つことが期待されているが、本発明に記載または暗示されたもの、またはその任意の実施形態を限定するものとして解釈されるべきではない。

多くの場合、これに限定されないが、年齢、身体的障害などの客観的な理由により、自分の希望の場所に移動しないとされている。そこで、旅行の経験、特に観光スポットなど、それぞれの場所の観光の楽しさの恩恵を受けることができない。ある特定の場所を見るために物理的に場所を訪問するか、またはそれぞれの場所のあらかじめ記録されたフィルムを使用しなければならない。旅行ができない場合、場所を確認する唯一の方法は、ディスプレイ上で、事前に記録されたフィルムを見ることである。しかし、この選択肢は望んだものでもライブであっても、人がその場所を見ることはできない。 他人が決めた方法で、すでに撮影された場所の風景を見なければならない。

以下は、従来技術における特定の側面の一例であり、一方、従来技術の付加的な側面に関してはさらに読者を教育するために有用であると期待されるが、本発明またはその任意の実施形態を限定するものと解釈されるべきではなく、 その中に明示されているかあるいはその後すぐ暗示されるかである。
撮影場所からの動画データをどのようにインターネットを通じて視聴客にストリーミング配信するかを説明するには支払方法同様いくつかのシステム及び方法がある。しかし、このような場合、撮影者が撮影を行う方法を視聴者が制御することができず、情報が一方向、すなわち、撮影者から視聴者に流れる。

前述の観点から、これらの伝統的な技術は完全ではなく、より最適なアプローチの余地を残していることは考えられる。

本発明は、限定ではなく例として、添付図面の図に示されており、同様の参照数字は同様の要素を指す。

図1は、本発明の実施形態に従って基本システムの典型的な図を示す。

図2は、本発明の実施形態に従ってシステムの典型的な図を示す。

図3は、本発明の実施形態に従って典型的な操作デバイスを示す。

図4は、本発明の実施形態に従ってオペレーターデバイスの典型的な表示を示す。

図5は、本発明の実施形態に従って利用者デバイスの典型的な表示を示す。

図6 A-Cは、本発明の実施形態に従って負帰還ループの動作を示す。

図7は、本発明の実施形態に従って、専用プログラムの典型的なルーチンを示している。そして

図8は、本発明の典型的なウェブ対応／ネットワーク化の実施形態によって使用され得る典型的な利用者／サーバシステムを描いたブロック図である。

図9は、従来の利用者／サーバ通信システムを描いたブロック図を示す。

特に示されていない限り、図の実例は必ずしも一定の縮尺で描かれていない。

本発明およびその多様な実施形態において、システムは、利用者がライブで撮影制御情報を撮影者に送信できるようにし、場所の撮影は、利用者が選択する方法で実行することができる。本発明において、利用者とは、撮影の実施方法を制御する者であり、オペレータは撮影を行う人である。多くの実施形態は、利用者とオペレータとの間の双方向の通信、言い換えればループを有することができる。多くの実施形態では、利用者は、リアルタイムで、カメラの位置を、パン−チルト−ズームに限定するだけでなく、制御することができ、また、ループの他端での撮影者の行動も制御でき、よって撮影は、その瞬間と次の瞬間に利用者が望むように実施される。いくつかの実施形態では、利用者は、これに限られるものではないが、利用者と撮影者との間に確立されたインターネットなどの通信チャネルを用い、負帰還ループを介して撮影を行う方法を制御することができる。

多くの実施形態では、撮影の結果は、モニタまたはポータブルタブレットデバイスのような表示デバイス上に表示することができる。 利用者は、本当に自分たちがその場所にいるように、つまり実際に旅行に行く必要はなく、"仮想旅行"体験をもたらす、自分が選択した場所にライブで自分の意思に従ってその景色を観ることができる。

図1は、本発明の実施形態に従った基本システムの典型的な図を示す。システム100は、利用者デバイス105、撮影者デバイス110、および継電器115を備えている。本実施形態では、継電器115は、利用者デバイス105と撮影者デバイス110との間に双方向通信リンク120を確立することができる。
通信リンク120は、利用者デバイス105との情報交換のためのネットワークチャネル125及び撮影者デバイス110との情報交換のためのネットワークチャネル130とを備えることができる。
非限定的な例では、利用者デバイス105を制御する利用者は、撮影者デバイス110を制御している撮影者に、撮影を希望する方法に関する指示を送ることができる。
次に、撮影者は、これらの要求を遵守し、利用者に返送される撮影の結果は、利用者がライブで望む形式で見ることができるものになる。
本実施形態においては、利用者デバイス105は、コンピュータ、パソコン、タブレット、スマートフォン等のネットワーク接続を備えたコンピューティングデバイスなどを備えることができるが、これらに限定されるものではない。撮影者デバイス110は、ラップトップ、タブレット、スマートフォンなどに限定されるものではないが、関連するカメラを備えたポータブルコンピューティングデバイスを備えることができる。
非限定的な例では、カメラは、Wi-Fiまたはケーブルを介して撮影者デバイス110に接続された外部のもの、あるいは撮影者デバイス110に埋め込むことができる。いくつかの実施形態では、継電器115をネットワークサーバとして構成することができる。いくつかの代替実施形態では、継電器115は、ネットワークルータおよび／またはスイッチとして構成される。いくつかの他の実施形態では、システム100は、利用者デバイス105及び撮影者デバイス110とが互いに直接通信することができ、継電器115を含んでいない。

図2は、本発明の実施形態に従ったシステムの例示的な図を示す。システム200は、複数の利用者デバイス205、複数の撮影者デバイス210、及び継電器215を備えることができる。
本実施形態では、各利用者デバイス205は、ネットワークチャネル225を介して継電器215と通信することができる。各撮影者デバイス210は、ネットワークチャネル230を用いて継電器215と通信することができる。この実施形態では、利用者デバイス205のうちの1つを制御する利用者は、継電器215を介して閉ループに入るように、撮影者デバイス210のうちの1つのオペレータを選択することができる。利用者デバイスとの閉ループ内の撮影者デバイスは、別の利用者による選択に利用することができない。いくつかの実施形態では、複数の撮影者デバイスは、単一の利用者デバイスと通信することができる。

この実施形態では、撮影者デバイス210は、撮影デバイス212とポータブルコンピューティングデバイス214とを含むことができる。撮影デバイス212は、限定するものではないが、携帯式、首に掛けられるもの、あるいは肩または腰などに取り付けられているデジタル映像カメラなどのデバイスであり、必ずしも手に持って操作する必要がないアクションカム、限定するものではないが、例えば、肩、頭、身体の他の部分にベルトで取り付ける、または軸線650と撮影デバイス212の縦軸が平行に保たれている限り、ヘルメットまたは車両、ポータブルコンピューティングデバイス214に埋め込まれたカメラなどに取り付けることができる小さなカメラである。撮影デバイス212からの音声映像データは、無線あるいは限定はしないが、HDMI（登録商標）など物理的なポートを介してストリーミング配信される。ポータブルコンピューティングデバイス214は、ライブで以下の機能を実行することができる。撮影デバイス212からストリーミング配信された音声映像データに接続してキャプチャする。 通信ネットワークチャネル230を介して音声映像データを送信する。利用者205から撮影制御情報を受信して表示する。 電子コンパスを備える。ポータブルコンピューティングデバイス214は、上述したタスクを実行することができるように、インストールされた専用のプログラムを含むことができる。

本実施形態では、利用者デバイス205は、コンピューティングデバイス206、表示デバイス207、および制御デバイス208を含むことができる。コンピューティングデバイス206は、ポータブルコンピューティングデバイスまたはデスクトップコンピューティングデバイスを含むことができる。代替実施形態において、コンピュータデバイス206は、スマートテレビに含まれることができる。表示デバイス207は、利用者デバイス205によって受信された撮影者デバイス210から映像ストリームを提示する任意の表示手段である。 制御デバイス208は、コンピューティングデバイス206に接続することができ、利用者が、撮影がどのように継続すべきか、これに限定しないが、撮影方向、カメラの傾き、ズーム、所望の前進速度、どのように回転あるいは停止するかなど、について希望の指示を入力することを可能にする。制御デバイス208は、ポインティングデバイス、ジョイスティック、トラッキングボール、キーボード、タッチパネル、リモートコントロール、または目の動きを追跡する方法等のデバイスであるが、これに限定されない。

本実施形態では、継電器215は、通信ネットワークチャネル225および230に接続することができるサーバ217を含む。そして以下を構成することができる。継電器215は、利用者デバイス205と撮影者デバイス210との間で、例えば、これに制限しないが、利用者から送信される撮影制御情報、チャットメッセージ、他のデータを撮影者に転送し、撮影者から送信される音声映像データ、チャットメッセージおよびその他のデータを利用者に送信するなどリアルタイムで双方向通信を提供する。利用者が表示する場所を使用可能なものから選択できるために、複数の利用者に同時に接続し、各利用者が選択した撮影者に接続できる。同時にそれぞれの場所に配置され、撮影場所が異なる多数の撮影者に接続する。代替の実施形態では、複数の視点をその場所に提供するために利用者は同じ場所で複数の撮影者に接続することを選択できる。

本実施形態においては、通信ネットワークチャネル225及び230は、これに限定されないが、インターネットまたはその他の専用の専用ネットワークであってもよい。ネットワークへの物理的な無線接続は、これらに限定されないが移動ネットワーク、Wi-Fiまたは衛星チャネルなどの手段を用いて行うことができる。

システムの典型的な操作では撮影者は撮影デバイス212を用いて利用者から離れた場所を撮影する。このデバイスは、通信ネットワークチャネル230と無線接続を設定し、継電器215を介して前記音声ビジュアルデータを利用者デバイス205に送信することができるポータブルコンピューティングデバイス214に音声映像データをストリーミング配信することができる。
利用者デバイス205において、コンピューティングデバイス206は、撮影者デバイス210から継電器215及びネットワークチャネル225を介して音声ビデオデータを受信し、利用者が見ることができるように接続されている表示デバイス207にリアルタイムで表示する。
コンピューティングデバイス206に接続された制御デバイス208は、これに限定はしないが、 撮影者のチャットメッセージ又は回転方法、若しくは停止時の所望の前進速度等を送信すると同様に、撮影方向、カメラの傾き、ズームなどのパラメータ値を変更することによって、利用者は、撮影が次に続くべきである方法についての撮影制御コマンドを入力することができる。コンピューティングデバイス206は、この撮影制御情報を通信ネットワークチャネル225および継電器215から撮影者デバイス210に送信し、同時に表示デバイス207の一部にこの制御情報を表示させ、利用者が自身の制御アクションをチェックできるようにする。
撮影制御情報は、ポータブルコンピューティングデバイス214の表示画面上で受信し表示することができる。撮影者が遵守し、利用者の要求に従って撮影が継続されると、利用者に返送されるビデオ情報が適切となる。利用者は、撮影の精度を確認し、そして負帰還ループを閉じることができる。したがって、この負帰還ループによって、このシステムは利用者が、これに限定しないが、撮影者によって撮影された観光スポットなどの離れた場所を見ることができ、自分自身で直接制御した方法で撮影し利用者が「仮想旅行」の経験を与えることができる。

図3は、本発明の実施形態による典型的な撮影者デバイスを示す。撮影者デバイス310は、撮影デバイス313を含むことができる。本実施形態では、撮影デバイス313は、本明細書の教示にしたがって、埋め込まれたポータブルコンピュータおよび表示デバイスを含むことができる。

図4は、本発明の実施形態による、撮影者デバイスの典型的な表示を示す。ポータブルコンピューティングデバイス414は、表示画面416を含むことができる。表示画面416は、キーボードボタン418、地図表示420、メニューボタン422、終了プログラムボタン424、送信ボタン426、マイク428、撮影方向指示器430、コンパス指示器432、および チャットウィンドウ434を表示することができる。表示されたボタンの活性化は、これに限定しないが、典型的に指またはスタイラスよって実行できる。キーボードボタン418は、チャットウィンドウ434にテキストを入力するためのキーボードディスプレイ（図示せず）を表示／非表示することができる。地図表示ボタン420は、ポータブルコンピューティングデバイス414の位置の地図を表示／非表示することができる。いくつかの実施形態では、ネットワーク接続を使用して地図情報を取得することができる。メニューボタン422は、限定ではないが、ビデオ部分のみのオーディオ送信オン／オフの切り替え、通信ネットワークチャネル230があまり速くない場合のビデオ解像度の設定、撮影のビデオ解像度カラー／白黒モードの切り替え、一時停止／再開機能などを切り替えることができる。終了ボタン424は、実行中のプログラムを終了することができる。送信ボタン426は、オーディオビデオデータの送信を開始／停止することができる。 マイク428は、ポータブルコンピューティングデバイス414のマイクをオンまたはオフにすることができる。撮影方向指示器430は、撮影デバイス212が指示する方向を示す。コンパスの磁北方位432は磁北を指している。チャットウィンドウ434は、チャットセッション中にテキストを表示できる。いくつかの実施形態では、撮影者は、利用者とのテキストメッセージを送ることができる。いくつかのほかの実施形態では、撮影者は、継電器215の撮影者とテキストメッセージ送ることができる。いくつかのほかの実施形態では、撮影者はボイスメッセージを送ることができる。

図5は、本発明の実施形態による、利用者デバイスの典型的な表示を示す。利用者デバイス500用のディスプレイは、表示画面507、メイン表示領域509、サムネイル表示511、地図表示ボタン520、メニューボタン522、終了ボタン524、マイクボタン528、撮影制御パネル529 撮影方向指示器530、コンパス指示器532、チャットウィンドウ534、オペレータステータス確認ボタン536、共有ボタン542、録画ボタン544、スケジュールボタン546、および撮影コマンド表示548を含む。メイン表示領域509には、ストリーミング配信された映像が表示される。
サムネイルは、特定の時点で利用可能な撮影者からの撮影を選択できるように表示する。
地図表示ボタン520は、ポータブルコンピューティングデバイス414の位置の地図を表示／非表示することができる。いくつかの実施形態では、ネットワーク接続を使用して地図情報を取得することができる。代替的な実施形態では、地図情報は利用者コンピューティングデバイスの記憶措置に保存することができる。設定またはメニューボタン522は、これに限定しないが、ストリーミング配信サーバーの IPを設定する、ライブストリーミング配信を記録するときのファイルの場所を選択する、利用者がストリーミング配信データを共有したい他のコンピュータの IPアドレスを設定するなど利用可能な機能のリストを表示することができる。終了ボタン524は、実行中のプログラムを終了することができる。マイクボタン528は、利用者コンピューティングデバイス205のマイクをオンまたはオフにすることができる。撮影方向指示器530は、撮影デバイス212が示す方向を示すことができる。コンパスの磁北方位532は磁北を指している。チャットウィンドウ534は、チャットセッション中にテキストを表示することができる。いくつかの実施形態では、利用者は、撮影者とテキストメッセージを送信することができる。いくつかの他の実施形態では、利用者は、中継デバイス215の撮影者とのテキストメッセージングを送信ことができる。いくつかの他の実施形態では、利用者はボイスメッセージングを送信することができる。 オペレータステータスチェックボタン536は、選択された利用者デバイスがオフラインであるか、スタンバイ状態であるか、ストリーミング配信中であるかを示すためにアクティブ化することができる。「共有」ボタン542は、利用者が、自分自身に接続された別のコンピュータにオーディオビデオ情報を送信することを可能にし、第三者がそれぞれのオーディオビデオ情報を同時に見ることを可能にする。これに限定しないが、IPアドレスなどの他のコンピュータ接続認証情報に関する設定は、メニューボタン522を使用して、プログラムに登録することができる。録画ボタン544は、所定のフォーマット／コーデックでローカル大容量記憶デバイスにオーディオ - ビデオデータを記録することを可能にすることができる。代替的な実施形態では、録画ボタン544は、中継デバイス215に、サーバ217にオーディオビデオデータ
を録画するよう指示することができる。スケジュールボタン546は、撮影者との次のライブ接続のスケジューリングを可能にすることができる。撮影コマンド表示548は、これに限定しないが、傾き、ズーム、操作者の前進速度などの制御デバイス208から入力された撮影制御コマンドを表示することができる。

図6A~図6Cは、本発明の実施形態に従って典型的な負帰還ループを示す。本実施形態で軸650は、撮影デバイス212の縦軸に対して概ね平行なポータブルコンピューティングデバイス214の縦軸である。コンパスの磁北方位632は磁北を指している。 撮影方向630は、利用者が制御デバイス208を操作し、それぞれの情報がリアルタイムで受信されると回転することができる。角度652は、軸650と北方向632との間に作られた角度であり、ポータブルコンピューティングデバイス214上の基準方向として使用され、その電子コンパスによって得られる。ポータブルコンピューティングデバイス214上で実行されるプログラムは、角度652を追跡することができる。北方向は、コンパスの磁北方位532として表示するために利用者のコンピューティングデバイス210に送信することができる。角度654は、図6B に示すように、利用者が撮影したい方向を指している撮影方向630の軸650とインジケータとの間に発生した現在の角度である。利用者からの指示がない場合、図6Aに示すように、撮影方向630のデフォルト位置は直立していてもよく、角度654は0であってもよい。利用者が所望の角度で撮影方向を変更要求すると、コンピューティングデバイス206は、それぞれの情報をポータブルコンピューティングデバイス214に送信することができ、図6Bに示すように角度654として表示することができる。この要求に応えるために、撮影者は撮影方向630で指し示された方向で撮影するように回転し、その結果、軸650は、図6Cで示された方向に向かって回転し、よって角度652が変更される。本実施形態では、撮影方向630は、軸650の回転中に基準北方向632に対して変化しないように維持され、これを達成するために、プログラムが角度654をリアルタイムで再計算し、図6Cで示されるように角度654が大きくなると同量で角度652を減少させる。ポータブルコンピューティングデバイス214は、利用者のコンピューティングデバイス206に、この角度情報をかなり細かい時間間隔で連続的に送信することができる。したがって、利用者デバイス500のディスプレイ上の撮影方向530のインジケータと画面の垂直方向との間の角度は、角度654と同じであり、撮影者の回転に応じて変化し、2つの撮影方向指示器
630および530 が本質的に平行となるように、つまり、2つの矢印はそれぞれ、軸650と利用者デバイス500の垂直側と同じ角度を保っている。角度654が実質的にゼロとなるように撮影者の位置が設定されると、利用者の指示の結果が完了して、要望通り撮影されたシーンを視聴することができ、これにより負帰還ループを終了させる。最も重要な撮影制御コマンドは、方向とするが、これに限定しないが、撮影者の移動速度または方向、または停止と同様に傾き、ズーム、ならびに利用者から送信される他の制御パラメータが存在し得る。これらは、同様に予め定められた視覚的なグラフィックインジケータなどを介して示すことができ、これに限定しないが、テキストや音声または特定の音同様、サイズや色によっても変化する形状である。同様に、方向ループに対して、コマンドパラメータが利用者から送信されるようなすべての場合において、撮影者がこれらの指示に準拠した方法で撮影を続けると、負帰還ループが働き、利用者の要望に従って撮影を行えるようにそれぞれのパラメータが変化する。利用者によって指示された視覚的なグラフィック変更パラメータは、利用者の表示デバイス207にも表示されるので、自分のコマンドも見ることができる。非限定的な例において、画面移動コマンドは、これに限定しないが、垂直軸および所望の方向軸のような基準軸の間の円の変化する角度によって示すことができる。
傾動は、限定するものではないが、水平方向と所望の方向軸のような基準軸の間の角度によって示すことができる。ズームおよび前進速度を変更するためのコマンドは、これに限定するものではないが、ラインまたはバー、またはその長さを変える形またはカラー範囲によって示すことができる。段落0036に記載されているような実施形態では、ズーム機能を自動的に調整するコマンドを介して利用者によって制御することができるので、ズーム操作を行う方法において撮影者に指示する必要がない。定義済みの意味を持つ効果音を任意に追加することができる。 テキストメッセージや音声によるコマンドは別のオプションにすることができる。

図7は、本発明の実施形態に従って専用プログラムの典型的なルーチンを示している。
本実施形態では、利用者コンピューティングデバイス206、継電器サーバ217、および撮影者ポータブルコンピューティングデバイス214は、本発明の教示を可能にする専用のプログラムを有することができる。 本実施形態では、利用者コンピューティングデバイス206にインストールされた専用のプログラム705を、リアルタイムで、通信ネットワークチャネル225に接続し、このネットワークを介して撮影者のポータブルコンピューティングデバイス214に接続することができる。
プロセスステップ707において、プログラム705は、ポータブルコンピューティングデバイス214からオーディオ - ビデオデータのストリームを受信し、これに限定しないが、コーデックなどの手段によって必要に応じてデコードし、それを表示デバイス207に表示することができる。 ステップ709において、プログラム705は、制御デバイス208からコマンドを取得し、ネットワークチャネル225を介して所定の方法で撮影者のポータブルコンピューティングデバイス214にそれらを送ることができる。

本実施形態では、ポータブルコンピューティングデバイス214にインストールされた専用プログラム710は、リアルタイムで、撮影デバイス212を認識し、これからオーディオ - ビデオデータ入力を受信することができる。プログラム710は、通信ネットワークチャネル230に接続することができる。非限定的な例では、継電器215のIPを知ることができるので、一般に合意されたプロトコルを介して継電器サーバプログラム715に接続することが可能となり、よって継電器215との間でデータを送受信することが可能となる。撮影デバイス212からのオーディオ-ビデオデータの取り込み中に、プログラム710は、これに限定しないが、プロセスステップ714におけるコーデックなどの手段によってそれを送信する前にオーディオ-ビデオデータをエンコードまたは圧縮することができる。プロセスステップ716において、プログラム710は、これに限定しないが、UDP、TCP、TCP ／ IPなどのトランスポート層を介して、これに限定しないが、RTP、RTSP、RTMP、RTMPS、RTMPT、WEBRTC、UV4L、HTTP、 HTTP Live Streaming、DASH、MMSなどのストリーミング配信プロトコルを使用し、通信ネットワークチャネル230を通して、継電器サーバ217にデータを送信することができる。プロセスステップ712において、プログラム710は、所定の方法で、利用者から送信された指示を表示し、サーバ217を介して受信し、次にどのように撮影を続けなければならないかについて表示することができる。

他の実施形態では、プログラム710は、帯域幅をセーブおよび／または速度を増すことができるように、それを送信する前に、オーディオ - ビデオコーデックでストリームデータをさらに圧縮することができる。他の実施形態では、プログラム710は、セキュリティ上の理由から、オーディオビデオデータを暗号化することができる。いくつかの他の実施形態では、プログラム710は、GPS機能が利用可能であれば、現在の座標を第三者によって提供される地図サービスに送ることによって現在の位置に地図を表示することができる。ディスプレイ416上の地図表示は、地図表示ボタン420でオン／オフを切り替えることができる。地図座標はまた、決定された時間間隔で利用者コンピューティングデバイス206に送信され、利用者はディスプレイデバイス207上でマップも見ることができる。他の実施形態では、プログラム710は、テキストおよびボイスメッセージングでチャット機能をさらに可能にすることができる。

本実施形態では、継電器サーバ217にインストールされた専用プログラム715は、ポータブルコンピューティングデバイス214から位置情報及びオーディオビデオデータを受信し、プロセスステップ719において対応する利用者コンピューティングデバイス206に転送することができる。プロセスステップ717では、プログラム715が、これに限定しないが、利用者コンピューティングデバイス206からの撮影方向、傾き、ズーム、前進速度などの撮影制御情報を受信し、それに対応する撮影者ポータブルコンピューティングデバイス214に転送する。

他の実施形態では、プログラム715は、さらに、利用者に提供されるサービスとして、システムの機能を提供し、維持することができる。他の実施例では、プログラム715は、各利用者を適切な撮影者および有効なサービス開始と照合する前にサーバー217上のデータベースを維持し、すべての利用者と撮影者の情報を保存し、すべての当事者に対して安全なログインを許可することができる。他の実施形態では、プログラム715は、撮影者から受信したオーディオビデオデータを利用者に中継している間に、メディアサーバプログラムが同時に大容量記憶デバイスにデータを記録することができる。いくつかの他の実施形態では、プログラム715は、データ暗号化をオン／オフに切り替えることができる。他のいくつかの実施形態では、プログラム715は、利用者にそれぞれのデータを中継する間、撮影者が撮影し受信したシーンについての説明と字幕を挿入することができる。いくつかの実施形態では、プログラム715は、オーディオまたはビデオノイズのカット、ビデオのシャープ／ぼかし、コントラストの増大／縮小、彩度の増減など、任意のオーディオまたはビデオ編集をリアルタイムで追加することができる。

代替の実施形態では、撮影デバイス212がデータストリームを圧縮および／または符号化する能力を有する場合、ポータブルコンピューティングデバイス214はこれらのタスクを実行する必要はない。 別の代替的な実施形態で、撮影デバイス212は、埋め込まれた垂直チルトセンサーを埋め込むことができる。本実施形態では、垂直傾斜の利用者の制御は、既に説明した方向制御と同様の方法で行うことができ、すなわち、撮影デバイス212は、傾斜情報（前記の撮影デバイスの軸と、水平面で形成される角度）を利用者コンピュティングデバイス206に戻す。

他の代替の実施形態では、撮影デバイス212は、上述したように、ポータブルコンピューティングデバイス214によって実行されるすべての必要な機能を埋め込むことができる。したがって、2つのデバイスは、すべてのタスクを実行するのに十分な一つのデバイス313に統合されることになる。図3を参照。本実施形態では、軸650と撮影デバイス212の縦軸が平行に保たれていることを確実にすることが容易である。

さらにいくつかの他の代替実施形態では、撮影デバイス212は、これに限定しないが、Segwayタイプのデバイスまたはドローンなどの遠隔制御された車両に取り付けることができ、撮影者が利用者の指示に従って車両を制御することができる。

さらに別の代替実施形態では、撮影者は注釈が利用者によって選択可能な副音声チャネル上に存在するかもしれない動画で実行中の解説を提供することができる。

他の実施形態では、本発明の教示は、医療用途に適用することができる。非限定的な例として、医師は、医師が何をすべきか、彼らが適切に対応するかどうかを確認するため離れた場所から指示を出し、これに限定しないが、神経系疾患などの疾患を有する患者をチェックすることができる。他の実施形態では、本発明の教示は、研究室作業および現場作業に適用することができる。非限定的な例として、これに限定しないが、研究室などの専用の場所で作業する人々は、自分たちが行くのが困難な場合、現場にいる他の撮影者に対して指示を出し、ビジュアルデータをフィードバックすることができる。これは、限定しないが、現場での作業が準備ができていない人々にとって危険であるという状況を含む。

当業者であれば、本発明の教示に照らし合わせて、前述のステップおよび／またはシステムモジュールのいずれかを適切に置き換え、並べ替え、取り外されることが可能であること、追加のステップおよび／またはシステムモジュールは、特定のアプリケーションのニーズに応じて挿入されることが可能であること、そして前述の実施形態のシステムが、多種多様な適切なプロセスおよびシステムモジュール、これに限定しないが、特定のコンピュータハードウェア、ソフトウェア、ミドルウェア、 ファームウェア、マイクロコードなどのいずれかを使用して実装することが可能であることを容易に理解するだろう。コンピューティングマシン上で実行可能な本出願に記載されている任意の方法ステップについて、典型的なコンピュータシステムは、適切に構成または設計された場合、発明のこれらの側面を具体化できるコンピュータシステムとして機能することができる。

図8は、本発明の例示的なウェブ対応／ネットワーク化された実施形態によって使用されることができる例示的な利用者／サーバシステムを示すブロック図である。

通信システム800は、利用者が複数おり、その中の例えば利用者802および804を例とし、ローカルネットワークが複数あり、その中のローカルネットワーク806およびローカルネットワーク808を例とし、グローバルネットワーク810とサーバが多数あり、その中のサーバ812およびサーバ814を例として含んでいる。

利用者802は、通信チャネル816を介してローカルネットワーク806と双方向に通信することができる。利用者804は、通信チャネル818を介してローカルネットワーク808と双方向に通信することができる。ローカルネットワーク806は、通信チャネル820を介してインターネットの様なグローバルネットワーク810と双方向に通信することができる。ローカルネットワーク808は、通信チャネル822を介してグローバルネットワーク810と双方向に通信することができる。グローバルネットワーク810は、通信チャネル824を介してサーバ812およびサーバ814と双方向に通信することができる。サーバ812およびサーバ814は、通信チャネル824を介して互いに双方向に通信することができる。さらに、利用者802、804、ローカルネットワーク806、808、グローバルネットワーク810、およびサーバ812、814は、それぞれ互いに双方向に通信することができる。

一実施形態では、グローバルネットワーク810はインターネットとして運用することができる。通信システム800が多くの異なった形式を取る可能性があることを同業者に理解される。通信システム800の形式の非限定的な例には、ローカルエリアネットワーク（LAN）、広域エリアネットワーク（WAN）、インターネットサービスプロバイダ（ISP）、ネットワークアクセスポイント（NAP）、有線電話ネットワーク、無線ネットワーク、 各当事者間のデータ通信をサポートするその他のネットワークを含む。

利用者802および804は、多くの異なる形式をとることができる。利用者802および804の非限定的な例は、パーソナルコンピュータ、パーソナルデジタルアシスタント（PDA）、携帯電話およびスマートフォンを含む

利用者802は、CPU826、ポインティングデバイス828、キーボード830、マイク832、プリンタ834、メモリ836、大容量記憶デバイス838、GUI840、ビデオカメラ842、入力／出力インターフェース844、ネットワークインターフェース846を含む。

CPU826、ポインティングデバイス828、キーボード830、マイク832、プリンタ834、メモリ836、大容量記憶デバイス838、GUI840、ビデオカメラ842、入力／出力インターフェース844、およびネットワークインターフェース846は、通信チャネル848を介して一方向、あるいは双方向に相互通信できる。通信チャネル848は、単一の通信チャネルまたは多数の通信チャネルとして構成することができる。

CPU 826は、マイクロコントローラ（例えば、内蔵RAM ／ ROM）およびプログラマブルデバイス（例えば、RISCまたはSISCベース、またはCPLDおよびFPGA）などのマイクロ演算処理装置およびゲートアレイ ASIC（特定用途向け集積回路）または汎用マイクロプロセッサなど各種多様である。

当技術分野で周知のように、メモリ836は、データおよび命令をCPU826に双方向で転送するために通常使用される。前述したように、メモリ836は、特に明記しない限り、任意の有線または無線送信を除いて上述したようなデータストレージ用の任意の適切なコンピュータ読み込み可能媒体を含むことができる。大容量メモリ記憶デバイス838はまた、CPU826に双方向で結合され、追加のデータストレージ容量を提供し、上記のコンピュータ読み込み可能媒体のいずれかを含むことができる。大容量記憶デバイス838は、プログラムやデータなどを記憶するために使用され、通常、ハードディスクなどの二次記憶媒体である。大容量記憶デバイス838内に保持されている情報が、適切な場合には、仮想メモリのようにメモリ836の一部として標準の方法で組み込まれることが評価される。

CPU826は、GUI840に結合することができる。GUI840を使用すると、ユーザはコンピュータオペレーティングシステムおよびソフトウェアの動作を見ることができる。CPU 826はポインティングデバイス828に結合することができる。ポインティングデバイス828の非限定的な例には、コンピュータマウス、トラックボールおよびタッチパッドが含まれる。ポインティングデバイス828を使用すると、ユーザはGUI840の表示領域についてコンピュータカーソルを操作し、GUI840の表示領域内の領域または機能を選択することができる。CPU826は、キーボード830に結合することができる。キーボード830を使用するとは、ユーザは英数字のテキスト情報をCPU826に入力することができる。CPU 826 はマイク832に結合することができる。マイク832を使用すると、ユーザが作成したオーディオを、CPU 826 によって記録、処理、および通信することができる。CPU 826 はプリンタ834に接続することができる。プリンタ834を使用すると、ユーザが用紙に情報を印刷することができる。CPU 826 は、ビデオカメラ842に接続することができる。ビデオカメラ842は、ユーザが作成あるいはキャプチャしたビデオを、CPU 826によって記録、処理、および通信することができる。

CPU 826はまた、CD-ROM、ビデオモニタ、トラックボール、マウス、キーボード、マイク、タッチセンサーディスプレイ、トランスデューサカードリーダ、磁気または紙テープリーダー、タブレット、スタイラス、音声または手書き認識デバイス、例えば他のコンピュータを含む周知の入力デバイスなどの入出力デバイスを１つ以上接続する入力／出力インターフェース844に結合することができる。

最後に、CPU826は、必要に応じてネットワークインターフェース846に結合することができ、このインターフェースは、一般に通信チャネル816として示される外部接続を使用しているデータベースやコンピュータ、電気通信、インターネットネットワークなどの外部デバイスとの通信を可能にし、適切な従来の技術を使用している有線または無線通信のリンクに接続することができる。このような接続により、CPU 826はネットワークから情報を受信したり、本発明の教示に記載された方法手順を実行する過程でネットワークに情報を出力することがある。

図9は、従来の利用者／サーバ通信システムを示すブロック図である。

通信システム900には、ネットワーク領域902およびネットワーク領域904として示される領域のサンプリングを伴う多数のネットワーク領域とグローバルネットワーク906とサーバデバイス908およびサーバデバイス910として示されているサーバのサンプリングとを伴う多数のサーバを含む。

ネットワーク領域902およびネットワーク領域904は、地理的領域または地域内に含まれるネットワークを表すために機能することができる。ネットワーク化された領域のための地理的領域の表示の非限定的な例は、郵便番号、電話エリアコード、州、郡、都市および国を含むことができる。ネットワーク領域902および904内の要素は、他のネットワーク領域内の外部要素あるいは同じ領域内に含まれる要素内と通信するのに運用できる。

いくつかの実装において、グローバルネットワーク906はインターネットとして運用することができる。通信システム900が多くの異なった形式を取る可能性があることを同業者に理解される。通信システム900の形式の非限定的な例には、ローカルエリアネットワーク（LAN）、広域エリアネットワーク（WAN）、有線電話ネットワーク、携帯電話ネットワーク、有線または無線通信ネットワークを介した各当事者間のデータ通信をサポートするそのた他のネットワークを含む。グローバルネットワーク906は、さまざまなネットワーク要素間で情報を転送するのに運用できる。

サーバデバイス908およびサーバデバイス910は、ソフトウェア命令の実行、情報の保存、データベース操作のサポート、および他のネットワーク要素との通信に運用できる。サーバデバイス908およびサーバデバイス910上で実行され得るソフトウェアおよびスクリプト言語の非限定的な例としては、C、C ++、C＃およびJava（登録商標）が挙げられる。

ネットワーク領域902は、通信チャネル912を介してグローバルネットワーク906と双方向に通信するのに運用できる。ネットワーク領域904は、通信チャネル914を介してグローバルネットワーク906と双方向に通信するのに運用できる。サーバデバイス908は、通信チャネル916を介してグローバルネットワーク906と双方向に通信する通信するのに運用できる。サーバデバイス910は、通信チャネル918を介してグローバルネットワーク906と双方向に通信する通信するのに運用できる。ネットワーク領域902および904、グローバルネットワーク906およびサーバデバイス908および910は、通信システム900内にある他のすべてのネットワークデバイスと通信するのに運用できる。

サーバデバイス908は、ネットワークデバイス920およびサーバ922を含む。ネットワークデバイス920は、通信チャネル916を介してグローバルネットワーク906および通信チャネル924を介してサーバ922と双方向に通信するのに運用できる。サーバ922は、ソフトウェア命令を実行し、情報を記憶するよう通信するのに運用できる。

ネットワーク領域902は、利用者926および利用者928として示されるサンプリングを伴う多数の利用者を含む。利用者926は、ネットワーキングデバイス934、演算処理装置936、GUI938、およびインターフェースデバイス940を含む。GUI938用のデバイスの非限定的な例には、モニタ、テレビ、携帯電話、スマートフォン、およびPDA（パーソナルデジタルアシスタント）を含む。インターフェースデバイス940の非限定的な例は、ポインティングデバイス、マウス、トラックボール、スキャナおよびプリンタを含む。 ネットワークデバイス934は、通信チャネル912を介してグローバルネットワーク906と、通信チャネル942を介してＣＰＵ936と双方向に通信することができる。GUI938は、ユーザに提示するために、通信チャネル944を介してＣＰＵ936から情報を受信することができる。インターフェースデバイス940は、ＣＰＵ936に制御情報を送信し、通信チャネル946を介してＣＰＵ936から情報を受信することができる。ネットワーク領域904は、利用者930および利用者932として示されるサンプリングを伴う多数の利用者を含む。利用者930は、ネットワークデバイス948、ＣＰＵ950、GUI952、およびインターフェースデバイス954を含む。GUI938用のデバイスの非限定的な例には、モニタ、テレビ、携帯電話、スマートフォン、およびPDA（パーソナルデジタルアシスタント）を含む。インターフェースデバイス940の非限定的な例は、ポインティングデバイス、マウス、トラックボール、スキャナおよびプリンタを含む。 ネットワークデバイス948は、通信チャネル914を介してグローバルネットワーク906と双方向に通信し、通信チャネル956を介してＣＰＵ950と通信することができる。GUI952は、ユーザに提示するために、通信チャネル958を介してＣＰＵ950から情報を受信することができる。インターフェースデバイス954は、ＣＰＵ950に制御情報を送信し、通信チャネル960を介してＣＰＵ950から情報を受信するのに運用できる。

例えば、利用者926とインターフェースするユーザが、ネットワークアプリケーションを実行したい場合を考える。ユーザは、インターフェースデバイス940を使用してネットワークアプリケーションのIP（インターネットプロトコル）アドレスを入力することができる。IPアドレス情報は、通信チャネル946を介してＣＰＵ936に通信することができる。そしてＣＰＵ936は、通信チャネル942を介してネットワークデバイス934にIPアドレス情報を通信することができる。ネットワークデバイス934は、通信チャネル912を介してIPアドレス情報をグローバルネットワーク906に通信することができる。グローバルネットワーク906は、通信チャネル916を介してサーバデバイス908のネットワークデバイス920にIPアドレス情報を通信することができる。次いで、ネットワークデバイス920は、通信チャネル924を介してIPアドレス情報をサーバ922に通信することができる。サーバ922はIPアドレス情報を受信し、処理後IPアドレス情報は通信チャネル924を介してネットワークデバイス920へ返信情報を通信することができる。ネットワークデバイス920は、通信チャネル916を介してグローバルネットワーク906に返信情報を通信することができる。グローバルネットワーク906は、通信チャネル912を介してネットワークデバイス934に返信情報を通信することができる。ネットワークデバイス934は、通信チャネル942を介してＣＰＵ936に返信情報を通信することができる。ＣＰＵ996は、通信チャネル944を介してGUI998に返信情報を通信することができる。

添付の要約書及び図面を含む本明細書に開示された全機能は、特に明記しない限り、同じ、同等または類似の目的を提供する代替機能によって置き換えることできる。したがって、特に明記しない限り、開示された各機能は、同等または類似の機能の一般的な一連の一例に過ぎない。

本発明の少なくとも一つの実施態様を詳しく説明したが、本発明に係る遠隔地のリアルタイム撮影を実施する他の同等又は代替方法は、当業者に明らかである。本発明の様々な形態を例示として説明したが、開示された特定の実施形態は、本発明を開示された特定の形態に限定することを意図するものではない。遠隔地のリアルタイム撮影の特定の実装は、特定のコンテキストまたはアプリケーションによって異なる場合がある。限定ではなく一例として、遠隔地のリアルタイム撮影技術は、撮影者なしで遠隔の撮影デバイスを制御するために適用することができ、本発明の実施は本発明の範囲内であると考えられる。したがって、本発明は、以下の特許請求の範囲の精神および範囲内に入るすべての変更、同等物および代替物を対象としている。前述の仕様において開示された実施形態の全てが、前述の仕様に記載された各対象物、長所、または改善を必ずしも満足させる、または達成するものではないされることが了解される。

有用な結果を達成するために機能的なコンビネーションで稼働する首尾一貫して協力的な一連の制限として明記されている。したがって、USC §112 (6) 35の下で解釈される機能上の制限を有する請求については、問題の実施例が米国外にあるリモートサーバを備えた利用者サーバシステムとして実装している場合、それぞれの列挙された機能は、結合の機能を意味するものであり、論理的な方法、請求の少なくとも一つの他の制限を備えたその請求制限の情報で、結合する機能を意味することを意図している。
例えば、35 USC§112（6）に基づいて請求される特定の情報が米国外にある1つまたは複数のリモートサーバに依存する利用者 サーバシステムでは、35 USC§112（6）の下でそのように列挙された各機能は、地域ごとに実装された請求制限によって必要とされるリモート生成情報を受信するローカルシステムの機能として解釈されることを意図しており、 35 USC§112（6）に基づいて請求される機能の表現に生命を吹き込むことは、その情報を受け取って利用者に提供する米国の管轄内にある対応するステップおよび／または手段である（例えば、これに限定しないが、利用者側 米国における処理および伝送ネットワーク）この出願が米国以外の管轄下で起訴または特許を取得された場合、前述の「米国」は、本出願に対して執行可能な特許侵害管轄権を有する関連する国または法律組織に置き換えなければならない。また、“35 USC §112 (6)”はそのような関連する国または法律組織の特許法において、最も近い対応する法律で置き換えなければならない。

Claims (12)

1. 利用者が持つコンピューティングデバイスと遠隔撮影システムとの間にサーバを含む継電器を介したリアルタイム双方向通信路を確立し、そこで前記利用者が前記コンピューティングデバイスから前記遠隔撮影システムが含むポータブルコンピューティングデバイスへ撮影制御情報を前記継電器を介して送信すると同時に、前記遠隔撮影システムの前記ポータブルコンピューティングデバイスから前記利用者の前記コンピューティングデバイスへ映像データもしくは映像及び音声データを前記継電器を介して送信する方法であって、
   少なくとも指向係数のコマンドを含む前記撮影制御情報は、前記利用者の前記コンピューティングデバイスに接続された制御デバイスを介して入力され、遠隔撮影を行うための命令として前記継電器を介して前記遠隔撮影システムの前記ポータブルコンピューティングデバイスに伝達され、前記遠隔撮影システム上にて少なくとも方向インジケータとして表示可能で、前記ポータブルコンピューティングデバイスにさらに磁北方位を指示する電子コンパスが施され基準点として利用されるように構成され、
   前記映像データもしくは前記映像及び前記音声データを前記継電器を介して送信する前記遠隔撮影システムによって前記命令に従って行った撮影のライブ配信を、前記継電器が受信し、前記利用者が持つ前記コンピューティングデバイスに転送し、前記利用者が持つコンピューティングデバイスにて表示されるように構成され、
   前記映像データを受信する前記利用者が、前記遠隔撮影システムに、さらに追加コマンドを送信し、前記遠隔撮影システムの現撮影方向が前記ポータブルコンピューティングデバイスの画面の縦軸と同じだとし、前記現撮影方向及び前記利用者からの前記命令による希望撮影方向がそれぞれ前記コンパスとの差が常に計られて追跡されることで双方の間に生じた差分の量は計算及び画面上に表示され、その差分の量を最小化して所定の値以下にするように前記遠隔撮影システムの方向を変え、それに従って行われた前記撮影の前記ライブ配信を前記継電器を中間にして前記利用者が受信することで、前記利用者が持つ前記コンピューティングデバイスと前記遠隔撮影システムで負帰還ループが構成されることを特徴とする方法。
2. 前記追加コマンドが、前記遠隔撮影システムの所定の上下の傾きをさらに含む、請求項１に記載の方法。
3. 前記追加コマンドが前記遠隔撮影システムの進行速度の命令をさらに含んでなる、請求項1に記載の方法。
4. 前記利用者が持つ前記コンピューティングデバイスと前記遠隔撮影システムの前記ポータブルコンピューティングデバイス間の前記リアルタイム双方向通信路は、さらに、テキストと音声の少なくとも一つのチャット通信機能を備えた請求項１に記載の方法。
5. 前記継電器は、前記遠隔撮影システムが送信する前記映像データを、前記利用者が持つ前記コンピューティングデバイスに転送すると同時に、前記映像データの処理及び記憶の少なくとも１つを含む方法を備えた請求項１に記載の方法。
6. 前記継電器は、前記遠隔撮影システムが送信する前記映像データに字幕を挿入し、前記利用者が持つ前記コンピューティングデバイスに転送する方法を備えた請求項１に記載の方法。
7. 利用者が持つコンピューティングデバイスと遠隔撮影システムとの間にサーバを含む継電器を介したリアルタイム双方向通信路を確立し、そこで前記利用者が前記コンピューティングデバイスから前記遠隔撮影システムが含むポータブルコンピューティングデバイスへ撮影制御情報を前記継電器を介して送信すると同時に、前記遠隔撮影システムの前記ポータブルコンピューティングデバイスから前記利用者が持つ前記コンピューティングデバイスへ映像データもしくは映像及び音声データを前記継電器を介して送信するプログラムであって、
   少なくとも指向係数のコマンドを含む前記撮影制御情報は、前記利用者が持つ前記コンピューティングデバイスに接続された制御デバイスを介して入力され、遠隔撮影を行うための命令として前記継電器を介して前記遠隔撮影システムの前記ポータブルコンピューティングデバイスに伝達され、前記遠隔撮影システム上にて少なくとも方向インジケータとして表示可能で、前記遠隔撮影システムの前記ポータブルコンピューティングデバイスにさらに磁北方位を指示する電子コンパスが施され基準点として利用されるように構成され、
   前記映像データもしくは前記映像及び前記音声データを含んでいる前記遠隔撮影システムによって前記命令に従って行った撮影のライブ配信を、前記継電器が受信し、前記利用者が持つ前記コンピューティングデバイスに転送し、前記利用者が持つ前記コンピューティングデバイスにて表示されるように構成され、
   前記映像データを受信する前記利用者が前記遠隔撮影システムに、さらに追加コマンドを送信し、前記遠隔撮影システムの現撮影方向が前記遠隔撮影システムの前記ポータブルコンピューティングデバイスの画面の縦軸と同じだとし、前記現撮影方向及び前記利用者からの前記命令による希望撮影方向がそれぞれ前記コンパスとの差が常に計られて追跡されることで双方の間に生じた差分の量は計算及び画面上に表示され、その差分の量を最小化し、所定の値以下にするように前記遠隔撮影システムの方向を変え、それに従って行われた撮影のライブ配信を前記継電器を中間にして前記利用者が受信することで、前記利用者が持つ前記コンピューティングデバイスと前記遠隔撮影システムで負帰還ループが構成されることを特徴とするプログラム。
8. 前記追加コマンドが、前記遠隔撮影システムの所定の上下の傾きをさらに含む、請求項７に記載のプログラム。
9. 前記追加コマンドが前記遠隔撮影システムの進行速度の命令をさらに含んでなる、請求項７に記載のプログラム。
10. 前記利用者が持つ前記コンピューティングデバイスと前記遠隔撮影システムの前記ポータブルコンピューティングデバイス間の双方向通信は、さらに、テキストと音声の少なくとも一つのチャット通信機能を備えた請求項７に記載のプログラム。
11. 前記継電器は、前記遠隔撮影システムが送信する前記映像データを、前記利用者が持つ前記コンピューティングデバイスに転送すると同時に前記映像データの処理及び記憶の少なくとも1つを含む構成を備えた請求項７に記載のプログラム。
12. 前記継電器は、前記遠隔撮影システムが送信する前記映像データに字幕を挿入し、前記利用者が持つ前記コンピューティングデバイスに転送する方法を備えた請求項７に記載のプログラム。

Images