JP6402228B2 - 複数の利用者にビデオデータストリームを提供するための方法及びシステム - Google Patents

Description

背景
これらの教示は、一般に遠隔カメラのビデオ閲覧及び制御の分野に関し、より詳細には、各利用者のコマンドが競合することなしに又は他の利用者を邪魔することなしに、複数の利用者がインターネット及び／又はイントラネットを介してビデオカメラに遠隔的にアクセスし制御する機能を使用できるようにすることに関する。

ライブカメラストリームを遠隔的に見るための利用者能力に関連する主な問題の１つは、かかるストリームの閲覧があらゆる実用目的で１人の利用者に限られることである。クラウドコントロール、在庫の監視、トラフィックの監視、セキュリティ目的（「監視用途」と呼ばれる用途）など、カメラに複数の目的を割り振る場合にこのことは重大な問題を引き起こす。上記のシナリオでは、ＩＰビデオカメラからのビデオストリームを使用し見る、異なる目的をそれぞれ課された複数の利用者がいる場合がある。不都合なことに、複数の利用者が単一のＩＰビデオカメラからの同じビデオストリームを見ようとする場合、画像に対して複雑な解析を行う能力はおろか、全ての利用者が所望の画像を見ていることを確実にする一般的な方法はない。ほとんどの例において、或る利用者のコマンドが他の利用者のコマンドを邪魔し、このことは他の利用者が自らの作業を行う能力を著しく限定し、又は無くしさえする。別のシナリオでは、ＩＰビデオカメラが各利用者によって提示された様々なコマンドをバックログし、受け取られた順序でそれらを一通り確認し、このことは一貫性のないカメラ挙動の発現を全利用者に示す。結果的に殆どの利用者は画像の所望の部分を見ることができず、そのため自らの作業を遂げる能力が大幅に低下する。一部のインターネットプロトコル（「ＩＰ」）カメラは、各閲覧者が自分専用のストリームを制御し操作することを可能にし得る複数のビデオストリームを配布するが、これは問題に対する実行可能な解決策ではない。ストリームがネットワークに負担をかけ、ユーザコマンドとＩＰビデオカメラの応答との間の遅れ時間を大幅に増やし、つまり閲覧者は遅れのせいで一部のライブ情報を逃すことを意味し得るので、かかるＩＰカメラはせいぜい複数の利用者を単一のカメラに同時にアクセスさせるための非常に限定的な解決策でしかない。例えネットワークが単一のＩＰビデオカメラからの様々なストリームを分散させる容量を有すると仮定しても、各利用者が様々なオブジェクトの追跡、様々な警告トリガ事象、色修正などの独自の解析を行えるようにする能力はおろか、各利用者が自身のストリームを効率的に操作しそのストリームを解析できるようにする処理能力をＩＰビデオカメラが有する可能性は低い。更に、画像を移動させ、特定の領域に集中する機能を提供する多くのＩＰビデオカメラは、レンズの機械的動作を必要とする。レンズが動作されない限り（レンズの動作は他の利用者の要望と矛盾する場合がある）、単一の機械式レンズを有する機械式カメラにその視野外の２つの異なるオブジェクトを見させることは可能でない又は望ましくない可能性がある。

従って、複数の利用者が単一のストリームを提供する単一のカメラに遠隔的にアクセスし、制御し、閲覧することを可能にするシステムを提供することが求められており、各利用者のコマンド及びアクセスは、あたかもカメラを完全に制御しているかのようになり、他の利用者のコマンドと競合せず又はネットワークに過度な負担をかけない。

従って、複数の利用者による遠隔監視を可能にするシステム及び方法を提供することが求められており、各利用者のコマンド及びアクセスは、あたかもカメラを完全に制御しているかのようになり、他の利用者のコマンドと競合せず又はネットワークに過度な負担をかけない。

簡潔な要約
複数の利用者が単一のストリームを提供する単一のカメラに遠隔的にアクセスし、制御し、閲覧することを可能にする（「実質的に同時に遠隔監視する」とも呼ぶ）システム及び方法であって、各利用者のコマンド及びアクセスは、あたかもカメラを完全に制御しているかのようになり、他の利用者のコマンドと競合せず又はネットワークに過度な負担をかけない、システム及び方法を以下に開示する。

一実施形態では、これらの教示の方法が、１つ又は複数のビデオデータストリームをサーバにおいて受信するステップと、１つ又は複数のビデオデータストリームをサーバから複数の利用者に提供するステップとを含み、複数の利用者のそれぞれは１つ又は複数のビデオデータストリームを閲覧し操作することができる。

別の実施形態では、これらの教示の方法が、複数の利用者のうちの１人において１つ又は複数のビデオデータストリームをサーバから受信するステップを含み、１つ又は複数のビデオデータストリームは複数の利用者の他者によって受信され、１つ又は複数のビデオデータソースからサーバにおいて最初に受信されている。

一実施形態では、これらの教示のシステムが、１つ又は複数のビデオデータソースと、１つ又は複数のビデオデータソースから生じる１つ又は複数のビデオデータストリームを受信するサーバとを含み、サーバは１つ又は複数のビデオデータストリームを複数の利用者に更に提供し、複数の利用者のそれぞれは１つ又は複数のビデオデータストリームを閲覧し処理することが可能である。

一例ではこれらの教示のシステムが、少なくとも１つのビデオデータソースから少なくとも１つのビデオデータストリームを受信し、その少なくともビデオデータストリームをサーバに提供する、ゲートウェイサブシステムも含む。別の例では、ゲートウェイサブシステムが、サーバに送られる適切なビデオストリームのサイズを決定する。例えば、これらの教示はその例だけに限定されず、ゲートウェイはネットワークの速度検査を行い、ネットワークの速度検査の結果を利用して、サーバに送られる適切なビデオストリームのサイズを決定することができる。ビデオデータはゲートウェイによってサーバに提供されるので、ゲートウェイはビデオデータソース（一例ではカメラ）への直接接続を防ぐ役割を果たすことができる。

別の実施形態では、これらの教示のシステムが、１つ又は複数のビデオデータソースと、１つ又は複数のビデオデータソースから生じる１つ又は複数のビデオデータストリームを受信するサーバと、幾つかのユーザサブシステムとを含み、サーバが１つ又は複数のビデオデータストリームを幾つかのユーザサブシステムに提供し、幾つかのユーザサブシステムのそれぞれが１つ又は複数のビデオデータストリームを閲覧／処理するための閲覧／処理コンポーネントを有する。

これらの教示の方法及びシステムの幾つかの他の実施形態も開示する。

本教示と共に本教示の他の及び更なる目的をより良く理解するために添付図面及び詳細な説明について言及し、本教示の範囲は添付の特許請求の範囲の中で明らかにする。

図面の簡単な説明
これらの教示のシステムの一実施形態のブロック図表現である。 図１に示す、これらの教示のシステムの一実施形態の或るコンポーネントの概略的なブロック図表現である。 これらの教示の方法の一実施形態の流れ図表現である。

詳細な説明
以下の詳細な説明は、これらの教示を実行する現在考えられる最良の形態である。これらの教示の範囲は添付の特許請求の範囲によって最適に定められているので、この説明は限定的な意味で解釈すべきではなく、これらの教示の一般的原理を例示するために単になされているに過ぎない。

本教示は、ネットワーク速度、遅れ時間、及び複数ユーザのコマンド競合に関連する問題に対処するための方法及びシステムを取り入れるので、現在の解決策に関連する問題に対する解決策を提供する。

本明細書で使用するとき、「ウェブブラウザ」とは、これだけに限定されないがワールドワイドウェブなどのネットワーク経由で情報を取得し、提示し、送信するためのコンピュータ可読コード（ソフトウェアアプリケーション）である。

本明細書で使用するとき、「ウェブページ」とは、これだけに限定されないがワールドワイドウェブなどのネットワークに適合され、「ウェブブラウザ」によってアクセスされ、表示装置上に表示可能な資源又は文書である。

本明細書で使用するとき、「アプレット」とは、ネットワーク上で送信される情報のページに含まれ得るコンピュータ可読コードであり、ウェブブラウザ内でページが開くとき、ページを開いているシステムにコードが転送されウェブブラウザ内で実行される。本明細書で使用するとき、「アプレット」はこれだけに限定されないが、JavaアプレットやActiveXコンポーネントなどのコードコンポーネントを含む。

一実施形態では、これらの教示のシステムが、１つ又は複数のビデオデータソースと、１つ又は複数のビデオデータソースから生じる１つ又は複数のビデオデータストリームを受信するサーバとを含み、サーバは１つ又は複数のビデオデータストリームを複数の利用者に更に提供し、複数の利用者のそれぞれは１つ又は複数のビデオデータストリームを閲覧し処理することが可能である。

一例ではこれらの教示のシステムが、少なくとも１つのビデオデータソースから少なくとも１つのビデオデータストリームを受信し、その少なくとも１つのビデオデータソースをサーバに提供する、ゲートウェイサブシステムも含む。別の例では、ゲートウェイサブシステムが、サーバに送られる適切なビデオストリームのサイズを決定する。

別の実施形態では、これらの教示のシステムが、１つ又は複数のビデオデータソースと、１つ又は複数のビデオデータソースから生じる１つ又は複数のビデオデータストリームを受信するサーバと、幾つかのユーザサブシステムとを含み、サーバが１つ又は複数のビデオデータストリームを幾つかのユーザサブシステムに提供する。別の例では、サーバが、利用者に送られる（より狭い画面で使用するための、例えば、スマートフォン）適切なビデオストリームのサイズを決定し、幾つかのユーザサブシステムのそれぞれが１つ又は複数のビデオデータストリームを閲覧／処理するための閲覧／処理コンポーネントを有する。

図１に、これらの教示のシステムの一実施形態を示す。図１に示すように、本教示は５つの主要コンポーネントを含み、５つの主要コンポーネントとはつまり、１）これだけに限定されないが、１つ又は複数のＩＰビデオカメラなどのビデオデータソース１５と、２）これだけに限定されないが、ミニパーソナルコンピュータや小型中央処理装置などのゲートウェイ２０と、３）これだけに限定されないがインターネット及び／又はイントラネット３０などのネットワークと、４）データサーバ４０と、５）クライアント５０（利用者とも呼ぶ）とを含む。ゲートウェイとデータサーバとが同一である実施形態もこれらの教示の範囲に含まれることに留意すべきである。

一例では、図２に示すようにゲートウェイ、サーバ、及び／又はクライアントの少なくとも１つが、１個又は複数のプロセッサ１２０と、コンピュータ可読コードをその中に包含する１つ又は複数のコンピュータ使用可能媒体１３０とを含み、コンピュータ可読コードは、これらの教示の方法の少なくとも一部を１個又は複数のプロセッサに実行させることに留意すべきである。

一例では、各ＩＰビデオカメラ１５が、任意の（例えば狭角又は広角の）画像サイズ及び構成から成ることができる単一のビデオストリームをゲートウェイ２０に提出する。一例では、そのストリームが、標準的な圧縮形式に従って圧縮される広角画像を含む。ＩＰビデオカメラのストリームをインターネット及び／又はイントラネット３０を介してデータサーバ４０に流すことに加え、一例では、ゲートウェイ２０が、データサーバ４０に送られる適切なビデオストリームのサイズも決定する。ビデオストリームをゲートウェイに調整させることにより、ネットワークへの負担を軽減し、それにより従来技術に関連する問題の１つに対処する。

別の例では、ＩＰビデオカメラ１５の代わりにアナログカメラを使用する。その例ではゲートウェイ２０が、アナログビデオ信号をＩＰビデオストリームに変換するサーバであるビデオサーバを含む。ＩＰビデオストリームは、上記の方法に対する入力としての役割を果たす。

一例では、１つ又は複数のビデオデータソースの少なくとも１つが広角又は３６０°の光学系である。一例では、広角の光学系が魚眼レンズを含む。魚眼レンズの代わりに様々な反射屈折サブシステムを利用できることに留意すべきである。

一実施形態では、少なくとも１つのクライアント（ユーザサブシステムとも呼ぶ）５０が、少なくとも１個のプロセッサと、コンピュータ可読コードをその中に包含する少なくとも１つのコンピュータ使用可能媒体とを含み、コンピュータ可読コードは、１つ又は複数のビデオデータストリームを少なくとも１個のプロセッサに閲覧／処理させる。１つ又は複数のビデオデータストリームを処理することは、これだけに限定されないが、その全てを参照により全ての目的でそのまま本明細書に援用する、「画像処理による光学的歪みの修正（Correction of optical distortion by image processing）」と題された米国特許第７５２９４２４号、「改善された周辺視野を有する広角電子カメラ（Wide angle electronic camera with improved peripheral vision）」と題された米国特許第７８９３９８５号、「広角ビデオカメラにおける領域の画像処理（Image processing of regions in a wide angle video camera）」と題された米国特許第７３６６３５９号、「広角ビデオカメラにおけるマルチビュー処理（Multiple-view processing in wide-angle video camera）」と題された米国特許第７４５０１６５号、「広角ビデオカメラにおけるマルチオブジェクト処理（Multiple object processing in wide-angle video camera）」と題された米国特許第７５２８８８１号、及び「広角ビデオカメラにおける領域の画像処理（Image processing of regions in a wide angle video camera）」と題された米国特許出願公開第２００８／０２１１９０３号の中に記載されているものなどの方法を使用し、広角画像を修正すること、画像内のプライバシ領域を選択すること、及び移動オブジェクトを追跡することを含むことができる。

別の実施形態では、１つ又は複数のビデオデータストリームを処理することが、広角カメラからの広角画像を修正すること、画像内の関心領域を選択すること、１つ又は複数の画素の座標を求めること、及びその座標を（一例では広角カメラと実質的に一緒に配置される）ＰＴＺカメラに与えることを含むことができる。

一例では、クライアントにおける少なくとも１つのコンピュータ使用可能媒体内のコンピュータ可読コードが更に、少なくとも１個のプロセッサに、広角光学サブシステムからのビデオデータから関心領域を選択させ、他のビデオデータを受信させる。他のビデオデータは関心領域に対応する。（一例では、米国特許第７３６６３５９号、第７４５０１６５号、及び第７５２８８８１号、並びに米国特許出願公開第２００８／０２１１９０３号の中で開示されている方法が利用されても良い。）

別の例では、１つ又は複数のビデオデータソースの少なくとも１つが、広角の光学サブシステムと、少なくとも１つの狭視野光学サブシステムとを含む。（例えば、参照により全ての目的でそのまま本明細書に援用する米国特許第６，２１５，５１９号に示されているシステムを参照されたい。本教示では奥行情報が必ずしも必要ないことに留意すべきである。）その例では、他のビデオデータが少なくとも１つの狭視野光学サブシステムから受信される。一例では、少なくとも１つの狭視野光学サブシステムがパンチルトズーム（ＰＴＺ）光学サブシステムである。

一実施形態では、動作中、１つ又は複数のクライアント（それぞれユーザサブシステムとも呼ぶ）５０がサーバ４０からウェブページを受信する（一例では、動作は利用者５０がサーバ４０にウェブページを要求することによって始まる）。この実施形態では、１つ又は複数のクライアント５０における１つ又は複数のビデオデータストリームの閲覧／処理が、ウェブブラウザ内で閲覧されるウェブページによって行われ、操作を行いビデオデータストリームを解析するのに必要なツールが、アプレットによって各クライアント５０に提供される（「アプレット」という用語は、上記に示した一般化定義に従って本明細書で使用する）。（例えば、参照により全ての目的でそのまま本明細書に援用する、R. Orfall and D. Harkey,“Client/Server Programming with Java and CORBA”(ISBN 0-471-24578-X, pp. 83-95及びpp. 231-236を参照されたい。）ツール又はアプリケーションは、上記で開示したアプリケーションの何れか又は全てを含むことができる。

一実施形態では、これらの教示の方法が、１つ又は複数のビデオデータストリームをサーバにおいて受信するステップ（図３、ステップ２１０）と、１つ又は複数のビデオデータストリームをサーバから１人又は複数の（「複数人の」）利用者に提供するステップ（図３、ステップ２２０）とを含み、複数の利用者のそれぞれは、１つ又は複数のビデオデータストリームを閲覧し操作することができる。一例では、処理及び取得時間の限度内で、利用者がビデオデータソースから情報を直接受信していると認識するように、１つ又は複数のビデオデータストリームを実質的に同時に利用者（クライアント）に提供することができる。

別の実施形態では、クライアント（利用者）のサイトで操作されるとき、これらの教示の方法が、複数の利用者のうちの１人において１つ又は複数のビデオデータストリームをサーバから受信するステップ（図３、ステップ２３０）を含み、１つ又は複数のビデオデータストリームは複数の利用者の他者によって受信されることが可能であり、１つ又は複数のビデオデータソースからサーバにおいて最初に受信されている。

一例では、１つ又は複数のビデオデータストリームが、１つ又は複数のビデオデータソースから生じる。一実施形態では、１つ又は複数のビデオデータソースが１つ又は複数の広角の光学系を含む。

一例では、１つ又は複数のビデオデータストリームがゲートウェイシステムから受信され、ゲートウェイシステムはその１つ又は複数のビデオデータストリームを１つ又は複数のビデオデータソースから受信する。別の例では、ゲートウェイシステムが、サーバに送られる適切なビデオストリームのサイズを決定する。この操作は、画像のどの部分も除去することなしに、又は画像を調節することなしに行えることに留意すべきである。

これらの教示の一実施形態の操作方法を以下に開示する。以下の開示は限定的であることを意図しないことに留意すべきである。ＩＰビデオカメラ１５からの単一のビデオデータストリームがゲートウェイ２０を通過すると、データサーバ４０が後の閲覧用にデータを記憶し、又はインターネット及び／若しくはイントラネット接続を介してデータを直ちにクライアント５０にプッシュする。データサーバ４０は、クライアント５０のシステム制約及び／又はシステム要件に適合するように、ビデオデータストリームのサイズを小さくする機能も有する。（一例では、ビデオデータストリームのサイズを小さくすることがゲートウェイ４０において行われる。）但し、唯一の低減はクライアントに送られるビデオストリームのサイズ及びピクシレーションに対してなので、小さくされるデータストリームは、画像の如何なる部分も除去せず又は画像を如何なる方法でも調節しない。このことは、クライアントが、完全なビデオデータストリームを処理できない可能性が高いスマートフォンなどの小型電子装置である場合に有益である。

生の又は記録済みのビデオデータストリームがクライアントに伝送されると、各クライアントは自分専用のビデオデータストリームをデータサーバから受信するので、クライアントはビデオデータストリームを閲覧し操作することができる。このタスクを実現するために、各クライアントは、クライアントシステム上でデータストリームを操作し解析するのに必要なツールを使用できるようにされる。そのため各クライアントは、伝送されるビデオデータストリームに対して画像修正（例えば歪みの除去）を行う機能を有し、必要な画像修正が遂げられると、クライアントの利用者は自らの所望のビューに合わせて画像を操作（例えばパン／チルト／ズーム）できるようになる。画像を操作できることに加え、各クライアントは、各クライアントのタスクに関連する独立解析を行う機能も有し得る（本明細書で使用するとき、「操作する」という用語は、画像を操作すること及び解析を行うことの両方を含む）。データサーバは各クライアントに単一のデータストリームを単純に送り出し、単一のデータストリームはカメラから伝送された全データを含むので、各クライアントには、カメラに直接アクセスすることなしに又は他の利用者と干渉することなしに、自らのデータストリームを独立に操作し解析する権限が与えられる。このプロセスは、他のクライアントと競合することなしに又はクライアントへの情報量を減らすことなしに、各クライアントが様々な解析ツール及び管理設定を使用できるようにする。かかるタスク及び解析の例は、オブジェクト追跡、様々な警告トリガ事象、色修正、プライバシゾーン等を含む。

本教示を説明し定義するために、本明細書では任意の定量比較、値、測定、又は他の表現に起因し得る固有の不確実度を表すために、「実質的に」という用語を利用することに留意されたい。「実質的に」という用語は、問題となっている目的物の基本機能を変えることなく、述べられた基準から定量的表現が異なり得る程度を表すためにも本明細書で利用される。

本明細書に記載した要素及びコンポーネントは追加のコンポーネントへと更に分割することができ、又は同じ機能を実行するためのより少ないコンポーネントを形成するように組み合わせても良い。

各コンピュータプログラムは、アセンブリ言語、機械語、高水準手続き型プログラミング言語、オブジェクト指向プログラミング言語など、如何なるプログラミング言語で実装されても良い。プログラミング言語は、コンパイラ型のプログラミング言語又はインタプリタ型のプログラミング言語とすることができる。

各コンピュータプログラムは、コンピュータプロセッサが実行するための、コンピュータ可読記憶装置内に有形に具体化されるコンピュータプログラム製品によって実装することができる。本発明の方法ステップは、入力に対して操作を行い出力を生成することにより本発明の機能を実行するための、コンピュータ可読媒体上に有形に具体化されるプログラムを実行するコンピュータプロセッサによって実行され得る。

一般的形式のコンピュータ可読媒体には、例えばフロッピディスク、フレキシブルディスク、ハードディスク、磁気テープ、又は他の任意の磁気媒体、ＣＤＲＯＭ、他の任意の光学媒体、穿孔パターンを有する任意の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、他の任意のメモリチップ又はカートリッジが含まれ、その全てが非一時的である。USPTO 2005 Interim Guidelines for Examination of Patent Applications for Patent Subject Matter Eligibility, 1300 Off. Gaz. Pat. Office 142 (Nov. 22, 2005)の中で述べられているように、「その一方で技術的観点から、機能記述材料で符号化される信号は、機能記述材料で符号化されるコンピュータ可読メモリと、どちらもコンピュータとの機能的相互関係を作り出す点で似ている。言い換えれば、コンピュータは形式がディスクであろうと信号であろうと関係なく、符号化された機能を実行することができる。」

本教示を様々な実施形態に関して説明してきたが、これらの教示は、添付の特許請求の範囲の趣旨及び範囲に含まれる多岐にわたる更なる実施形態及び他の実施形態も受け入れることができることを理解すべきである。

Claims (6)

1. 複数の利用者により実質的に同時に遠隔監視するための方法であって、
   複数の利用者のうちの２人のユーザサブシステムにおいて、１つ又は複数のビデオデータソースによって生成された１つ又は複数のビデオデータストリームをサーバから受信するステップであって、前記１つ又は複数のビデオデータストリームは前記複数の利用者の他者のユーザサブシステムによって実質的に同時に受信されることが可能であるステップと、
   前記サーバから、前記複数の利用者のそれぞれにおいて、前記１つ又は複数のビデオデータストリームの分析及び操作を単独で実施するためのツールを受信するステップと、を含み、
   前記１つ又は複数のビデオデータストリームは１つ又は複数のビデオデータソースから前記サーバにおいて最初に受信され、前記サーバは前記１つ又は複数のビデオデータストリームを送信し、パン／チルト／ズームが前記ユーザサブシステムで実施され、前記１つ又は複数のビデオデータストリームが前記複数の利用者のうちの少なくとも２人のユーザサブシステムに提供された後に、前記複数の利用者のうちの前記少なくとも２人は、前記ユーザサブシステムを介して、前記ビデオデータソースへのアクセスもカメラコントロールコマンドのサーバへの提供も行うことなく、前記１つ又は複数のビデオデータストリームを閲覧し単独で操作することができ、前記複数の利用者の各利用者は前記１つ又は複数のビデオデータストリームを閲覧し単独で操作することができ、前記複数の利用者のうちの前記少なくとも２人によって実施される前記操作は、移動オブジェクトの追跡と、プライバシー領域の選択、関心領域の選択、画像修正、画像のパン／チルト／ズーム、又は警告トリガのうちの少なくとも１つとを含み、前記単独で操作することは、前記１つ又は複数のビデオデータストリームの分析及び操作を単独で実施するための前記ツールを使用して実施され、前記複数の利用者のそれぞれの利用者はカメラにアクセスすることなく前記１つ又は複数のビデオデータストリームを単独で操作し分析する、
   方法。
2. 前記受信した１つ又は複数のビデオデータストリームを、前記複数の利用者のうちの前記少なくとも２人の解析ツール及び管理設定の特性に従って処理するステップを更に含む、請求項１に記載の方法。
3. 前記１つ又は複数のビデオデータストリームがウェブページを使用して受信される、請求項２に記載の方法。
4. 前記受信した１つ又は複数のビデオデータストリームを処理する前記ステップが、前記ウェブページに含まれるコンピュータ可読コードを利用して実行される、請求項３に記載の方法。
5. 前記１つ又は複数のビデオデータソースの少なくとも１つが、広角の光学系を含む、請求項１に記載の方法。
6. 前記広角の光学系が魚眼レンズを含む、請求項５に記載の方法。