JP4414345B2 - ビデオストリーミング - Google Patents

Description

本発明はビデオストリーミングに関し、さらに詳細には、視聴される画像の遠隔での選択を可能にするためにビデオストリーミングを制御するための方法及び装置に関する。

警備などの行為のためにデジタルカメラを使用してビデオ画像を捕捉することは既知であり、それによってカメラがある領域を観察し、次に信号が遠隔地に送信される、あるいはコンピュータ記憶媒体に記憶される為に使用される。多くの場合、観察されている領域の妥当な解像度を保証するために複数台のカメラが使用され、ズーム機能がリアルタイムで近接画像を捕捉できるようにする。同じ場面を異なる角度から見ることができるようにするために異なる視角が同時に提供されうる。

また、高帯域幅リンクでテレビ画面又は他のディスプレイ装置へのダウンロードのためにフィルムシーケンスをコンピュータ記憶装置に記憶すること、及び／又はリアルタイムであるいはほぼリアルタイムで、より低い帯域幅相互接続で画像を転送できるようにするために、例えばＭＰＥＧ符号化によって提供されるようなビデオ圧縮を提供することも既知である。

ヒューレットパッカード（Ｈｅｗｌｅｔｔ Ｐａｃｋａｒｄ）ＰＰＣ又はコンパック（Ｃｏｍｐａｑ）ＩＰＡＱコンピュータなどのポケット型パソコンなどのようなより小型のディスプレイ装置も、現実的には例えば監視領域をカバーする大部分のフィルム又はカメラ画像にとっては比較的に小さい、相対的に高い解像度の表示画面を有する。

携帯電話網によってカラー画像を受信、表示できるようにする精密な受信機能及び処理機能を含む、例えばソニーエリクソン（Ｓｏｎｙ Ｅｒｉｃｓｓｏｎ）Ｔ６８ｉ携帯電話などのコンパクトな携帯電話になおさらに小さなビューイングスクリーンが設けられる可能性が高い。

デジタル多用途ディスク（ＤＶＤ）に保持されるデジタルデータを記憶し、読み取る能力などのような家庭でのテレビ視聴における最近の発展は、視聴者が、そこからある場面を見るため、及び描かれている場面の特定の領域の接写ビューを選択する異なるカメラ角度を選択できる能力につながってきた。ＤＶＤプレーヤは、記憶されたデータの適応及び映像が表示されるための信号への変換を実行するための処理能力を含んでいる。

このようなデータの信号への変換は、視聴者の経験を実現すべき場合にはかなりのリアルタイム処理電力を必要とする。さらに、処理が行われることを可能にするためには非常に大量のデータを符号化し、局所的に記憶する必要がある。

制限された伝送帯域幅が制限されたサイズの画面表示とともに使用できる場合には、視聴される画面の領域へのズーム、異なる視角のレビュー等の能力は、局所的なデバイスに転送される必要のあるデータの量のため実際的ではない。

欧州特許第１１６２８１０号では、カメラ導出画像を保持している可能性のあるファイルサーバ内で保持されるデータを変換するよう構成されたデータ分散装置が説明されている。前記装置は、携帯電話ディスプレイである場合がある要求データ端末で、受信又は記憶されたデータを表示できるフォーマットに変換するように構成される。そこでは前記変換装置は、記憶又は受信された画像を多くの固定セクションに分割する能力を有し、それにより前記ディスプレイ装置から受信された信号は使用可能な画像セクションのある特定の１つを選択するために使用できる。

本発明によると、１つのビデオフレーム又は各フレームが「ｍ」個のピクセル×「ｎ」個のピクセルのマトリックスを備える一連のビデオフレームを捕捉する、及び／又は記憶するステップと、少なくともｐ個のピクセル×ｑ個のピクセルの１つのフレームを表示できる画面で表示するために、ｐ及びｑがそれぞれ実質的にはｍ及びｎ未満である状態で前記フレーム又は各前記ｍ個×ｎ個のフレームを「ｐ」個×「ｑ」個のピクセルのそれぞれ導出されたフレームに圧縮するステップと、前記少なくとも１つの導出されたフレームを送信し、ｍ個×ｎ個のピクセル未満の好ましい選択された表示領域を画定する信号を受信するステップと、前記選択された表示領域を追加の導出されたフレーム又はｐ個のピクセル×ｑ個のピクセルの一連の追加の導出されたフレームに圧縮するステップと、表示のために追加の導出されたフレームを送信するステップとを含む、ビデオ信号をストリーミングする方法であって、受信された信号が、次の追加の導出されたフレームが選択されるｍ個のピクセル×ｎ個のピクセル内の場所を決定する送信された追加の導出されたフレーム内の好ましい場所を定義するデータを含むことを特徴とする方法が提供される。

好ましくは、受信信号は、複数の提供された有効ズームレベルからの１つの選択を備えるズームレベルも定義し、各選択はｍ個のピクセル×ｎ個のピクセルを超えないが、少なくともｐ個のピクセル×ｑ個のピクセルを備えるフレームを画定する。

受信された信号は、ピクセル単位で、あるいはフレーム領域選択に基づいて、現在位置から新しい位置への前記送信されたフレームの移動を引き起こすために使用されてよい。代わりに、主要フレーム内で明白な活動の領域を検出し、この領域を取り囲むさらに小さなフレームを送信することにより、自動化されたフレーム選択が使用されてよい。

制御信号は、複数の所定のフレームサイズ及び／又は視角の内の１つを選択するために使用されてもよい。好適実施形態では、制御信号は前記主要フレーム内で現在位置から新しい位置に移動するため、及び表示される領域のサイズを変更するために使用されてよく、それにより前記主要フレームの特定の領域の詳細な調査が達成する。このような選択は、ポインタの位置に依存して、あるいはピクセル単位でスクロールすることにより、前記主要フレームの中で異なるフレーム領域を選択するための制御機能に応えるジャンプ機能によってもよい。

このようなシステムとともに使用するための端末装置は、送信されたフレームを表示するための第１の表示画面と、表示されている領域、又は表示が所望される領域を示すために選択可能な点を有する第２の表示画面と、次に送信されるフレームが導出されるべきである現在表示されているフレームの中で好ましい位置を定める信号を送信するための伝送手段とを含んでよい。

このような端末は、現在の表示フレームの座標を表示する機能を含む、及び／又は表示フレームに関するテキスト又は他の情報を表示するための追加の表示手段を含んでもよい。表示されるテキストは、表示フレームを定める情報が記憶される場所のためのＵＲＬ又は類似する識別の形を取りうる。

制御伝送は低い帯域幅経路を経由してよく、高い方の帯域幅リターンパスが選択された表示フレームを送信する。任意の適切な伝送プロトコルが使用されてよい。

本発明で使用するためのサーバは、複数のビデオ記憶装置へのアクセス、及び／又は送信される画像を捕捉するためのカメラへの接続を有するコンピュータ又はファイルサーバを含んでもよい。表示領域を通る移動が、ライブアクション表示が現在の表示フレームを潜在的に超えて、あるいは部分的に超えて関心のあるビューを示す場合に、時間内のある特定の瞬間にユーザにより実行されるように、カメラによって捕捉される画像が記憶されてよいデジタル画像記憶装置も設けられてよい。

サーバは、異なるユーザへの複数の伝送が発生できるようにするために選択及び圧縮プログラムの複数のインスタンスを実行してよい。それぞれのこのようなインスタンスは、カメラソースからの選択あるいは前記ビデオ記憶装置の１つからの記憶されている画像を提供してよい。

１つの操作モードでは、プログラムインスタンスにより、カメラ又はビデオ記憶装置からのデジタル化された画像が事前に選択され、それぞれが、前記フレームの内のどれが送信されるべきなのかを選択するためにカスタマーデータ入力に応えるスイッチ手段に同時に使用できる複数のフレームに分割される。それから、選択されたデジタル化された画像は、要求カスタマーへの伝送のためにパッケージ化されたビットストリームを提供するためにコーデックを通過する。

代替動作モードでは、複数のフレームのそれぞれが、カスタマーデータ入力に応えて送信されるべきビットストリームの内の１つを選択するスイッチ要求カスタマーへの伝送のために準備完了したそれぞれのビットストリームに変換される。

カスタマーが主要フレームから表示される１部分のフレームを選択する場合、サーバは、前記主要フレームの圧縮バージョン、あるいは前記主要フレームからの事前に選択された領域を送信することにより伝送を要求するカスタマデータパケットに応答し、好ましい場所での表示フレームを画定するビットストリームの伝送を引き起こすために表示フレームの好ましい位置を定めるカスタマデータ信号に応答し、前記サーバは、次のｐ×ｑの導出されたフレームが送信されるｍ×ｎの主要フレーム内の場所を選択するために、初期に送信されたフレーム内の好ましい場所を定めるデータ信号に応える。

本発明を達成するための装置及び方法は、ここで添付図面を参照し、ほんの一例として以下に説明される。

まず図１を参照すると、システムは例えば適切なコンピュータなどのサーバ１と、広い視界を有する少なくとも１台のカメラ２と、デジタル画像記憶装置３とを含む。前記カメラに加えて、表示画面６を有するセルラー携帯電話５、パーソンポケットコンピュータ（ｐｅｒｓｏｎ ｐｏｃｋｅｔ ｃｏｍｐｕｔｅｒ）（ＰＰＣ）７、及びデスクトップモニタ８により表されるクライアントへの配布の目的で過去に捕捉された画像、映画等を記憶するために多くのビデオ記憶装置４が提供される。通信装置５、７、８のそれぞれは、画像が最初に各々の表示画面の水平方向及び垂直方向のそれぞれにおけるピクセル数に対応するレベルに圧縮される場合にだけであるが、カメラ２により捕捉される画像を、あるいはビデオ記憶装置４から画像を表示できる。

カメラ２（例えば、高ピクセル密度を有し、＿ピクセル×＿ピクセルで広域画像を捕捉する＿）は、表示画面上で詳細に見ることができるより大幅に高いレベルに画像を解像することができる。したがって、サーバ１はプログラムアイコン９により表される圧縮プログラムの多くのインスタンスを実行し、各プログラムは少なくとも１人の視聴カスタマにサービスを提供し、以下に説明されるように機能する。

アーキテクチャを説明するためにビデオ捕捉ソースが６４０×４８０ピクセルという最大解像度を有するカメラ２であることが仮定される。しかしながら、ビデオ捕捉ソースが任意の種類（伝送又は記憶のために画像を定義するデジタル化されたデータを提供できる、ビデオ捕捉カード、未圧縮ファイルストリーム等）である場合があり、最大解像度が（ビデオ捕捉ソースの解像度制限によってだけ制限される）任意のサイズである場合があることも理解される。

さらに、ビデオサーバが、つねにオリジナルの捕捉フレームサイズより小さい、又は等しい「固定された」フレームサイズ（解像度）１７６×１４４ピクセルでビデオを圧縮し、ストリーミングしていると仮定する。再び、この「固定された」ビデオフレームサイズが（通信受信機のビデオディスプレイに応じて）任意の種類となる場合があり、それぞれのプログラム９が、この伝送が関連付けられる装置５、７、８に画像を提供するように適応されると仮定すれば可変となり得ることが理解されるであろう。

以下に説明されるアルゴリズムは使用可能な考えられるアングルビューを決定するために使用される。潜在的な「アングルビュー」を決定するためには他のアルゴリズムが使用できる。

簡略に図７を参照すると、第１のクライアントサーバ相互アーキテクチャが、サーバ１及び図１の表示画面６、７の１つに対応するクライアントビューワ端末１０を含んで概略して示されている。（サーバ１からクライアント１０への）前方方向で、通信リンク１１の帯域幅を反映する適切なプロトコルを使用するデータ伝送は、ディスプレイ情報及び制御情報を適宜に含むパケット化されたデータストリームを提供するために使用される。リンクは、例えばセルラー電話又はパーソナルデジタルオーガナイザ（ＰＤＡ）又はポケットパーソナルコンピュータ（ＰＰＣ）へのセルラー通信リンクであってよいか、あるいはインターネット又は光ファイバ又は銅の地上通信線を介してなどより高い帯域幅リンクとなってよい。使用されるプロトコルは、ＴＣＰ、ＵＤＰ、ＲＴＰ又はリンク１１上で情報を満足の行くように搬送できるようにするための他の適切なプロトコルであってよい。

（クライアント１０からサーバ１への）後方方向では、一般的には、これは、特定のアングルビューを要求する、あるいはクライアント１０がこれの回りで視聴を希望する座標を定義するクライアント端末１０での入力を反映する制限されたデータだけを搬送するために、より狭いバンドリンク１２を使用できる。

ここで図３を参照すると、捕捉された（又は記憶された）画像は、矩形１２により表現される６４０×８４０ピクセルの画像を含む。矩形１３が３５２×２８８ピクセルのビューを包含する一方で、前記矩形１４は、クライアント表示画面１０の予想表示能力である１７６×１４４ピクセル領域を表す。

図４も参照すると、矩形１２のビューは矩形１２１によって概略して表現される１７６×１４４ピクセルへの圧縮後に再生されてよい。表現から、表示されている画像が捕捉された画像内に情報のすべてを含むことが分かる。しかしながら、画像は、実行される圧縮のために「ファジー」、または不明瞭であり、詳細に欠けていることが多い。しかしながら、このビューは、クライアントがクライアント端末ディスプレイで好ましいビューを決定できるようにするために第１のインスタンスでクライアント端末１０に送信されてよい。これは、送信されるビューを選択するために例えば数１、２又は３のキーパッドからの単純な入力を可能にする、矩形１２１を「アングルビュー１」として定義し、さらに小さな領域１３（矩形１３１）をアングルビュー２として定義し、画面サイズ対応選択１４（矩形１４１）をアングルビュー３として定義することによって行われてよい。これにより視聴者は、カメラ１又は他の画像捕捉装置の物理的なズームであるよりむしろ、サーバ１内の仮想ズームとして達成されるズームレベルを選択できる。

したがって、クライアントがアングルビュー２を選択すると、画像は、（捕捉された画像のｘ軸とｙ軸の間の、表示されている画像領域に対する互換性のなさのためになんらかのひずみが発生する可能性があるが）わずかにより多くの使用可能な細部を有する図５の画像と同じように見える。クライアントは、再び、捕捉された画像からピクセルに対応する基準で直接的に選択される図６のビューを得るために矩形１４１により囲まれる領域を表示するためにさらにズームインすることを選んでよい。

前記の説明は、３つのアングルビューの提供を説明しているが、補足された画像１２から導出できるビューの数がそれほど制限されず、そこから選択する視角及びズームレベルのさらに幅広い選択肢をクライアント１０に与えるために、潜在的なビューのさらに幅広い選択がサーバ１内で容易に生成されることが理解されなければならない。

また、クライアント端末１０から戻される数値情報が表示された画像の結果としてである必要はないが、使用可能なビューのユーザによる事前の知識に基づいてクライアント端末１０からの先制的なエントリであり得ることも注記される。代替インプリメンテーションでは、サーバは、ユーザの通常好ましいビューが最初に送信され、伝送に対するユーザ応答が以後送信されるズームレベル又はアングルビューの変更を決定するように、ユーザの履歴プロファイルに基づいて最初に送信されたビューを選択してよい。

潜在的なアングルビューを提供するために使用されるアルゴリズムは単純であり、以下のステップを使用する。

捕捉ソース（例えばカメラ１）の最大解像度が必要とされる（この例では６４０×４８０ピクセル）。圧縮されたビデオストリームの解像度も必要とされる（ここでは１７６×１４４ピクセルであると仮定される）。

第１の計算されたアングルビューの場合、捕捉されたビデオストリームから直接的な１対１の関係が使用される。したがって、また図３を参照すると、ウィンドウ１４の中のピクセルは、１７６×１４４ピクセルビュー（アングルビュー３、図６）を提供するために直接的に使用される。

次のアングルビューの寸法を計算するために、ｘ寸法及びｙ寸法のそれぞれが２で乗算され、次に推奨されるアングルビューとして３５２×４８８ピクセルを与える。サーバは、このステップでは真である捕捉ソース（６４０×４８０）からビデオストリームの寸法を超えるために、乗算器の適用が選択を超えないことを確認するようにプログラミングされる。

次のステップでは、最小のウィンドウ１４の寸法は、過去の乗算器により、ｘ寸法又はｙ寸法のどちらかが、捕捉されたビューの寸法を超えなかったならば３で乗算される。実演されるケースでは、この乗算器は追加の選択可能な仮想ズームとなるであろう５２８×４３２ピクセルのウィンドウ（図示せず）を生じさせる。

最小のウィンドウ１４のｘ寸法及びｙ寸法の増分乗算は、寸法の１つがビデオ捕捉ウィンドウの寸法を超え、その結果プロセスが終わり、この被乗数をアングルビュー１と判断し、他のズーム係数が増分アングルビュー定義により定義されるまで続行する。したがって、決定されたアングルビュー、及び考えられるアングルビューの数が生成され、使用可能なアングルビューの数はサーバ１によってクライアント１０に送信される。これらのビューの１つは、クライアントのためのデフォルトビューであり、もしくは、完全に圧縮されたビュー（アングルビュー１、図４）、あるいは前述されたように既知のユーザから、又はサーバ内の事前選択によるプリファランスであってよい。

クライアント端末は、ユーザがどのビューを選ぶのかを決定できるようにするためにクライアント表示端末１０で使用可能なアングルビューを表示する。クライアントがいったん決定すると、この選択を定義する必要とされるビューデータが、次に遠隔で選択されたアングルビューを有するそれぞれのビデオストリームを送信するサーバ１に送信される。

したがって、ここで図８を見ると、サーバ１は、例えば、カメラ２、デジタル画像記憶装置３、又はビデオ記憶装置４などのビデオ捕捉ソースから情報を採取し、前述されたマルチビュー決定アルゴリズム（１４）を適用する。これにより、デジタルスイッチ１５に送られる選択された数のアングルビュー（３つが図示されている）１２１、１３１、１４１が生じる。前記スイッチ１５は、適切なアングルビューデータをコーデック１７にストリーミングするため、またそこからデータパケット１８で圧縮されたビデオをストリーミングするためにクライアント（例えば図１のＰＰＣ６）からアングルビュー決定を含む入信データパケット１６に応える。

疑いを回避するために、コーデック１７がＭＰＥＧ４、Ｈ２６Ｌ等の任意の適切な符号化を使用してよく、生成されるアングルビューは適用されるビデオ圧縮規格とは完全に無関係であることが注記される。

図９では、一方向だけの互換が発生する代替クライアントサーバ互換性が図示されている。ネットワークメッセージは、帯域幅制限を考慮するためにクライアントからサーバにだけ送信され、伝送は任意の適切なプロトコル（ＴＣＰ、ＵＤＰ、ＲＤＰ等）を使用し、アングルビューはクライアントに戻るデータの伝送がないように、クライアント及びサーバで事前に決定される。デフォルト値（例えば５つのビュー）を有する所定のマルチビュー決定アルゴリズムが使用され、（他のアルゴリズムが開発、使用される場合があるであろうが）１つのこのようなアルゴリズムは以下のフォーマットを有する。

（ステップ１）
最小解像度から最大解像度を引く。発明者らの例では、最大解像度は（６４０×４８０）、最小解像度は（１７６×１４４）である。したがって、前記減算の結果（（６４０−１７６）＆（４８０−１４４））は（４６４、３３６）となるであろう。

前記５つのビューは以下のようにして生成される。

それぞれのビューは、前記最小解像度（１７６×１４４）にステップ１で生成された差異のパーセンテージ（４６４、３３６）を加算することにより生じる。

パーセンテージは、通常、（Ｖｉｅｗ１＝１００％、Ｖｉｅｗ２−＞７５％、Ｖｉｅｗ３−＞５０％、Ｖｉｅｗ４−＞２５％、Ｖｉｅｗ５−＞０％）となるであろう。もちろん、類似するパーセンテージも適用できるであろう。

したがって、ビューごとに次の座標が生成される。

Ｖｉｅｗ１（６４０、４８０）
Ｘ＝１７６＋４６４＝６４０
Ｙ＝１４４＋３３６＝４８０

Ｖｉｅｗ２（５２４、３９６）
Ｘ＝１７６＋（０．７５＊４６４）＝５２４
Ｙ＝１４４＋（０．７５＊３３６）＝３９６

Ｖｉｅｗ３（４０８、３１２）
Ｘ＝１７６＋（０．５０＊４６４）＝４０８
Ｙ＝１４４＋（０．５０＊３３６）＝３１２

Ｖｉｅｗ４（２９２、２２８）
Ｘ＝１７６＋（０．２５＊４６４）＝２９２
Ｙ＝１４４＋（０．２５＊３３６）＝２２８

Ｖｉｅｗ５（１７６、１４４）
Ｘ＝１７６＋０＝１７６
Ｙ＝１４４＋０＝１４４
このプロセスの完了後、前記の座標の５つのビューが生成される。

図３に類似する図は考えられるビューを記述できるであろうが、５つのビューが描画されなければならない。

他方、「クライアント」アプリケーションは、この「アルゴリズム」も認識し、したがってそれぞれのビューは最大解像度と最小解像度（１００％、７５％、５０％、２５％、０％）の差異のパーセンテージを表すはずである。このようにして、クライアントがストリーミングビデオの最大座標及び最小座標を認識していることは必要ではなく、したがって一方向のクライアント／サーバ互換が実現可能であり、「アングルビュー」を変更するプロセスを加速する。

さらに、サーバ１は、前述されたステップを実行するために最大解像度及び最小解像度を取得する。通常、最大解像度はビデオ捕捉カード（カメラ）２により提供されるものであり、最小解像度はストリーミングアプリーション（通常、モバイルビデオの場合１７６×１４４）により提供されるものである。「マルチビュー決定アルゴリズム」プロセスは、サーバアプリケーション９が最初に始動されると開始及び終了しなければならない。

５つの「アングルビュー」はクライアントの装置の上で表示される。

１つの「ビュー」が選ばれた後、識別された「アングルビュー」を含むメッセージが作成され、サーバに送信される。

サーバは、ストリーミング用に使用可能な５つのアングルビューを有するが、図８に示されているのと同じ方法でこれに従ってこのビューを選び、コンテンツをストリーミングする。

適応されたクライアント装置は図２に図示され、視聴者が表示されるアングルビューを変更できるようにするための制御を示す。選択されたビデオストリームが表示される一次ビュー画面２０が提供される。このケースでは、画面は１７６×１４４ピクセルの画面を含む。二次画面２１も提供され、これは、ディスプレイ２２にメイン画面２０に表示されている実際のビデオの割合及び位置を表示できるようにするための低い精細度を有する。したがって、画面２１内のボックス２２の位置は、オリジナルのフルサイズ基準フレームを基準にした画像の位置を示す。より小さい画面２１は、視聴者が、ストリーミングされたビデオが選択されるために移動されなければならない位置の瞬時選択を行うことができるようにするためにタッチセンシティブであってよい。

代わりに、選択キー２３から２７は、前略されたアングルビューの理念に従って、又は重大なデータパケットを送信できるようにするために十分な帯域幅がクライアントとサーバの間に存在するピクセル単位のどちらかで画像を移動させるために使用されてよい。キー２７は、中心ビューの選択をディスプレイ画面２０に示すことができるようにすることを目的とする。固定数のアングルビューが使用されている場合には、画面ディスプレイは使用可能なフレームの数に応じて左に、右に、上に又は下に進められてよい。

ファイルコンテンツのビデオストリーミングが提供される場合、一式のビデオ制御キー２８から３２が提供され、これらはそれぞれ停止機能２８、逆転２９、再生３０、早送り３１、及び一時停止３２であり、ビデオがダウンロードされ、装置７に記憶される局所的に、あるいはサーバ１に対して制御パケットとして送信されるためにビデオディスプレイを制御するための適切な制御情報を提供する。

固定されたアングルビューを選択する代替制御方法は、選択キー３３から３７により提供され、完全性のために、局所体積制御装置３８が図示される。表示されているビデオに関する英数字テキスト記述を載せてよい情報表示画面３９も存在してよく、追加ステータス画面４０は例えば移動電話の受信のための信号強度を表示する。

ビュー選択の追加の記述は最初に図１０を参照して後述される。このようにして、矢印キー３３から３７を使用し、最初に前述された５つのアングルビューで開始すると、これらはビュー１（６４０×４８０）ピクセル、ビュー２（５２４、３９６）、ビュー３（４０８、３１２）、ビュー４（２９２、２２８）及びビュー５（１７６×１４４ピクセル）である。図１０では、発明者らはビュー５（１７６×１４４ピクセル）（矩形２２）を、６４０×４８０ピクセルのフルフレーム２１と比較して見る。これは、ユーザがメインディスプレイ画面２０上に表示されている使用可能なビデオ捕捉の割合を認識するように、図２のディスプレイ２１内の矩形として示されてもよい。

ユーザはここで送信されるアングルビューの任意の１つを選択してよく、例えば、キー３３を操作するとサーバ１からアングルビュー１を要求する信号パケットが生成される。完全に圧縮されたディスプレイ（図３）は、画面２１が、完全なビューが現在表示されていることを示す一方で、表示領域２０内での表示のために送信されるであろう。

アングルビュー２は、キー３４を操作することにより選択され、ビュー３はキー３５により選択され、ビュー４はキー３６により選択され、最初に説明されたビュー（ビュー５）はキー３７によって選択される。５つのキーより多い又は少ないキーが提供されてよく、あるいは表示画面２０がタッチセンシティブの種類である場合には、適切な位置で画面に触れるとアングルビュー要求が送信され、結果として必要とされる変更がサーバ１からの要求で送信されることになるように、仮想キーセットがビデオでオーバレイされて表示できることが理解される。また、矩形２２により占有されるより小さな画面２１の割合も現在表示されているアングルビューを反映するために変化することも理解される。この調整は、装置７の内部プログラミングによって行われてよい、あるいはサーバ１からデータパケット１８とともに送信できる。

前記で中心に置かれたアングルビューを考慮し、ここではユーザが映像の中心とは異なる点で中心に置かれるアングルビューをどのようにして見ることができるのかを検討する。フルビデオフレーム（６４０×４８０）を基準にして図１０で中心に置かれて図示されるアングルビュー５（１７６×１４４ピクセル）が、視聴者が映像全体で又は上下に移動する方法を説明するために使用されるように、使用可能な５つのビューは依然として同じ圧縮率を有する。

図１０から図１２とともに再び図２を検討し、ユーザが左矢印キー２６を操作すると仮定する。それにより、ネットワークデータパケットはクライアントによってサーバ１に送信される結果となる。前記パケットは「左移動」命令と、例えばユーザがキー２６を操作する時間の長さから導出された移動するための画面のパーセンテージ、あるいはおそらく移動する「ピクセルの数」のどちらかとを含んでよい。サーバ１は、移動されるピクセル数を計算し、アングルビューの左端がフルビデオフレームの極端な左端に到達しない限り、あるいは到達するまで必要とされるのと同じ数のピクセル分左方向にアングルビューをシフトする。より小さな表示画面の中の矩形２２も改訂された近似位置を示してよいが、戻りデータパケットは、ここで新しい位置にあるアングルビュー５のための圧縮済みのビデオを含む。いったん新しい位置で中心に置かれると、キー３３から３７は、クライアントにより受信されるフルフレームの量を変更するために使用されてよい。

キー２３は、上方向の移動を示すために使用されてよく、キー２４は右方向、キー２５は下方への移動を示すために使用され得る。これらのそれぞれによって、クライアントプログラムは適切なデータパケットを送信し、サーバは任意の方向でのフルビデオフレームの限界に相応して移動することによって送信されるビューを導出する。ユーザがキー２７を操作する場合には、これは、キー３３から３７の使用により最後に選択された選択済み圧縮（アングルビュー１から５）を使用して最初に送信されたように中心位置にビューを戻すために使用される。

ここで図２の仮想ウィンドウディスプレイ２１を考慮すると、仮想ウィンドウは、ユーザが別の位置まで高速に移動できるようにするために使用することができ、ユーザに、どこで、フルビデオフレームのどのくらい多くがメインディスプレイ２０に表示されているのかを決定する能力も提供する。より小さなディスプレイが（代替としてメインディスプレイの角にあるオーバレイとなるであろう）１２ピクセル×１０ピクセルという最大寸法を表示すると仮定されると、各ビューは仮想画面の以下のパーセンテージ表示を有する、つまりビュー１＝１００％、ビュー２＝８０％、ビュー３＝６０％、ビュー４＝４０％、及びビュー５＝２０％である。

したがって、仮想ウィンドウの寸法でこれらのパーセンテージを乗算することにより、表示される矩形２２の以下の寸法を得る。

Ｖｉｅｗ１（１２、１０）
Ｘ＝１２＊１＝１２
Ｙ＝１０＊１＝１０

Ｖｉｅｗ２（１０、８）
Ｘ＝１２＊０．８＝１０
Ｙ＝１０＊０．８＝８

Ｖｉｅｗ３（７、６）
Ｘ＝１２＊０．６＝７
Ｙ＝１０＊０．６＝６

Ｖｉｅｗ４（５、４）
Ｘ＝１２＊０．４＝５
Ｙ＝１０＊０．４＝４

Ｖｉｅｗ５（２、２）
Ｘ＝１２＊０．２＝２
Ｙ＝１０＊０．２＝２
このようにして、内側矩形２２（おそらく黒のディスプレイの中の白の表現）が、前記寸法を使用して描画されるため、以下の例では前記に参照される寸法が使用される。仮想ウィンドウは、このようにして以下のように動作する。ビュー５が選択される場合には、矩形２２（２ピクセル×２ピクセル）及び画面２１（１２ピクセル×１０ピクセル）がそれらの寸法を有し、仮想ウィンドウは、白くなるより小さな矩形２２を除き黒くなるであろう。これは図２、及び図１０から図１２にも表現される。仮想ウィンドウがタッチセンシティブであり、ユーザが図１１の点４１で示されるように左上角を押すと、ディスプレイは中心位置からフルフレームの左上角へ図１２に図示されるように移動することが必要とされる（０、０はフレームの左上角を定義する）。

このようにして、クライアントでは、各ピクセルはユニットと見なされ、クライアントは左方向及び上方向でどのくらいの数のユニットを移動する必要があるのかを計算する。図１１から、現在位置が、矩形２２、白のボックスの左上角の位置である（５、４）として定義されてよいことが分かる。したがって、（０、０）まで移動するには、５個のピクセルを左に、４個のピクセルを上に移動することが必要である。黒のボックスと白のボックスの間のユニットの差異が計算され、このケースでは、水平方向では５個のユニット、垂直方向では４個のユニットである。

したがって、発明者らは現在位置から、画面のパーセンテージ、移動することを必要とされているため、現在位置と新規位置の間のピクセル数差異の数で除算される、（小さな画面から）移動するピクセル数を取ることによって、左移動及び上移動が現在位置から１００％であることを計算できる。その結果、移動は、送信されるネットワークメッセージが左１００、上１００命令を含み、数がつねに比率を表しているように、黒のボックス隙間への白のボックス内で移動するために１００％である。

サーバはメッセージ移動左１００％移動上１００％移動し、以下の手順を起動する。

図１２から、アングルビューがビュー５（１７６×１４４ピクセル）であり、フルビデオフレームが６４０×４８０ピクセルであることを考慮すると、アングルビュー５ウィンドウの左上角の相対位置を計算することが必要である。図１２の中の白い点によって表されるフルサイズウィンドウの中心は、「ｘ」寸法で６４０／２＝３２０にあり、「ｙ」寸法で４８０・２＝２４０にある（３２０、２４０）。アングルビュー５の中心ドットの左上角を基準にした位置は、ｘ寸法で１７６／２＝８８であり、ｙ方向で１４４／２＝７２である。したがって、（０、０）に移動するための左上角の場合、中心ドットは左方向（ｘ寸法）で３２０−８８＝２３２分、及び上方向（ｙ寸法）で２４０−７２＝１６８分移動しなければならない。したがって、現在位置を基準にした移動は２３２ピクセル左、及び１６８ピクセル上であり、このようにして中心位置から図１２に陰影を付けて示される左上位置にビューを移動する。その結果、新しいアングルビュー５はサーバ１からクライアント装置に送信される。

例えば、ユーザが仮想画面の第２の（垂直）ピクセル行で左の位置を選択する場合、送信されるデータパケットは左８０を含み、これは仮想ウィンドウ差異の５個のピクセルで除算された仮想ウィンドウの左方向での４個のピクセルの移動であることが理解される。類似する計算は他の移動に関してクライアントにより適用される。

新しい位置（０、０）から元の位置（２３２、１６８）へ戻るために、例えば、ユーザが仮想ウィンドウの中心を起動する場合、送信された移動は右４２（１２個のピクセル差のある５個のピクセルの移動＝５／１２＝約４２％）及び下４０（１０個のピクセルが残る４個のピクセルの移動＝４／１０＝４０％）となるであろう。

図８に戻ると、ファイルコンテンツがより小さな表示クライアントへの伝送を提供するために使用されている場合、ダウンサンプリングアルゴリズムが必要とされる。１７６ピクセル×１４４ピクセルという伝送フレームサイズを仮定すると、送信されるビデオは、フィルタの１７６×１４４ピクセルに対するサイズが何であれダウンサンプル（down sampled）されなければならない。

プロセスは、２で割るループで開始し、ビデオをさらに２で除算できなくなるまでダウンサンプリングする。係数が計算され、次に最終的なダウンサンプリングが発生する。したがって、「Ｍ」ピクセルＸ「Ｎ」ピクセル、及び１７６×１４４ピクセルの出力フレームサイズを有する入力ビデオを仮定し、第１のステップは１７６でＭを除算し、それぞれの水平（Ｘ）フレーム寸法がＸ＝Ｍ／１７６を示す。ここでＸは２で除算され、Ｘが分割の後１未満である場合、幅係数及び高さ係数が計算され、これらの係数を使用するビデオのサンプリングが１７６×１４４フォーマットでビデオを示す。

ダウンサンプリングは、アルゴリズムの適用の前後にＹＵＶファイルフォーマットで適用される。したがって、Ｕ構成要素及びＶ構成要素（３２０×２４０）は対応して８８×７２にダウンサンプルされる一方、Ｙ構成要素（６４０×４８０）は１７６×１４４Ｙ構成要素までダウンサンプリングされる。ダウンサンプリングアルゴリズムの全体的なプロセスは以下のとおりである。

ステップ１：
Ｈ係数、Ｗ係数を計算する。
Ｈ係数＝幅／１７６、ここでは幅は水平方向を指す（我々の例では６４０）
Ｗ係数＝高さ／１４４、ここでは高さは垂直方向を指す（我々の例では４８０）
ステップ２：
Ｘ係数を計算する
Ｘ＝Ｈ係数／２
ステップ３：
Ｘ≧１である場合にチェックする。
イエスの場合、ステップ４に移動し、それ以外の場合ステップ６に移動する。

ステップ４：
４で除算してダウンサンプリングする。
Ｙ構成要素の場合、以下の式が使用される。

ここではＹ’＝変換後のＹ構成要素
Ｙ＝変換前のＹ構成要素
０≦ｉ＜高さ、ｉ＝０、２、４、６．．．等
０≦ｊ＜幅、ｊ＝０、２、４、６．．．等
Ｕ、Ｖ構成要素の場合、以下の式を使用する。

ここではＵ’＝変換後のＵ構成要素又はＶ構成要素のどちらか
Ｕ＝変換前のＵ構成要素又はＶ構成要素のどちらか
０≦ｉ＜高さ／２、ｉ＝０、２、４、６．．．等
０≦ｊ＜幅／２、ｊ＝０、２、４、６．．．等
ステップ５：
高さ＝高さ／２
幅＝幅／２
Ｘ＝Ｘ／２
ステップ３に移動する。

ステップ６：高さ係数（Ｈｃｏｅ）及び幅係数（Ｖｃｏｅ）を計算する。
Ｈｃｏｅ＝幅／１７６
Ｖｃｏｅ＝高さ／１４４
ステップ７
このステップは幅≠１７６、高さ≠１４４の場合にだけ実行される。
その結果、このステップは、サイズが１７６×１４４の偶数倍数ではない入力映像について補正する。
幅／Ｖｃｏｅ、及び高さ／Ｈｃｏｅによって「ダウンサンプリング」する。

Ｙ構成要素の場合、使用される式は以下のとおりである、

ここではＹ’＝変換後のＹ構成要素
Ｙ＝変換前のＹ構成要素
０≦ｉ＜１４４、ｉ＝０、１、２、３．．．等
０≦ｊ＜１７６、ｊ＝０、１、２、３．．．等
Ｕ、Ｖ構成要素の場合、使用される式は、以下のとおりである

ここでＵ’＝変換後のＵ構成要素又はＶ構成要素のどちらかである
Ｕ＝変換前のＵ構成要素又はＶ構成要素のどちらかである
０≦ｉ＜７２、ｉ＝０、１、２、３．．．等
０≦ｊ＜８８、ｊ＝０、１、２、３．．．等
プロセスの終わり
他のアルゴリズムが作成でき、前記アルゴリズムは例のためだけに示されることが理解されるであろう。

ここで図１３を参照すると、事前に記録されたコンテンツのため、前記に参照されたマルチビュー決定アルゴリズムは最初にアングルビューと同じくらいの圧縮されたビットストリームを生成するために適用されてよく、マルチビュー決定切り替え機構がどのビットストリームを送信するのかを決定する。したがって、ビデオ捕捉ソース（２、４）は、図８に関して前述されたように、アングルビュー１２１、１３１、１４１を生じさせるために、フルフレーム画像をマルチビュー決定アルゴリズム１４に供給する。ここでは、しかしながら、各アングルビューはそれぞれのビットストリーム１８１、１８２、１８３を生成するためにそれぞれのコーデック１７１、１７２、１７３に送られる。この方法は特に事前に記録されたビデオコンテンツにとって適切である。

図１４も参照すると、３個のビットストリームが、ネットワークを介してクライアントからの入信するデータパケット１６によって従来通り制御されるアングルビュースイッチ１５１に提供される。適切なビットストリームは、次に、クライアント装置での表示のためにデータパケット１８でストリーミングするために適切な伝送プロトコルに変換するコーデック１７に渡される。

本発明は、小さな画面での表示、及び例えばＩＰ及びモバイル通信ネットワークを介した伝送のためにカメラ又はファイル記憶装置などの遠隔ビデオソースから選択可能な画像又は画像比率を提供するためにアングルビューを遠隔で制御することに特に適している。本発明の、例えばビデオ監視、ビデオ会議、及びビデオストリーミングへの応用は、ユーザがどのくらい詳細に表示するのかを決定できるようになり、例えばカメラ設定値を物理的に調整する必要なく遠隔クライアントから制御された送信済みのフレームの効果的な仮想ズームを可能にする。

ビデオ監視では、完全な場面を表示し、次に潜在的に関心のある活動があるならばその場面の一部にズームインすることが可能である。さらに詳細には、完全なカメラフレームはデジタルデータ記憶装置に記憶され得るので、記憶された画像に後退し、記憶されたフレームの回りでアングルビューを移動することによって遠隔画面上の詳細な領域をレビューすることができる。

本発明によるビデオストリーミングシステムのブロック概略図である。 図１のシステムとともに使用するための適応されたＰＤＡの概略図である。 ビデオストリーミングソース又はビデオ捕捉装置からの視野フレーム（主要フレーム）の概略図である。 異なる圧縮率で表示画面上に表示されるように主要フレームから導出される視野フレームの概略図である。 異なる圧縮率で表示画面上に表示されるように主要フレームから導出される視野フレームの概略図である。 異なる圧縮率で表示画面上に表示されるように主要フレームから導出される視野フレームの概略図である。 図１の表示端末とサーバの間の伝送の概略図である。 表示フレームの導出及び伝送のための表示フレームの選択を示す概略図である。 図７の伝送構成に対する代替の伝送構成を示す概略図である。 伝送のための主要なフレームの領域の選択を示す概略図である。 伝送のための主要なフレームの領域の選択を示す概略図である。 伝送のための主要なフレームの領域の選択を示す概略図である。 図８の導出の代替の導出を示す概略図である。 伝送のための図１３のビットストリーム出力の選択を示す図である。

Claims (21)

1. サーバからクライアント装置へビデオ信号をストリーミングする方法であって、前記方法は、前記サーバが、
   １つのビデオフレーム、又は各フレームが「ｍ」個のピクセル×「ｎ」個のピクセルのマトリックスを備える一連のビデオフレームを捕捉する、及び／又は記憶するステップと、
   少なくともｐ個のピクセル×ｑ個のピクセルのフレームを表示できる前記クライアント装置の画面での表示のために、ｐ及びｑがそれぞれｍ及びｎより実質的に少ない「ｐ」個のピクセル×「ｑ」個のピクセルのそれぞれの導出されるフレームに前記フレーム又はそれぞれの前記ｍ個×ｎ個のフレームを圧縮するステップと、
   前記少なくとも１つの導出されたフレームを前記クライアント装置に送信するステップと、
   ｍ個×ｎ個のピクセル未満の好ましい選択された表示領域を画定する信号を前記クライアント装置から受信するステップと、
   前記選択された表示領域を追加の導出されたフレーム又はｐ個のピクセル×ｑ個のピクセルの一連の追加の導出されたフレームに圧縮するステップと、
   表示のために前記追加の導出されたフレームを前記クライアント装置に送信するステップとを実行することを含み、
   前記クライアント装置からの前記受信された信号が、次の追加の導出されたフレームが選択されるｍ個のピクセル×ｎ個のピクセルのフレーム内の場所を決定する前記送信される追加の導出されたフレーム内の好ましい場所を定義するデータを含むことを特徴とする、方法。
2. 前記受信された信号は、各選択がｍ個のピクセル×ｎ個のピクセルを超えないが、少なくともｐ個のピクセル×ｑ個のピクセルを含むフレームを定義する複数の提供された有効なズームレベルからの１つの選択を含むズームレベルをさらに定義する、請求項１に記載の方法。
3. 前記受信された信号は、ピクセル単位で現在位置から新しい位置への前記送信されたフレームの移動を生じさせるために使用される、請求項１又は２に記載の方法。
4. 前記受信された信号は、フレーム領域選択に基づいて前記送信されたフレームの移動を生じさせるために使用される、請求項１又は２に記載の方法。
5. 前記送信されるフレームは、主要な（Ｍ×Ｎ）フレームの中での明らかな活動の領域を検出し、この領域を取り囲むさらに小さなフレームを送信することにより自動的に選択される、請求項１に記載の方法。
6. 受信された制御信号が、複数の所定のフレームサイズ及び／又は視角の１つを選択するために使用される、請求項１乃至請求項５のいずれか１項に記載の方法。
7. 該制御信号が、主要フレームの中で現在位置から新しい位置に移動するために、及び前記表示されている領域のサイズを変更するために使用され、それにより前記主要フレームの特定の領域の詳細な調査が達成できる、請求項６に記載の方法。
8. 前記選択は、ポインタの位置に応じて前記主要フレームの中で異なるフレーム領域を選択するための制御機能に応えるジャンプ機能による、請求項７に記載の方法。
9. 前記選択は、スクロール機能により、制御信号がピクセル単位でのフレームの移動を引き起こす、請求項７に記載の方法。
10. ビデオストリーミングシステムを使用するための端末装置であって、前記装置は、
    一連の送信されたフレームを表示する第１の表示画面と、
    表示されている領域又は表示が所望される領域を示すために選択可能な点を有する第２の表示画面と、
    前記一連のフレーム中の次に送信されたフレームが導出される必要のある現在表示されたフレーム内の好ましい位置を定義する信号を送信する伝送手段とを含む。
11. 現在の表示フレームの座標を表示する機能を含む、及び／又は表示フレームに関するテキスト又は他の情報を表示するための追加の表示手段を含む、請求項１０に記載の端末装置。
12. 前記追加の表示手段は、表示フレームを定義する情報が記憶される場所のＵＲＬ形式又は類似した識別の形式でテキストを表示する、請求項１１に記載の端末装置。
13. 制御信号を送信するための低い帯域幅受信経路、及び選択された表示フレームを受信するためのより高い帯域幅経路を含む、請求項１０乃至請求項１２のいずれか1項に記載の端末装置。
14. それぞれが「ｍ」個のピクセル×「ｎ」個のピクセルのマトリックスを備えるビデオフレームをそれぞれ記憶する複数のビデオ記憶装置にアクセスするサーバであって、前記サーバは、
    少なくともｐ個のピクセル×ｑ個のピクセルのフレームを表示できる画面での表示のために、ｐ及びｑがそれぞれｍ及びｎより実質的に少ない場合に、それぞれ前記ｍ個×ｎ個のフレームを「ｐ」個のピクセル×「ｑ」個のピクセルの導出されたフレームに圧縮する手段と、
    前記または各導出されたフレームを送信する手段と、
    ｍ個×ｎ個のピクセル未満の表示領域の好ましい選択を定義する信号を端末装置から受信する手段と、
    選択された表示領域を、１つの導出されたフレーム又はｐ個のピクセル×ｑ個のピクセルという一連の追加の導出されたフレームに圧縮する手段とを含み、
    前記送信手段はさらに、表示のための前記追加の導出されたフレームを前記端末装置に送信するように構成されており、
    前記サーバが、次のｐ×ｑの導出されたフレームが送信される前記ｍ×ｎの主要フレームの中で位置を選択するために以前に送信されたフレーム内で好ましい場所を定義するデータ信号に応えることを特徴とする、サーバ。
15. 各フレームが「ｍ」個のピクセル×「ｎ」個のピクセルのマトリックスを備える一連のビデオフレームとして画像が保持され、カメラにより捕捉された画像がデジタル画像記憶装置の中に記憶されるように、送信された画像を捕捉するカメラ及びデジタル画像記憶装置をさらに備えるサーバであって、ライブのアクション表示が現在の表示フレームを潜在的に超えて、又は部分的に超えて、関心のある表示を示す場合には、前記表示された領域を通る移動が、時間内のある特定の瞬間に前記ユーザにより実行されてもよいように、前記サーバが記憶された主要な（ｍ×ｎ）フレーム内の新しい位置に現在位置から移動するため、及び前記新しい位置で選択された領域を圧縮するために、端末装置から受信される制御信号に応える、請求項１４に記載のサーバ。
16. 選択及び圧縮プログラムの複数のインスタンスが、異なるユーザに対するそれぞれの伝送を行うことができるようにするために実行される、請求項１４又は１５に記載のサーバ。
17. 前記選択及び圧縮プログラムの各インスタンスが、カメラソースからの選択、あるいは前記ビデオ記憶装置の１つからの記憶された画像を提供する、請求項１６が請求項１５に従属するときに請求項１６に記載のサーバ。
18. 前記カメラ又はビデオ記憶装置からの前記デジタル化された画像が事前に選択され、それぞれが、前記フレームのどれが送信されなければならないのかを選択するためにカスタマーデータ入力に応えて切り替え手段が同時に使用できる、複数のフレームに分割される、請求項１４乃至請求項１７のいずれか１項に記載のサーバ。
19. 前記選択されたデジタル化された画像は、要求するカスタマーへの伝送のためにパッケージ化されたビットストリームを提供するためにコーデックを通過する、請求項１８に記載のサーバ。
20. 前記複数のフレームのそれぞれは、要求するカスタマーに対する伝送のために準備が完了したそれぞれのビットストリームに変換され、スイッチが、送信される前記ビットストリームの前記１つを、カスタマーデータ入力に応えて選択する、請求項１８に記載のサーバ。
21. 前記サーバは、前記主要フレームから表示される部分フレームの選択を定義するカスタマー入力シグナリングに応え、前記サーバが、前記主要フレームの圧縮されたバージョン、又は前記主要フレームからのあらかじめ選択された領域を送信することにより伝送を要求するカスタマーデータパケットに応え、好ましい場所で表示フレームを定義するビットストリームの伝送を引き起こすために表示フレームの前記好ましい場所を定義する続くカスタマーデータ信号に応答する、請求項１４乃至請求項２０のいずれか１項に記載のサーバ。

Images