JP4414345B2 - ビデオストリーミング - Google Patents

ビデオストリーミング Download PDF

Info

Publication number
JP4414345B2
JP4414345B2 JP2004563358A JP2004563358A JP4414345B2 JP 4414345 B2 JP4414345 B2 JP 4414345B2 JP 2004563358 A JP2004563358 A JP 2004563358A JP 2004563358 A JP2004563358 A JP 2004563358A JP 4414345 B2 JP4414345 B2 JP 4414345B2
Authority
JP
Japan
Prior art keywords
frame
pixels
display
server
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004563358A
Other languages
English (en)
Other versions
JP2006512815A (ja
Inventor
カマリオティス、オソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
British Telecommunications PLC
Original Assignee
British Telecommunications PLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by British Telecommunications PLC filed Critical British Telecommunications PLC
Publication of JP2006512815A publication Critical patent/JP2006512815A/ja
Application granted granted Critical
Publication of JP4414345B2 publication Critical patent/JP4414345B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)
  • Digital Computer Display Output (AREA)

Description

本発明はビデオストリーミングに関し、さらに詳細には、視聴される画像の遠隔での選択を可能にするためにビデオストリーミングを制御するための方法及び装置に関する。
警備などの行為のためにデジタルカメラを使用してビデオ画像を捕捉することは既知であり、それによってカメラがある領域を観察し、次に信号が遠隔地に送信される、あるいはコンピュータ記憶媒体に記憶される為に使用される。多くの場合、観察されている領域の妥当な解像度を保証するために複数台のカメラが使用され、ズーム機能がリアルタイムで近接画像を捕捉できるようにする。同じ場面を異なる角度から見ることができるようにするために異なる視角が同時に提供されうる。
また、高帯域幅リンクでテレビ画面又は他のディスプレイ装置へのダウンロードのためにフィルムシーケンスをコンピュータ記憶装置に記憶すること、及び/又はリアルタイムであるいはほぼリアルタイムで、より低い帯域幅相互接続で画像を転送できるようにするために、例えばMPEG符号化によって提供されるようなビデオ圧縮を提供することも既知である。
ヒューレットパッカード(Hewlett Packard)PPC又はコンパック(Compaq)IPAQコンピュータなどのポケット型パソコンなどのようなより小型のディスプレイ装置も、現実的には例えば監視領域をカバーする大部分のフィルム又はカメラ画像にとっては比較的に小さい、相対的に高い解像度の表示画面を有する。
携帯電話網によってカラー画像を受信、表示できるようにする精密な受信機能及び処理機能を含む、例えばソニーエリクソン(Sony Ericsson)T68i携帯電話などのコンパクトな携帯電話になおさらに小さなビューイングスクリーンが設けられる可能性が高い。
デジタル多用途ディスク(DVD)に保持されるデジタルデータを記憶し、読み取る能力などのような家庭でのテレビ視聴における最近の発展は、視聴者が、そこからある場面を見るため、及び描かれている場面の特定の領域の接写ビューを選択する異なるカメラ角度を選択できる能力につながってきた。DVDプレーヤは、記憶されたデータの適応及び映像が表示されるための信号への変換を実行するための処理能力を含んでいる。
このようなデータの信号への変換は、視聴者の経験を実現すべき場合にはかなりのリアルタイム処理電力を必要とする。さらに、処理が行われることを可能にするためには非常に大量のデータを符号化し、局所的に記憶する必要がある。
制限された伝送帯域幅が制限されたサイズの画面表示とともに使用できる場合には、視聴される画面の領域へのズーム、異なる視角のレビュー等の能力は、局所的なデバイスに転送される必要のあるデータの量のため実際的ではない。
欧州特許第1162810号では、カメラ導出画像を保持している可能性のあるファイルサーバ内で保持されるデータを変換するよう構成されたデータ分散装置が説明されている。前記装置は、携帯電話ディスプレイである場合がある要求データ端末で、受信又は記憶されたデータを表示できるフォーマットに変換するように構成される。そこでは前記変換装置は、記憶又は受信された画像を多くの固定セクションに分割する能力を有し、それにより前記ディスプレイ装置から受信された信号は使用可能な画像セクションのある特定の1つを選択するために使用できる。
本発明によると、1つのビデオフレーム又は各フレームが「m」個のピクセル×「n」個のピクセルのマトリックスを備える一連のビデオフレームを捕捉する、及び/又は記憶するステップと、少なくともp個のピクセル×q個のピクセルの1つのフレームを表示できる画面で表示するために、p及びqがそれぞれ実質的にはm及びn未満である状態で前記フレーム又は各前記m個×n個のフレームを「p」個×「q」個のピクセルのそれぞれ導出されたフレームに圧縮するステップと、前記少なくとも1つの導出されたフレームを送信し、m個×n個のピクセル未満の好ましい選択された表示領域を画定する信号を受信するステップと、前記選択された表示領域を追加の導出されたフレーム又はp個のピクセル×q個のピクセルの一連の追加の導出されたフレームに圧縮するステップと、表示のために追加の導出されたフレームを送信するステップとを含む、ビデオ信号をストリーミングする方法であって、受信された信号が、次の追加の導出されたフレームが選択されるm個のピクセル×n個のピクセル内の場所を決定する送信された追加の導出されたフレーム内の好ましい場所を定義するデータを含むことを特徴とする方法が提供される。
好ましくは、受信信号は、複数の提供された有効ズームレベルからの1つの選択を備えるズームレベルも定義し、各選択はm個のピクセル×n個のピクセルを超えないが、少なくともp個のピクセル×q個のピクセルを備えるフレームを画定する。
受信された信号は、ピクセル単位で、あるいはフレーム領域選択に基づいて、現在位置から新しい位置への前記送信されたフレームの移動を引き起こすために使用されてよい。代わりに、主要フレーム内で明白な活動の領域を検出し、この領域を取り囲むさらに小さなフレームを送信することにより、自動化されたフレーム選択が使用されてよい。
制御信号は、複数の所定のフレームサイズ及び/又は視角の内の1つを選択するために使用されてもよい。好適実施形態では、制御信号は前記主要フレーム内で現在位置から新しい位置に移動するため、及び表示される領域のサイズを変更するために使用されてよく、それにより前記主要フレームの特定の領域の詳細な調査が達成する。このような選択は、ポインタの位置に依存して、あるいはピクセル単位でスクロールすることにより、前記主要フレームの中で異なるフレーム領域を選択するための制御機能に応えるジャンプ機能によってもよい。
このようなシステムとともに使用するための端末装置は、送信されたフレームを表示するための第1の表示画面と、表示されている領域、又は表示が所望される領域を示すために選択可能な点を有する第2の表示画面と、次に送信されるフレームが導出されるべきである現在表示されているフレームの中で好ましい位置を定める信号を送信するための伝送手段とを含んでよい。
このような端末は、現在の表示フレームの座標を表示する機能を含む、及び/又は表示フレームに関するテキスト又は他の情報を表示するための追加の表示手段を含んでもよい。表示されるテキストは、表示フレームを定める情報が記憶される場所のためのURL又は類似する識別の形を取りうる。
制御伝送は低い帯域幅経路を経由してよく、高い方の帯域幅リターンパスが選択された表示フレームを送信する。任意の適切な伝送プロトコルが使用されてよい。
本発明で使用するためのサーバは、複数のビデオ記憶装置へのアクセス、及び/又は送信される画像を捕捉するためのカメラへの接続を有するコンピュータ又はファイルサーバを含んでもよい。表示領域を通る移動が、ライブアクション表示が現在の表示フレームを潜在的に超えて、あるいは部分的に超えて関心のあるビューを示す場合に、時間内のある特定の瞬間にユーザにより実行されるように、カメラによって捕捉される画像が記憶されてよいデジタル画像記憶装置も設けられてよい。
サーバは、異なるユーザへの複数の伝送が発生できるようにするために選択及び圧縮プログラムの複数のインスタンスを実行してよい。それぞれのこのようなインスタンスは、カメラソースからの選択あるいは前記ビデオ記憶装置の1つからの記憶されている画像を提供してよい。
1つの操作モードでは、プログラムインスタンスにより、カメラ又はビデオ記憶装置からのデジタル化された画像が事前に選択され、それぞれが、前記フレームの内のどれが送信されるべきなのかを選択するためにカスタマーデータ入力に応えるスイッチ手段に同時に使用できる複数のフレームに分割される。それから、選択されたデジタル化された画像は、要求カスタマーへの伝送のためにパッケージ化されたビットストリームを提供するためにコーデックを通過する。
代替動作モードでは、複数のフレームのそれぞれが、カスタマーデータ入力に応えて送信されるべきビットストリームの内の1つを選択するスイッチ要求カスタマーへの伝送のために準備完了したそれぞれのビットストリームに変換される。
カスタマーが主要フレームから表示される1部分のフレームを選択する場合、サーバは、前記主要フレームの圧縮バージョン、あるいは前記主要フレームからの事前に選択された領域を送信することにより伝送を要求するカスタマデータパケットに応答し、好ましい場所での表示フレームを画定するビットストリームの伝送を引き起こすために表示フレームの好ましい位置を定めるカスタマデータ信号に応答し、前記サーバは、次のp×qの導出されたフレームが送信されるm×nの主要フレーム内の場所を選択するために、初期に送信されたフレーム内の好ましい場所を定めるデータ信号に応える。
本発明を達成するための装置及び方法は、ここで添付図面を参照し、ほんの一例として以下に説明される。
まず図1を参照すると、システムは例えば適切なコンピュータなどのサーバ1と、広い視界を有する少なくとも1台のカメラ2と、デジタル画像記憶装置3とを含む。前記カメラに加えて、表示画面6を有するセルラー携帯電話5、パーソンポケットコンピュータ(person pocket computer)(PPC)7、及びデスクトップモニタ8により表されるクライアントへの配布の目的で過去に捕捉された画像、映画等を記憶するために多くのビデオ記憶装置4が提供される。通信装置5、7、8のそれぞれは、画像が最初に各々の表示画面の水平方向及び垂直方向のそれぞれにおけるピクセル数に対応するレベルに圧縮される場合にだけであるが、カメラ2により捕捉される画像を、あるいはビデオ記憶装置4から画像を表示できる。
カメラ2(例えば、高ピクセル密度を有し、_ピクセル×_ピクセルで広域画像を捕捉する_)は、表示画面上で詳細に見ることができるより大幅に高いレベルに画像を解像することができる。したがって、サーバ1はプログラムアイコン9により表される圧縮プログラムの多くのインスタンスを実行し、各プログラムは少なくとも1人の視聴カスタマにサービスを提供し、以下に説明されるように機能する。
アーキテクチャを説明するためにビデオ捕捉ソースが640×480ピクセルという最大解像度を有するカメラ2であることが仮定される。しかしながら、ビデオ捕捉ソースが任意の種類(伝送又は記憶のために画像を定義するデジタル化されたデータを提供できる、ビデオ捕捉カード、未圧縮ファイルストリーム等)である場合があり、最大解像度が(ビデオ捕捉ソースの解像度制限によってだけ制限される)任意のサイズである場合があることも理解される。
さらに、ビデオサーバが、つねにオリジナルの捕捉フレームサイズより小さい、又は等しい「固定された」フレームサイズ(解像度)176×144ピクセルでビデオを圧縮し、ストリーミングしていると仮定する。再び、この「固定された」ビデオフレームサイズが(通信受信機のビデオディスプレイに応じて)任意の種類となる場合があり、それぞれのプログラム9が、この伝送が関連付けられる装置5、7、8に画像を提供するように適応されると仮定すれば可変となり得ることが理解されるであろう。
以下に説明されるアルゴリズムは使用可能な考えられるアングルビューを決定するために使用される。潜在的な「アングルビュー」を決定するためには他のアルゴリズムが使用できる。
簡略に図7を参照すると、第1のクライアントサーバ相互アーキテクチャが、サーバ1及び図1の表示画面6、7の1つに対応するクライアントビューワ端末10を含んで概略して示されている。(サーバ1からクライアント10への)前方方向で、通信リンク11の帯域幅を反映する適切なプロトコルを使用するデータ伝送は、ディスプレイ情報及び制御情報を適宜に含むパケット化されたデータストリームを提供するために使用される。リンクは、例えばセルラー電話又はパーソナルデジタルオーガナイザ(PDA)又はポケットパーソナルコンピュータ(PPC)へのセルラー通信リンクであってよいか、あるいはインターネット又は光ファイバ又は銅の地上通信線を介してなどより高い帯域幅リンクとなってよい。使用されるプロトコルは、TCP、UDP、RTP又はリンク11上で情報を満足の行くように搬送できるようにするための他の適切なプロトコルであってよい。
(クライアント10からサーバ1への)後方方向では、一般的には、これは、特定のアングルビューを要求する、あるいはクライアント10がこれの回りで視聴を希望する座標を定義するクライアント端末10での入力を反映する制限されたデータだけを搬送するために、より狭いバンドリンク12を使用できる。
ここで図3を参照すると、捕捉された(又は記憶された)画像は、矩形12により表現される640×840ピクセルの画像を含む。矩形13が352×288ピクセルのビューを包含する一方で、前記矩形14は、クライアント表示画面10の予想表示能力である176×144ピクセル領域を表す。
図4も参照すると、矩形12のビューは矩形121によって概略して表現される176×144ピクセルへの圧縮後に再生されてよい。表現から、表示されている画像が捕捉された画像内に情報のすべてを含むことが分かる。しかしながら、画像は、実行される圧縮のために「ファジー」、または不明瞭であり、詳細に欠けていることが多い。しかしながら、このビューは、クライアントがクライアント端末ディスプレイで好ましいビューを決定できるようにするために第1のインスタンスでクライアント端末10に送信されてよい。これは、送信されるビューを選択するために例えば数1、2又は3のキーパッドからの単純な入力を可能にする、矩形121を「アングルビュー1」として定義し、さらに小さな領域13(矩形131)をアングルビュー2として定義し、画面サイズ対応選択14(矩形141)をアングルビュー3として定義することによって行われてよい。これにより視聴者は、カメラ1又は他の画像捕捉装置の物理的なズームであるよりむしろ、サーバ1内の仮想ズームとして達成されるズームレベルを選択できる。
したがって、クライアントがアングルビュー2を選択すると、画像は、(捕捉された画像のx軸とy軸の間の、表示されている画像領域に対する互換性のなさのためになんらかのひずみが発生する可能性があるが)わずかにより多くの使用可能な細部を有する図5の画像と同じように見える。クライアントは、再び、捕捉された画像からピクセルに対応する基準で直接的に選択される図6のビューを得るために矩形141により囲まれる領域を表示するためにさらにズームインすることを選んでよい。
前記の説明は、3つのアングルビューの提供を説明しているが、補足された画像12から導出できるビューの数がそれほど制限されず、そこから選択する視角及びズームレベルのさらに幅広い選択肢をクライアント10に与えるために、潜在的なビューのさらに幅広い選択がサーバ1内で容易に生成されることが理解されなければならない。
また、クライアント端末10から戻される数値情報が表示された画像の結果としてである必要はないが、使用可能なビューのユーザによる事前の知識に基づいてクライアント端末10からの先制的なエントリであり得ることも注記される。代替インプリメンテーションでは、サーバは、ユーザの通常好ましいビューが最初に送信され、伝送に対するユーザ応答が以後送信されるズームレベル又はアングルビューの変更を決定するように、ユーザの履歴プロファイルに基づいて最初に送信されたビューを選択してよい。
潜在的なアングルビューを提供するために使用されるアルゴリズムは単純であり、以下のステップを使用する。
捕捉ソース(例えばカメラ1)の最大解像度が必要とされる(この例では640×480ピクセル)。圧縮されたビデオストリームの解像度も必要とされる(ここでは176×144ピクセルであると仮定される)。
第1の計算されたアングルビューの場合、捕捉されたビデオストリームから直接的な1対1の関係が使用される。したがって、また図3を参照すると、ウィンドウ14の中のピクセルは、176×144ピクセルビュー(アングルビュー3、図6)を提供するために直接的に使用される。
次のアングルビューの寸法を計算するために、x寸法及びy寸法のそれぞれが2で乗算され、次に推奨されるアングルビューとして352×488ピクセルを与える。サーバは、このステップでは真である捕捉ソース(640×480)からビデオストリームの寸法を超えるために、乗算器の適用が選択を超えないことを確認するようにプログラミングされる。
次のステップでは、最小のウィンドウ14の寸法は、過去の乗算器により、x寸法又はy寸法のどちらかが、捕捉されたビューの寸法を超えなかったならば3で乗算される。実演されるケースでは、この乗算器は追加の選択可能な仮想ズームとなるであろう528×432ピクセルのウィンドウ(図示せず)を生じさせる。
最小のウィンドウ14のx寸法及びy寸法の増分乗算は、寸法の1つがビデオ捕捉ウィンドウの寸法を超え、その結果プロセスが終わり、この被乗数をアングルビュー1と判断し、他のズーム係数が増分アングルビュー定義により定義されるまで続行する。したがって、決定されたアングルビュー、及び考えられるアングルビューの数が生成され、使用可能なアングルビューの数はサーバ1によってクライアント10に送信される。これらのビューの1つは、クライアントのためのデフォルトビューであり、もしくは、完全に圧縮されたビュー(アングルビュー1、図4)、あるいは前述されたように既知のユーザから、又はサーバ内の事前選択によるプリファランスであってよい。
クライアント端末は、ユーザがどのビューを選ぶのかを決定できるようにするためにクライアント表示端末10で使用可能なアングルビューを表示する。クライアントがいったん決定すると、この選択を定義する必要とされるビューデータが、次に遠隔で選択されたアングルビューを有するそれぞれのビデオストリームを送信するサーバ1に送信される。
したがって、ここで図8を見ると、サーバ1は、例えば、カメラ2、デジタル画像記憶装置3、又はビデオ記憶装置4などのビデオ捕捉ソースから情報を採取し、前述されたマルチビュー決定アルゴリズム(14)を適用する。これにより、デジタルスイッチ15に送られる選択された数のアングルビュー(3つが図示されている)121、131、141が生じる。前記スイッチ15は、適切なアングルビューデータをコーデック17にストリーミングするため、またそこからデータパケット18で圧縮されたビデオをストリーミングするためにクライアント(例えば図1のPPC6)からアングルビュー決定を含む入信データパケット16に応える。
疑いを回避するために、コーデック17がMPEG4、H26L等の任意の適切な符号化を使用してよく、生成されるアングルビューは適用されるビデオ圧縮規格とは完全に無関係であることが注記される。
図9では、一方向だけの互換が発生する代替クライアントサーバ互換性が図示されている。ネットワークメッセージは、帯域幅制限を考慮するためにクライアントからサーバにだけ送信され、伝送は任意の適切なプロトコル(TCP、UDP、RDP等)を使用し、アングルビューはクライアントに戻るデータの伝送がないように、クライアント及びサーバで事前に決定される。デフォルト値(例えば5つのビュー)を有する所定のマルチビュー決定アルゴリズムが使用され、(他のアルゴリズムが開発、使用される場合があるであろうが)1つのこのようなアルゴリズムは以下のフォーマットを有する。
(ステップ1)
最小解像度から最大解像度を引く。発明者らの例では、最大解像度は(640×480)、最小解像度は(176×144)である。したがって、前記減算の結果((640−176)&(480−144))は(464、336)となるであろう。
前記5つのビューは以下のようにして生成される。
それぞれのビューは、前記最小解像度(176×144)にステップ1で生成された差異のパーセンテージ(464、336)を加算することにより生じる。
パーセンテージは、通常、(View1=100%、View2−>75%、View3−>50%、View4−>25%、View5−>0%)となるであろう。もちろん、類似するパーセンテージも適用できるであろう。
したがって、ビューごとに次の座標が生成される。
View1(640、480)
X=176+464=640
Y=144+336=480

View2(524、396)
X=176+(0.75*464)=524
Y=144+(0.75*336)=396

View3(408、312)
X=176+(0.50*464)=408
Y=144+(0.50*336)=312

View4(292、228)
X=176+(0.25*464)=292
Y=144+(0.25*336)=228

View5(176、144)
X=176+0=176
Y=144+0=144
このプロセスの完了後、前記の座標の5つのビューが生成される。
図3に類似する図は考えられるビューを記述できるであろうが、5つのビューが描画されなければならない。
他方、「クライアント」アプリケーションは、この「アルゴリズム」も認識し、したがってそれぞれのビューは最大解像度と最小解像度(100%、75%、50%、25%、0%)の差異のパーセンテージを表すはずである。このようにして、クライアントがストリーミングビデオの最大座標及び最小座標を認識していることは必要ではなく、したがって一方向のクライアント/サーバ互換が実現可能であり、「アングルビュー」を変更するプロセスを加速する。
さらに、サーバ1は、前述されたステップを実行するために最大解像度及び最小解像度を取得する。通常、最大解像度はビデオ捕捉カード(カメラ)2により提供されるものであり、最小解像度はストリーミングアプリーション(通常、モバイルビデオの場合176×144)により提供されるものである。「マルチビュー決定アルゴリズム」プロセスは、サーバアプリケーション9が最初に始動されると開始及び終了しなければならない。
5つの「アングルビュー」はクライアントの装置の上で表示される。
1つの「ビュー」が選ばれた後、識別された「アングルビュー」を含むメッセージが作成され、サーバに送信される。
サーバは、ストリーミング用に使用可能な5つのアングルビューを有するが、図8に示されているのと同じ方法でこれに従ってこのビューを選び、コンテンツをストリーミングする。
適応されたクライアント装置は図2に図示され、視聴者が表示されるアングルビューを変更できるようにするための制御を示す。選択されたビデオストリームが表示される一次ビュー画面20が提供される。このケースでは、画面は176×144ピクセルの画面を含む。二次画面21も提供され、これは、ディスプレイ22にメイン画面20に表示されている実際のビデオの割合及び位置を表示できるようにするための低い精細度を有する。したがって、画面21内のボックス22の位置は、オリジナルのフルサイズ基準フレームを基準にした画像の位置を示す。より小さい画面21は、視聴者が、ストリーミングされたビデオが選択されるために移動されなければならない位置の瞬時選択を行うことができるようにするためにタッチセンシティブであってよい。
代わりに、選択キー23から27は、前略されたアングルビューの理念に従って、又は重大なデータパケットを送信できるようにするために十分な帯域幅がクライアントとサーバの間に存在するピクセル単位のどちらかで画像を移動させるために使用されてよい。キー27は、中心ビューの選択をディスプレイ画面20に示すことができるようにすることを目的とする。固定数のアングルビューが使用されている場合には、画面ディスプレイは使用可能なフレームの数に応じて左に、右に、上に又は下に進められてよい。
ファイルコンテンツのビデオストリーミングが提供される場合、一式のビデオ制御キー28から32が提供され、これらはそれぞれ停止機能28、逆転29、再生30、早送り31、及び一時停止32であり、ビデオがダウンロードされ、装置7に記憶される局所的に、あるいはサーバ1に対して制御パケットとして送信されるためにビデオディスプレイを制御するための適切な制御情報を提供する。
固定されたアングルビューを選択する代替制御方法は、選択キー33から37により提供され、完全性のために、局所体積制御装置38が図示される。表示されているビデオに関する英数字テキスト記述を載せてよい情報表示画面39も存在してよく、追加ステータス画面40は例えば移動電話の受信のための信号強度を表示する。
ビュー選択の追加の記述は最初に図10を参照して後述される。このようにして、矢印キー33から37を使用し、最初に前述された5つのアングルビューで開始すると、これらはビュー1(640×480)ピクセル、ビュー2(524、396)、ビュー3(408、312)、ビュー4(292、228)及びビュー5(176×144ピクセル)である。図10では、発明者らはビュー5(176×144ピクセル)(矩形22)を、640×480ピクセルのフルフレーム21と比較して見る。これは、ユーザがメインディスプレイ画面20上に表示されている使用可能なビデオ捕捉の割合を認識するように、図2のディスプレイ21内の矩形として示されてもよい。
ユーザはここで送信されるアングルビューの任意の1つを選択してよく、例えば、キー33を操作するとサーバ1からアングルビュー1を要求する信号パケットが生成される。完全に圧縮されたディスプレイ(図3)は、画面21が、完全なビューが現在表示されていることを示す一方で、表示領域20内での表示のために送信されるであろう。
アングルビュー2は、キー34を操作することにより選択され、ビュー3はキー35により選択され、ビュー4はキー36により選択され、最初に説明されたビュー(ビュー5)はキー37によって選択される。5つのキーより多い又は少ないキーが提供されてよく、あるいは表示画面20がタッチセンシティブの種類である場合には、適切な位置で画面に触れるとアングルビュー要求が送信され、結果として必要とされる変更がサーバ1からの要求で送信されることになるように、仮想キーセットがビデオでオーバレイされて表示できることが理解される。また、矩形22により占有されるより小さな画面21の割合も現在表示されているアングルビューを反映するために変化することも理解される。この調整は、装置7の内部プログラミングによって行われてよい、あるいはサーバ1からデータパケット18とともに送信できる。
前記で中心に置かれたアングルビューを考慮し、ここではユーザが映像の中心とは異なる点で中心に置かれるアングルビューをどのようにして見ることができるのかを検討する。フルビデオフレーム(640×480)を基準にして図10で中心に置かれて図示されるアングルビュー5(176×144ピクセル)が、視聴者が映像全体で又は上下に移動する方法を説明するために使用されるように、使用可能な5つのビューは依然として同じ圧縮率を有する。
図10から図12とともに再び図2を検討し、ユーザが左矢印キー26を操作すると仮定する。それにより、ネットワークデータパケットはクライアントによってサーバ1に送信される結果となる。前記パケットは「左移動」命令と、例えばユーザがキー26を操作する時間の長さから導出された移動するための画面のパーセンテージ、あるいはおそらく移動する「ピクセルの数」のどちらかとを含んでよい。サーバ1は、移動されるピクセル数を計算し、アングルビューの左端がフルビデオフレームの極端な左端に到達しない限り、あるいは到達するまで必要とされるのと同じ数のピクセル分左方向にアングルビューをシフトする。より小さな表示画面の中の矩形22も改訂された近似位置を示してよいが、戻りデータパケットは、ここで新しい位置にあるアングルビュー5のための圧縮済みのビデオを含む。いったん新しい位置で中心に置かれると、キー33から37は、クライアントにより受信されるフルフレームの量を変更するために使用されてよい。
キー23は、上方向の移動を示すために使用されてよく、キー24は右方向、キー25は下方への移動を示すために使用され得る。これらのそれぞれによって、クライアントプログラムは適切なデータパケットを送信し、サーバは任意の方向でのフルビデオフレームの限界に相応して移動することによって送信されるビューを導出する。ユーザがキー27を操作する場合には、これは、キー33から37の使用により最後に選択された選択済み圧縮(アングルビュー1から5)を使用して最初に送信されたように中心位置にビューを戻すために使用される。
ここで図2の仮想ウィンドウディスプレイ21を考慮すると、仮想ウィンドウは、ユーザが別の位置まで高速に移動できるようにするために使用することができ、ユーザに、どこで、フルビデオフレームのどのくらい多くがメインディスプレイ20に表示されているのかを決定する能力も提供する。より小さなディスプレイが(代替としてメインディスプレイの角にあるオーバレイとなるであろう)12ピクセル×10ピクセルという最大寸法を表示すると仮定されると、各ビューは仮想画面の以下のパーセンテージ表示を有する、つまりビュー1=100%、ビュー2=80%、ビュー3=60%、ビュー4=40%、及びビュー5=20%である。
したがって、仮想ウィンドウの寸法でこれらのパーセンテージを乗算することにより、表示される矩形22の以下の寸法を得る。
View1(12、10)
X=12*1=12
Y=10*1=10

View2(10、8)
X=12*0.8=10
Y=10*0.8=8

View3(7、6)
X=12*0.6=7
Y=10*0.6=6

View4(5、4)
X=12*0.4=5
Y=10*0.4=4

View5(2、2)
X=12*0.2=2
Y=10*0.2=2
このようにして、内側矩形22(おそらく黒のディスプレイの中の白の表現)が、前記寸法を使用して描画されるため、以下の例では前記に参照される寸法が使用される。仮想ウィンドウは、このようにして以下のように動作する。ビュー5が選択される場合には、矩形22(2ピクセル×2ピクセル)及び画面21(12ピクセル×10ピクセル)がそれらの寸法を有し、仮想ウィンドウは、白くなるより小さな矩形22を除き黒くなるであろう。これは図2、及び図10から図12にも表現される。仮想ウィンドウがタッチセンシティブであり、ユーザが図11の点41で示されるように左上角を押すと、ディスプレイは中心位置からフルフレームの左上角へ図12に図示されるように移動することが必要とされる(0、0はフレームの左上角を定義する)。
このようにして、クライアントでは、各ピクセルはユニットと見なされ、クライアントは左方向及び上方向でどのくらいの数のユニットを移動する必要があるのかを計算する。図11から、現在位置が、矩形22、白のボックスの左上角の位置である(5、4)として定義されてよいことが分かる。したがって、(0、0)まで移動するには、5個のピクセルを左に、4個のピクセルを上に移動することが必要である。黒のボックスと白のボックスの間のユニットの差異が計算され、このケースでは、水平方向では5個のユニット、垂直方向では4個のユニットである。
したがって、発明者らは現在位置から、画面のパーセンテージ、移動することを必要とされているため、現在位置と新規位置の間のピクセル数差異の数で除算される、(小さな画面から)移動するピクセル数を取ることによって、左移動及び上移動が現在位置から100%であることを計算できる。その結果、移動は、送信されるネットワークメッセージが左100、上100命令を含み、数がつねに比率を表しているように、黒のボックス隙間への白のボックス内で移動するために100%である。
サーバはメッセージ移動左100%移動上100%移動し、以下の手順を起動する。
図12から、アングルビューがビュー5(176×144ピクセル)であり、フルビデオフレームが640×480ピクセルであることを考慮すると、アングルビュー5ウィンドウの左上角の相対位置を計算することが必要である。図12の中の白い点によって表されるフルサイズウィンドウの中心は、「x」寸法で640/2=320にあり、「y」寸法で480・2=240にある(320、240)。アングルビュー5の中心ドットの左上角を基準にした位置は、x寸法で176/2=88であり、y方向で144/2=72である。したがって、(0、0)に移動するための左上角の場合、中心ドットは左方向(x寸法)で320−88=232分、及び上方向(y寸法)で240−72=168分移動しなければならない。したがって、現在位置を基準にした移動は232ピクセル左、及び168ピクセル上であり、このようにして中心位置から図12に陰影を付けて示される左上位置にビューを移動する。その結果、新しいアングルビュー5はサーバ1からクライアント装置に送信される。
例えば、ユーザが仮想画面の第2の(垂直)ピクセル行で左の位置を選択する場合、送信されるデータパケットは左80を含み、これは仮想ウィンドウ差異の5個のピクセルで除算された仮想ウィンドウの左方向での4個のピクセルの移動であることが理解される。類似する計算は他の移動に関してクライアントにより適用される。
新しい位置(0、0)から元の位置(232、168)へ戻るために、例えば、ユーザが仮想ウィンドウの中心を起動する場合、送信された移動は右42(12個のピクセル差のある5個のピクセルの移動=5/12=約42%)及び下40(10個のピクセルが残る4個のピクセルの移動=4/10=40%)となるであろう。
図8に戻ると、ファイルコンテンツがより小さな表示クライアントへの伝送を提供するために使用されている場合、ダウンサンプリングアルゴリズムが必要とされる。176ピクセル×144ピクセルという伝送フレームサイズを仮定すると、送信されるビデオは、フィルタの176×144ピクセルに対するサイズが何であれダウンサンプル(down sampled)されなければならない。
プロセスは、2で割るループで開始し、ビデオをさらに2で除算できなくなるまでダウンサンプリングする。係数が計算され、次に最終的なダウンサンプリングが発生する。したがって、「M」ピクセルX「N」ピクセル、及び176×144ピクセルの出力フレームサイズを有する入力ビデオを仮定し、第1のステップは176でMを除算し、それぞれの水平(X)フレーム寸法がX=M/176を示す。ここでXは2で除算され、Xが分割の後1未満である場合、幅係数及び高さ係数が計算され、これらの係数を使用するビデオのサンプリングが176×144フォーマットでビデオを示す。
ダウンサンプリングは、アルゴリズムの適用の前後にYUVファイルフォーマットで適用される。したがって、U構成要素及びV構成要素(320×240)は対応して88×72にダウンサンプルされる一方、Y構成要素(640×480)は176×144Y構成要素までダウンサンプリングされる。ダウンサンプリングアルゴリズムの全体的なプロセスは以下のとおりである。
ステップ1:
H係数、W係数を計算する。
H係数=幅/176、ここでは幅は水平方向を指す(我々の例では640)
W係数=高さ/144、ここでは高さは垂直方向を指す(我々の例では480)
ステップ2:
X係数を計算する
X=H係数/2
ステップ3:
X≧1である場合にチェックする。
イエスの場合、ステップ4に移動し、それ以外の場合ステップ6に移動する。
ステップ4:
4で除算してダウンサンプリングする。
Y構成要素の場合、以下の式が使用される。
Figure 0004414345
ここではY’=変換後のY構成要素
Y=変換前のY構成要素
0≦i<高さ、i=0、2、4、6...等
0≦j<幅、j=0、2、4、6...等
U、V構成要素の場合、以下の式を使用する。
Figure 0004414345
ここではU’=変換後のU構成要素又はV構成要素のどちらか
U=変換前のU構成要素又はV構成要素のどちらか
0≦i<高さ/2、i=0、2、4、6...等
0≦j<幅/2、j=0、2、4、6...等
ステップ5:
高さ=高さ/2
幅=幅/2
X=X/2
ステップ3に移動する。
ステップ6:高さ係数(Hcoe)及び幅係数(Vcoe)を計算する。
Hcoe=幅/176
Vcoe=高さ/144
ステップ7
このステップは幅≠176、高さ≠144の場合にだけ実行される。
その結果、このステップは、サイズが176×144の偶数倍数ではない入力映像について補正する。
幅/Vcoe、及び高さ/Hcoeによって「ダウンサンプリング」する。
Y構成要素の場合、使用される式は以下のとおりである、
Figure 0004414345
ここではY’=変換後のY構成要素
Y=変換前のY構成要素
0≦i<144、i=0、1、2、3...等
0≦j<176、j=0、1、2、3...等
U、V構成要素の場合、使用される式は、以下のとおりである
Figure 0004414345
ここでU’=変換後のU構成要素又はV構成要素のどちらかである
U=変換前のU構成要素又はV構成要素のどちらかである
0≦i<72、i=0、1、2、3...等
0≦j<88、j=0、1、2、3...等
プロセスの終わり
他のアルゴリズムが作成でき、前記アルゴリズムは例のためだけに示されることが理解されるであろう。
ここで図13を参照すると、事前に記録されたコンテンツのため、前記に参照されたマルチビュー決定アルゴリズムは最初にアングルビューと同じくらいの圧縮されたビットストリームを生成するために適用されてよく、マルチビュー決定切り替え機構がどのビットストリームを送信するのかを決定する。したがって、ビデオ捕捉ソース(2、4)は、図8に関して前述されたように、アングルビュー121、131、141を生じさせるために、フルフレーム画像をマルチビュー決定アルゴリズム14に供給する。ここでは、しかしながら、各アングルビューはそれぞれのビットストリーム181、182、183を生成するためにそれぞれのコーデック171、172、173に送られる。この方法は特に事前に記録されたビデオコンテンツにとって適切である。
図14も参照すると、3個のビットストリームが、ネットワークを介してクライアントからの入信するデータパケット16によって従来通り制御されるアングルビュースイッチ151に提供される。適切なビットストリームは、次に、クライアント装置での表示のためにデータパケット18でストリーミングするために適切な伝送プロトコルに変換するコーデック17に渡される。
本発明は、小さな画面での表示、及び例えばIP及びモバイル通信ネットワークを介した伝送のためにカメラ又はファイル記憶装置などの遠隔ビデオソースから選択可能な画像又は画像比率を提供するためにアングルビューを遠隔で制御することに特に適している。本発明の、例えばビデオ監視、ビデオ会議、及びビデオストリーミングへの応用は、ユーザがどのくらい詳細に表示するのかを決定できるようになり、例えばカメラ設定値を物理的に調整する必要なく遠隔クライアントから制御された送信済みのフレームの効果的な仮想ズームを可能にする。
ビデオ監視では、完全な場面を表示し、次に潜在的に関心のある活動があるならばその場面の一部にズームインすることが可能である。さらに詳細には、完全なカメラフレームはデジタルデータ記憶装置に記憶され得るので、記憶された画像に後退し、記憶されたフレームの回りでアングルビューを移動することによって遠隔画面上の詳細な領域をレビューすることができる。
本発明によるビデオストリーミングシステムのブロック概略図である。 図1のシステムとともに使用するための適応されたPDAの概略図である。 ビデオストリーミングソース又はビデオ捕捉装置からの視野フレーム(主要フレーム)の概略図である。 異なる圧縮率で表示画面上に表示されるように主要フレームから導出される視野フレームの概略図である。 異なる圧縮率で表示画面上に表示されるように主要フレームから導出される視野フレームの概略図である。 異なる圧縮率で表示画面上に表示されるように主要フレームから導出される視野フレームの概略図である。 図1の表示端末とサーバの間の伝送の概略図である。 表示フレームの導出及び伝送のための表示フレームの選択を示す概略図である。 図7の伝送構成に対する代替の伝送構成を示す概略図である。 伝送のための主要なフレームの領域の選択を示す概略図である。 伝送のための主要なフレームの領域の選択を示す概略図である。 伝送のための主要なフレームの領域の選択を示す概略図である。 図8の導出の代替の導出を示す概略図である。 伝送のための図13のビットストリーム出力の選択を示す図である。

Claims (21)

  1. サーバからクライアント装置へビデオ信号をストリーミングする方法であって、前記方法は、前記サーバが、
    1つのビデオフレーム、又は各フレームが「m」個のピクセル×「n」個のピクセルのマトリックスを備える一連のビデオフレームを捕捉する、及び/又は記憶するステップと、
    少なくともp個のピクセル×q個のピクセルのフレームを表示できる前記クライアント装置の画面での表示のために、p及びqがそれぞれm及びnより実質的に少ない「p」個のピクセル×「q」個のピクセルのそれぞれの導出されるフレームに前記フレーム又はそれぞれの前記m個×n個のフレームを圧縮するステップと、
    前記少なくとも1つの導出されたフレームを前記クライアント装置に送信するステップと
    m個×n個のピクセル未満の好ましい選択された表示領域を画定する信号を前記クライアント装置から受信するステップと、
    前記選択された表示領域を追加の導出されたフレーム又はp個のピクセル×q個のピクセルの一連の追加の導出されたフレームに圧縮するステップと、
    表示のために前記追加の導出されたフレームを前記クライアント装置に送信するステップとを実行することを
    前記クライアント装置からの前記受信された信号が、次の追加の導出されたフレームが選択されるm個のピクセル×n個のピクセルフレーム内の場所を決定する前記送信され追加の導出されたフレーム内の好ましい場所を定義するデータを含むことを特徴とする、方法。
  2. 前記受信された信号は、各選択がm個のピクセル×n個のピクセルを超えないが、少なくともp個のピクセル×q個のピクセルを含むフレームを定義する複数の提供された有効なズームレベルからの1つの選択を含むズームレベルをさらに定義する、請求項1に記載の方法。
  3. 前記受信された信号は、ピクセル単位で現在位置から新しい位置への前記送信されたフレームの移動を生じさせるために使用される、請求項1又は2に記載の方法。
  4. 前記受信された信号は、フレーム領域選択に基づいて前記送信されたフレームの移動を生じさせるために使用される、請求項1又は2に記載の方法。
  5. 前記送信されるフレームは、主要な(M×N)フレームの中での明らかな活動の領域を検出し、この領域を取り囲むさらに小さなフレームを送信することにより自動的に選択される、請求項1に記載の方法。
  6. 受信された制御信号が、複数の所定のフレームサイズ及び/又は視角の1つを選択するために使用される、請求項1乃至請求項5のいずれか1項に記載の方法。
  7. 該制御信号が、主要フレームの中で現在位置から新しい位置に移動するために、及び前記表示されている領域のサイズを変更するために使用され、それにより前記主要フレームの特定の領域の詳細な調査が達成できる、請求項6に記載の方法。
  8. 前記選択は、ポインタの位置に応じて前記主要フレームの中で異なるフレーム領域を選択するための制御機能に応えるジャンプ機能による、請求項7に記載の方法。
  9. 前記選択は、スクロール機能により、制御信号がピクセル単位でのフレームの移動を引き起こす、請求項7に記載の方法。
  10. ビデオストリーミングシステム使用するための端末装置であって、前記装置は、
    一連の送信されたフレームを表示する第1の表示画面と、
    表示されている領域又は表示が所望される領域を示すために選択可能な点を有する第2の表示画面と、
    前記一連のフレーム中の次に送信されたフレームが導出される必要のある現在表示されたフレーム内の好ましい位置を定義する信号を送信する伝送手段とを含む。
  11. 現在の表示フレームの座標を表示する機能を含む、及び/又は表示フレームに関するテキスト又は他の情報を表示するための追加の表示手段を含む、請求項10に記載の端末装置。
  12. 前記追加の表示手段は、表示フレームを定義する情報が記憶される場所のURL形式又は類似した識別の形式でテキストを表示する、請求項11に記載の端末装置。
  13. 制御信号を送信するための低い帯域幅受信経路、及び選択された表示フレームを受信するためのより高い帯域幅経路を含む、請求項10乃至請求項12のいずれか1項に記載の端末装置。
  14. それぞれが「m」個のピクセル×「n」個のピクセルのマトリックスを備えるビデオフレームをそれぞれ記憶する複数のビデオ記憶装置にアクセスするサーバであって、前記サーバは、
    少なくともp個のピクセル×q個のピクセルのフレームを表示できる画面での表示のために、p及びqがそれぞれm及びnより実質的に少ない場合に、それぞれ前記m個×n個のフレームを「p」個のピクセル×「q」個のピクセルの導出されたフレームに圧縮する手段と、
    前記または各導出されたフレームを送信する手段と、
    m個×n個のピクセル未満の表示領域の好ましい選択を定義する信号を端末装置から受信する手段と、
    選択された表示領域、1つの導出されたフレーム又はp個のピクセル×q個のピクセルという一連の追加の導出されたフレーム圧縮する手段と含み、
    前記送信手段はさらに、表示のための前記追加の導出されたフレームを前記端末装置に送信するように構成されており、
    前記サーバが、次のp×qの導出されたフレームが送信される前記m×nの主要フレームの中で位置を選択するため以前に送信されたフレーム内で好ましい場所を定義するデータ信号に応えることを特徴とする、サーバ
  15. 各フレームが「m」個のピクセル×「n」個のピクセルのマトリックスを備える一連のビデオフレームとして画像が保持され、カメラにより捕捉された画像がデジタル画像記憶装置の中に記憶されるように、送信された画像を捕捉するカメラ及びデジタル画像記憶装置をさらに備えるサーバであって、ライブのアクション表示が現在の表示フレームを潜在的に超えて、又は部分的に超えて、関心のある表示を示す場合には、前記表示された領域を通る移動が、時間内のある特定の瞬間に前記ユーザにより実行されてもよいように、前記サーバが記憶された主要な(m×n)フレーム内の新しい位置に現在位置から移動するため、及び前記新しい位置で選択された領域を圧縮するために、端末装置から受信される制御信号に応える、請求項14に記載のサーバ。
  16. 選択及び圧縮プログラムの複数のインスタンスが、異なるユーザに対するそれぞれの伝送を行うことができるようにするために実行される、請求項14又は15に記載のサーバ。
  17. 前記選択及び圧縮プログラムの各インスタンスが、カメラソースからの選択、あるいは前記ビデオ記憶装置の1つからの記憶された画像を提供する、請求項16が請求項15に従属するときに請求項16に記載のサーバ。
  18. 前記カメラ又はビデオ記憶装置からの前記デジタル化された画像が事前に選択され、それぞれが、前記フレームのどれが送信されなければならないのかを選択するためにカスタマーデータ入力に応えて切り替え手段が同時に使用できる、複数のフレームに分割される、請求項14乃至請求項17のいずれか1項に記載のサーバ。
  19. 前記選択されたデジタル化された画像は、要求するカスタマーへの伝送のためにパッケージ化されたビットストリームを提供するためにコーデックを通過する、請求項18に記載のサーバ。
  20. 前記複数のフレームのそれぞれは、要求するカスタマーに対する伝送のために準備が完了したそれぞれのビットストリームに変換され、スイッチが送信される前記ビットストリームの前記1つを、カスタマーデータ入力に応えて選択する、請求項18に記載のサーバ。
  21. 前記サーバは、前記主要フレームから表示される部分フレームの選択を定義するカスタマー入力シグナリングに応え、前記サーバが、前記主要フレームの圧縮されたバージョン、又は前記主要フレームからのあらかじめ選択された領域を送信することにより伝送を要求するカスタマーデータパケットに応え、好ましい場所で表示フレームを定義するビットストリームの伝送を引き起こすために表示フレームの前記好ましい場所を定義する続くカスタマーデータ信号に応答する、請求項14乃至請求項20のいずれか1項に記載のサーバ。
JP2004563358A 2002-12-31 2003-12-30 ビデオストリーミング Expired - Fee Related JP4414345B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GBGB0230328.7A GB0230328D0 (en) 2002-12-31 2002-12-31 Video streaming
PCT/GB2003/005643 WO2004059979A1 (en) 2002-12-31 2003-12-30 Video streaming

Publications (2)

Publication Number Publication Date
JP2006512815A JP2006512815A (ja) 2006-04-13
JP4414345B2 true JP4414345B2 (ja) 2010-02-10

Family

ID=9950543

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004563358A Expired - Fee Related JP4414345B2 (ja) 2002-12-31 2003-12-30 ビデオストリーミング

Country Status (8)

Country Link
US (1) US20060150224A1 (ja)
EP (1) EP1579695A1 (ja)
JP (1) JP4414345B2 (ja)
CN (1) CN1732690B (ja)
AU (1) AU2003290327A1 (ja)
CA (1) CA2511302A1 (ja)
GB (1) GB0230328D0 (ja)
WO (1) WO2004059979A1 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8112778B2 (en) * 2004-06-30 2012-02-07 Movius Interactive Corporation Video mail and content playback control with cellular handset
US7710349B2 (en) * 2005-07-18 2010-05-04 Sony Ericsson Mobile Communications Ab Methods and systems for sharing multimedia application data by a plurality of communication devices
JP5091143B2 (ja) * 2005-10-07 2012-12-05 韓國電子通信研究院 多重カメラシステムにおける自由な基本設定ビューの符号化/復号化方法及びその装置
US7953315B2 (en) 2006-05-22 2011-05-31 Broadcom Corporation Adaptive video processing circuitry and player using sub-frame metadata
US7893999B2 (en) 2006-05-22 2011-02-22 Broadcom Corporation Simultaneous video and sub-frame metadata capture system
SG138477A1 (en) * 2006-06-16 2008-01-28 Xia Lei Device with screen as remote controller for camera, camcorder or other picture/video capture device
US20080092172A1 (en) * 2006-09-29 2008-04-17 Guo Katherine H Method and apparatus for a zooming feature for mobile video service
US9247260B1 (en) 2006-11-01 2016-01-26 Opera Software Ireland Limited Hybrid bitmap-mode encoding
US8711929B2 (en) * 2006-11-01 2014-04-29 Skyfire Labs, Inc. Network-based dynamic encoding
US8375304B2 (en) * 2006-11-01 2013-02-12 Skyfire Labs, Inc. Maintaining state of a web page
US8443398B2 (en) * 2006-11-01 2013-05-14 Skyfire Labs, Inc. Architecture for delivery of video content responsive to remote interaction
US8630512B2 (en) * 2007-01-25 2014-01-14 Skyfire Labs, Inc. Dynamic client-server video tiling streaming
US20080291284A1 (en) * 2007-05-25 2008-11-27 Sony Ericsson Mobile Communications Ab Communication device and image transmission method
US8868785B1 (en) 2010-02-11 2014-10-21 Adobe Systems Incorporated Method and apparatus for displaying multimedia content
KR20110095800A (ko) * 2010-02-19 2011-08-25 삼성전자주식회사 코덱에 의해 압축된 동영상 컨텐트 전송 방법 및 그 장치
JP2011259114A (ja) * 2010-06-08 2011-12-22 Hitachi Ltd データ配信装置
CN102123259B (zh) * 2010-12-28 2012-09-26 四川长虹电器股份有限公司 一种在电视机上显示超大分辨率图片的方法
US8813116B2 (en) * 2011-04-27 2014-08-19 Morega Systems Inc. Adaptive video server with virtual file system and methods for use therewith
CN102364963A (zh) * 2011-11-08 2012-02-29 叶尔肯.拜山 一种针对不同访问终端的互联网视频数据提供方法
KR101467868B1 (ko) * 2012-12-20 2014-12-03 주식회사 팬택 소스 장치, 싱크 장치, 이들을 포함하는 무선랜 시스템, 싱크 장치를 제어하는 방법, 단말 장치 및 사용자 인터페이스
JP2014127744A (ja) * 2012-12-25 2014-07-07 Casio Comput Co Ltd 撮像装置、撮像制御方法、及びプログラム
CN103685981B (zh) * 2013-12-23 2017-02-01 广东威创视讯科技股份有限公司 视频编码发送及分布式视频编解码方法、装置
CN105245485A (zh) * 2014-05-26 2016-01-13 联想(北京)有限公司 一种信息处理方法及电子设备
KR101550885B1 (ko) * 2014-05-30 2015-09-07 주식회사 코이노 원격 화면 공유 환경에서 실시간 영역지정을 이용한 스트리밍 제어장치 및 그 방법
US20160353146A1 (en) * 2015-05-27 2016-12-01 Google Inc. Method and apparatus to reduce spherical video bandwidth to user headset
US20170201689A1 (en) * 2016-01-10 2017-07-13 Project Ray Ltd. Remotely controlled communicated image resolution
US10334224B2 (en) 2016-02-19 2019-06-25 Alcacruz Inc. Systems and method for GPU based virtual reality video streaming server
US10326806B1 (en) 2016-07-19 2019-06-18 Google Llc Persisting state of a streaming application
US10652284B2 (en) * 2016-10-12 2020-05-12 Samsung Electronics Co., Ltd. Method and apparatus for session control support for field of view virtual reality streaming
JP6969572B2 (ja) * 2016-10-25 2021-11-24 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
JP7212611B2 (ja) * 2017-02-27 2023-01-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像配信方法、画像表示方法、画像配信装置及び画像表示装置
US10664553B2 (en) * 2017-10-06 2020-05-26 Schweitzer Engineering Laboratories, Inc. Generating a representation of high-frequency signal data from an electric power delivery system
JP7243631B2 (ja) * 2017-10-20 2023-03-22 ソニーグループ株式会社 再生装置および方法、並びに、生成装置および方法
KR20200094525A (ko) 2019-01-30 2020-08-07 삼성전자주식회사 서로 연관된 복수의 데이터를 포함하는 하나의 파일을 처리하는 전자 장치
US11509329B2 (en) 2021-02-10 2022-11-22 Schweitzer Engineering Laboratories, Inc. Compression of power system signals
CN113176961B (zh) * 2021-05-14 2024-05-31 深圳前海微众银行股份有限公司 桌面帧处理方法、装置、设备及存储介质
CN113259716A (zh) * 2021-07-07 2021-08-13 摩尔线程智能科技(北京)有限责任公司 视频下发方法、视频获取方法、服务器、终端和系统
US11899517B2 (en) 2021-08-26 2024-02-13 Schweitzer Engineering Laboratories, Inc. Event analysis and display
CN116033224B (zh) * 2023-02-17 2024-02-06 南京点量云流科技有限公司 一种实时云渲染系统中视频动态索引操控方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7849393B1 (en) * 1992-12-09 2010-12-07 Discovery Communications, Inc. Electronic book connection to world watch live
US5542003A (en) * 1993-09-13 1996-07-30 Eastman Kodak Method for maximizing fidelity and dynamic range for a region of interest within digitized medical image display
JP2813728B2 (ja) * 1993-11-01 1998-10-22 インターナショナル・ビジネス・マシーンズ・コーポレイション ズーム/パン機能付パーソナル通信機
US5960126A (en) * 1996-05-22 1999-09-28 Sun Microsystems, Inc. Method and system for providing relevance-enhanced image reduction in computer systems
JP3516328B2 (ja) 1997-08-22 2004-04-05 株式会社日立製作所 情報通信端末装置
US6178204B1 (en) * 1998-03-30 2001-01-23 Intel Corporation Adaptive control of video encoder's bit allocation based on user-selected region-of-interest indication feedback from video decoder
US7023469B1 (en) * 1998-04-30 2006-04-04 Texas Instruments Incorporated Automatic video monitoring system which selectively saves information
US6816184B1 (en) * 1998-04-30 2004-11-09 Texas Instruments Incorporated Method and apparatus for mapping a location from a video image to a map
US6385772B1 (en) * 1998-04-30 2002-05-07 Texas Instruments Incorporated Monitoring system having wireless remote viewing and control
AU2001245502A1 (en) * 2000-03-07 2001-09-24 Relative Motion Technologies, Inc. Interactive multimedia transmission system
US20030172131A1 (en) * 2000-03-24 2003-09-11 Yonghui Ao Method and system for subject video streaming
WO2001089221A1 (en) * 2000-05-18 2001-11-22 Imove Inc. Multiple camera video system which displays selected images
EP1162810A3 (en) 2000-06-07 2003-11-05 Hitachi Ltd. Data distribution device and method
CA2411852A1 (en) * 2000-06-09 2001-12-13 Imove, Inc. Streaming panoramic video
US6931661B2 (en) 2000-10-19 2005-08-16 Motorola, Inc. Dynamic image provisioning
WO2002067083A2 (en) 2001-02-16 2002-08-29 Wizeguides.Com Inc. Bundled map guide

Also Published As

Publication number Publication date
CA2511302A1 (en) 2004-07-15
US20060150224A1 (en) 2006-07-06
JP2006512815A (ja) 2006-04-13
EP1579695A1 (en) 2005-09-28
AU2003290327A1 (en) 2004-07-22
WO2004059979A1 (en) 2004-07-15
CN1732690A (zh) 2006-02-08
CN1732690B (zh) 2012-04-18
GB0230328D0 (en) 2003-02-05

Similar Documents

Publication Publication Date Title
JP4414345B2 (ja) ビデオストリーミング
EP3391639B1 (en) Generating output video from video streams
US9600222B2 (en) Systems and methods for projecting images from a computer system
US20020021353A1 (en) Streaming panoramic video
EP2124445B1 (en) Image display device and image display method
EP1922878A2 (en) Systems and methods for video stream selection
JP7111288B2 (ja) ビデオ処理方法、装置および記憶媒体
JP2007208458A (ja) 通信システム、通信端末および通信方法
US9306987B2 (en) Content message for video conferencing
CN104918123A (zh) 用于运动视频回放的方法和系统
CN113301342B (zh) 视频编码方法、网络直播方法、装置和终端设备
Ko et al. Implementation and evaluation of fast mobile VNC systems
JP2003163914A (ja) 監視システム及び画像伝送ユニット
JP6466638B2 (ja) 動き変化量に応じて撮影動画像のフレームを間引く端末、システム、プログラム及び方法
KR101280443B1 (ko) 영역 영상을 처리하는 장치 및 그 제어방법
JP2006054921A (ja) 映像信号送信方法及び映像信号受信方法並びに映像信号送受信システム
JP2001189932A (ja) 画像伝送システムおよび画像伝送方法
JP2004282762A (ja) 遠隔映像処理回路の制御方法およびそのシステム
JP2005341093A (ja) コンテンツ適応化装置、コンテンツ適応化システム、コンテンツ適応化方法
US8107525B1 (en) Variable bit rate video CODEC using adaptive tracking for video conferencing
US20240223798A1 (en) Video diversification device, video service system having the same, and operating method thereof
JP2002354461A (ja) 画像サーバとこれを用いた画像サーバシステム、及び画像データ転送方法
JP2006332914A (ja) 撮影装置、及び画像データ転送方法
KR20240109372A (ko) 영상 제공 장치, 그것을 갖는 영상 서비스 시스템, 및 그것의 동작 방법
CN117119233A (zh) 显示设备和视频上传方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090324

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090624

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090701

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090918

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091020

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091119

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121127

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131127

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees