JP3921977B2 - ビデオデータを提供する方法およびビデオインデックス付けのためのデバイス - Google Patents
ビデオデータを提供する方法およびビデオインデックス付けのためのデバイス Download PDFInfo
- Publication number
- JP3921977B2 JP3921977B2 JP2001284259A JP2001284259A JP3921977B2 JP 3921977 B2 JP3921977 B2 JP 3921977B2 JP 2001284259 A JP2001284259 A JP 2001284259A JP 2001284259 A JP2001284259 A JP 2001284259A JP 3921977 B2 JP3921977 B2 JP 3921977B2
- Authority
- JP
- Japan
- Prior art keywords
- look
- video
- points
- indexed
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 38
- 230000005540 biological transmission Effects 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 239000000872 buffer Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 241000532683 Smilia Species 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
- H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
- H04N7/17309—Transmission or handling of upstream communications
- H04N7/17336—Handling of requests in head-ends
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ビデオあるいは他のデータストリームの位置にアクセスし、探すことに関するものである。本発明は、より詳細には基準マーカとして役立つデータストリームの一部に対するデータストリーム内の位置を参照とすることに関するものである。さらに、本発明は、完全なあるいはより高解像であるデータストリームの参照位置に対して基準マーカを低解像データストリームから形成することに関するものである。より詳細には、本発明は、ビデオナビゲーションおよびビデオデータストリームの参照位置に対してタイムラインマーカを形成することに関するものである。
【０００２】
【従来の技術および発明が解決しようとする課題】
最新のビデオプレイバックデバイスは、視聴するビデオのポイントを位置決めし、ファスト・フォワード、ファスト・リワインド等のいずれかを含む機能を含む。図１は、ビデオディスプレイエリア１０２を含む従来のビデオプレイバックデバイス１００を示している。タイムライン１０５は、表示されるビデオの現在の位置を示し、プレイ１１５、ファスト・リワインド１２０、ファスト・フォワード１２５、ステップバック１３０、ステップフォワード１３５等を含む標準ＶＣＲ制御装置が提供される。標準ＶＣＲ制御装置のいずれかは、現在のビデオプレイバックポイントを位置決めするために使用されてもよいし、あるいはユーザは、ビデオの位置を探すためにタイムライン上のプレイバックポイントボタンをドラッグしてもよい。しかしながら、ビデオ内の特定の位置を探す際には困難が生じる。
【０００３】
いくつかのシステムは、ビデオフローに加えて、ビデオの特定のポイントから抽出される様々なスナップショットを提供することによってビデオの位置を探す問題を解決する。これらのスナップショットは、スナップショットが抽出されるビデオ位置に基準マーカを提供するために使用される。
【０００４】
図２は、プレイバックされるビデオの位置を参照とするスナップショットを有する従来のビデオプレイバック機構を示している。ユーザが先へジャンプしたい場合、スナップショットは、ユーザがビデオの位置を選択できる参照のフレームを提供する。ユーザが関心を有する特定の場面を、スナップショットが示している場合、ユーザは、単にタイムライン上のプレイバックポイントスライド制御ノブをこのスナップショットに関連する位置まで移動させる。ユーザが関心を有する場面が示されない場合、ユーザは単に関連場面を使用し、所望の場面の検索を開始する位置を判断してもよい。
【０００５】
ビデオクリップ、映画、およびテレビ番組は、現在ウェブを含むネットワークデバイスを介してますます利用される。しばしば、このようなメディアはストリームフォーマットで利用される。ビデオが送信され始めると、ユーザが全ビデオを受信する前に、ストリームフォーマットは受信ビデオストリームを再生し始める。
【０００６】
一般に、ストリームプレイバックデバイスは、一般的なビデオプレイバックデバイスにあるのと同じ標準ＶＣＲ制御装置を含む。しかしながら、今日提供されるたいていのビデオは、ユーザが視聴するためのビデオの一部を容易に識別し、選択できるインデックススナップショットを含まない。
【０００７】
【課題を解決するための手段】
本発明者は、たとえインデックススナップショットが元のデータストリームに提供されないとしても、プレイバックデバイスが再生されるデータストリーム内の位置を参照とする「スナップショット」を提供することによってよりユーザフレンドリーにすることができることを実現した。本発明者は、ウェブを基にした用途がインデックススナップショットをユーザによって再生されるデータストリームに提供することによって帯域幅消費を減らすことができることも実現した。おおまかに示すと、本発明は、データストリームをユーザに提供するデバイスに低解像接続を行う。低解像接続は、スナップショットを取得し、提供されるデータストリームの中へのインデックスを決定するために使用されるルックアヘッドデータを提供する。データストリームの特定の一部の参照として取得されたスナップショットを含み、ユーザがデータストリームの一部を容易に選択できることを可能にするデータストリームのタイムラインが提供される。本発明は、特にウェブを介して使用されるビデオストリームデバイスに関する。しかしながら、本発明は、ビデオ、オーディオ、科学的あるいは他の種類のデータのいずれかのための任意の種類のプレイバックデバイスを使用して実施されてもよい。
【０００８】
本発明の第一の態様は、データフローの送信を受信する主接続を開くステップと、前記データフローからのデータを含む少なくとも１つのルック-ｘデータストリームの送信のための第２の接続を開くステップと、ルック-ｘデータストリームの少なくとも１つのポイントを前記データフローの少なくとも１つの対応するポイントにインデックス付けするステップと、インデックス付ルック-ｘポイントに基づいて前記データフローのプレイバック位置の制御を行うステップと、を含むビデオデータを提供する方法である。本発明は、ビデオデータストリームに適用されるのが最もよく、ルック-ｘポイントがビデオデータストリームのフレームであり、ビデオストリームにおける位置をインデックス付ルック-ｘポイントに相関付けする制御機構を含んでいる。
【０００９】
ビデオを逐次見る代わりに、多数のユーザは、実際関心を有するエリアを探すまで、興味がある１つのポイントから次のポイントまでジャンプすることを好む。本発明は、ビデオを迅速にナビゲートする際にユーザをサポートする方法を提供する。一実施形態では、ユーザが簡単なマウスクリックでジャンプできる少数のインデックス付ポイントが決定される。通常のスキップフォワード／バックワードボタンとは異なり、本発明は、ユーザがジャンプする必要なしに迅速な初期の判断を行うことができるように、ジャンプできるポイントの画像を提供する。所定数（例えば、２つあるいは４つ）の画像は、現在のプレイバック位置の近傍のインデックス付ポイントを示している。ビデオがプレイバックされている間、現在（プレイバックされている）位置の前後のインデックス付きポイントが描かれ、アクセス可能となるように、画像は変更される。
【００１０】
本発明の第２の態様は、第１の態様の方法であって、インデックス付ルック-ｘポイントに対応するタイムラインを表示するステップをさらに含み、該タイムラインが、該タイムライン上の位置を参照とするように表示される該インデックス付ルック-ｘポイントの少なくとも１つを有する。
【００１１】
本発明の第３の態様は、第１の態様の方法であって、前記制御を行うステップが、前記データフローの再生位置を該データフローの現在の再生位置に対するルック-ｘデータポイントの次および前のそれぞれのルック-ｘデータポイントに対応する位置に進めるように構成されたスキップフォワードおよびスキップバックボタンの少なくとも一方を表示するステップを含む。
【００１２】
本発明の第４の態様は、第１の態様の方法であって、前記インデックス付ポイントの表示があるタイムラインを表示するステップと、前記インデックス付ポイントの少なくとも１つを選択するステップと、前記データフローを選択された前記インデックス付ポイントで始まるポイントに表示するステップと、をさらに含む。
【００１３】
本発明の第５の態様は、第１の態様の方法であって、前記データフローがビデオであり、かつルック-ｘポイントが、前記主接続および前記第２の接続の一方から検索される該データフローのフレームである。
【００１４】
本発明の第６の態様は、第１の態様の方法であって、前記第２の接続が、前記主接続に対して低解像接続である。
【００１５】
本発明の第７の態様は、第１の態様の方法であって、所定数のインデックス付ルック-ｘポイントを選択するステップと、プレイバック制御機構に対する参照を与えるように所定数のインデックス付ポイントを表示するステップと、更新基準に基づいて選択された所定数のインデックス付ルック-ｘポイントを更新するステップと、をさらに含む。
【００１６】
本発明の第８の態様は、第７の態様の方法であって、前記選択するステップは、前記ルック-ｘポイントの各々が前記データフローの第１の再生位置の所定距離内にあるように所定数のルック-ｘポイントを選択するステップを含む。
【００１７】
本発明の第９の態様は、第７の態様の方法であって、前記更新基準が、前記選択するステップにおいて、第１の再生位置からの所定量のプレイバック位置の変化を含む。
【００１８】
本発明の第１０の態様は、ビデオプレイヤーであって、データフローの送信を受信する主データストリームと、前記データフローの送信を受信するルック-ｘデータストリーム接続と、前記ルック-ｘデータストリームの少なくとも１つのポイントを前記データフローの対応する少なくとも１つのポイントにインデックス付するコントローラと、を有する該ビデオプレイヤーと、インデックス付ルック-ｘポイントの少なくとも１つを表示するディスプレイと、を備えるクライアント側のビデオインデックス付けのためのデバイスである。
【００１９】
本発明の第１１の態様は、第１０の態様のデバイスであって、前記ビデオプレイヤーが、各々がデータストリームの再生位置を該データストリームの現在の再生位置に対するルック-ｘポイントの次および前のそれぞれのルック-ｘポイントに進めるスキップフォワードボタンおよびスキップバックボタンをさらに含む。
【００２０】
本発明の第１２の態様は、第１０の態様のデバイスであって、前記ディスプレイが、前記データフローを参照されたタイムラインおよび前記インデックス付ルック-ｘポイントの少なくとも１つをさらに表示し、該インデックス付ルック-ｘポイントの各々が該タイムライン上の位置を参照とするように表示される。
【００２１】
本発明の第１３の態様は、第１０の態様のデバイスであって、前記ビデオプレイヤーが、選択されるインデックス付ポイントで開始するように前記データフローの表示を可能にする、該インデックス付ポイントの少なくとも１つを選択する機能をユーザに与える選択ボタンをさらに含む。
【００２２】
本発明の第１４の態様は、第１０の態様のデバイスであって、ルック-ｘデータストリーム接続が、主データストリーム接続に対して低解像データストリームである。
【００２３】
【発明の実施の形態】
本発明は、本発明の特定の実施形態に関して説明され、参照が図面に対して行われる。
【００２４】
ストリームビデオ用途では、ビデオはしばしばサーバ側でインデックス付けされ、その関連画像とともにインデックス付ポイントはクライアントに利用される。しかしながら、インターネット上で利用できるビデオコンテンツの大部分には、サーバ側のインデックスが全く存在しない。本発明はクライアント側のインデックスを迅速に形成する。このようなインデックスを形成するために、クライアントは、ビデオをプレイバックするために使用される主接続に加えて１つあるいはそれ以上のストリームビデオ接続を開く。ストリームビデオが異なる大域幅で符号化されている場合、（付加接続では）低フレーム・レートおよび小さい画像サイズのみが要求されるので、追加の一つもしくはそれ以上の付加接続にはストリームビデオの低品質バージョン（例えば、減縮されたフレーム・サイズ、減縮された解像、減縮されたカラー、グレー・スケール、ブラック・アンド・ホワイト、および、減縮されたフレーム・レート等）を使用することができる。付加接続は、将来のインデックス付ポイントを決定できるように、主プレイバックストリームの現在のプレイバック位置から十分遠く前方にある位置からビデオを受信する。過去のインデックス付ポイントは、主ビデオストリームから決定できるか、あるいは付加接続は現在のプレイバック位置より前の位置からビデオを検索
するために開かれてもよい。
【００２５】
インデックス付ポイントを決定するために、様々な方式をとることができる。例えば、Ｂｏｒｅｃｚｋｙ Ｊ．およびＷｉｌｃｏｘ Ｌ．著、Ｐｒｏｃ．ＩＣＡＳＳＰ '９８（ＩＥＥＥ、１９９８年５月、シアトル）に掲載の「オーディオおよび画像の特徴を使用するビデオセグメンテーションための隠れマルコフモデルフレームワーク(A Hidden Markov Model Framework for Video Segmentation Using Audio and Image Features)」、Ｂｏｒｅｃｚｋｙ Ｊ．およびＲｏｗｅ Ｌ．著、Ｐｒｏｃ．ＳＰＩＥ Ｓｔｏｒａｇｅ ａｎｄ Ｒｅｔｒｉｅｖａｌ ｆｏｒ Ｉｍａｇｅ ａｎｄ Ｖｉｄｅｏ Ｄａｔａｂａｓｅｓ ＩＶ，（サンノゼ，ＣＡ，１９９６年）に掲載の「ビデオショット境界技術の比較（Comparison of Video Shot Boundary Techniques）」およびＺｈａｎｇ Ｈ．Ｊ．，Ｌｏｗ Ｃ．Ｙ．，Ｓｍｏｌｉａｒ Ｓ．，Ｗｕ Ｊ．Ｈ．著、Ｐｒｏｃ．Ｍｕｌｔｉｍｅｄｉａ '９５、ＡＣＭ Ｐｒｅｓｓ、ｐｐ．１５〜２４に掲載の「ビデオパーシング、検索およびブラウジング：統合およびコンテンツベースソリューション（Video Parsing, Retrieval, and Browsing: An Integrated and Content-based Solution）」。これらの各々は、そのまま参照してここに組み込まれる。上記の各々は、インデックス付ポイントを決定するために様々なツールを提供する。インデックス付ポイントを決定するための上記の方法あるいは他の方法のいずれかが適用されてもよい。しかしながら、このような方式は、ユーザによって望まれるよりも多数のインデックス付ポイントを提供するかもしれない。Ｇｉｒｇｅｎｓｏｈｎ Ａ．およびＢｏｒｅｃｚｋｙ Ｊ．著、「時間抑制キーフレーム選択技術（Time-Constrained Keyframe Selection Technique）」。ＩＥＥＥ Ｍｕｌｔｉｍｅｄｉａ Ｓｙｓｔｅｍｓ '９９における、ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ，ｖｏｌ．１，ｐｐ．７５６〜７６１、１９９９年およびＵｃｈｉｈａｓｈｉ Ｓ．およびＦｏｏｔｅ Ｊ．著、Ｐｒｏｃ．ＩＣＡＳＳＰ '９９、ｖｏｌ．６、ｐｐ．３０４１〜３０４４、１９９９年に掲載の「ショット重要性測定およびフレームパッキングアルゴリズムを使用するビデオの要約（Summarizing Video Using a Shot Importance Measure and a Frame-Packing Algorithm）」は、インデックス付ポイントとして使用できるキーフレームを決定する異なる方法を提案した。さらに、Ｃｈｉｕ Ｐ．，Ｇｉｒｇｅｎｓｏｈｎ Ａ．，Ｐｏｌａｋ ｗ．，Ｒｉｅｆｆｅｌ Ｅ．，ＷｉｌｃｏｘＬ．著、「画像ドキュメントストリーム要約およびビデオキーフレーム選択のための遺伝的アルゴリズム(A Genetic Algorithm for Summarizing Image Document Streams and Video Keyframe Selection)」に記載された方式、ＦＸＰＡＬ−ＩＰ−９９−０１０は、ストリームビデオからインデックス付ポイントを決定できるために、ここでは特に適している。
【００２６】
前方および後方ナビゲーション機能を行うために、現在のプレイバック位置の周辺のビデオセグメントは既知でなければならない。現在の位置の前のセグメントは、以前に示されたポイントまでジャンプして戻ることが容易であるようにプレイバック中に決定される。厳密に単純なビデオストリームの場合およびビデオファイルにアクセスする手段が全くない場合、現在のプレイバック位置の後のセグメントを決定することができない。サーバへの第２のストリーム接続は、現在のプレイバック位置よりもビデオの後のポイントを指す。前述されたように、第２接続は表示されるためのビデオインデックス付けおよびキーフレーム抽出の両方に使用される。第２のストリーム接続は、サーバが異なる品質のストリームを提供する場合、より低い品質ものであってもよい。例えば、より低いフレーム速度およびより低い画像の解像度を有するストリームは、ビデオインデックス付けおよびキーフレーム抽出に十分である。
【００２７】
図３は、本発明によるデバイスの一実施形態のブロック図およびデータフローチャートである。ユーザ入力３２５はデバイス３２０に入力される。ユーザ入力は、ビデオストリームあるいは他のデータを再生するアプリケーションを呼び出すため、およびビデオストリームのプレイバック位置を制御するために必要とされるコマンド、およびデバイス３２０で実行するアプリケーションによって必要とされる任意の他の入力を含む。サーバデバイス３００は、「特定のビデオを開始する」、「ジャンプフォワード」、「スキップバック」「高速早送り」等のようなコマンドのためのデバイス３２０のアプリケーションからコマンド３０５を受信する。サーバデバイス３００は、デバイス３２０に対して要求されたビデオ３１５をストリームし始める。
【００２８】
ビデオストリーム３１５の現在のプレイバック位置の後のポイントでビデオインデックス付けを実行するために、デバイス３２０は、ビデオストリーム３１５のルックアヘッドデータの送信のために第２の接続３１０を開く。デバイス３２０は、要約されるルックアヘッドデータ３１５を受信し、キーフレームは、本発明による表示を行い、ビデオストリーム３１５の現在のプレイバック位置の前後のポイントにインデックスビデオを有するためにデバイス３２０によって選択され、利用される。プレイバックされるビデオを含むユーザインタフェースは、ディスプレイデバイス３３０上に表示される。
【００２９】
前述のように、ルックアヘッド接続３１０は、複数のルックアヘッドポイントおよび／または１つあるいはそれ以上のルックビハインドポイントを示す単一接続あるいは複数接続であってもよい。それとは別に、特にビデオストリーム３１５がビデオの始めで開始され、現在のプレイバック位置の前の全てのデータがデバイス３２０に既に表示されるように、ビデオがユーザによって前方にジャンプされなければ、ルックビハインドポイントは必要とされない。次に、前のデータは、もしあれば、ルックビハインドポイントを表示するために要約され、インデックス付けされ、利用される。
【００３０】
図４は、コマンド３２５によって呼び出され、デバイス３２０で実行するビデオアプリケーションによってディスプレイデバイス３３０に表示されたビデオのような、ビデオのプレイバック中の本発明の実施形態のスクリーンショットである。ビデオ４００は、ビデオアプリケーションによって再生されるビデオデータストリームの現在のプレイバック位置を表示する。ビデオ制御装置４１０（休止／プレイボタン）およびスライドバー４１５は、現在のプレイバック位置のユーザ制御およびユーザ移動を可能にする。他の実施形態は、ステップおよび／またはスキップバックおよびフォワードの機能、高速早送り、高速巻き戻し、開始に進む、終了に進む、次のインデックス付ポイントへジャンプする、最後のインデックス付ポイントへジャンプする、およびビデオプレイバックデバイスに関連されてもよい任意の他の種類の制御を含んでいる。スライドバー４１５は、ビデオにおける他のポイントと一致しているビデオの近似位置を示すタイミングマークを有するタイムライン（例えば、０：００．．３３：３０）とともに表示される。代替的に、タイムラインで表示される全ビデオセグメントの代わりに、ビデオの任意の選択部はタイムラインで表示されてもよい。
【００３１】
黒くされた部分４２０は、ビデオの現在のプレイバック位置に非常に接近してビデオ内のフレームあるいは位置のセットを示す。黒くされた部分４２０は、現在のビデオプレイバック位置を示すより正確なポイント４２５のインジケータを含む。本例では、黒くされた部分に対応するプレイバックビデオの位置／フレームは、約１４：５６から１８：２２までの時間を示す。ビデオのこの部分は、要約され、キーフレームは選択されている（ここでのキーフレームは、ビデオの位置を参照するためにスナップ画像として利用するフレームを決定するための任意の方法を使用する選択フレームと呼ばれる）。要約されたビデオの選択および選択されたキーフレームは、ビデオあるいは１つあるいはそれ以上のルックアヘッド／ルックビハインドチャネルを介して受信されたビデオデータの受信された全ビデオチャネルのいずれかから生じた。ルックアヘッド／ルックビハインドチャネルは参照だけのためのスナップ画像を発生するために使用されるので、このようなチャネルは、ビデオが再生されている間、参照するのに必要とされるスナップ画像を迅速に発生するためにこのデータ高速転送を可能にする減少されたフレーム速度、解像あるいは他の品質を有する低帯域幅チャネルであることが好ましい。しかしながら、十分な帯域幅が可能である場合、ルックアヘッド／バックデータを検索するために、全解像接続が使用されてもよい。
【００３２】
スナップ画像１４４０、１４４５、１４５０、および１４６０は、プレイバックされるビデオのそれぞれのタイムフレームで画像を示し、本発明の一実施形態によれば、スライドバー４１５の位置によって示されるように現在のプレイバック位置４２５に非常に接近しているフレームとだけ関連している。しかしながら、本発明の他の実施形態は、プレイバックされるビデオのより広範囲の位置からプレイバックされるビデオのキーフレームあるいは他の関連フレームあるいは部分を選択できる。（例えば、一実施形態では、キーフレームは全ビデオクリップから選択されてもよい。）しかしながら、本発明者は、（例えば、現在精査中であるビデオのポイントにあまり関連しないプレイバックされているビデオの位置を示すために限られた空間を費やす代わりに、プレイバックされるビデオの現在の位置の周辺により詳細を与えることによって、）現在のプレイバック位置に非常に接近しているものからの選択フレームがビデオクリップをナビゲートするユーザのために意味があり、役に立つ情報を提供することを発見した。
【００３３】
一実施形態では、参照スナップは、ビデオのプレイバックの一般速度とペースを合わせる所定の間隔で更新される。例えば、更新が（略）２０秒毎の間隔で生じる場合、現在のプレイバック位置に非常に接近している全ビデオデータは要約され、キーフレームは、選択され、新しいスナップは（略）この時間内にビデオプレイヤー上に再表示される。他の実施形態では、スナップの各々は、スナップ１４４０〜１４６０のいずれかがいつでも他のキーフレームと置き換えられるように実時間および／または連続的に更新され、他のキーフレームは現在のプレイバック位置により関連するようになり、非常に接近している範囲内で生じる。もう一つの他の代替例では、低解像接続は、現在のプレイバック位置の前後で所定の間隔でプレイバック位置を連続して提供するために使用され、スナップは、現在のビデオプレイバック位置の近くにスナップを移動させる低解像である。
【００３４】
図５は、本発明の一実施形態による方法のフローチャートである。ステップ５１０で、主接続は、ビデオプレイバックデバイスからビデオサーバへ開かれる。主接続が開かれる正確な機構および／または主接続を行うデバイス（サーバ、あるいはローカルであれ遠隔であれ他のプログラム）は特に重要でない。重要であることは、ユーザに表示するためのビデオプレイバックデバイスにビデオをもたらす接続が行われるということである。ステップ５２０で、１つあるいはそれ以上の低解像（この場合、低解像は減縮されたデータ・レートを参照するが、低解像は、減縮されたビデオ解像、ビデオサイズ、ビデオフレーム（ｆｒ）等であってもよい。）のビデオフレーム接続が開かれる。低解像接続は、プレイバックされるビデオの現在の位置からのルックアヘッドあるいはルックビハインドデータのいずれかを提供する。ステップ５３０で、フォワードデータが引き出され、ステップ５４０でフォワードデータがインデックス付けされる。ステップ５３０は、（主接続を介して再生されるかあるいはルックビハインド接続から引き出されるいずれかのデータから）前のデータのインデックス付けおよび要約も含んでよい。
【００３５】
ステップ５５０で、タイムラインが表示される。（例えば、選択フレーム、キーフレームを含む）インデックスデータは、ビデオが進む時にタイムラインに関して表示される。ステップ５３０、５４０、および５５０は、ビデオのプレイバック位置に対して参照スナップフレームの流れを保持するように繰り返される。前述されるように、現在のプレイバック位置に非常に接近しているビデオのポイントからあるいは現在のプレイバック位置、あるいは任意の選択位置の前後の所定のポイントで選択されるスナップが選択されてもよい。
【００３６】
ステップ５６０は、ユーザからのタイムステップ要求を行う方法を示す。ユーザは、高速検出、巻き戻しあるいは他のタイムステップ動作（ステップ５６０）を実行し、ステップ５３０、５４０、および５６０は、ビデオ（あるいは他のデータストリーム）の新しい位置に対して繰り返される。したがって、ファスト・フォワードおよび／またはファスト・リワインド・データの再表示の開始は新しいビデオ位置に従って更新した。
【００３７】
図５は、本発明によるプロセスを実行する１つのフロー図を示している。しかしながら、本開示に基づいて、多数の異なる流れあるいは構成は、本発明のいろいろの実施形態および態様を実施するために使用されてもよく、図５は一実施形態の一般的な全体図を示している。
【００３８】
図６は、本発明の他の実施形態によるデバイスおよび情報の流れのブロック図である。サーバデバイス６００は、ビデオデータ６１５を本発明のデバイスにストリームする。バッファ６６０は、ストリームされたビデオデータを取得し、可変速度で提供されてもよいパケット間で滑らかな遷移のためのバッファリングを行い、滑らかなデータ６６５のストリームをコントローラ６７０に提供する。ユーザ入力６２５はコントローラ６７０の入力であり、最終ビデオストリームおよび他のデータはディスプレイデバイス６３０に送られる。ビデオストリーム６７５は、受信されたビデオの過ぎ去った部分からインデックス付けされるスナップのような他のデータ、および低解像度チャネル６１０．１．．６１０．ｎを介して受信されたフォワードルックデータを含んでいる。低解像度チャネルは、滑らかなデータ６５５の流れをコントローラ６７０に提供するように低解像チャネルにバッファリングするバッファデバイス６５０へ入力される。代替的に、バッファ６５０は、低解像度で全ビデオを記憶し、チャネル６５５を介してインデックス付けする際に使用するためにいつでも引き出すことができるように十分な記憶領域を備えてもよい。コントローラ６７０は、（流れ６６５、あるいはチャネル６６５を介して）受信されたビデオデータのインデックス付けおよびフレーム選択を実行し、このインデックスおよびキーフレーム選択処理からの選択スナップは、ディスプレイデバイス６３０へのデータフロー６７５に含まれる。ディスプレイデバイス６３０上のディスプレイは、主ビデオウィンドウ６３５、スナップ６４０、現在のビデオプレイバック位置を調整するスライドバー６４５、様々なスナップのための基準マーカを与えるタイムライン６４８を含む。
【００３９】
図７は、主チャネル（例えば、３１５、６１５）を伝送する例のデータ接続７００および低解像度接続（６１０1．．６１０n、３１０）を示している。データ接続は、主チャネルＭ７１０および低解像度接続７１５の両方に対する一連のパケットを含む。代替的に、データを単一線を介してデータを共有するかあるいはチャネルの各々に対する別のライン（主あるいは補助チャネル低解像度）を備える多数の異なる構成の多重化型のデバイスが備えられてもよい。図３、図６、および図７は、これらが分離した物理線を介して、あるいは単一の多重化線上でのいずれかで、どのように実施されてもよいことを例示するためだけに示されている。
【００４０】
主および低解像チャネルを設定した後、任意の数の方法が現在の位置を識別し、ビデオの早送りあるいは巻き戻しチャネルのための位置を選択するために使用されてもよい。例えば、サーバ側６００は、どのようなビデオが再生されているか、および、（再生されている）このビデオの位置を知り、このサーバ側は適切な低解像度ストリームを自動的にストリームし、現在のプレイバック位置（フォワードあるいはリバースのいずれか）の周辺の適切な低解像ストリームを自動的にストリームするように設定されてもよい。適切な低解像位置は、±時間量、フレーム数、データ量等によって決定されてもよく、再生されるビデオ内の範囲を示すように設定できる任意のパラメータが使用されてもよい。
【００４１】
代替的に、チャネル６０５を介してサーバ側に送られたレコードは、ビデオソースおよび主チャネルのいずれか、あるいはフォワードあるいはリバースチャネルのいずれかに対するプレイバック位置を示してもよい。サーバ６００は、リクエストレコードを読み、リクエストされたビデオの一部を要求するデバイスに送るプログラムおよび／またはデバイスを保有する。リクエストレコードは、ビデオ位置更新としてサーバに再提出されてもよい。さらに、ファスト・フォワードあるいはスキップフォワードコマンド（例えば、ダブルクリックあるいは他の選択機構によってスナップの１つを選択し、ユーザがビデオのこの位置にジャンプすることを望むことを示す）のようなタイムステップリクエストの呼び出しの際に、リクエストレコードは再びサーバに再提出される。代替的に、レンジは、サーバに送られてもよく、サーバは、現在のプレイバック位置の周辺の範囲を含む低解像チャネルを介してデータを自動的に送る。
【００４２】
図８は、サーバ側の機能が２つのデバイス間で分割される本発明の他の実施形態のブロック図である。制御機構８０１は、ビデオを制御するユーザ制御機能８２５（ユーザコマンド）（選択／開始ビデオ、ファスト・フォワード、リワインド、スキップ等）を受信する。主ビデオサーバ８０２は、ビデオを識別するコマンド８０５を受信し、ビューバックされるビデオを制御装置（ビデオ・プレイヤー）８７０およびディスプレイ８３０上にストリームする。主ビデオサーバ８０２も、低解像ビデオ８１０を低解像画像がインデックス付けされ、チャネル８２０を介して制御装置８７０に送られるサーバデバイス８０１に送る。本発明の他の実施形態は、これらの処理および単一デバイス（例えば、３２０）で結合されるか、あるいは（例えば、ネットワーク環境における）複数のプラットホームにわたって分割される機能を行ってもよく、本発明の範囲から逸脱しない。
【００４３】
図９は、ビデオをインデックス付けし、ストリームする２つのデバイスを使用する本発明のネットワーク実施形態を示す。デバイス９０１は、低解像をインデックス付けする機能およびスナップを制御装置９７０に送る機能を実行し、ビデオサーバ９０２は、監視されるビデオを制御装置９７０にストリームし、低解像ビデオをデバイス９０１にストリームする。制御装置９７０およびサーバ９０１の各々とビデオサーバ９０２との間の通信は、インターネットを介するＴＣＰ／ＩＰのようなネットワーク通信を介して実行される。ローカルエリアネットワーク、ワイド・エリア・ネットワーク、インターネット、トークンリング等を含む任意の種類の通信方法が使用されてもよい。
【００４４】
２つのストリームの使用の場合さえ、ビデオの一部だけがプレイバックの途中に識別されてもよい。これは、前述されたクラスタリング技術のような全ビデオへのアクセス権を有することが必要であるビデオインデックス付け方式を除外する。次のフレーム間の変化を考慮するだけである簡単な方式はビデオを十分適切にセグメント化できる。Ｃｈｉｕ Ｐ．，Ｇｉｒｇｅｎｓｏｈｎ Ａ．，Ｐｏｌａｋ Ｗ．，Ｒｉｅｆｆｅｌ Ｅ．，Ｗｉｌｃｏｘ Ｌ．著、「画像ドキュメントストリームおよびビデオキーフレーム選択を要約する遺伝的アルゴリズム（A Genetic Algorithm for Summarizing Image Document Streams and Video Keyframe Selection）」に記載されている一般アルゴリズムＦＸＰＡＬ−ＩＰ−９９−０１０は、キーフレームの増分セットを探すために特に設計され、クライアント側のビデオインデックス付けのために非常にうまく機能すべきである。
【００４５】
ユーザナビゲーションは、クライアント側のインデックス付けを妨げることができる。スキップ後、低解像ストリームはスキップすることもまた必要である。短い時間、スキップ制御がグレイアウトされなければないようにビデオにおいて後でインデックス付ポイントを提供するのに不十分な情報が有り得る。セグメントが識別された後、スキップ制御は再び作動できる。さらに、スキップは、プレイバック位置の前のインデックス付ポイントに不十分な情報が使用可能である状態も生じてもよい。この状態では、一旦プレイバックが次のセグメントに進むと、インデックス付ポイントは再び使用可能になる。代替として、第３のストリームは、現在のプレイバック位置の前に情報を収集するために短い時間開くことができる。第３のストリームの使用は、インデックス付ポイントをより迅速に使用可能にする。
［ビデオをナビゲートするユーザインタフェース］
多数のビデオプレイヤーは、Ｇｉｒｇｅｎｓｏｈｎ Ａ．およびＢｏｒｅｃｚｋｙ Ｊ．著「時間抑制キーフレーム選択技術（Time-Constrained Keyframe Selection Technique）」およびＩＥＥＥ Ｍｕｌｔｉｍｅｄｉａ Ｓｙｓｔｅｍｓ '９９、ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ、ｖｏｌ．１、ｐｐ．７５６〜７６１、１９９９年に示されるようにビデオの異なる場所にジャンプできるスキップボタン、あるいはＺｈａｎｇ Ｈ．Ｊ．，Ｌｏｗ Ｃ．Ｙ．，Ｓｍｏｌｉａｒ Ｓ．，Ｗｕ Ｊ．Ｈ．著、Ｐｒｏｃ．Ｍｕｌｔｉｍｅｄｉａ '９５、ＡＣＭ Ｐｒｅｓｓ、ｐｐ．１５〜２４に掲載の「ビデオパーシング、検索およびブラウジング：統合およびコンテンツベースソリューション（Video Parsing, Retrieval, and Browsing: An Integrated and Content-based Solution）」に詳述されるようにビデオの異なる部分へアクセスポイントを提供するキーフレームの集合体からの選択を可能にするボタンのいずれかを備えてる。前者の方式に関する問題は、ジャンプが導くかもしれないフィードバックが全くないということである。後者の方式は一般的には多数のキーフレームを使用する。
【００４６】
これらの方式とは著しく違って、本発明は、各々がジャンプされるセグメントの代表的なキーフレームを示すか、あるいはこのキーフレームに関連している少数のスキップ制御装置を有する設計を提供する。この方式は、前述された両方の方式の問題を解決する。ビデオプレイバック中、現在再生されているセグメントの周辺のセグメントはこの制御装置を介してアクセス可能である。プレイバックがセグメント境界を横切る場合、スキップ制御装置のアクセスポイントおよびそのキーフレームは更新される。スキップ制御装置の数は、使用可能なスクリーン・リアル・エステートおよびユーザの好みに合わせるように調整できる。共通のレイアウトは、現在のセグメントの直前および直後セグメントをアクセスする２つの制御装置、あるいはアクセス可能な領域を拡大する４つの制御装置を使用してもよい。この制御装置のカラー符号化およびこのカラーを有するタイムラインにおける対応するセグメントを可視化することは、アクセス可能なセグメントの持続時間およびビデオにおける現在の位置からのその距離に対する迅速な参照を行う（図１を参照）。各セグメントの開始時間は、セグメントの配置に対して他の表示を行う制御装置の下に示されている。
【００４７】
ビデオがビデオインデックス付け技術でセグメント化される場合、前述されたビデオをナビゲートするユーザインタフェースは最適に作動する。多数の異なる技術は、サーバ側の全ビデオをセグメント化するために使用できる。１つの可能な方式は、階層のかたまりになったクラスタリング技術でビデオフレームをクラスタリングした後ビデオをセグメント化するシステム（Ｕｃｈｉｈａｓｈｉ Ｓ．およびＦｏｏｔｅ Ｊ．著、Ｐｒｏｃ．ＩＣＡＳＳＰ '９９Ｖｏｌ．６、ｐｐ．３０４１〜３０４４，１９９９年に掲載の「ショット重要性測定およびフレームパッキングアルゴリズムを使用するビデオの要約（Summarizing Video Using a Shot Importance measure and a Frame-Packing Algorithm）」で使用される方式である。この文献に記載されている他の方式もまた使用される。ビデオがストリームされ、サーバ側のインデックスが全く存在しない場合、前述されたクライアント側のビデオインデックス付け技術が使用される。
【００４８】
本発明に含まれているのは、（１）ストリームビデオのクライアント側のインデックス付け、および（２）キーフレームおよびタイムラインセグメントディスプレイとメディアプレイヤーのスキップフォワード／バックワード機能との関連付けの装備である（例えば、スキップフォワードのクリックは、現在のプレイバック位置を表示される次のキーフレームに関連したタイムラインのあるポイントに移動させる）。
【００４９】
本発明は、当業者に明らかであるように本開示の教示によりプログラム化される従来の汎用あるいは専用のディジタルコンピュータあるいはマイクロプロセッサを使用して同時に実施されてもよい。
【００５０】
適切なソフトウェアコーディングは、当業者に明らかであるように本発明の教示に基づいて熟練したプログラマによって容易に作成される。本発明は、当業者に即座に明らかであるように特定用途向け集積回路の作成によってあるいは従来のコンポーネント回路の適切なネットワークを相互に接続することによっても実施されてもよい。
【００５１】
本発明は、コンピュータをプログラム化し、本発明のプロセスのいずれかを実行するために使用できるそれに記憶された命令を有する記憶媒体であるコンピュータプログラムプロダクトを含む。この記憶媒体は、フレキシブルディスク、光ディスク、ＤＶＤ、ＣＤ‐ＲＯＭ、マイクロドライブ、および磁気光ディスクを含む任意の種類のディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリデバイス、磁気カードあるいは光カード、ナノシステム（分子メモリＩＣを含む）あるいは命令および／またはデータを記憶するのに適する任意の種類の媒体あるいはデバイスを含んでもよいが、これに限定されない。
【００５２】
コンピュータ可読媒体のいずれかに記憶され、本発明は、汎用／専用コンピュータあるいはマイクロプロセッサの両方のハードウェアを制御し、コンピュータあるいはマイクロプロセッサを本発明の結果を利用する人間ユーザあるいは他の機構と対話できるソフトウェアを含む。このようなソフトウェアは、デバイスドライバ、オペレーティングシステムおよびユーザアプリケーションを含んでもよいが、これに限定されない。結局、このようなコンピュータ可読媒体は、前述のように本発明を実行するソフトウェアをさらに含む。
【００５３】
汎用／専用コンピュータあるいはマイクロプロセッサのプログラミング（ソフトウェア）に含まれるのは、メディアストリームを取得し、インデックス付けし、タイムラインを発生し、選択されたフレームをタイムラインにリンクし、選択フレームをポイントあるいはメディアストリームのセグメントにリンクし、ユーザ選択フレーム（スナップ）に基づいて制御コマンドをメディアストリームに提供し、本発明のプロセスにより結果の通信を行うことを含むが、このことに限定されない本発明の教示を実行するソフトウェアモジュールである。
【００５４】
本発明の多数の修正および変更は上記の教示に照らして可能である。したがって、添付されたクレームの範囲内では、本発明は特にここに記載されている以外の他の方法で実施されてもよいことを理解すべきである。
【図面の簡単な説明】
【図１】従来のビデオプレイバックデバイスのスクリーンショットである。
【図２】プレイバックされるビデオにインデックスされるスナップショットを有する従来のビデオプレイバックデバイスのスクリーンショットである。
【図３】本発明によるデバイスの一実施形態のブロックおよび情報フロー図である。
【図４】ビデオがプレイバック中である本発明の一実施形態のスクリーンショットである。
【図５】本発明の一実施形態によるプロセスのフローチャートである。
【図６】本発明の一実施形態によるデバイスおよび情報フローのブロック図である。
【図７】高解像および低解像の接続を移送する多重化データフローの例である。
【図８】ビデオサーバおよびコントローラサーバを使用する本発明の一実施形態のブロック図および情報フローである。
【図９】本発明によって利用されてもよいネットワーク関連接続および通信の例である。
【符号の説明】
３２５ ユーザ入力
３００ サーバ
３２０ ビデオプレイヤー
３３０ ディスプレイ
【発明の属する技術分野】
本発明は、ビデオあるいは他のデータストリームの位置にアクセスし、探すことに関するものである。本発明は、より詳細には基準マーカとして役立つデータストリームの一部に対するデータストリーム内の位置を参照とすることに関するものである。さらに、本発明は、完全なあるいはより高解像であるデータストリームの参照位置に対して基準マーカを低解像データストリームから形成することに関するものである。より詳細には、本発明は、ビデオナビゲーションおよびビデオデータストリームの参照位置に対してタイムラインマーカを形成することに関するものである。
【０００２】
【従来の技術および発明が解決しようとする課題】
最新のビデオプレイバックデバイスは、視聴するビデオのポイントを位置決めし、ファスト・フォワード、ファスト・リワインド等のいずれかを含む機能を含む。図１は、ビデオディスプレイエリア１０２を含む従来のビデオプレイバックデバイス１００を示している。タイムライン１０５は、表示されるビデオの現在の位置を示し、プレイ１１５、ファスト・リワインド１２０、ファスト・フォワード１２５、ステップバック１３０、ステップフォワード１３５等を含む標準ＶＣＲ制御装置が提供される。標準ＶＣＲ制御装置のいずれかは、現在のビデオプレイバックポイントを位置決めするために使用されてもよいし、あるいはユーザは、ビデオの位置を探すためにタイムライン上のプレイバックポイントボタンをドラッグしてもよい。しかしながら、ビデオ内の特定の位置を探す際には困難が生じる。
【０００３】
いくつかのシステムは、ビデオフローに加えて、ビデオの特定のポイントから抽出される様々なスナップショットを提供することによってビデオの位置を探す問題を解決する。これらのスナップショットは、スナップショットが抽出されるビデオ位置に基準マーカを提供するために使用される。
【０００４】
図２は、プレイバックされるビデオの位置を参照とするスナップショットを有する従来のビデオプレイバック機構を示している。ユーザが先へジャンプしたい場合、スナップショットは、ユーザがビデオの位置を選択できる参照のフレームを提供する。ユーザが関心を有する特定の場面を、スナップショットが示している場合、ユーザは、単にタイムライン上のプレイバックポイントスライド制御ノブをこのスナップショットに関連する位置まで移動させる。ユーザが関心を有する場面が示されない場合、ユーザは単に関連場面を使用し、所望の場面の検索を開始する位置を判断してもよい。
【０００５】
ビデオクリップ、映画、およびテレビ番組は、現在ウェブを含むネットワークデバイスを介してますます利用される。しばしば、このようなメディアはストリームフォーマットで利用される。ビデオが送信され始めると、ユーザが全ビデオを受信する前に、ストリームフォーマットは受信ビデオストリームを再生し始める。
【０００６】
一般に、ストリームプレイバックデバイスは、一般的なビデオプレイバックデバイスにあるのと同じ標準ＶＣＲ制御装置を含む。しかしながら、今日提供されるたいていのビデオは、ユーザが視聴するためのビデオの一部を容易に識別し、選択できるインデックススナップショットを含まない。
【０００７】
【課題を解決するための手段】
本発明者は、たとえインデックススナップショットが元のデータストリームに提供されないとしても、プレイバックデバイスが再生されるデータストリーム内の位置を参照とする「スナップショット」を提供することによってよりユーザフレンドリーにすることができることを実現した。本発明者は、ウェブを基にした用途がインデックススナップショットをユーザによって再生されるデータストリームに提供することによって帯域幅消費を減らすことができることも実現した。おおまかに示すと、本発明は、データストリームをユーザに提供するデバイスに低解像接続を行う。低解像接続は、スナップショットを取得し、提供されるデータストリームの中へのインデックスを決定するために使用されるルックアヘッドデータを提供する。データストリームの特定の一部の参照として取得されたスナップショットを含み、ユーザがデータストリームの一部を容易に選択できることを可能にするデータストリームのタイムラインが提供される。本発明は、特にウェブを介して使用されるビデオストリームデバイスに関する。しかしながら、本発明は、ビデオ、オーディオ、科学的あるいは他の種類のデータのいずれかのための任意の種類のプレイバックデバイスを使用して実施されてもよい。
【０００８】
本発明の第一の態様は、データフローの送信を受信する主接続を開くステップと、前記データフローからのデータを含む少なくとも１つのルック-ｘデータストリームの送信のための第２の接続を開くステップと、ルック-ｘデータストリームの少なくとも１つのポイントを前記データフローの少なくとも１つの対応するポイントにインデックス付けするステップと、インデックス付ルック-ｘポイントに基づいて前記データフローのプレイバック位置の制御を行うステップと、を含むビデオデータを提供する方法である。本発明は、ビデオデータストリームに適用されるのが最もよく、ルック-ｘポイントがビデオデータストリームのフレームであり、ビデオストリームにおける位置をインデックス付ルック-ｘポイントに相関付けする制御機構を含んでいる。
【０００９】
ビデオを逐次見る代わりに、多数のユーザは、実際関心を有するエリアを探すまで、興味がある１つのポイントから次のポイントまでジャンプすることを好む。本発明は、ビデオを迅速にナビゲートする際にユーザをサポートする方法を提供する。一実施形態では、ユーザが簡単なマウスクリックでジャンプできる少数のインデックス付ポイントが決定される。通常のスキップフォワード／バックワードボタンとは異なり、本発明は、ユーザがジャンプする必要なしに迅速な初期の判断を行うことができるように、ジャンプできるポイントの画像を提供する。所定数（例えば、２つあるいは４つ）の画像は、現在のプレイバック位置の近傍のインデックス付ポイントを示している。ビデオがプレイバックされている間、現在（プレイバックされている）位置の前後のインデックス付きポイントが描かれ、アクセス可能となるように、画像は変更される。
【００１０】
本発明の第２の態様は、第１の態様の方法であって、インデックス付ルック-ｘポイントに対応するタイムラインを表示するステップをさらに含み、該タイムラインが、該タイムライン上の位置を参照とするように表示される該インデックス付ルック-ｘポイントの少なくとも１つを有する。
【００１１】
本発明の第３の態様は、第１の態様の方法であって、前記制御を行うステップが、前記データフローの再生位置を該データフローの現在の再生位置に対するルック-ｘデータポイントの次および前のそれぞれのルック-ｘデータポイントに対応する位置に進めるように構成されたスキップフォワードおよびスキップバックボタンの少なくとも一方を表示するステップを含む。
【００１２】
本発明の第４の態様は、第１の態様の方法であって、前記インデックス付ポイントの表示があるタイムラインを表示するステップと、前記インデックス付ポイントの少なくとも１つを選択するステップと、前記データフローを選択された前記インデックス付ポイントで始まるポイントに表示するステップと、をさらに含む。
【００１３】
本発明の第５の態様は、第１の態様の方法であって、前記データフローがビデオであり、かつルック-ｘポイントが、前記主接続および前記第２の接続の一方から検索される該データフローのフレームである。
【００１４】
本発明の第６の態様は、第１の態様の方法であって、前記第２の接続が、前記主接続に対して低解像接続である。
【００１５】
本発明の第７の態様は、第１の態様の方法であって、所定数のインデックス付ルック-ｘポイントを選択するステップと、プレイバック制御機構に対する参照を与えるように所定数のインデックス付ポイントを表示するステップと、更新基準に基づいて選択された所定数のインデックス付ルック-ｘポイントを更新するステップと、をさらに含む。
【００１６】
本発明の第８の態様は、第７の態様の方法であって、前記選択するステップは、前記ルック-ｘポイントの各々が前記データフローの第１の再生位置の所定距離内にあるように所定数のルック-ｘポイントを選択するステップを含む。
【００１７】
本発明の第９の態様は、第７の態様の方法であって、前記更新基準が、前記選択するステップにおいて、第１の再生位置からの所定量のプレイバック位置の変化を含む。
【００１８】
本発明の第１０の態様は、ビデオプレイヤーであって、データフローの送信を受信する主データストリームと、前記データフローの送信を受信するルック-ｘデータストリーム接続と、前記ルック-ｘデータストリームの少なくとも１つのポイントを前記データフローの対応する少なくとも１つのポイントにインデックス付するコントローラと、を有する該ビデオプレイヤーと、インデックス付ルック-ｘポイントの少なくとも１つを表示するディスプレイと、を備えるクライアント側のビデオインデックス付けのためのデバイスである。
【００１９】
本発明の第１１の態様は、第１０の態様のデバイスであって、前記ビデオプレイヤーが、各々がデータストリームの再生位置を該データストリームの現在の再生位置に対するルック-ｘポイントの次および前のそれぞれのルック-ｘポイントに進めるスキップフォワードボタンおよびスキップバックボタンをさらに含む。
【００２０】
本発明の第１２の態様は、第１０の態様のデバイスであって、前記ディスプレイが、前記データフローを参照されたタイムラインおよび前記インデックス付ルック-ｘポイントの少なくとも１つをさらに表示し、該インデックス付ルック-ｘポイントの各々が該タイムライン上の位置を参照とするように表示される。
【００２１】
本発明の第１３の態様は、第１０の態様のデバイスであって、前記ビデオプレイヤーが、選択されるインデックス付ポイントで開始するように前記データフローの表示を可能にする、該インデックス付ポイントの少なくとも１つを選択する機能をユーザに与える選択ボタンをさらに含む。
【００２２】
本発明の第１４の態様は、第１０の態様のデバイスであって、ルック-ｘデータストリーム接続が、主データストリーム接続に対して低解像データストリームである。
【００２３】
【発明の実施の形態】
本発明は、本発明の特定の実施形態に関して説明され、参照が図面に対して行われる。
【００２４】
ストリームビデオ用途では、ビデオはしばしばサーバ側でインデックス付けされ、その関連画像とともにインデックス付ポイントはクライアントに利用される。しかしながら、インターネット上で利用できるビデオコンテンツの大部分には、サーバ側のインデックスが全く存在しない。本発明はクライアント側のインデックスを迅速に形成する。このようなインデックスを形成するために、クライアントは、ビデオをプレイバックするために使用される主接続に加えて１つあるいはそれ以上のストリームビデオ接続を開く。ストリームビデオが異なる大域幅で符号化されている場合、（付加接続では）低フレーム・レートおよび小さい画像サイズのみが要求されるので、追加の一つもしくはそれ以上の付加接続にはストリームビデオの低品質バージョン（例えば、減縮されたフレーム・サイズ、減縮された解像、減縮されたカラー、グレー・スケール、ブラック・アンド・ホワイト、および、減縮されたフレーム・レート等）を使用することができる。付加接続は、将来のインデックス付ポイントを決定できるように、主プレイバックストリームの現在のプレイバック位置から十分遠く前方にある位置からビデオを受信する。過去のインデックス付ポイントは、主ビデオストリームから決定できるか、あるいは付加接続は現在のプレイバック位置より前の位置からビデオを検索
するために開かれてもよい。
【００２５】
インデックス付ポイントを決定するために、様々な方式をとることができる。例えば、Ｂｏｒｅｃｚｋｙ Ｊ．およびＷｉｌｃｏｘ Ｌ．著、Ｐｒｏｃ．ＩＣＡＳＳＰ '９８（ＩＥＥＥ、１９９８年５月、シアトル）に掲載の「オーディオおよび画像の特徴を使用するビデオセグメンテーションための隠れマルコフモデルフレームワーク(A Hidden Markov Model Framework for Video Segmentation Using Audio and Image Features)」、Ｂｏｒｅｃｚｋｙ Ｊ．およびＲｏｗｅ Ｌ．著、Ｐｒｏｃ．ＳＰＩＥ Ｓｔｏｒａｇｅ ａｎｄ Ｒｅｔｒｉｅｖａｌ ｆｏｒ Ｉｍａｇｅ ａｎｄ Ｖｉｄｅｏ Ｄａｔａｂａｓｅｓ ＩＶ，（サンノゼ，ＣＡ，１９９６年）に掲載の「ビデオショット境界技術の比較（Comparison of Video Shot Boundary Techniques）」およびＺｈａｎｇ Ｈ．Ｊ．，Ｌｏｗ Ｃ．Ｙ．，Ｓｍｏｌｉａｒ Ｓ．，Ｗｕ Ｊ．Ｈ．著、Ｐｒｏｃ．Ｍｕｌｔｉｍｅｄｉａ '９５、ＡＣＭ Ｐｒｅｓｓ、ｐｐ．１５〜２４に掲載の「ビデオパーシング、検索およびブラウジング：統合およびコンテンツベースソリューション（Video Parsing, Retrieval, and Browsing: An Integrated and Content-based Solution）」。これらの各々は、そのまま参照してここに組み込まれる。上記の各々は、インデックス付ポイントを決定するために様々なツールを提供する。インデックス付ポイントを決定するための上記の方法あるいは他の方法のいずれかが適用されてもよい。しかしながら、このような方式は、ユーザによって望まれるよりも多数のインデックス付ポイントを提供するかもしれない。Ｇｉｒｇｅｎｓｏｈｎ Ａ．およびＢｏｒｅｃｚｋｙ Ｊ．著、「時間抑制キーフレーム選択技術（Time-Constrained Keyframe Selection Technique）」。ＩＥＥＥ Ｍｕｌｔｉｍｅｄｉａ Ｓｙｓｔｅｍｓ '９９における、ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ，ｖｏｌ．１，ｐｐ．７５６〜７６１、１９９９年およびＵｃｈｉｈａｓｈｉ Ｓ．およびＦｏｏｔｅ Ｊ．著、Ｐｒｏｃ．ＩＣＡＳＳＰ '９９、ｖｏｌ．６、ｐｐ．３０４１〜３０４４、１９９９年に掲載の「ショット重要性測定およびフレームパッキングアルゴリズムを使用するビデオの要約（Summarizing Video Using a Shot Importance Measure and a Frame-Packing Algorithm）」は、インデックス付ポイントとして使用できるキーフレームを決定する異なる方法を提案した。さらに、Ｃｈｉｕ Ｐ．，Ｇｉｒｇｅｎｓｏｈｎ Ａ．，Ｐｏｌａｋ ｗ．，Ｒｉｅｆｆｅｌ Ｅ．，ＷｉｌｃｏｘＬ．著、「画像ドキュメントストリーム要約およびビデオキーフレーム選択のための遺伝的アルゴリズム(A Genetic Algorithm for Summarizing Image Document Streams and Video Keyframe Selection)」に記載された方式、ＦＸＰＡＬ−ＩＰ−９９−０１０は、ストリームビデオからインデックス付ポイントを決定できるために、ここでは特に適している。
【００２６】
前方および後方ナビゲーション機能を行うために、現在のプレイバック位置の周辺のビデオセグメントは既知でなければならない。現在の位置の前のセグメントは、以前に示されたポイントまでジャンプして戻ることが容易であるようにプレイバック中に決定される。厳密に単純なビデオストリームの場合およびビデオファイルにアクセスする手段が全くない場合、現在のプレイバック位置の後のセグメントを決定することができない。サーバへの第２のストリーム接続は、現在のプレイバック位置よりもビデオの後のポイントを指す。前述されたように、第２接続は表示されるためのビデオインデックス付けおよびキーフレーム抽出の両方に使用される。第２のストリーム接続は、サーバが異なる品質のストリームを提供する場合、より低い品質ものであってもよい。例えば、より低いフレーム速度およびより低い画像の解像度を有するストリームは、ビデオインデックス付けおよびキーフレーム抽出に十分である。
【００２７】
図３は、本発明によるデバイスの一実施形態のブロック図およびデータフローチャートである。ユーザ入力３２５はデバイス３２０に入力される。ユーザ入力は、ビデオストリームあるいは他のデータを再生するアプリケーションを呼び出すため、およびビデオストリームのプレイバック位置を制御するために必要とされるコマンド、およびデバイス３２０で実行するアプリケーションによって必要とされる任意の他の入力を含む。サーバデバイス３００は、「特定のビデオを開始する」、「ジャンプフォワード」、「スキップバック」「高速早送り」等のようなコマンドのためのデバイス３２０のアプリケーションからコマンド３０５を受信する。サーバデバイス３００は、デバイス３２０に対して要求されたビデオ３１５をストリームし始める。
【００２８】
ビデオストリーム３１５の現在のプレイバック位置の後のポイントでビデオインデックス付けを実行するために、デバイス３２０は、ビデオストリーム３１５のルックアヘッドデータの送信のために第２の接続３１０を開く。デバイス３２０は、要約されるルックアヘッドデータ３１５を受信し、キーフレームは、本発明による表示を行い、ビデオストリーム３１５の現在のプレイバック位置の前後のポイントにインデックスビデオを有するためにデバイス３２０によって選択され、利用される。プレイバックされるビデオを含むユーザインタフェースは、ディスプレイデバイス３３０上に表示される。
【００２９】
前述のように、ルックアヘッド接続３１０は、複数のルックアヘッドポイントおよび／または１つあるいはそれ以上のルックビハインドポイントを示す単一接続あるいは複数接続であってもよい。それとは別に、特にビデオストリーム３１５がビデオの始めで開始され、現在のプレイバック位置の前の全てのデータがデバイス３２０に既に表示されるように、ビデオがユーザによって前方にジャンプされなければ、ルックビハインドポイントは必要とされない。次に、前のデータは、もしあれば、ルックビハインドポイントを表示するために要約され、インデックス付けされ、利用される。
【００３０】
図４は、コマンド３２５によって呼び出され、デバイス３２０で実行するビデオアプリケーションによってディスプレイデバイス３３０に表示されたビデオのような、ビデオのプレイバック中の本発明の実施形態のスクリーンショットである。ビデオ４００は、ビデオアプリケーションによって再生されるビデオデータストリームの現在のプレイバック位置を表示する。ビデオ制御装置４１０（休止／プレイボタン）およびスライドバー４１５は、現在のプレイバック位置のユーザ制御およびユーザ移動を可能にする。他の実施形態は、ステップおよび／またはスキップバックおよびフォワードの機能、高速早送り、高速巻き戻し、開始に進む、終了に進む、次のインデックス付ポイントへジャンプする、最後のインデックス付ポイントへジャンプする、およびビデオプレイバックデバイスに関連されてもよい任意の他の種類の制御を含んでいる。スライドバー４１５は、ビデオにおける他のポイントと一致しているビデオの近似位置を示すタイミングマークを有するタイムライン（例えば、０：００．．３３：３０）とともに表示される。代替的に、タイムラインで表示される全ビデオセグメントの代わりに、ビデオの任意の選択部はタイムラインで表示されてもよい。
【００３１】
黒くされた部分４２０は、ビデオの現在のプレイバック位置に非常に接近してビデオ内のフレームあるいは位置のセットを示す。黒くされた部分４２０は、現在のビデオプレイバック位置を示すより正確なポイント４２５のインジケータを含む。本例では、黒くされた部分に対応するプレイバックビデオの位置／フレームは、約１４：５６から１８：２２までの時間を示す。ビデオのこの部分は、要約され、キーフレームは選択されている（ここでのキーフレームは、ビデオの位置を参照するためにスナップ画像として利用するフレームを決定するための任意の方法を使用する選択フレームと呼ばれる）。要約されたビデオの選択および選択されたキーフレームは、ビデオあるいは１つあるいはそれ以上のルックアヘッド／ルックビハインドチャネルを介して受信されたビデオデータの受信された全ビデオチャネルのいずれかから生じた。ルックアヘッド／ルックビハインドチャネルは参照だけのためのスナップ画像を発生するために使用されるので、このようなチャネルは、ビデオが再生されている間、参照するのに必要とされるスナップ画像を迅速に発生するためにこのデータ高速転送を可能にする減少されたフレーム速度、解像あるいは他の品質を有する低帯域幅チャネルであることが好ましい。しかしながら、十分な帯域幅が可能である場合、ルックアヘッド／バックデータを検索するために、全解像接続が使用されてもよい。
【００３２】
スナップ画像１４４０、１４４５、１４５０、および１４６０は、プレイバックされるビデオのそれぞれのタイムフレームで画像を示し、本発明の一実施形態によれば、スライドバー４１５の位置によって示されるように現在のプレイバック位置４２５に非常に接近しているフレームとだけ関連している。しかしながら、本発明の他の実施形態は、プレイバックされるビデオのより広範囲の位置からプレイバックされるビデオのキーフレームあるいは他の関連フレームあるいは部分を選択できる。（例えば、一実施形態では、キーフレームは全ビデオクリップから選択されてもよい。）しかしながら、本発明者は、（例えば、現在精査中であるビデオのポイントにあまり関連しないプレイバックされているビデオの位置を示すために限られた空間を費やす代わりに、プレイバックされるビデオの現在の位置の周辺により詳細を与えることによって、）現在のプレイバック位置に非常に接近しているものからの選択フレームがビデオクリップをナビゲートするユーザのために意味があり、役に立つ情報を提供することを発見した。
【００３３】
一実施形態では、参照スナップは、ビデオのプレイバックの一般速度とペースを合わせる所定の間隔で更新される。例えば、更新が（略）２０秒毎の間隔で生じる場合、現在のプレイバック位置に非常に接近している全ビデオデータは要約され、キーフレームは、選択され、新しいスナップは（略）この時間内にビデオプレイヤー上に再表示される。他の実施形態では、スナップの各々は、スナップ１４４０〜１４６０のいずれかがいつでも他のキーフレームと置き換えられるように実時間および／または連続的に更新され、他のキーフレームは現在のプレイバック位置により関連するようになり、非常に接近している範囲内で生じる。もう一つの他の代替例では、低解像接続は、現在のプレイバック位置の前後で所定の間隔でプレイバック位置を連続して提供するために使用され、スナップは、現在のビデオプレイバック位置の近くにスナップを移動させる低解像である。
【００３４】
図５は、本発明の一実施形態による方法のフローチャートである。ステップ５１０で、主接続は、ビデオプレイバックデバイスからビデオサーバへ開かれる。主接続が開かれる正確な機構および／または主接続を行うデバイス（サーバ、あるいはローカルであれ遠隔であれ他のプログラム）は特に重要でない。重要であることは、ユーザに表示するためのビデオプレイバックデバイスにビデオをもたらす接続が行われるということである。ステップ５２０で、１つあるいはそれ以上の低解像（この場合、低解像は減縮されたデータ・レートを参照するが、低解像は、減縮されたビデオ解像、ビデオサイズ、ビデオフレーム（ｆｒ）等であってもよい。）のビデオフレーム接続が開かれる。低解像接続は、プレイバックされるビデオの現在の位置からのルックアヘッドあるいはルックビハインドデータのいずれかを提供する。ステップ５３０で、フォワードデータが引き出され、ステップ５４０でフォワードデータがインデックス付けされる。ステップ５３０は、（主接続を介して再生されるかあるいはルックビハインド接続から引き出されるいずれかのデータから）前のデータのインデックス付けおよび要約も含んでよい。
【００３５】
ステップ５５０で、タイムラインが表示される。（例えば、選択フレーム、キーフレームを含む）インデックスデータは、ビデオが進む時にタイムラインに関して表示される。ステップ５３０、５４０、および５５０は、ビデオのプレイバック位置に対して参照スナップフレームの流れを保持するように繰り返される。前述されるように、現在のプレイバック位置に非常に接近しているビデオのポイントからあるいは現在のプレイバック位置、あるいは任意の選択位置の前後の所定のポイントで選択されるスナップが選択されてもよい。
【００３６】
ステップ５６０は、ユーザからのタイムステップ要求を行う方法を示す。ユーザは、高速検出、巻き戻しあるいは他のタイムステップ動作（ステップ５６０）を実行し、ステップ５３０、５４０、および５６０は、ビデオ（あるいは他のデータストリーム）の新しい位置に対して繰り返される。したがって、ファスト・フォワードおよび／またはファスト・リワインド・データの再表示の開始は新しいビデオ位置に従って更新した。
【００３７】
図５は、本発明によるプロセスを実行する１つのフロー図を示している。しかしながら、本開示に基づいて、多数の異なる流れあるいは構成は、本発明のいろいろの実施形態および態様を実施するために使用されてもよく、図５は一実施形態の一般的な全体図を示している。
【００３８】
図６は、本発明の他の実施形態によるデバイスおよび情報の流れのブロック図である。サーバデバイス６００は、ビデオデータ６１５を本発明のデバイスにストリームする。バッファ６６０は、ストリームされたビデオデータを取得し、可変速度で提供されてもよいパケット間で滑らかな遷移のためのバッファリングを行い、滑らかなデータ６６５のストリームをコントローラ６７０に提供する。ユーザ入力６２５はコントローラ６７０の入力であり、最終ビデオストリームおよび他のデータはディスプレイデバイス６３０に送られる。ビデオストリーム６７５は、受信されたビデオの過ぎ去った部分からインデックス付けされるスナップのような他のデータ、および低解像度チャネル６１０．１．．６１０．ｎを介して受信されたフォワードルックデータを含んでいる。低解像度チャネルは、滑らかなデータ６５５の流れをコントローラ６７０に提供するように低解像チャネルにバッファリングするバッファデバイス６５０へ入力される。代替的に、バッファ６５０は、低解像度で全ビデオを記憶し、チャネル６５５を介してインデックス付けする際に使用するためにいつでも引き出すことができるように十分な記憶領域を備えてもよい。コントローラ６７０は、（流れ６６５、あるいはチャネル６６５を介して）受信されたビデオデータのインデックス付けおよびフレーム選択を実行し、このインデックスおよびキーフレーム選択処理からの選択スナップは、ディスプレイデバイス６３０へのデータフロー６７５に含まれる。ディスプレイデバイス６３０上のディスプレイは、主ビデオウィンドウ６３５、スナップ６４０、現在のビデオプレイバック位置を調整するスライドバー６４５、様々なスナップのための基準マーカを与えるタイムライン６４８を含む。
【００３９】
図７は、主チャネル（例えば、３１５、６１５）を伝送する例のデータ接続７００および低解像度接続（６１０1．．６１０n、３１０）を示している。データ接続は、主チャネルＭ７１０および低解像度接続７１５の両方に対する一連のパケットを含む。代替的に、データを単一線を介してデータを共有するかあるいはチャネルの各々に対する別のライン（主あるいは補助チャネル低解像度）を備える多数の異なる構成の多重化型のデバイスが備えられてもよい。図３、図６、および図７は、これらが分離した物理線を介して、あるいは単一の多重化線上でのいずれかで、どのように実施されてもよいことを例示するためだけに示されている。
【００４０】
主および低解像チャネルを設定した後、任意の数の方法が現在の位置を識別し、ビデオの早送りあるいは巻き戻しチャネルのための位置を選択するために使用されてもよい。例えば、サーバ側６００は、どのようなビデオが再生されているか、および、（再生されている）このビデオの位置を知り、このサーバ側は適切な低解像度ストリームを自動的にストリームし、現在のプレイバック位置（フォワードあるいはリバースのいずれか）の周辺の適切な低解像ストリームを自動的にストリームするように設定されてもよい。適切な低解像位置は、±時間量、フレーム数、データ量等によって決定されてもよく、再生されるビデオ内の範囲を示すように設定できる任意のパラメータが使用されてもよい。
【００４１】
代替的に、チャネル６０５を介してサーバ側に送られたレコードは、ビデオソースおよび主チャネルのいずれか、あるいはフォワードあるいはリバースチャネルのいずれかに対するプレイバック位置を示してもよい。サーバ６００は、リクエストレコードを読み、リクエストされたビデオの一部を要求するデバイスに送るプログラムおよび／またはデバイスを保有する。リクエストレコードは、ビデオ位置更新としてサーバに再提出されてもよい。さらに、ファスト・フォワードあるいはスキップフォワードコマンド（例えば、ダブルクリックあるいは他の選択機構によってスナップの１つを選択し、ユーザがビデオのこの位置にジャンプすることを望むことを示す）のようなタイムステップリクエストの呼び出しの際に、リクエストレコードは再びサーバに再提出される。代替的に、レンジは、サーバに送られてもよく、サーバは、現在のプレイバック位置の周辺の範囲を含む低解像チャネルを介してデータを自動的に送る。
【００４２】
図８は、サーバ側の機能が２つのデバイス間で分割される本発明の他の実施形態のブロック図である。制御機構８０１は、ビデオを制御するユーザ制御機能８２５（ユーザコマンド）（選択／開始ビデオ、ファスト・フォワード、リワインド、スキップ等）を受信する。主ビデオサーバ８０２は、ビデオを識別するコマンド８０５を受信し、ビューバックされるビデオを制御装置（ビデオ・プレイヤー）８７０およびディスプレイ８３０上にストリームする。主ビデオサーバ８０２も、低解像ビデオ８１０を低解像画像がインデックス付けされ、チャネル８２０を介して制御装置８７０に送られるサーバデバイス８０１に送る。本発明の他の実施形態は、これらの処理および単一デバイス（例えば、３２０）で結合されるか、あるいは（例えば、ネットワーク環境における）複数のプラットホームにわたって分割される機能を行ってもよく、本発明の範囲から逸脱しない。
【００４３】
図９は、ビデオをインデックス付けし、ストリームする２つのデバイスを使用する本発明のネットワーク実施形態を示す。デバイス９０１は、低解像をインデックス付けする機能およびスナップを制御装置９７０に送る機能を実行し、ビデオサーバ９０２は、監視されるビデオを制御装置９７０にストリームし、低解像ビデオをデバイス９０１にストリームする。制御装置９７０およびサーバ９０１の各々とビデオサーバ９０２との間の通信は、インターネットを介するＴＣＰ／ＩＰのようなネットワーク通信を介して実行される。ローカルエリアネットワーク、ワイド・エリア・ネットワーク、インターネット、トークンリング等を含む任意の種類の通信方法が使用されてもよい。
【００４４】
２つのストリームの使用の場合さえ、ビデオの一部だけがプレイバックの途中に識別されてもよい。これは、前述されたクラスタリング技術のような全ビデオへのアクセス権を有することが必要であるビデオインデックス付け方式を除外する。次のフレーム間の変化を考慮するだけである簡単な方式はビデオを十分適切にセグメント化できる。Ｃｈｉｕ Ｐ．，Ｇｉｒｇｅｎｓｏｈｎ Ａ．，Ｐｏｌａｋ Ｗ．，Ｒｉｅｆｆｅｌ Ｅ．，Ｗｉｌｃｏｘ Ｌ．著、「画像ドキュメントストリームおよびビデオキーフレーム選択を要約する遺伝的アルゴリズム（A Genetic Algorithm for Summarizing Image Document Streams and Video Keyframe Selection）」に記載されている一般アルゴリズムＦＸＰＡＬ−ＩＰ−９９−０１０は、キーフレームの増分セットを探すために特に設計され、クライアント側のビデオインデックス付けのために非常にうまく機能すべきである。
【００４５】
ユーザナビゲーションは、クライアント側のインデックス付けを妨げることができる。スキップ後、低解像ストリームはスキップすることもまた必要である。短い時間、スキップ制御がグレイアウトされなければないようにビデオにおいて後でインデックス付ポイントを提供するのに不十分な情報が有り得る。セグメントが識別された後、スキップ制御は再び作動できる。さらに、スキップは、プレイバック位置の前のインデックス付ポイントに不十分な情報が使用可能である状態も生じてもよい。この状態では、一旦プレイバックが次のセグメントに進むと、インデックス付ポイントは再び使用可能になる。代替として、第３のストリームは、現在のプレイバック位置の前に情報を収集するために短い時間開くことができる。第３のストリームの使用は、インデックス付ポイントをより迅速に使用可能にする。
［ビデオをナビゲートするユーザインタフェース］
多数のビデオプレイヤーは、Ｇｉｒｇｅｎｓｏｈｎ Ａ．およびＢｏｒｅｃｚｋｙ Ｊ．著「時間抑制キーフレーム選択技術（Time-Constrained Keyframe Selection Technique）」およびＩＥＥＥ Ｍｕｌｔｉｍｅｄｉａ Ｓｙｓｔｅｍｓ '９９、ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ、ｖｏｌ．１、ｐｐ．７５６〜７６１、１９９９年に示されるようにビデオの異なる場所にジャンプできるスキップボタン、あるいはＺｈａｎｇ Ｈ．Ｊ．，Ｌｏｗ Ｃ．Ｙ．，Ｓｍｏｌｉａｒ Ｓ．，Ｗｕ Ｊ．Ｈ．著、Ｐｒｏｃ．Ｍｕｌｔｉｍｅｄｉａ '９５、ＡＣＭ Ｐｒｅｓｓ、ｐｐ．１５〜２４に掲載の「ビデオパーシング、検索およびブラウジング：統合およびコンテンツベースソリューション（Video Parsing, Retrieval, and Browsing: An Integrated and Content-based Solution）」に詳述されるようにビデオの異なる部分へアクセスポイントを提供するキーフレームの集合体からの選択を可能にするボタンのいずれかを備えてる。前者の方式に関する問題は、ジャンプが導くかもしれないフィードバックが全くないということである。後者の方式は一般的には多数のキーフレームを使用する。
【００４６】
これらの方式とは著しく違って、本発明は、各々がジャンプされるセグメントの代表的なキーフレームを示すか、あるいはこのキーフレームに関連している少数のスキップ制御装置を有する設計を提供する。この方式は、前述された両方の方式の問題を解決する。ビデオプレイバック中、現在再生されているセグメントの周辺のセグメントはこの制御装置を介してアクセス可能である。プレイバックがセグメント境界を横切る場合、スキップ制御装置のアクセスポイントおよびそのキーフレームは更新される。スキップ制御装置の数は、使用可能なスクリーン・リアル・エステートおよびユーザの好みに合わせるように調整できる。共通のレイアウトは、現在のセグメントの直前および直後セグメントをアクセスする２つの制御装置、あるいはアクセス可能な領域を拡大する４つの制御装置を使用してもよい。この制御装置のカラー符号化およびこのカラーを有するタイムラインにおける対応するセグメントを可視化することは、アクセス可能なセグメントの持続時間およびビデオにおける現在の位置からのその距離に対する迅速な参照を行う（図１を参照）。各セグメントの開始時間は、セグメントの配置に対して他の表示を行う制御装置の下に示されている。
【００４７】
ビデオがビデオインデックス付け技術でセグメント化される場合、前述されたビデオをナビゲートするユーザインタフェースは最適に作動する。多数の異なる技術は、サーバ側の全ビデオをセグメント化するために使用できる。１つの可能な方式は、階層のかたまりになったクラスタリング技術でビデオフレームをクラスタリングした後ビデオをセグメント化するシステム（Ｕｃｈｉｈａｓｈｉ Ｓ．およびＦｏｏｔｅ Ｊ．著、Ｐｒｏｃ．ＩＣＡＳＳＰ '９９Ｖｏｌ．６、ｐｐ．３０４１〜３０４４，１９９９年に掲載の「ショット重要性測定およびフレームパッキングアルゴリズムを使用するビデオの要約（Summarizing Video Using a Shot Importance measure and a Frame-Packing Algorithm）」で使用される方式である。この文献に記載されている他の方式もまた使用される。ビデオがストリームされ、サーバ側のインデックスが全く存在しない場合、前述されたクライアント側のビデオインデックス付け技術が使用される。
【００４８】
本発明に含まれているのは、（１）ストリームビデオのクライアント側のインデックス付け、および（２）キーフレームおよびタイムラインセグメントディスプレイとメディアプレイヤーのスキップフォワード／バックワード機能との関連付けの装備である（例えば、スキップフォワードのクリックは、現在のプレイバック位置を表示される次のキーフレームに関連したタイムラインのあるポイントに移動させる）。
【００４９】
本発明は、当業者に明らかであるように本開示の教示によりプログラム化される従来の汎用あるいは専用のディジタルコンピュータあるいはマイクロプロセッサを使用して同時に実施されてもよい。
【００５０】
適切なソフトウェアコーディングは、当業者に明らかであるように本発明の教示に基づいて熟練したプログラマによって容易に作成される。本発明は、当業者に即座に明らかであるように特定用途向け集積回路の作成によってあるいは従来のコンポーネント回路の適切なネットワークを相互に接続することによっても実施されてもよい。
【００５１】
本発明は、コンピュータをプログラム化し、本発明のプロセスのいずれかを実行するために使用できるそれに記憶された命令を有する記憶媒体であるコンピュータプログラムプロダクトを含む。この記憶媒体は、フレキシブルディスク、光ディスク、ＤＶＤ、ＣＤ‐ＲＯＭ、マイクロドライブ、および磁気光ディスクを含む任意の種類のディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリデバイス、磁気カードあるいは光カード、ナノシステム（分子メモリＩＣを含む）あるいは命令および／またはデータを記憶するのに適する任意の種類の媒体あるいはデバイスを含んでもよいが、これに限定されない。
【００５２】
コンピュータ可読媒体のいずれかに記憶され、本発明は、汎用／専用コンピュータあるいはマイクロプロセッサの両方のハードウェアを制御し、コンピュータあるいはマイクロプロセッサを本発明の結果を利用する人間ユーザあるいは他の機構と対話できるソフトウェアを含む。このようなソフトウェアは、デバイスドライバ、オペレーティングシステムおよびユーザアプリケーションを含んでもよいが、これに限定されない。結局、このようなコンピュータ可読媒体は、前述のように本発明を実行するソフトウェアをさらに含む。
【００５３】
汎用／専用コンピュータあるいはマイクロプロセッサのプログラミング（ソフトウェア）に含まれるのは、メディアストリームを取得し、インデックス付けし、タイムラインを発生し、選択されたフレームをタイムラインにリンクし、選択フレームをポイントあるいはメディアストリームのセグメントにリンクし、ユーザ選択フレーム（スナップ）に基づいて制御コマンドをメディアストリームに提供し、本発明のプロセスにより結果の通信を行うことを含むが、このことに限定されない本発明の教示を実行するソフトウェアモジュールである。
【００５４】
本発明の多数の修正および変更は上記の教示に照らして可能である。したがって、添付されたクレームの範囲内では、本発明は特にここに記載されている以外の他の方法で実施されてもよいことを理解すべきである。
【図面の簡単な説明】
【図１】従来のビデオプレイバックデバイスのスクリーンショットである。
【図２】プレイバックされるビデオにインデックスされるスナップショットを有する従来のビデオプレイバックデバイスのスクリーンショットである。
【図３】本発明によるデバイスの一実施形態のブロックおよび情報フロー図である。
【図４】ビデオがプレイバック中である本発明の一実施形態のスクリーンショットである。
【図５】本発明の一実施形態によるプロセスのフローチャートである。
【図６】本発明の一実施形態によるデバイスおよび情報フローのブロック図である。
【図７】高解像および低解像の接続を移送する多重化データフローの例である。
【図８】ビデオサーバおよびコントローラサーバを使用する本発明の一実施形態のブロック図および情報フローである。
【図９】本発明によって利用されてもよいネットワーク関連接続および通信の例である。
【符号の説明】
３２５ ユーザ入力
３００ サーバ
３２０ ビデオプレイヤー
３３０ ディスプレイ
Claims (9)
- データフローの送信を受信する主接続を開くステップと、
前記データフローからのデータを含む少なくとも１つのルック-ｘデータストリームの送信のための第２の接続を開くステップと、
前記ルック-ｘデータストリームの少なくとも１つのポイントを前記データフローの少なくとも１つの対応するポイントにインデックス付けするステップと、
前記ルック-ｘデータストリームのインデックス付ポイントに基づいて前記データフローのプレイバック位置の制御を行うステップと、
所定数のインデックス付ルック - ｘポイントを選択するステップと、
プレイバック制御機構に対する参照を与えるように所定数のインデックス付ポイントを表示するステップと、
更新基準に基づいて選択された所定数のインデックス付ルック - ｘポイントを更新するステップと、
を含むビデオデータを提供する方法であって、
前記選択するステップは、前記ルック - ｘポイントの各々が前記データフローの第１の再生位置の所定距離内にあるように所定数のルック - ｘポイントを選択するステップを含み、
前記データフローがビデオであり、かつルック - ｘポイントが、前記主接続および前記第２の接続の一方から検索される該データフローのフレームであり、
前記第２の接続が、前記主接続に対して低解像接続であり、
前記データフローおよびルック - ｘポイントを一のディスプレイに表示する、
ビデオデータを提供する方法。 - インデックス付ルック-ｘポイントに対応するタイムラインを表示するステップをさらに含み、該タイムラインが、該タイムライン上の位置を参照とするように表示される該インデックス付ルック-ｘポイントの少なくとも１つを有する請求項１に記載の方法。
- 前記制御を行うステップが、前記データフローの再生位置を該データフローの現在の再生位置に対するルック-ｘデータポイントの次および前のそれぞれのルック-ｘデータポイントに対応する位置に進めるように構成されたスキップフォワードおよびスキップバックボタンの少なくとも一方を表示するステップを含む請求項１に記載の方法。
- 前記インデックス付ポイントの表示があるタイムラインを表示するステップと、
前記インデックス付ポイントの少なくとも１つを選択するステップと、
前記データフローを選択された前記インデックス付ポイントで始まるポイントに表示するステップと、
をさらに含む請求項１に記載の方法。 - 前記更新基準が、前記選択するステップにおいて、第１の再生位置からの所定量のプレイバック位置の変化を含む請求項１に記載の方法。
- ビデオプレイヤーであって、
データフローの送信を受信する主データストリームと、
前記データフローの送信を受信するルック-ｘデータストリーム接続と、
前記ルック-ｘデータストリームの少なくとも１つのポイントを前記データフローの対応する少なくとも１つのポイントにインデックス付するコントローラと、
を有する該ビデオプレイヤーと、
インデックス付ルック-ｘポイントの少なくとも１つを表示するディスプレイと、
を備えるクライアント側のビデオインデックス付けのためのデバイスであって、
該デバイスは、
（ａ）所定数のインデックス付ルック - ｘポイントを選択し、
（ｂ）プレイバック制御機構に対する参照を与えるように所定数のインデックス付ポイ ントを表示し、
（ｃ）更新基準に基づいて選択された所定数のインデックス付ルック - ｘポイントを更新し、
前記（ａ）は、前記ルック - ｘポイントの各々が前記データフローの第１の再生位置の所定距離内にあるように所定数のルック - ｘポイントを選択することを含み、
ルック - ｘデータストリーム接続が、主データストリーム接続に対して低解像データストリームであり、
前記データフローおよびルック - ｘポイントを一のディスプレイに表示する、
デバイス。 - 前記ビデオプレイヤーが、各々がデータストリームの再生位置を該データストリームの現在の再生位置に対するルック-ｘポイントの次および前のそれぞれのルック-ｘポイントに進めるスキップフォワードボタンおよびスキップバックボタンをさらに含む請求項６に記載のデバイス。
- 前記ディスプレイが、前記データフローを参照されたタイムラインおよび前記インデックス付ルック-ｘポイントの少なくとも１つをさらに表示し、該インデックス付ルック-ｘポイントの各々が該タイムライン上の位置を参照とするように表示される請求項６に記載のデバイス。
- 前記ビデオプレイヤーが、選択されるインデックス付ポイントで開始するように前記データフローの表示を可能にする、該インデックス付ポイントの少なくとも１つを選択する機能をユーザに与える選択ボタンをさらに含む請求項６に記載のデバイス。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/738,905 US7401351B2 (en) | 2000-12-14 | 2000-12-14 | System and method for video navigation and client side indexing |
| US738905 | 2000-12-14 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002185917A JP2002185917A (ja) | 2002-06-28 |
| JP3921977B2 true JP3921977B2 (ja) | 2007-05-30 |
Family
ID=24969974
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001284259A Expired - Fee Related JP3921977B2 (ja) | 2000-12-14 | 2001-09-19 | ビデオデータを提供する方法およびビデオインデックス付けのためのデバイス |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7401351B2 (ja) |
| JP (1) | JP3921977B2 (ja) |
Families Citing this family (89)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030041257A1 (en) * | 2001-05-04 | 2003-02-27 | Wee Susie J. | Systems, methods and storage devices for scalable data streaming |
| CA2386303C (en) | 2001-05-14 | 2005-07-05 | At&T Corp. | Method for content-based non-linear control of multimedia playback |
| TWI247295B (en) * | 2002-03-09 | 2006-01-11 | Samsung Electronics Co Ltd | Reproducing method and apparatus for interactive mode using markup documents |
| US7620699B1 (en) * | 2002-07-26 | 2009-11-17 | Paltalk Holdings, Inc. | Method and system for managing high-bandwidth data sharing |
| US20040230655A1 (en) * | 2003-05-16 | 2004-11-18 | Chia-Hsin Li | Method and system for media playback architecture |
| US8220020B2 (en) * | 2003-09-30 | 2012-07-10 | Sharp Laboratories Of America, Inc. | Systems and methods for enhanced display and navigation of streaming video |
| US20050125838A1 (en) * | 2003-12-04 | 2005-06-09 | Meng Wang | Control mechanisms for enhanced features for streaming video on demand systems |
| US8472792B2 (en) | 2003-12-08 | 2013-06-25 | Divx, Llc | Multimedia distribution system |
| US7519274B2 (en) | 2003-12-08 | 2009-04-14 | Divx, Inc. | File format for multiple track digital data |
| US7818444B2 (en) | 2004-04-30 | 2010-10-19 | Move Networks, Inc. | Apparatus, system, and method for multi-bitrate content streaming |
| KR100619018B1 (ko) * | 2004-05-12 | 2006-08-31 | 삼성전자주식회사 | 네트워크를 통하여 ａ／ｖ 컨텐츠를 공유하는 방법, 싱크디바이스, 소오스 디바이스 및 메시지 구조 |
| JP2008521139A (ja) * | 2004-11-17 | 2008-06-19 | アバレア， インコーポレイテッド | デジタル資産を管理するシステムおよび方法 |
| US7958087B2 (en) * | 2004-11-17 | 2011-06-07 | Iron Mountain Incorporated | Systems and methods for cross-system digital asset tag propagation |
| US8037036B2 (en) * | 2004-11-17 | 2011-10-11 | Steven Blumenau | Systems and methods for defining digital asset tag attributes |
| US7474359B2 (en) | 2004-12-06 | 2009-01-06 | At&T Intellectual Properties I, L.P. | System and method of displaying a video stream |
| JP2006174309A (ja) * | 2004-12-17 | 2006-06-29 | Ricoh Co Ltd | 動画再生装置、プログラム、及び記録媒体 |
| FR2880462A1 (fr) * | 2005-01-06 | 2006-07-07 | Thomson Licensing Sa | Procede de reproduction de documents comprenant des sequences alterees et, dispositif de reproduction associe |
| US20060218004A1 (en) * | 2005-03-23 | 2006-09-28 | Dworkin Ross E | On-line slide kit creation and collaboration system |
| US8054849B2 (en) | 2005-05-27 | 2011-11-08 | At&T Intellectual Property I, L.P. | System and method of managing video content streams |
| AU2005202356B2 (en) * | 2005-05-31 | 2008-01-10 | Canon Kabushiki Kaisha | Frame scattering for video scrubbing |
| FR2888355A1 (fr) * | 2005-07-07 | 2007-01-12 | Thomson Licensing Sa | Procede de controle de droits de consommation du type "n consommations autorisees" d'un contenu numerique audio et/ou video et dispositif mettant en oeuvre ce procede |
| US20070113288A1 (en) * | 2005-11-17 | 2007-05-17 | Steven Blumenau | Systems and Methods for Digital Asset Policy Reconciliation |
| EP1806919A1 (en) * | 2006-01-05 | 2007-07-11 | Alcatel Lucent | Media delivery system with content-based trick play mode |
| AU2013203320B2 (en) * | 2006-02-28 | 2015-06-04 | Rovi Guides, Inc. | Systems and Methods for Enhanced Trick-Play Functions |
| US7962942B1 (en) | 2006-02-28 | 2011-06-14 | Rovi Guides, Inc. | Systems and methods for enhanced trick-play functions |
| US7515710B2 (en) | 2006-03-14 | 2009-04-07 | Divx, Inc. | Federated digital rights management scheme including trusted systems |
| US8438646B2 (en) * | 2006-04-28 | 2013-05-07 | Disney Enterprises, Inc. | System and/or method for distributing media content |
| US20080037514A1 (en) * | 2006-06-27 | 2008-02-14 | International Business Machines Corporation | Method, system, and computer program product for controlling a voice over internet protocol (voip) communication session |
| US7934160B2 (en) * | 2006-07-31 | 2011-04-26 | Litrell Bros. Limited Liability Company | Slide kit creation and collaboration system with multimedia interface |
| US8005199B2 (en) * | 2006-08-18 | 2011-08-23 | Avaya Inc. | Intelligent media stream recovery |
| US8274564B2 (en) | 2006-10-13 | 2012-09-25 | Fuji Xerox Co., Ltd. | Interface for browsing and viewing video from multiple cameras simultaneously that conveys spatial and temporal proximity |
| US7827490B2 (en) * | 2006-11-30 | 2010-11-02 | Microsoft Corporation | Media state user interface |
| US7836475B2 (en) * | 2006-12-20 | 2010-11-16 | Verizon Patent And Licensing Inc. | Video access |
| CN103561278B (zh) | 2007-01-05 | 2017-04-12 | 索尼克知识产权股份有限公司 | 包含连续播放的视频分配系统 |
| KR101437653B1 (ko) * | 2007-01-26 | 2014-09-12 | 삼성전자주식회사 | 재생시점 변경용 ｇｕｉ 제공방법 및 이를 적용한 영상기기 |
| JP4317234B2 (ja) * | 2007-03-05 | 2009-08-19 | キヤノンマーケティングジャパン株式会社 | 画像表示制御装置および画像表示制御方法および画像表示制御プログラム |
| US8918714B2 (en) * | 2007-04-11 | 2014-12-23 | Adobe Systems Incorporated | Printing a document containing a video or animations |
| EP2164424B1 (en) * | 2007-06-29 | 2019-02-27 | 3M Innovative Properties Company | Graphical user interface for computer-assisted margin marking on dentition |
| US20090049186A1 (en) * | 2007-08-16 | 2009-02-19 | Sony Corporation, A Japanese Corporation | Method to facilitate trick-modes for streaming video |
| JP5513400B2 (ja) | 2007-11-16 | 2014-06-04 | ソニック アイピー， インコーポレイテッド | マルチメディアファイルのための階層的で簡略なインデックス構造体 |
| US8875023B2 (en) * | 2007-12-27 | 2014-10-28 | Microsoft Corporation | Thumbnail navigation bar for video |
| US8249423B2 (en) * | 2008-05-08 | 2012-08-21 | Sony Ericsson Mobile Communications Ab | Electronic devices and methods that insert addressable chapter marks relative to advertising content in video streams |
| US8843974B2 (en) | 2008-08-27 | 2014-09-23 | Albert John McGowan | Media playback system with multiple video formats |
| US8849101B2 (en) * | 2009-03-26 | 2014-09-30 | Microsoft Corporation | Providing previews of seek locations in media content |
| US20100303440A1 (en) * | 2009-05-27 | 2010-12-02 | Hulu Llc | Method and apparatus for simultaneously playing a media program and an arbitrarily chosen seek preview frame |
| US8438484B2 (en) * | 2009-11-06 | 2013-05-07 | Sony Corporation | Video preview module to enhance online video experience |
| US8781122B2 (en) | 2009-12-04 | 2014-07-15 | Sonic Ip, Inc. | Elementary bitstream cryptographic material transport systems and methods |
| GB2477800A (en) | 2010-02-16 | 2011-08-17 | Nds Ltd | Video trick mode playback |
| GB2483452A (en) * | 2010-09-08 | 2012-03-14 | Saffron Digital Ltd | Delivering a media file stored by a content provider to a client, with the media index being sent first |
| US20120090009A1 (en) * | 2010-10-12 | 2012-04-12 | Comcast Cable Communications, Llc | Video Assets Having Associated Graphical Descriptor Data |
| US9363579B2 (en) * | 2010-12-22 | 2016-06-07 | Google Inc. | Video player with assisted seek |
| US9247312B2 (en) | 2011-01-05 | 2016-01-26 | Sonic Ip, Inc. | Systems and methods for encoding source media in matroska container files for adaptive bitrate streaming using hypertext transfer protocol |
| US9792363B2 (en) * | 2011-02-01 | 2017-10-17 | Vdopia, INC. | Video display method |
| US20130031589A1 (en) * | 2011-07-27 | 2013-01-31 | Xavier Casanova | Multiple resolution scannable video |
| US9467708B2 (en) | 2011-08-30 | 2016-10-11 | Sonic Ip, Inc. | Selection of resolutions for seamless resolution switching of multimedia content |
| US8787570B2 (en) | 2011-08-31 | 2014-07-22 | Sonic Ip, Inc. | Systems and methods for automatically genenrating top level index files |
| US8909922B2 (en) | 2011-09-01 | 2014-12-09 | Sonic Ip, Inc. | Systems and methods for playing back alternative streams of protected content protected using common cryptographic information |
| US11314405B2 (en) * | 2011-10-14 | 2022-04-26 | Autodesk, Inc. | Real-time scrubbing of online videos |
| US8839109B2 (en) * | 2011-11-14 | 2014-09-16 | Utc Fire And Security Americas Corporation, Inc. | Digital video system with intelligent video selection timeline |
| US9565476B2 (en) * | 2011-12-02 | 2017-02-07 | Netzyn, Inc. | Video providing textual content system and method |
| US9191457B2 (en) | 2012-12-31 | 2015-11-17 | Sonic Ip, Inc. | Systems, methods, and media for controlling delivery of content |
| US9313510B2 (en) | 2012-12-31 | 2016-04-12 | Sonic Ip, Inc. | Use of objective quality measures of streamed content to reduce streaming bandwidth |
| CN103096184B (zh) * | 2013-01-18 | 2016-04-13 | 深圳市同洲电子股份有限公司 | 一种视频编辑方法及装置 |
| US9473548B1 (en) * | 2013-03-12 | 2016-10-18 | Amazon Technologies, Inc. | Latency reduction in streamed content consumption |
| US9769546B2 (en) * | 2013-08-01 | 2017-09-19 | Hulu, LLC | Preview image processing using a bundle of preview images |
| US9606713B1 (en) * | 2013-12-13 | 2017-03-28 | Amazon Technologies, Inc. | Utilizing dynamic granularity for application controls |
| US9728230B2 (en) * | 2014-02-20 | 2017-08-08 | International Business Machines Corporation | Techniques to bias video thumbnail selection using frequently viewed segments |
| CN103796076A (zh) * | 2014-03-03 | 2014-05-14 | 联想(北京)有限公司 | 数据处理方法及相应的媒体播放设备和播放控制设备 |
| US10798459B2 (en) | 2014-03-18 | 2020-10-06 | Vixs Systems, Inc. | Audio/video system with social media generation and methods for use therewith |
| US20160011743A1 (en) * | 2014-07-11 | 2016-01-14 | Rovi Guides, Inc. | Systems and methods for providing media guidance in relation to previously-viewed media assets |
| WO2016018062A1 (en) * | 2014-07-31 | 2016-02-04 | Samsung Electronics Co., Ltd. | Method and device for providing content |
| ES2874748T3 (es) | 2015-01-06 | 2021-11-05 | Divx Llc | Sistemas y métodos para codificar y compartir contenido entre dispositivos |
| US9940746B2 (en) | 2015-06-18 | 2018-04-10 | Apple Inc. | Image fetching for timeline scrubbing of digital media |
| FR3050090B1 (fr) | 2016-04-08 | 2018-03-23 | Squadeo | Extraction de flux video |
| DK179925B1 (en) | 2016-06-12 | 2019-10-09 | Apple Inc. | USER INTERFACE FOR MANAGING CONTROLLABLE EXTERNAL DEVICES |
| US11794108B2 (en) * | 2016-06-13 | 2023-10-24 | Sony Interactive Entertainment LLC | Method and system for saving a snapshot of game play and used to begin later execution of the game play by any user as executed on a game cloud system |
| WO2020032982A1 (en) * | 2017-08-29 | 2020-02-13 | Dufosse Eric | Elastic video browser |
| US10567843B2 (en) | 2017-08-29 | 2020-02-18 | Eric DuFosse | System and method for creating a replay of a live video stream |
| KR20240132395A (ko) | 2018-05-07 | 2024-09-03 | 애플 인크. | 라이브 비디오 피드들 및 기록된 비디오를 보기 위한 사용자 인터페이스들 |
| US10904029B2 (en) | 2019-05-31 | 2021-01-26 | Apple Inc. | User interfaces for managing controllable external devices |
| US11363071B2 (en) | 2019-05-31 | 2022-06-14 | Apple Inc. | User interfaces for managing a local network |
| US11157556B2 (en) * | 2019-12-20 | 2021-10-26 | Sling Media Pvt Ltd | Method and apparatus for thumbnail generation for a video device |
| US11079913B1 (en) | 2020-05-11 | 2021-08-03 | Apple Inc. | User interface for status indicators |
| US11657614B2 (en) | 2020-06-03 | 2023-05-23 | Apple Inc. | Camera and visitor user interfaces |
| US11589010B2 (en) | 2020-06-03 | 2023-02-21 | Apple Inc. | Camera and visitor user interfaces |
| US11184675B1 (en) * | 2020-06-10 | 2021-11-23 | Rovi Guides, Inc. | Systems and methods to improve skip forward functionality |
| US11277666B2 (en) | 2020-06-10 | 2022-03-15 | Rovi Guides, Inc. | Systems and methods to improve skip forward functionality |
| US11276433B2 (en) | 2020-06-10 | 2022-03-15 | Rovi Guides, Inc. | Systems and methods to improve skip forward functionality |
| EP4189682A1 (en) | 2020-09-05 | 2023-06-07 | Apple Inc. | User interfaces for managing audio for media items |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5136655A (en) * | 1990-03-26 | 1992-08-04 | Hewlett-Pacard Company | Method and apparatus for indexing and retrieving audio-video data |
| JP3472659B2 (ja) | 1995-02-20 | 2003-12-02 | 株式会社日立製作所 | 映像供給方法および映像供給システム |
| US5884056A (en) * | 1995-12-28 | 1999-03-16 | International Business Machines Corporation | Method and system for video browsing on the world wide web |
| US6222532B1 (en) * | 1997-02-03 | 2001-04-24 | U.S. Philips Corporation | Method and device for navigating through video matter by means of displaying a plurality of key-frames in parallel |
| US6366296B1 (en) | 1998-09-11 | 2002-04-02 | Xerox Corporation | Media browser using multimodal analysis |
| JP3396639B2 (ja) * | 1998-09-30 | 2003-04-14 | 株式会社東芝 | 階層記憶装置及び階層記憶制御方法 |
| US6711741B2 (en) * | 1999-04-07 | 2004-03-23 | Intel Corporation | Random access video playback system on a network |
-
2000
- 2000-12-14 US US09/738,905 patent/US7401351B2/en not_active Expired - Fee Related
-
2001
- 2001-09-19 JP JP2001284259A patent/JP3921977B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7401351B2 (en) | 2008-07-15 |
| JP2002185917A (ja) | 2002-06-28 |
| US20020075572A1 (en) | 2002-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3921977B2 (ja) | ビデオデータを提供する方法およびビデオインデックス付けのためのデバイス | |
| US8074161B2 (en) | Methods and systems for selection of multimedia presentations | |
| US10331512B2 (en) | Adaptive intervals in navigating content and/or media | |
| EP2127368B1 (en) | Concurrent presentation of video segments enabling rapid video file comprehension | |
| US8713439B2 (en) | Systems and methods for providing a video playlist | |
| JP5499331B2 (ja) | ストリーミングメディアのトリックプレー | |
| US8392834B2 (en) | Systems and methods of authoring a multimedia file | |
| US7979879B2 (en) | Video contents display system, video contents display method, and program for the same | |
| US7346264B2 (en) | Non-linear reproduction control method of multimedia stream and apparatus thereof | |
| US7986867B2 (en) | Video downloading and scrubbing system and method | |
| US20030122861A1 (en) | Method, interface and apparatus for video browsing | |
| EP1999953B1 (en) | Embedded metadata in a media presentation | |
| US7181757B1 (en) | Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing | |
| JP2006525755A (ja) | ビデオコンテンツを閲覧する方法及びシステム | |
| KR20070090751A (ko) | 화상 표시방법 및 동영상 재생장치 | |
| JP2003529237A (ja) | ビデオ情報へのリンク | |
| WO2001027876A1 (en) | Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing | |
| JP2003283944A (ja) | 再生中のマルチメディア・コンテンツのサーチを行うためにマルチメディア・コンテンツ再生装置と共に使用されるインタフェース装置 | |
| EP1116091A1 (en) | System for providing a user with active and passive access to cached content |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040914 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061114 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061221 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070130 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070212 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110302 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120302 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130302 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130302 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140302 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |