JP4851334B2 - ビデオ信号を提供する方法および装置 - Google Patents

Description

本発明は、リアルタイム以外のレートでのビデオデータのストリームの表示のためにビデオ信号を提供する方法に関する。ビデオデータはフレームから構築されており、当該方法は、ビデオデータのストリームのうちのそれぞれが複数の相続くフレームからなる連続しない諸セグメントを第一のレンダリングされたストリームにリアルタイムでレンダリングするステップを有する。本発明はさらに、リアルタイム以外のレートでのビデオデータのストリームの表示のためにビデオ信号を提供するための装置に関する。ビデオデータはフレームから構築されており、当該装置は、ビデオデータのストリームのうちのそれぞれが複数の相続くフレームからなる連続しない諸セグメントを第一のレンダリングされたストリームにリアルタイムでレンダリングするための第一のレンダリングユニットを有する。

本発明はまた、コンピュータ実行可能コードを有する記録担体にも関する。

さらに、本発明はプログラムされたコンピュータに関する。

前述した方法のある具体化は発行された米国特許US-B-5457669から知られている。この文書は、所定の探索間隔によるジャンプステップを実行したのちに所定の再生期間にわたって番組を再生し、繰り返してジャンプおよび再生ステップを実行する諸ステップを含む番組サーチ方法を開示している。

そのような方法の不都合な点は、ユーザーが番組の再生されている位置を見失いやすいということである。特に、頻繁な場面転換および／または大きな探索間隔の場合にこのことがあてはまる。第一に、ユーザーは探索方向の理解をすっかり失うことになりやすい。第二に、特に頻繁な場面転換および大きな探索間隔の場合、ユーザーは一部の場面を見逃す可能性があり、そのため番組のグローバルな理解を失う可能性がある。

前述の方法を使ったよりよいユーザーフィードバックを提供することが本発明の目的の一つである。

この目的は、本発明に基づく方法を用いて実現される。当該方法はさらに：リアルタイム以外のスピードで所定の相続くのでない諸フレームを第二のレンダリングされたストリームにレンダリングすることによるビデオデータのストリームの非リアルタイムレンダリングと、前記第一のレンダリングされたストリームおよび前記第二のレンダリングされたストリームを表示装置上での同時表示するための多重化とのステップを有しており、ここで：前記第一のレンダリングされたストリームが表示装置の第一の部分に表示され、前記第二のレンダリングされたストリームが表示装置の第二の部分に表示される、ことを特徴とする。

リアルタイム以外のスピードで所定の相続くのでない諸フレームをレンダリングすることによるビデオデータのストリームの非リアルタイムレンダリングによって、たとえば標準的なDVDプレーヤーで映画を早送りするときに通常得られるようなストリームが得られる。そのようなストリームにおいては、特に再生スピードが高すぎない場合は、たとえば人物が前向きでなく後ろ向きに歩いているところが示されるときなど、再生の方向は容易に見て取れる。しかし、この種類の再生は、音声付きの再生ならユーザーに与えられる情報が増すのであるが、音声と同期的にレンダリングすることが非常に難しいという欠点がある。したがって、本発明に基づく方法においては、二つのストリームのレンダリングが提供される。

本発明に基づく方法のある実施例では、表示装置の第二の部分が表示装置の全体サイズよりも著しく小さく、表示の第一の部分は第二の部分の補集合となっている。

この実施例の利点は、ユーザーにとって通例最も見るのに便利である、データのストリームのリアルタイムでレンダリングされた部分が、大きな領域上で与えられるということである。第二のレンダリングされたストリームは、グローバルな印象を与えるためのナビゲーションおよびオリエンテーションの目的のためだけに与えられ、したがってこれを表示装置の小さな部分で与えることは大きな問題ではない。

本発明に基づく方法のあるさらなる実施例は、ビデオデータのストリームを表す第一のバーを提供し、該第一のバーの上に当該表示装置の前記第一の部分に表示されている前記第一のレンダリングされたストリームの位置を示すステップを有する。

この実施例の利点は、ユーザーが、オーディオビジュアルデータのストリームのどの部分がレンダリングされ、画面上に示されているかの指標を与えられるということである。

あるいはまた、本発明に基づくある実施例はビデオデータのストリームを表す第二のバーを提供し、該第二のバーの上に当該表示装置の前記第二の部分に表示されている前記第二のレンダリングされたストリームの位置を示すステップをさらに有する。

本発明に基づく方法のもう一つの実施例は、前記非リアルタイムのレンダリングの方向を示す指標を提供するステップを有する。

本発明に基づく装置は、当該装置が、リアルタイム以外のスピードで所定の相続くのでない諸フレームを第二のレンダリングされたストリームにレンダリングすることによるビデオデータのストリームの非リアルタイムレンダリングのための第二のレンダリングユニットと、前記第一のレンダリングされたストリームと前記第二のレンダリングされたストリームとを表示装置上での同時表示のために多重化するためのマルチプレクサとを有しており、ここで、前記第一のレンダリングされたストリームが表示装置の第一の部分に表示され、前記第二のレンダリングされたストリームが表示装置の第二の部分に表示される、ことを特徴とする。

本発明に基づく記録担体に関しては、コンピュータ実行可能コードが処理ユニットをして請求項記載の方法を実行できるようにする。

本発明に基づくプログラムされたコンピュータは、請求項記載の方法を実行できるようにされている。

これから図面に描かれた実施形態を述べることによって本発明についてさらに例解する。

図１は、本発明に基づく装置のある実施形態としてのビデオ処理装置１１０と、テレビ１５０と、ユーザー制御装置１６０とを有する消費者電子製品システム１００を示している。

ビデオ処理装置１００は記憶装置の実施形態としてのハードディスクドライブ１１２と、バッファ１１４と、第一のレンダリングユニット１１６と、第二のレンダリングユニット１１８と、ビデオ多重化ユニット１２０と、当該ビデオ処理装置１１０の諸構成要素を制御するためのマイクロコントローラ１２２と、ROMメモリ１２４と、ユーザー制御コマンド受信器１２６とを有する。

テレビ１５０は、二つのスピーカー１５２および表示装置としての画面１５４を有する。

ユーザー制御装置１６０は、早戻しボタン１６２、リアルタイム再生ボタン１６４、早送りボタン１６６、一時停止ボタン１６８および停止ボタン１７０を有する。

本発明に基づいて画面１５４上にビデオデータを表示しているときに高速トリックプレイ――早送りまたは早戻し――を実行するとき、データはハードディスクドライブ１１２から取得されてバッファ１１４に保存される。バッファ１１４が任意的で、データをハードディスクドライブ１１２から直接読み込んでもいいことに触れておくべきであろう。このことは下記の説明から明らかになる。

本発明に基づく方法を使って、少なくとも二つのレンダリングされたストリームが生成される。第一のレンダリングユニット１１６によって、ビデオデータのストリームのうちのそれぞれが複数の相続くフレームからなる連続しない諸セグメントのリアルタイムでのレンダリングによって第一のレンダリングされたストリームが生成される。また、第二のレンダリングユニット１１８によってリアルタイムでないスピードで相続くのでない所定の諸フレームをレンダリングすることによるビデオデータのストリームの非リアルタイムのレンダリングによって第二のストリームが生成される。

本発明に基づく方法を実行するため、前記各レンダリングユニットは、ビデオストーレジ装置１１０の諸構成要素を制御するためのマイクロコントローラ１２２によって制御される。本発明に基づく方法を実行するためのマイクロコントローラ１２２のための命令は、この実施形態では、本発明に基づくデータ担体の実施形態としてのROMメモリ１２４に保存される。

ビデオ処理装置１１０および本発明に基づく方法の諸実施形態の動作は、図１およびビデオデータのストリーム２００を描いている図２によって例解される。ビデオデータのストリーム２００はフレームから構築されている。

ユーザーが、ビデオデータのストリーム２００を早送りモードでリアルタイムよりも速いスピードでレンダリングするようビデオ処理装置１１０に指示するとき、ユーザーはユーザー制御装置１６０の早送りボタン１６６を押す。ユーザーコマンドはユーザー制御コマンド受信器１２６によって受信され、そこからマイクロコントローラ１２２に転送される。マイクロコントローラ１２２はバッファ１１４に、第一の指標２０２の左端の矢印と、第二の指標２０４の左端の矢印との間のストリーム２００の第一の部分をハードディスクドライブ１１２から取得してバッファリングするよう指示する。

次に、第一の指標２０２の左端の矢印と右端の矢印との間の、ストリーム２００の第一の部分の一部がバッファ１１４から取得され、前記第一のレンダリングユニット１１６によってレンダリングされて、ストリーム２００の第一の部分のリアルタイムレンダリングによる第一のレンダリングされたストリームを形成する。この実施形態では、第一のレンダリングされたストリームは所定の継続時間をもつ。

同時に、ストリーム２００の前記第一の部分の、相続くのでない所定の諸フレームがバッファ１１４から取得され、第二のレンダリングユニット１１８によってレンダリングされて、前記第一のレンダリングされたストリームと同じ所定の継続時間をもつ第二のレンダリングされたストリームを与える。前記所定のフレームとは、たとえばストリーム２００がMPEG（Motion Pictures Expert Group）規格に従ってエンコードされている場合のイントラ符号化されている諸フレームである。図２では、これらは前記第一の部分について第一の矢印２１２、第二の矢印２１４、第三の矢印２１６および第四の矢印２１８によって示されている。

前記第二のストリームおよび第一のストリームは同時にレンダリングされる。これは、前記第一の指標２０２で示されているセグメントの最初のフレームが第一のレンダリングされたストリームにレンダリングされる際に、前記第一の矢印２１２によって示されたフレームが第二のレンダリングされたストリームにレンダリングされるということを意味している。さらに、第一の指標２０２で示されているセグメントがレンダリングされるのにつれて、前記第二の矢印２１４、第三の矢印２１６、第四の矢印２１８によって示されたフレームが第二のレンダリングされたストリームにレンダリングされていく。その後、前記第二の指標２０４によって示されるセグメントの最初のフレームが第五の矢印２２０によって示されるフレームと同時にレンダリングされる。このようにして、ストリーム２００はリアルタイムより速いスピードでレンダリングされる。

ここでバッファ１１４の利点が生きてくる。ストリーム２００の第一の部分が両方のレンダリングユニットによって個別にハードディスクドライブ１１２から直接取得される場合、ハードディスクドライブ１１２がビジーである時間が長くなる。第二のレンダリングされたストリームを得るためのレンダリングの間、継続的に複数のフレームを取得しなければならないからである。それらが一度に取得できれば、ハードディスクドライブ１１２はさらなる処理のために利用可能となる。

有利には、バッファリングされるのは、第一の指標２０２の左端の矢印と右端の矢印との間の、ストリーム２００の第一の部分の一部と、第一の矢印２１２、第二の矢印２１４、第三の矢印２１６、第四の矢印２１６によって示されたフレームだけである。

第一の指標２０２の左端の矢印と右端の矢印との間の、ストリーム２００の第一の部分と該第一の部分の前記所定のフレームとがレンダリングされるときに、第五の矢印２２０と第六の矢印２２８との間のストリーム２００の第二の部分がハードディスクドライブ１１２から取得されてさらなるレンダリングのためにバッファ１１４に保存される。

両方のレンダリングされたストリームはビデオ多重化ユニット１２０に送られ、そこで画面１５４上に同時に表示されるために多重化される。ここで、各レンダリングされたストリームは画面１５４の所定の部分に表示される。

有利には、前記第一のレンダリングされたストリームに付随して、音もレンダリングされてテレビに提供される。音はユーザーに二つのスピーカー１５２を通じて提供される。音は第一のストリームのスピードで提供される。これは好ましくはリアルタイムである。

前記第一のストリームは、連続しないがリアルタイムでレンダリングされるセグメントを有している。

信号をテレビ１５０に適正に与えるにはD/Aコンバーターのような追加的な機能が必要であることは当業者には明らかであろう。しかし、それらは明らかなので、簡単と概観のため図１では省かれている。

ストリーム２００が圧縮および／または暗号化されるとき、前記多重化は圧縮および／または暗号化された領域で行っても、非圧縮および／または復号された領域で行ってもよい。前者の場合では、レンダリングユニットは、バッファ１１４から適正なフレームを取得する単純な処理ユニットによって置き換えられ、実際のレンダリングは多重化後に行われる。この場合、追加的なレンダリングユニット（図示せず）がビデオ処理装置１１０に挿入される必要がある。

後者の場合、復号および／または圧縮解除はレンダリングユニットによって、あるいはハードディスクドライブ１１２とレンダリングユニットとの間に置かれる別個の復号および／または圧縮解除ユニットによって実行される。これについてはいくつかの実施形態がある。ある実施形態では、ハードディスクドライブ１１２とバッファ１１４との間に一つのレンダリングユニット（図示せず）が置かれる。あるさらなる実施形態では、第一の復号（または圧縮解除）ユニットがバッファ１１４と第一のレンダリングユニット１１６との間に置かれ、第二の復号（または圧縮解除）ユニットがバッファ１１４と第二のレンダリングユニット１１６との間に置かれる。記載されている実施形態の諸要素へのこの種の追加や並べ替えは当業者には明らかであり、本発明の範囲から外れることなく実行することができる。

本発明に基づく方法を使って、それぞれのレンダリングされたストリームが表示装置１５４の所定の部分に表示されるようにしてビデオデータのストリーム２００が表示されるとき、さまざまな実施形態が可能である。そのいくつかが図３Ａおよび図３Ｂによって呈示されている。

図３Ａは本発明に基づく方法の実施例を例解するために、画面１５４をもつテレビ１５０を示しており、ここでは第一の部分３１０と第二の部分３２０が示されており、両方の部分は画面の半分の領域を占めている。ビデオデータのストリームのうちの、それぞれが複数の相続くフレームからなる連続しない諸セグメントのリアルタイムでのレンダリングによって得られる第一のレンダリングされたストリームが第一の部分３１０に表示され、相続くのでない所定の諸フレームをリアルタイムより速いスピードでレンダリングすることによるビデオデータのストリームの非リアルタイムレンダリングによって得られる第二のレンダリングされたストリームが第二の部分３２０に表示される。

図３Ｂは本発明に基づく方法のさらなる実施例を例解するために、画面１５４をもつテレビ１５０を示しており、ここでは第一の部分３４０と第二の部分３５０が示されており、第二の部分３５０が第一の部分３４０よりも著しく小さくなっている。前段落で述べたようにして得られる第一のレンダリングされたストリームが第一の部分３４０に表示され、前段落で述べたようにして得られる第二のレンダリングされたストリームが第二の部分３５０に表示される。

第一のレンダリングされたストリームが第二の部分３５０に表示され、第二のレンダリングされたストリームが第一の部分３４０に表示されるような本発明のさらなる実施例も可能であることは、当業者には明らかであろう。別の実施例では、ユーザーがここで述べた両モードの間を切り換える、すなわち第一の部分３４０と第二の部分３５０に表示されるストリームを入れ替えることができるようにしてもいい。

本発明に基づく方法の実施形態を使ってストリームが表示されるトリックプレイの間の、ビデオデータのストリーム中を通じてのユーザーのナビゲーションをさらに向上させるため、本発明のある実施形態によればナビゲーションバーが導入される。これが図４Ａおよび図４Ｂに例解されている。

図４Ａは、画面１５４をもつテレビ１５０を示しており、ここでは第一の部分４１０と第二の部分４２０が示されている。上述したようにして得られる第一のレンダリングされたストリームが第一の部分４１０に表示され、上述したようにして得られる第二のレンダリングされたストリームが第二の部分４２０に表示される。さらに、第一の指標４１４をもつ第一のバー４１２および第二の指標４２４をもつ第二のバー４２２が画面１５４上に表示されている。

両方のバーは、画面１５４上に表示されるビデオデータのストリームの少なくとも一部分を表している。第一のバー４１２は画面１５４の第一の部分４１０に表示され、第一の指標４１４がビデオデータのストリームの第一の部分４１０に表示されている位置を示す。第二のバー４２２は画面１５４の第二の部分４２０に表示され、第二の指標４２４がビデオデータのストリームの第二の部分４２０に表示されている位置を示す。

図４Ｂは、画面１５４をもつテレビ１５０を示しており、ここでは第一の部分４４０と第二の部分４５０が示されている。上述したようにして得られる第一のレンダリングされたストリームが第一の部分４４０に表示され、上述したようにして得られる第二のレンダリングされたストリームが第二の部分４５０に表示される。さらに、第一の指標４６４および第二の指標４６６をもつバー４６２が画面１５４上に表示されている。

バー４６２は、画面１５４上に表示されるビデオデータのストリームの少なくとも一部分を表している。第一の指標４６４はビデオデータのストリームの第一の部分４４０に表示されている位置を示す。第二の指標４６６はビデオデータのストリームの第二の部分４５０に表示されている位置を示す。

あるさらなる実施例では、第一の部分４４０および第二の部分４５０のまわりに異なる色の枠が配置される。第一の部分を囲む色は第一の指標４６４に一致し、第二の部分を囲む色は第二の指標４６６に一致する。

本発明に基づく方法を使ってビデオデータのストリームの連続しない諸セグメントをリアルタイムで表示するとき、ユーザーにとっては、ビデオデータがレンダリングされている方向、すなわち逆回しか順回しかを追跡することが難しいことがある。ユーザーフィードバックを容易にするため、本発明のある実施形態では、レンダリングの方向を示す指標が提供される。この指標はたとえば左側（逆回しのレンダリング）または右側（順回しのレンダリング）を指す矢印の形をもつ。

このことが図５に示されている。図５は、画面１５４をもつテレビ１５０、第一の領域５１０、第二の領域５２０およびビデオのレンダリング方向が順方向であることを示す指標５３０が描かれている。

本発明の範囲から外れることなく記載された諸実施形態に基づいて数多くの変形が可能であることは当業者には明らかであろう。複数要素によって実行されている工程ステップをグループ化し、単一の処理要素によって実行することもできるし、他方では諸実施形態での複数のステップを実行する工程ステップをばらばらにして複数の処理ブロックによって実行されるようにしてもよい。これはまた、すべての工程ステップがプログラムされたコンピュータの単一のプロセッサによって実行されることができることを意味している。

まとめると、本発明は、リアルタイム以外のレートでのビデオデータのストリームの表示のためにビデオ信号を提供する方法に関する。ビデオデータはフレームから構築されており、当該方法は、ビデオデータのストリームのうちの、それぞれが複数の相続くフレームからなる連続しない諸セグメントを第一のレンダリングされたストリームにリアルタイムでレンダリングするステップを有しており、当該方法はさらに、相続くのでない所定の諸フレームをリアルタイム以外のスピードで第二のレンダリングされたストリームにレンダリングすることによるビデオデータのストリームの非リアルタイムレンダリングと、前記第一のレンダリングされたストリームおよび前記第二のレンダリングされたストリームを表示装置上で同時表示するための多重化とのステップを有しており、ここで：前記第一のレンダリングされたストリームは表示装置の第一の部分に表示され、前記第二のレンダリングされたストリームは表示装置の第二の部分に表示される。

本発明に基づく装置の実施形態を有する消費者電子製品システムを示す図である。 本発明に基づく方法の実施形態を例解するためのオーディオビジュアルデータのストリームを示す図である。 本発明に基づく方法の実施形態を描くための画面を示す図である。 本発明に基づく方法の別の実施形態を描くための画面を示す図である。 本発明に基づく方法のさらなる実施形態を描くための画面を示す図である。 本発明に基づく方法のさらなる別の実施形態を描くための画面を示す図である。 本発明に基づく方法のいま一つのさらなる実施形態を描くための画面を示す図である。

Claims (13)

1. フレームから構成されているビデオデータのストリームの表示装置上での表示のためにビデオ信号を提供する方法であって、当該方法は、
   前記ビデオデータのストリームのある部分からの複数のとびとびのセグメントをリアルタイムでレンダリングして第一のレンダリングされたストリームにするステップであって、ここで、セグメントのリアルタイムのレンダリングとはそのセグメントの相続く一連のフレームをレンダリングするものである、ステップと；
   前記ビデオデータのストリームの前記部分からの複数のとびとびのフレームをレンダリングしてリアルタイム以外のスピードでの第二のレンダリングされたストリームにするステップと、
   前記第一のレンダリングされたストリームを前記表示装置の第一の部分に、前記第二のレンダリングされたストリームを前記表示装置の第二の部分に、同時に表示するよう、前記第一のレンダリングされたストリームおよび前記第二のレンダリングされたストリームを多重化するステップとを有する、
   ことを特徴とする方法。
2. 前記表示装置の前記第二の部分が前記表示装置の全体サイズよりも実質的に小さく、前記表示装置の前記第一の部分が前記第二の部分の補集合となっていることを特徴とする、請求項１記載の方法。
3. 前記表示装置の前記第一の部分が前記表示装置の全体サイズよりも実質的に小さく、表示の前記第二の部分が前記第一の部分の補集合となっていることを特徴とする、請求項１記載の方法。
4. 前記表示装置の前記第一の部分と前記表示装置の前記第二の部分が互いに等しいサイズであることを特徴とする、請求項１記載の方法。
5. 請求項１記載の方法であって、当該方法がさらに：
   （ａ）前記ビデオデータのストリームを表す第一のバーを提供し、
   （ｂ）該第一のバーの上に、当該表示装置の前記第一の部分に表示されている前記第一のレンダリングされたストリームの位置を示す、
   ステップを有することを特徴とする方法。
6. 請求項１記載の方法であって、当該方法がさらに：
   （ａ）前記ビデオデータのストリームを表す第二のバーを提供し、
   （ｂ）該第二のバーの上に、当該表示装置の前記第二の部分に表示されている前記第二のレンダリングされたストリームの位置を示す、
   ステップを有することを特徴とする方法。
7. 請求項１記載の方法であって、請求項５記載のステップおよび請求項６記載のステップをさらに有することを特徴とする方法。
8. 請求項５記載の方法であって、同時に、前記第一のバーの上に、当該表示装置の前記第二の部分に表示されている前記第二のレンダリングされたストリームの位置を示すステップをさらに有することを特徴とする方法。
9. 前記非リアルタイムレンダリングの方向を示す指標を提供するステップをさらに有することを特徴とする、請求項１記載の方法。
10. 音声信号をリアルタイムで、前記第一のレンダリングされたストリームと同期して提供するステップをさらに有することを特徴とする、請求項１記載の方法。
11. フレームから構成されているビデオデータのストリームの表示装置上での表示のためにビデオ信号を提供する装置であって、当該装置は、
    前記ビデオデータのストリームのある部分からの複数のとびとびのセグメントをリアルタイムでレンダリングして第一のレンダリングされたストリームにするための第一のレンダリングユニットであって、ここで、セグメントのリアルタイムのレンダリングとはそのセグメントの相続く一連のフレームをレンダリングするものである、第一のレンダリングユニットと；
    前記ビデオデータのストリームの前記部分からの複数のとびとびのフレームをレンダリングしてリアルタイム以外のスピードでの第二のレンダリングされたストリームにする第二のレンダリングユニットと、
    前記第一のレンダリングされたストリームを前記表示装置の第一の部分に、前記第二のレンダリングされたストリームを前記表示装置の第二の部分に同時に表示するよう、前記第一のレンダリングされたストリームおよび前記第二のレンダリングされたストリームを多重化するマルチプレクサとを有する、
    ことを特徴とする装置。
12. コンピュータ実行可能コードを有する記録担体であって、前記コンピュータ実行可能コードが処理ユニットをして請求項１記載の方法を実行できるようにすることを特徴とする記録担体。
13. 請求項１記載の方法を実行するようプログラムされていることを特徴とする、プログラムされたコンピュータ。

Images