JP6085635B2 - ビデオデータのトリック再生 - Google Patents

Description

本発明は、概してビデオシステムに関し、より具体的にはビデオデータのトリック再生の方法及び装置に関する。

デジタルビデオ記録（ＤＶＲ）技術により、従来の時間ベースのトリックモードに加えて、ビデオデータのよりインテリジェントなトリック再生が可能になった。例えば、宣伝ザッピングが提案されている。これは、ビデオが予め記録されて適切なメタデータでインデックスされている場合に、ユーザがある期間をスキップできるものである。

ビデオストリームのresp.にresp.関連メタデータを挿入するにはいろいろな方法がある。自動シーン検出は関連技術であり、ビデオストリームのキーシーン変化をマークできる。キーシーンに対してメタデータを生成し、ビデオストリームに挿入する。

シーンメタデータを用いてシーンベーストリックモードをサポートできる。シーンベーストリックモードは、早送り、巻き戻し、スロー再生などのすべての再生制御動作に関係する。この制御はタイムスタンプではなくシーンに基づく。シーンベーストリックモードの利点は、キーシーンを見逃さずに、ビデオ中を素早く移動できることである。

ＤＶＤチャプターブックメニューはシーンベース再生制御をできる。しかし、再生を映画のあるチャプタ／セッションに飛ばすことができる「ＧＯＴＯ」スタイルの機能のみをサポートしている。しかし、これは従来のトリックモードの替わりではない。

上記の従来のシーンベーストリックモードの１つの欠点は、リモートコントローラなどの従来のツールを用いた時間ベーストリックモードに慣れた人が混乱することである。

他の１つの欠点は、トリックモード生成を改善するメカニズムが無いことに起因する。

本発明の一態様により、第１装置のビデオデータの再生を第２装置で制御する方法を提供する。該方法は、前記第２装置のレベルで、次のステップを有する：前記ビデオデータの一セクションに対応する画像を提示するステップ；及び前記画像の提示状態の変化に応じて、前記第１装置にコマンドを送信して、前記第１装置での前記ビデオデータのセクションの再生状態を、前記画像の提示状態の変化の関数として適応させるステップ。

本発明の他の一実施形態により、他装置でのビデオデータの再生を制御する装置を提供する。該装置は次の手段を有する：各々がビデオデータの一セクションに対応する一組の画像を、ビデオデータセクションの再生順序で表示する手段；前記他装置での対応するセクションの再生の時間中に前記画像をハイライトし、前記画像の表示状態の変化に応じて、ビデオデータのセクションの再生状態を、前記画像の表示状態の変化の関数として適応させるコマンドを、前記他装置に送信する手段。

本発明の上記その他の態様、特徴、及び利点は、添付した図面を参照して以下の説明を読めば、明らかとなるであろう。
本発明の一実施形態によるビデオシステムを示すブロック図である。 図１のビデオシステムの動作を示すハイレベルフローチャートである。 第１装置のビデオデコーダ／ＴＶモジュールの動作を示すフローチャートである。 第１装置の同期モジュールの動作を示すフローチャートである。 第１装置の通信モジュールの動作を示すフローチャートである。 第２装置のストーリーブックブラウザの動作を示すフローチャートである。 第２装置の同期モジュールの動作を示すフローチャートである。 第２装置の通信モジュールの動作を示すフローチャートである。 携帯装置のストーリーブックのユーザインタフェースの一例を示す図である。 携帯装置のストーリーブックのユーザインタフェースの一例を示す図である。 携帯装置の制御ボタンの詳細メニューを示す図である。

以下の説明では、本発明の実施形態のいろいろな態様を説明する。よく理解してもらうために、説明を目的として、具体的な構成や詳細事項を記載する。しかし、当業者には言うまでもなく、本発明はこれらの具体的な詳細事項がなくても実施することができる。

上記の従来技術の欠点を考慮して、本発明の一実施形態は、第２装置のビジュアルメディアとのインターラクションを用いて、第１装置でのビデオ再生のトリックモードを実現するビデオシステムを提供する。

具体的に、ビジュアルメディアは、第１装置でのビデオ再生のビデオクリップまたはビデオセクションに対応し、第２装置で提示される。第２装置でのビジュアルメディアの提示状態は第１装置でのビデオの再生状態に同期している。一方で、第１装置でのビデオセクションの再生により、第２装置での対応するビジュアルメディアの提示がされる。他方、第２装置でのビジュアルメディアの状態変化により、第１装置でのビデオセクションの再生状態の対応する変化が生じる。この意味で、第２装置でのビジュアルメディアの提示状態と第１装置でのビデオの再生状態との間には、双方向で同期している。

本発明の一実施形態では、シーンベーストリックモードを実施するために、ビデオストーリーブックを第２装置でのビジュアルメディアとして用いる。ストーリーブックは、ページ（スライド、画像）のコレクションを含む本に似たメディアディスプレイである。各ページは、第１装置で表示されるビデオプログラム中の対応するビデオシーンを表す。ある意味では、ビデオストーリーブックは、第１装置で表示されるビデオの、ユーザがブラウズするビデオサマリーである。ストーリーブックは、モバイルアプリケーションによって特に有益である。トリックプレイのためにフルバージョンのビデオを送信する必要がなく、帯域幅を節約でくるからである。

次に、本発明の原理による、第２装置で表示されたストーリーブックにより、第１装置でのシーンベースのトリック再生を実施するビデオシステムの一実施形態を詳細に説明する。

図１は、本発明の一実施形態によるビデオシステムを示すブロック図である。

図１を参照して、ビデオシステム１０は、ヘッドエンド１１と、ビデオデータ再生のための第１装置１２と、第１装置のビデオデータのストーリーブックを提示する第２装置１３とを有する。ヘッドエンド１１と第１装置１２と第２装置１３とは、通信ネットワーク（ＣＮ）１４を介して信号通信する。

第１装置１２は、セットトップボックス（ＳＴＢ）またはＴＶセットを含むが、これらに限定されない。第２装置１３は、携帯装置、タブレット、ＰＣ、ラップトップを含むがこれらに限定されない。ＣＮ１４は、放送ネットワーク、ＩＰネットワーク、またはこれらの組み合わせなど、ビデオコンテンツを担い送信できるものであれば、どんな通信ネットワークでもよい。

ヘッドエンド１１は次のものを含む：ビデオコンテンツを提供するビデオコンテンツサーバ（ＶＣＳ）１１０；ＶＣＳ１１０からビデオコンテンツを受けてケーブルネットワークなどのＣＮ１４にブロードキャストするビデオブロードキャスティングサーバ（ＶＢＳ）１１１；所定規則（ＰＲ）１１３に基づきＶＣＳ１１０からビデオコンテンツのストーリーブックを生成するストーリーブッククリエータ（ＳＣ）１１２。図１に示すように、ヘッドエンド１１は、ユーザアクションコレクタ（ＵＡＣ）１１４も有する。ＵＡＣ１１４は、ユーザがストーリーブックに行ったアクション統計を、ＣＮ１４から収集して分析する。また、分析結果をＳＣ１１２に送る。ＳＣ１１２は、ＵＡＣ１１４からの分析結果及び／又は上記の所定規則に基づきストーリーブックを生成できる。図１に示したように、言うまでもなく、ＳＣ１１２は、エディタが手作業でストーリーブックを生成できるエディタインターラクションＵＩを有していてもよい。生成されたストーリーブックは、ＣＮ１４に送る前に、ストーリーブックインベントリ（ＳＩ）１１５に格納することもできる。

留意点として、システムのＣＮ１４が戻りチャンネルを提供しない場合（例えば、放送ネットワークの場合）には、ＵＡＣ１１４によりユーザアクション統計は収集されないだろう。

第１装置１２は、次のものを有する：ＣＮ１４からのビデオを復号し、ビデオ再生をするビデオデコーダ／ＴＶ（ＶＤ／ＴＶ）１２１；第１装置１２におけるビデオ再生の状態を第２装置１３におけるストーリーブックの表示状態に同期させる同期モジュール（ＳＭ）１２２；及び第２装置１３と通信する通信モジュール（ＣＭ）１２３。

言うまでもなく、ＶＤ／ＴＶ１２１におけるビデオ再生の状態は、リモートコントローラ（図示せず）または第１装置１２のＳＭ１２２からのコマンドにより、制御できる。

ＳＭ１２２は、それに表示されたストーリーブックの状態の同期の基準として、第１装置１２のＶＤ／ＴＶ１２１におけるビデオ再生の状態を、ＣＭ１２３を介して、第２装置１３にレポートする。具体的に、レポートは時間駆動でもイベント駆動でもよい。すなわち、一方では、ＳＭ２２は第２装置１３に定期的にレポートを送り、第２装置１３が同期する第１装置１２のＶＤ／ＴＶ１２１におけるビデオ再生の進行を通知する。レポート送信の期間はアプリケーションの要求に基づいて予め決めておいても良い。他方、ＳＭ１２２は、例えばリモートコントローラからのコマンドにより、ＶＤ／ＴＶ１２１におけるビデオ再生の状態に変化があるか検知する（例えば、ユーザがリモートコントローラで早送りアクションをすると、それによりＶＤ／ＴＶ１２１におけるビデオ再生の進行変化があるが、ＶＤ／ＴＶ１２１はＳＭ１２２にメッセージを送り、その変化をＳＭ１２２にすぐに通知する）。ＹＥＳであれば、ＳＭ１２２は、第２装置１３がそのストーリーブックの状態を対応して変更（同期）できるように、第１装置１２の現在のビデオ再生状態に関するレポートを、ＣＭ１２３を介して第２装置１３にすぐに送信する。

後で説明するように、ＳＭ１２２は、ストーリーブック表示の現在の状態に関するレポートを、第２装置１３からＣＭ１２３を介して受信し、第２装置１３におけるストーリーブック表示の状態と同期させるＶＤ／ＴＶ１２１におけるビデオ再生の進行または状態を要求するコマンドを、ＶＤ／ＴＶ１２１に送る。

第２装置１３は次のものと有する：ストーリーブックを表示するストーリーブックブラウザ（ＳＢ）１３１；第２装置１３におけるストーリーブック表示の状態を第１装置１２におけるビデオ再生の状態と同期させる同期モジュール（ＳＭ）１３２；及び第１装置１２と通信する通信モジュール（ＣＭ）１３３。

ストーリーブックは、ビデオサービスの必要性に応じて、オンラインで、またはオフラインで生成され送信されてもよい。ヘッドエンド１１は、ビデオコンテンツデータから独立にストーリーブックを第２装置１３に直接送信できる。あるいは、ストーリーブックは、ヘッドエンド１１においてメタデータやマークの形式でビデオストリーム内に埋め込まれ（例えば、ＭＰＥＧ−２ビデオシステムに関しては、ＭＰＥＧ−２トランスポートストリームのadaptationフィールドに予約バイトがあるので、これを用いてストーリーブックのリンクを担うことができる）、第１装置１２に送信される。第１装置１２は、ストーリーブック関連データを取り出し、それを第２装置１３に送信し、メタデータとビデオストリームデータを用いてストーリーブックを作成する（適宜、例えば代表画像を抽出する）。ストーリーブックは（ストーリーブック全体が送信される）内蔵式で、または収集するデータへのリンクによる参照式で送信できる。後者の場合、第２装置１３は、リンクを用いて適切なサーバにアクセスすることにより、ストーリーブックデータをフェッチできる。

前述の通り、ストーリーブックはヘッドエンド１１のＳＩ１１５にも格納してもよい。この場合、ユーザは、例えば適切なＩＰアドレスにより、ＳＩ１１５にアクセスすることにより、ストーリーブックにアクセスできる。このＩＰアドレスは所定のものであって、必ずしもビデオストリームで送る必要はない。ユーザがストーリーブックをブラウズしてそのうちの１つを選択すると、対応するビデオがヘッドエンド１１から第１装置１２にストリーミングされる。

ストーリーブックは、ビデオオンデマンド（ＶｏＤ）と、またはタイムシフトＴＶサービスと組み合わせてユーザに提供してもよい。

ユーザは、パーソナルビデオレコーダ（ＰＶＲ）機能を活用して、ビデオを、対応するストーリーブックと結合して、第１装置１２に格納できる。

変形例の一実施形態では、図１のＣＮ１４が戻りチャンネルを有する場合、ストーリーブックとのユーザインターラクションをヘッドエンド１１のＵＡＣ１１４に送り、ストーリーブック作成を容易にして改善することができる。例えば、ニュースビデオセクションの毎日のクリックスルー率を、週間ニュースストーリーブックを作成するためのニュース選択に用いることができる。

上記の通り、ＳＭ１３２は、ビデオ再生の進行または状態に関する第１装置１２からのレポートを受け取ると、ＳＢ１３１におけるストーリーブック表示の進行または状態を、第１装置１２におけるビデオ再生のそれに同期させる。

ＳＭ１３２は、それにおけるビデオ再生の状態の同期の基準として、第２装置１３のＳＢ１３１におけるストーリーブック表示の状態を、ＣＭ１３３を介して、第１装置１２にレポートする。具体的に、ＳＭ１３２は、第２装置１３のＳＢ１３１におけるストーリーブック表示の状態を検知する。状態の変化を検知すると、ＳＭ１３２は、第２装置１３のストーリーブック表示の現在の状態を、ＣＭ１３３を介して第１装置１２にすぐにレポートする。

第２装置１３のＳＢ１３１におけるストーリーブック表示の状態は、第２装置１３へのユーザインターラクションにより、変更または制御できる。

ＳＭ１３２は、両装置間の同期を促進するために、第２装置１３におけるストーリーブック表示の状態に関するレポートを、第１装置１２に定期的に送ることもできる。

次に、図１のビデオシステムの動作手順の一実施形態を、図２ないし８を参照して詳細に説明する。

図２は、図１のビデオシステムの動作を示すハイレベルフローチャートである。

図２に示したように、ステップＳ２０１において、ヘッドエンド１１は、例えば所定規則とユーザインターラクション統計に基づき、ストーリーブックを生成する。

ステップＳ２０２において、ヘッドエンド１１は、ビデオコンテンツを、対応するストーリーブック（またはそのリンク）とともにＣＮ１４に送る。

ステップＳ２０３において、第１装置１２は、ビデオコンテンツとそれに対応するストーリーブック（またはそのリンク）を、ＣＮ１４から受け取る。

ステップＳ２０４において、第１装置１２は、ビデオコンテンツをデコードして画面に表示し、ストーリーブック（またはそのリンク）を第２装置１３に配信する。

ステップＳ２０５において、第２装置１３は、ストーリーブックへのリンクを受け取る場合、そのストーリーブックをヘッドエンド１１からダウンロードする。

ステップＳ２０６において、第１装置１２は例えばリモートコントローラによりコマンドを受け取り、第２装置１３はユーザにストーリーブックとインターラクトさせる。

ステップＳ２０７において、第１装置１２におけるビデオ再生と、第２装置１３におけるストーリーブック表示との間で状態同期を取る。このステップでは、将来におけるストーリーブック作成を改善するため、ユーザインターラクションに関するレポートをヘッドエンド１１に送ることができる。

図３は、第１装置１２のビデオデコーダ／ＴＶモジュール１２１の動作を示すフローチャートである。

図３に示したように、ステップＳ３０１において、ビデオデコーダ／ＴＶモジュール１２１はＣＮ１４からビデオデータを受け取る。

ステップＳ３０２において、ビデオデコーダ／ＴＶモジュール１２１は、ビデオデータをデコードして第１装置１２において再生する。

ステップＳ３０３において、ビデオデコーダ／ＴＶモジュール１２１は、例えばリモートコントローラからコマンドを受け取ったか判断する。

ステップＳ３０３の結果がＮＯであれば、ステップＳ３０４に進み、ビデオデコーダ／ＴＶモジュール１２１はコマンドをＳＭ１２２から受け取ったかさらに判断する。ステップＳ３０４の結果がＹＥＳであれば、ステップＳ３０５に進み、ビデオデコーダ／ＴＶモジュール１２１はＳＭ１２２からのコマンドに基づき、それに対応してビデオ再生状態を変更する。ステップＳ３０４の結果がＮＯであれば、ステップＳ３０２に戻る。

ステップＳ３０３の結果がＹＥＳであれば、ステップＳ３０６に進み、ビデオデコーダ／ＴＶモジュール１２１はストップコマンドを受け取ったか検知する。

ステップＳ３０６の結果がＮＯであれば、ステップＳ３０７に進み、ビデオデコーダ／ＴＶモジュール１２１はビデオ再生状態を変更し、状態レポートをＳＭ１２２に送る。ステップＳ３０６の結果がＹＥＳであれば、ステップＳ３０８に進み、ビデオデコーダ／ＴＶモジュール１２１はビデオ再生をストップし、状態レポートをＳＭ１２２に送る。

図４は、第１装置１２のＳＭ１２２の動作を示すフローチャートである。

図４に示したように、ステップＳ４０１において、ＳＭ１２２は、第１装置１２におけるビデオ再生を、第２装置１３におけるストーリーブック表示と同期し始める。

ステップＳ４０２において、ＳＭ１２２は、定期レポートを送る時間か判断する。

ステップＳ４０２の結果がＹＥＳであれば、次のステップＳ４０３において、ＳＭ１２２は、ビデオデコーダ／ＴＶモジュール１２１からビデオ再生状態を読み出し、状態レポートを作成し、そのレポートを、ＣＭ１２３を介して第２装置１３に送る。

ステップＳ４０２の結果がＮＯであれば、ステップＳ４０４に進み、ＳＭ１２２は、ビデオデコーダ／ＴＶモジュール１２１からレポートを受け取ったか判断する。

ステップＳ４０４の結果がＹＥＳであれば、ステップＳ４０９に進み、ＳＭ１２２は、ＣＭ１２３を介して第２装置１３にレポートを送る。

ステップＳ４０４の結果がＮＯであれば、次のステップＳ４０５において、ＳＭ１２２は、ＣＭ１２３を介して第２装置１３からレポートを受け取ったか判断する。

ステップＳ４０５の結果がＮＯであれば、ステップＳ４０２に戻る。ステップＳ４０５の結果がＹＥＳであれば、次のステップＳ４０６において、ＳＭ１２２は、ビデオデコーダ／ＴＶモジュール１２１から、第１装置１１におけるビデオ再生の現在の状態を読み出す。

次のステップＳ４０７において、ＳＭ１２２は、ビデオ再生状態を変更する必要があるか判断する。ステップＳ４０７の結果がＮＯであれば、ステップＳ４０２に戻る。ステップＳ４０７の結果がＹＥＳであれば、ステップＳ４０８において、ＳＭ１２２は、ビデオ再生状態を変更するコマンドを生成し、ビデオデコーダ／ＴＶモジュール１２１に送る。

図５は、第１装置１２のＣＭ１２３の動作を示すフローチャートである。

図５に示すように、ステップＳ５０１において、ＣＭ１２３は通信を開始する。

ステップＳ５０２において、ＣＭ１２３は、ＳＭ１２２または第２装置１３からの状態レポートを待つ。

ステップＳ５０３において、ＳＭ１２３は、ＳＭ１２２からレポートを受け取ったか判断する。ステップＳ５０３の結果がＹＥＳであれば、ステップＳ５０６に進み、ＳＭ１２３は、第２装置１３にレポートを送る。ステップＳ５０３の結果がＮＯであれば、ステップＳ５０４に進み、ＣＭ１２３は、第２装置１３からレポートを受け取ったか判断する。

ステップＳ５０４の結果がＹＥＳであれば、ステップＳ５０５に進み、ＣＭ１２３は、ＳＭ１２２にレポートを送る。ステップＳ５０４の結果がＮＯであれば、ステップＳ５０２に戻る。

図６は、第２装置１３のＳＢ１３１の動作を示すフローチャートである。

図６に示したように、ステップＳ６０１において、ＳＢ１３１はＣＮ１４からストーリーブックを受け取る。

ステップＳ６０２において、ＳＢ１３１は、第２装置１３にストーリーブックを表示する。

ステップＳ６０３において、ＳＢ１３１は、ユーザからコマンドを受け取ったか判断する。

ステップＳ６０３の結果がＮＯであれば、ステップＳ６０４に進み、ＳＢ１３１はコマンドをＳＭ１３２から受け取ったかさらに判断する。ステップＳ６０４の結果がＹＥＳであれば、ステップＳ６０５に進み、ＳＢ１３１はＳＭ１２２からのコマンドに基づき、それに対応してストーリーブック再生状態を変更する。ステップＳ６０４の結果がＮＯであれば、ステップＳ６０２に戻る。

ステップＳ６０３の結果がＹＥＳであれば、ステップＳ６０６に進み、ＳＢ１３１はストップコマンドを受け取ったか検知する。

ステップＳ６０６の結果がＮＯであれば、ステップＳ６０７に進み、ＳＢ１３１はストーリーブック再生状態を変更し、ＳＭ１３２に状態レポートを送る。ステップＳ６０６の結果がＹＥＳであれば、ステップＳ６０８に進み、ＳＢ１３１はストーリーブックを閉じて、ＳＭ１３２に状態レポートを送る。

図７は、第２装置１３のＳＭ１３２の動作を示すフローチャートである。

ステップＳ７０１において、ＳＭ１３２は、第２装置１３におけるストーリーブック表示を、第１装置１２におけるビデオ再生と同期し始める。

ステップＳ７０２において、ＳＭ１３２は、定期レポートを送る時間か判断する。

ステップＳ７０２の結果がＹＥＳであれば、次のステップＳ７０３において、ＳＭ１３２は、ＳＢ１３１からビデオ再生状態を読み出し、状態レポートを作成し、そのレポートを、ＣＭ１３３を介して第１装置１２に送る。

ステップＳ７０２の結果がＮＯであれば、ステップＳ７０４に進み、ＣＭ１３２は、ＳＢ１３１からレポートを受け取ったか判断する。

ステップＳ７０４の結果がＹＥＳであれば、ステップＳ７０９に進み、ＳＭ１３２は、ＣＭ１３３を介して第１装置１２にレポートを送る。

ステップＳ７０４の結果がＮＯであれば、次のステップＳ７０５において、ＳＭ１３２は、ＣＭ１３３を介して第１装置１２からレポートを受け取ったか判断する。

ステップＳ７０５の結果がＮＯであれば、ステップＳ７０２に戻る。ステップＳ７０５の結果がＹＥＳであれば、ステップＳ７０６において、ＳＭ１３２は、ＳＢ１３１から、第２装置１３におけるストーリーブック再生の現在の状態を読み出す。

次のステップＳ７０７において、ＳＭ１３２は、ストーリーブック再生状態を変更する必要があるか判断する。ステップＳ７０７の結果がＮＯであれば、ステップＳ７０２に戻る。ステップＳ７０７の結果がＹＥＳであれば、ステップＳ７０８において、ＳＭ１３２は、ストーリーブック再生状態を変更するコマンドを生成し、ＳＢ１３１に送る。

図８は、第２装置１３のＣＭ１３３の動作を示すフローチャートである。

図８に示すように、ステップＳ８０１において、ＣＭ１３３は通信を開始する。

ステップＳ８０２において、ＣＭ１３３は、ＳＭ１３２または第１装置１２からの状態レポートを待つ。

ステップＳ８０３において、ＣＭ１３３は、ＳＭ１３２からレポートを受け取ったか判断する。ステップＳ８０３の結果がＹＥＳであれば、ステップＳ８０６に進み、ＣＭ１３３は、第１装置１２にレポートを送る。ステップＳ８０３の結果がＮＯであれば、ステップＳ８０４に進み、ＣＭ１３３は、第１装置１２からレポートを受け取ったか判断する。

ステップＳ８０４の結果がＹＥＳであれば、ステップＳ８０５に進み、ＣＭ１３３は、ＳＭ１３２にレポートを送る。ステップＳ８０５の結果がＮＯであれば、ステップＳ８０２に戻る。

ストーリーブックのユーザインタフェースの例を図９に示した。この例では、ＳＴＢ／ＴＶにおけるビデオデータのトリック表示を、ＴＶと携帯装置との間のインターラクションにより実施する。

図９ａに示したように、映画などのビデオデータは、ＴＶ画面９０１に表示される。言うまでもなく、映画データは複数のセクションよりなり、各セクションはキーシーン（key scene）により表せる（キーシーンは本実施形態では一定の画像であるが、ビデオシーケンスやその他の代表アイテムであってもよい）。ＴＶ画面９０１でビデオセクションｉ（ここでｉは０，１，２，．．．）を再生する時、それに対応するキーシーンｉが携帯装置９０２の画面に表示される。この場合、キーシーンｉを、携帯装置９０２に表示され、ＴＶ画面９０１において再生されるコンテンツを記述する、ストーリーブックの１ページのように見えるので、ページｉと呼ぶ。

替わりとして、図９ｂに示すように、順序通りの複数のキーシーンのマトリックスを携帯装置９０２の画面に提示できる。この場合、ＴＶ画面９０１においてビデオセクションｉが再生される場合、対応するキーシーンｉが動的にハイライトされる（図９ｂに太線のブロックで示した）。

当業者には言うまでもないが、上記の２つのタイプのユーザインタフェースは組み合わせて一体として実施してもよい。すなわち、ＴＶ画面９０１でビデオセクションｉを再生する時、それに対応するキーシーンｉが携帯装置９０２の画面に表示される。同時に、順序通りの複数のキーシーンのリストを、携帯装置９０２の画面の適当な位置に、対応するキーシーンｉをハイライトして提示することもできる。

ストーリーブックのコンテンツを示す例を以下のコードにより与える。

［外１］

この例では、page idはページインデックスを示し；timestampはページとそれに対応するビデオコンテンツとの間の時間的関係を示し；image_srcはページのピクチャリンクを示し；image_thumbnailはページのサムネイルピクチャリンクを示す。

上記の通り、ストーリーブックは０から１１までの１２ページを含む。ページ０はtimestampが０から３０．０８秒までの映画セクション０に対応し、ページ１はtimestampが３０．０９から１１４．０３２秒までの映画セクション１に対応し、以下同様である。

本実施形態では、ＴＶ画面における映画再生の状態は、携帯装置９０２の画面におけるシーンの表示状態と「双方向的に」同期している。

具体的に、一方では、ＴＶにおいて映画が再生されると、携帯装置９０２において対応するページ（すなわちキーシーン）が、ビデオセクションのタイムスタンプの範囲により画定される時間の間、動的にハイライトされ、ＴＶにおける映画再生進行を反映する。上記の同期を確実にするため、映画の前進／後進再生とともに、ハイライトされたストーリーブックのページも更新される。ユーザが従来のリモートコントローラを用いてＴＶで映画を前進／後進の早送りをする場合、携帯装置９０２においても対応する進行が反映され、ページごとにハイライトが前進／後進する。

他方、携帯装置９０２の画面に表示されるページ（キーシーン）とのユーザインターラクションは、ＴＶにおける映画のシーンベースのトリック再生を実現できる。例えば、ユーザはどれかのページをクリックして、ＴＶにおいて、対応する映画のセクションにすぐに切り換えることができる。また、携帯装置９０２には、いろいろなトリック再生動作を容易にする、機能ボタンを有するメニューを設けることもできる。

携帯装置の制御ボタンの詳細なメニューを図１０に示した。以下は、携帯装置により提供されるトリック再生機能の一部である：
ＧＯＴＯ：ユーザは、ストーリーブックのページをタップ／選択することにより、ビデオ再生を対応するシーンから始めさせられる。

ＮＥＸＴ／ＰＲＥＶ：左にまたは右にスワイプしてストーリーブックの次のまたは前のページに行くことにより、ビデオ再生が、次のまたは前のページの始めから開始される。

ＦＦ／ＲＷ：ユーザは、ストーリーブックを左にまたは右に繰り返しスワイプすることにより、繰り返し回数に比例した速さでビデオを早送り／巻き戻しできる。速さは１秒あたりのシーン数により測ってもよい。

ＰＬＡＹ／ＰＡＵＳＥ：ユーザは、ＰＬＡＹとタッピングすることにより、ビデオ再生を開始できる；ストーリーブックのページに指で触れ続けると、ビデオ再生は対応するシーンの静止画上で一時停止する。

ＲＥＰＥＡＴ：ユーザは、ストーリーブックのページ上に円を描くことにより、対応するセクションを繰り返し再生できる。

ＳＬＯＷ：ユーザは、ストーリーブックのページをゆっくりスライドさせることにより、対応するセクションをスロー再生できる。

ＳＣＯＰＥ：ユーザは、ストーリーブックの最初のページと最後のページを選択することにより、対応するシーンでビデオを開始および停止できる。

ＺＯＯＭ：ストーリーブックの画像ページにズーム／フォーカスすることにより、再生されているビデオにフォーカスされたズームを行える。ズームの中心はディスプレイのどこにでも動かせる。

ＳＴＢ／ＴＶと携帯装置との間のメッセージ交換は次のイベントのうちのどれか１つによりトリガーされる：
リモートコントローラによるＳＴＢ／ＴＶへの操作；
ストーリーブックに行われるユーザインターラクション；
ＳＴＢ／ＴＶビデオの状態に関する定期的レポート；及び
携帯装置のストーリーブックの状態に関する定期的レポート。

ＳＴＢ／ＴＶと携帯装置の間のメッセージ交換により、装置間でローカル状態情報（local status）がレポートされ、そのため上記の同期を実現できる。下記のメッセージフォーマットを使える：

アプリケーションでの必要性に応じてメッセージボディを拡張してもっと多くのフィールドを含めることができる。

ユーザが携帯装置のＰＲＥＶボタンを押した時の携帯装置とＳＴＢ／ＴＶの間のメッセージ交換の一例を説明する。この場合、ストーリーブックのハイライトされたページが前のページに行く。

ユーザがＰＲＥＶボタンを押すと、携帯装置からＳＴＢ／ＴＶに、以下のメッセージボディを有するレポートが送られ、携帯装置におけるストーリーブックの表示状態の変化が通知される。

ＳＴＢ／ＴＶは、携帯装置から状態レポートを受け取った後、メッセージ中の情報を用いて、上記の同期を行う。また、ＳＴＢ／ＴＶは、次のメッセージボディを用いて携帯装置に確認メッセージを返信することもできる。

よって、言うまでもなく、添付した特許請求の範囲に記載した本発明の精神と範囲から逸脱することなく、例示した実施形態に多数の修正を加えてもよく、他の構成を工夫してもよい。
なお、次の付記を記す。
（付記１） 第１装置におけるビデオデータの再生を第２装置により制御する方法であって、前記第２装置のレベルにおいて、
前記ビデオデータの一セクションに対応する画像を提示するステップと、
前記画像の提示状態の変化に応じて、前記第１装置にコマンドを送信して、前記第１装置での前記ビデオデータのセクションの再生状態を、前記画像の提示状態の変化の関数として適応させるステップとを有する方法。
（付記２） 前記画像の提示は、前記第１装置において前記ビデオデータの対応するセクションが再生されている間に、前記第２装置において表示された複数の画像中の前記画像をハイライトするステップを有する、
付記１に記載の方法。
（付記３） 前記第２装置に対するユーザ操作により、前記画像の提示の変化がトリガーされる、付記１に記載の方法。
（付記４） 前記画像の提示状態を、前記第１装置における前記ビデオデータのセクションの再生状態の変化の関数として適応されるステップをさらに有する、付記１に記載の方法。
（付記５） 前記画像提示のためのデータは、前記ビデオデータを提供するサーバにより生成される、付記１に記載の方法。
（付記６） 前記画像提示のためのデータは、前記サーバから前記第２装置に送信される、付記５に記載の方法。
（付記７） 前記画像提示のためのデータは前記サーバに格納され、前記サーバが前記第２装置に前記データにアクセスするためのリンクを送信する、
付記５に記載の方法。
（付記８） 前記画像提示のためのデータは、前記ビデオデータに組み込まれ、前記サーバから前記第１装置に送信され、前記第１装置が前記画像提示のためのデータを取り出して前記第２装置に送る、付記５に記載の方法。
（付記９） 他装置におけるビデオデータの再生を制御する装置であって、
各々がビデオデータの一セクションに対応する一組の画像を、ビデオデータセクションの再生順序で表示する手段と、
前記他装置での対応するセクションの再生の時間中に前記画像をハイライトし、前記画像の表示状態の変化に応じてビデオデータのセクションの再生状態を前記画像の表示状態の変化の関数として適応させるコマンドを前記他装置に送信する手段とを有する、装置。
（付記１０） 前記画像の表示状態を、前記他装置におけるビデオデータのセクションの再生状態の変化の関数として適応させる手段をさらに有する、
付記９に記載の装置。

Claims (18)

1. 第１装置におけるビデオデータの再生を第２装置により制御する方法であって、
   前記第２装置が、前記第２装置における画像の提示状態で前記ビデオデータの一セクションに対応する前記画像を提示するステップと、
   前記第２装置における前記画像の提示状態の変化に応じて、前記第２装置が、前記第１装置に第１のコマンドを送信するステップであって、前記第１のコマンドは前記第１装置での前記ビデオデータのセクションの再生状態を、前記第２装置の前記画像の提示状態の変化に応じて合わせるものであるステップと
   前記第１装置における前記ビデオデータのセクションの再生状態の進行に応じて、前記第１装置が、前記第２装置に第２のコマンドを送信するステップであって、前記第２のコマンドは前記第２装置での前記画像の提示状態を、前記第１装置の前記ビデオデータのセクションの再生状態の進行に関連付けるものである、ステップとを有し、
   前記ビデオデータのセクションに対応する画像は、前記ビデオデータのセクションのキーシーンを含む、
   方法。
2. 前記第２装置における前記画像の提示は、前記第１装置において前記ビデオデータの対応するセクションが再生されている間に、前記第２装置において表示された複数の画像中の前記画像をハイライトするステップを有する、
   請求項１に記載の方法。
3. 前記第２装置における前記画像の提示状態の変化は、前記第２装置に対するユーザ操作によりトリガーされる、請求項１に記載の方法。
4. 前記第１装置から受け取った第２のコマンドに基づき、前記画像の提示状態を、前記第１装置における前記ビデオデータのセクションの再生状態の変化に応じて合わせるステップをさらに有する、請求項１に記載の方法。
5. 前記画像を提示するためのデータを、前記ビデオデータを提供するサーバが生成する、請求項１に記載の方法。
6. 前記画像を提示するためのデータを、前記第２装置が前記サーバから受信する、
   請求項５に記載の方法。
7. 前記画像を提示するための、前記サーバに格納されたデータにアクセスするロケータを、前記第２装置が前記サーバから受け取る、請求項５に記載の方法。
8. 前記画像を提示するためのデータを、前記第２装置が前記第１装置から受け取る、前記画像を提示するためのデータは前記ビデオデータに組み込まれ、前記サーバから前記第１装置に送信され、前記第１装置が取り出して前記第２装置に送られたものである、請求項５に記載の方法。
9. 他装置におけるビデオデータの再生を制御する装置であって、
   各画像が前記ビデオデータの一セクションに対応する一組の画像を、前記他装置における前記ビデオデータの一セクションの再生順序で表示する手段と、
   前記他装置における前記一セクションの再生時間中に前記ビデオデータの一セクションに対応する画像の表示状態の変化に応じてビデオデータのセクションの再生状態を前記画像の表示状態の変化に応じて合わせる第１のコマンドを前記他装置に送信する手段と、
   前記他装置における前記ビデオデータのセクションの再生状態の進行に応じて、前記装置での前記画像の提示状態を、前記他装置の前記ビデオデータのセクションの再生状態の進行に関連付ける第２のコマンドを受信する手段とを有し、
   前記ビデオデータのセクションに対応する画像は、前記ビデオデータのセクションのキーシーンを含む、
   装置。
10. 前記他装置からの再生状態に関するメッセージを受信したとき、前記画像の表示状態を、前記他装置におけるビデオデータのセクションの再生状態の変化に応じて合わせる手段をさらに有する、請求項９に記載の装置。
11. 前記ビデオデータの一セクションに対応する画像の状態を表示する手段は、前記他装置における前記セクションの再生の時間中に前記画像をハイライトする手段を有する、請求項９に記載の装置。
12. 前記一組の画像を表示するための、サーバに格納されたデータにアクセスするロケータを、前記装置が前記サーバから受け取る、請求項９に記載に装置。
13. 前記一組の画像を表示するためのデータを、前記装置が前記他装置から受け取る、請求項９に記載の装置。
14. 装置であって、
    ビデオデータの再生をする手段と、
    前記装置におけるセクションの再生時間中に前記ビデオデータのセクションに対応する画像の表示状態の変化を通知する、デバイスからの第１のコマンドに応じて、前記ビデオデータのセクションの再生状態を、前記デバイスにおける前記画像の表示状態の変化に応じて合わせる手段と
    前記装置における前記ビデオデータのセクションの再生状態の進行に応じて、前記デバイスでの前記画像の提示状態を、前記装置の前記ビデオデータのセクションの再生状態の進行に関連付ける第２のコマンドを送信する手段とを有し、
    前記ビデオデータのセクションに対応する画像は、前記ビデオデータのセクションのキーシーンを含む、
    装置。
15. 前記ビデオデータのセクションの再生状態が変化した時に、前記画像の表示状態を合わせるメッセージを前記デバイスに送信する、請求項１４に記載の装置。
16. サーバから前記ビデオデータを受け取る手段をさらに有する、請求項１４に記載の装置。
17. 前記ビデオデータに組み込まれた前記画像のデータを前記サーバから受け取る手段をさらに有する、請求項１６に記載に装置。
18. 前記ビデオデータから前記画像のデータを取り出し、前記画像のデータを前記デバイスに送信する手段をさらに有する、請求項１７に記載の装置。

Images