JP5461454B2 - 映像分割再生方法、映像再生方法、映像分割再生システム、及び映像分割再生プログラム - Google Patents

映像分割再生方法、映像再生方法、映像分割再生システム、及び映像分割再生プログラム Download PDF

Info

Publication number
JP5461454B2
JP5461454B2 JP2011027089A JP2011027089A JP5461454B2 JP 5461454 B2 JP5461454 B2 JP 5461454B2 JP 2011027089 A JP2011027089 A JP 2011027089A JP 2011027089 A JP2011027089 A JP 2011027089A JP 5461454 B2 JP5461454 B2 JP 5461454B2
Authority
JP
Japan
Prior art keywords
playback
slave
terminal
reproduction
playback terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011027089A
Other languages
English (en)
Other versions
JP2012169739A (ja
Inventor
好江 山口
英明 木全
勝彦 深澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2011027089A priority Critical patent/JP5461454B2/ja
Publication of JP2012169739A publication Critical patent/JP2012169739A/ja
Application granted granted Critical
Publication of JP5461454B2 publication Critical patent/JP5461454B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、一つの映像を分割して複数の端末で再生する映像分割再生方法、映像再生方法、映像分割再生装置、及びプログラムに関するものである。
複数の表示装置により一の画像を分割表示させる場合に、各表示装置の配置や数に応じて、適切な分割画像を作成して表示させるサーバ装置、表示装置及びその表示方法がある(例えば、特許文献1参照)。
特開2005−301131号公報
特許文献1の従来技術では、サーバ装置が各表示装置から受信した情報を基に、各表示装置に表示させるための分割画像作成処理を行っている。そのため、サーバの負荷が増大するという問題がある。
本発明は、このような事情を考慮してなされたものであり、その目的は、複数の表示装置により1つの画像を分割表示させる場合に、サーバの負荷を増大させること無く、また、各表示装置の配置や数に応じて、適切な分割画像を表示させることができる映像分割再生方法、映像再生方法、映像分割再生システム、及び映像分割再生プログラムを提供することにある。
上述の課題を鑑み、本発明に係る映像分割再生方法は、それぞれネットワークを介して通信可能に接続されている配信サーバと、マスタ再生端末と、少なくとも1つのスレーブ再生端末とを備え、前記マスタ再生端末のディスプレイの画面と前記スレーブ再生端末のディスプレイの画面から構成されるマルチ画面に映像を表示する映像分割再生システムにおける映像分割再生方法において、前記配信サーバが、前記マルチ画面に表示するコンテンツ映像の符号化映像データと、前記マルチ画面を構成する前記マスタ再生端末と前記スレーブ再生端末の数である分割数とを、前記マスタ再生端末および前記スレーブ再生端末に送信するステップと、前記マスタ再生端末が、前記マルチ画面における前記スレーブ再生端末のディスプレイの画面の位置を前記スレーブ再生端末のそれぞれに対して割り当てられた固有の情報で表わすスレーブ再生端末識別子を、それぞれ対応する前記スレーブ再生端末に送信するステップと、前記スレーブ再生端末が、前記コンテンツ映像における一部の領域である選択領域を示す選択領域情報、前記スレーブ再生端末識別子および前記分割数に基づき、前記マルチ画面において当該スレーブ再生端末が表示を担当する領域を示すスレーブ再生領域情報を生成し、当該スレーブ再生領域情報および前記選択領域情報に基づき、前記符号化映像データのコンテンツ映像における選択領域のうち、当該スレーブ再生端末が表示を担当する領域を示すスレーブ再生領域値を算出するステップと、前記マスタ再生端末が、前記マルチ画面における前記マスタ再生端末のディスプレイの位置を示すマスタ再生端末識別子、前記選択領域情報および前記分割数に基づき、前記マルチ画面において当該マスタ再生端末が表示を担当する領域を示すマスタ再生領域情報を生成し、当該マスタ再生領域情報および前記選択領域情報に基づき、前記符号化映像データのコンテンツ映像における選択領域のうち、当該マスタ再生端末が表示を担当する領域を示すマスタ再生領域値を算出するステップと、前記マスタ再生端末が、前記符号化映像データに基づき、前記マスタ再生領域値が示す領域のコンテンツ映像の一部を自身のディスプレイに表示するとともに、前記スレーブ再生端末が、前記マスタ再生端末の表示に同期して、前記符号化映像データに基づき、前記スレーブ再生領域値が示す領域のコンテンツ映像の一部を自身のディスプレイに表示するステップと、を有する。
上述の映像分割再生方法において、前記マスタ再生端末は、前記マルチ画面に表示している前記コンテンツ映像の選択領域を示す第1選択領域情報を異なる第2選択領域情報に変更することを示す情報を入力すると、当該第2選択領域情報を前記スレーブ再生端末に送信するとともに、当該第2選択領域情報、前記マスタ再生端末識別子および前記分割数に基づき前記マスタ再生領域情報を生成し、当該マスタ再生領域情報および前記第2選択領域情報に基づき前記マスタ再生領域値を算出するステップと、前記スレーブ再生端末が、前記マスタ再生端末から前記第2選択領域情報を受信すると、当該第2選択領域情報、前記スレーブ再生端末識別子および前記分割数に基づき前記スレーブ再生領域情報を生成し、当該スレーブ再生領域情報および前記第2選択領域情報に基づき前記スレーブ再生領域値を算出するステップと、を有する。
上述の映像分割再生方法において、前記符号化映像データには、前記コンテンツ映像を再生する順番を映像の再生時間によって表わす再生時間情報が含まれており、前記マスタ再生端末あるいは前記スレーブ再生端末は、前記符号化映像データに基づき前記コンテンツ映像の一部を表示した場合、当該表示したコンテンツ映像の符号化映像データに対応する前記再生時間情報を送信するとともに、前記マスタ再生端末あるいは他の前記スレーブ再生端末から前記再生時間情報を受信した場合、前記受信した再生時間情報が示すタイミングに合わせるようにして各自の前記ディスプレイに前記コンテンツ映像を表示することを特徴とする。
上述の映像分割再生方法において、前記マスタ再生端末は、前記マスタ再生端末は、前記ディスプレイに表示している前記コンテンツ映像の選択領域を示す第1選択領域情報を異なる第2選択領域情報に変更することを示す情報が入力されたか否かを判定し、前記第1選択領域情報を入力した時点から第1指定時間経過前に前記第2選択領域情報を入力した場合、前記第1選択領域情報を送信した時点から前記第1指定時間経過後に前記第2選択領域情報を前記スレーブ再生端末に送信し、前記ディスプレイに表示している前記コンテンツ映像の選択領域を示す第1選択領域情報を異なる第2選択領域情報に変更することを示す情報が入力されたか否かを判定し、前記第1選択領域情報を入力した時点から前記第1指定時間よりも長い第2指定時間以上経過した場合、前記第1選択領域情報を送信した時点から前記第2指定時間経過後に前記第1選択領域情報を前記スレーブ再生端末に送信することを特徴とする。
上述の課題を鑑み、本発明に係る映像再生方法は、それぞれネットワークを介して通信可能に接続されている配信サーバ、メインディスプレイを備えるメイン再生端末、および、前記メインディスプレイと解像度が異なるサブディスプレイを備えるサブ再生端末、を備える映像再生システムにおける映像再生方法において、前記配信サーバが、コンテンツ映像の符号化映像データを前記メイン再生端末および前記サブ再生端末に送信するステップと、前記メイン再生端末が、前記コンテンツ映像における一部の領域である選択領域を示す選択領域情報入力を受け付けるステップと、前記メイン再生端末が、前記選択領域情報を前記サブ再生端末に送信するステップと、前記メイン再生端末が、前記符号化映像データに基づき、前記選択領域情報が示す領域のコンテンツ映像の一部を前記メインディスプレイに表示するとともに、前記サブ再生端末が、前記メイン再生端末の表示に同期して、前記符号化映像データに基づき、前記選択領域情報が示す領域のコンテンツ映像の一部を前記サブディスプレイに表示するステップと、を有する。
上述の課題を鑑み、本発明に係る映像再生システムは、それぞれネットワークを介して通信可能に接続されている配信サーバと、マスタ再生端末と、少なくとも1つのスレーブ再生端末とを備え、前記マスタ再生端末のディスプレイの画面と前記スレーブ再生端末のディスプレイの画面から構成されるマルチ画面に映像を表示する映像分割再生システムにおいて、前記配信サーバは、前記マルチ画面に表示するコンテンツ映像の符号化映像データと、前記マルチ画面を構成する前記マスタ再生端末と前記スレーブ再生端末の数である分割数とを、前記マスタ再生端末および前記スレーブ再生端末に送信する送信部を備え、前記マスタ再生端末は、前記マルチ画面における前記スレーブ再生端末のディスプレイの画面の位置を前記スレーブ再生端末のそれぞれに対して割り当てられた固有の情報で表わすスレーブ再生端末識別子を、それぞれ対応する前記スレーブ再生端末に送信する送信部と、前記マルチ画面における前記マスタ再生端末のディスプレイの位置を示すマスタ再生端末識別子、前記コンテンツ映像における一部の領域である選択領域を示す選択領域情報および前記分割数に基づき、前記マルチ画面において当該マスタ再生端末が表示を担当する領域を示すマスタ再生領域情報を生成するとともに、当該マスタ再生領域情報および前記選択領域情報に基づき、前記符号化映像データのコンテンツ映像における選択領域のうち、当該マスタ再生端末が表示を担当する領域を示すマスタ再生領域値を算出し、前記符号化映像データに基づき、前記マスタ再生領域値が示す領域のコンテンツ映像の一部を自身のディスプレイに表示させるマスタ復号部と、を備え、前記スレーブ再生端末は、前記選択領域情報、前記スレーブ再生端末識別子および前記分割数に基づき、前記マルチ画面において当該スレーブ再生端末が表示を担当する領域を示すスレーブ再生領域情報を生成するとともに、当該スレーブ再生領域情報および前記選択領域情報に基づき、前記符号化映像データのコンテンツ映像における選択領域のうち、当該スレーブ再生端末が表示を担当する領域を示すスレーブ再生領域値を算出し、前記マスタ再生端末の表示に同期して、前記符号化映像データに基づき、前記スレーブ再生領域値が示す領域のコンテンツ映像の一部を自身のディスプレイに表示させるスレーブ復号部と、を備える。
上述の課題を鑑み、本発明に係る映像分割再生プログラムは、それぞれネットワークを介して通信可能に接続されている複数の再生端末を備え、前記再生端末のディスプレイの画面から構成されるマルチ画面に映像を表示する映像分割再生システムに用いられるコンピュータに、前記マルチ画面に表示するコンテンツ映像の符号化映像データと、前記コンテンツ映像における一部の領域である選択領域を示す選択領域情報と、前記マルチ画面を構成する前記再生端末の数である分割数と、前記マルチ画面における自再生端末のディスプレイの位置を自再生端末のそれぞれに対して割り当てられた固有の情報で表わす再生端末識別子を受信するステップ、前記選択領域情報、前記再生端末識別子および前記分割数に基づき、前記マルチ画面において自再生端末が表示を担当する領域を示す再生領域情報を生成し、当該再生領域情報および前記選択領域情報に基づき、前記符号化映像データのコンテンツ映像における選択領域のうち、自再生端末が表示を担当する領域を示す再生領域値を算出するステップ、前記符号化映像データに基づき、前記再生領域値が示す領域のコンテンツ映像の一部を、他の再生端末の表示に同期して、自身のディスプレイに表示するステップ、を実行させるための映像分割再生プログラムであることを特徴とする。
本発明によると、複数の表示装置により1つの画像を分割表示させる場合に、サーバの負荷を増大させること無く、また、各表示装置の配置や数に応じて、適切な分割画像を表示させることができる。
本発明の実施形態に係る映像分割再生システムの構成の一例を示すブロック図である。 本実施形態に係る映像分割再生システムによって表示されるマルチ画面の一例を示す図である。 本発明の実施形態に係るコンテンツ映像の一例を示す図である。 本発明の実施形態に係る選択映像の一例を示す図である。 本発明の実施形態に係るマルチビュー再生ファイルの一例について説明するための図である。 本発明の実施形態に係る再生設定ファイルの一例について説明するための図である。 本発明の実施形態に係るマルチビュー再生ファイルテーブルの一例について説明するための図である。 本発明の実施形態に係る符号化映像データテーブルの一例について説明するための図である。 本発明の実施形態に係るスレーブ再生端末識別一覧情報の一例について説明するための図である。 本発明の実施形態に係る再生領域情報と再生領域値を説明するための概念図である。 本発明の実施形態に係るマルチ画面における再生担当領域の一例を説明するための概念図である。 本発明の実施形態に係る映像分割再生システムによる処理について説明するためのシーケンス図である。 本発明の実施形態に係る映像分割再生システムによる処理について説明するためのシーケンス図である。 本発明の実施形態に係る映像分割再生システムの処理フローの一例について説明するためのフローチャートである。 本発明の実施形態に係る映像分割再生システムの処理フローの一例について説明するためのフローチャートである。 本発明の実施形態に係る映像分割再生システムの処理フローの一例について説明するためのフローチャートである。 本発明の実施形態に係る映像分割再生システムの処理フローの一例について説明するためのフローチャートである。 本発明の実施形態に係る映像分割再生システムの処理フローの一例について説明するためのフローチャートである。 本発明の実施形態に係る映像分割再生システムの処理フローの一例について説明するためのフローチャートである。 本発明の実施形態に係る映像分割再生システムの処理フローの一例について説明するためのフローチャートである。 本発明の実施形態に係る映像分割再生システムの処理フローの一例について説明するためのフローチャートである。 本発明の実施形態に係る映像分割再生システムの処理フローの一例について説明するためのフローチャートである。 本発明の実施形態に係る選択領域情報の配信間隔の一例について説明するための図である。 本発明の第2実施形態に係る映像分割再生システムの構成の一例を示すブロック図である。 本発明の第2実施形態に係る映像分割再生システムによる処理について説明するためのシーケンス図である。 本発明の第2実施形態に係る映像分割再生システムによる処理について説明するためのシーケンス図である。
[第1実施形態]
以下、本発明の一実施形態にかかる映像分割再生システムの一例について説明する。図1は、本実施形態にかかる映像分割再生システムの構成の一例を示すブロック図である。図2は、本実施形態に係る映像分割再生システムによって表示されるマルチ画面の一例を示す図である。このマルチ画面とは、複数のディスプレイの画面を組み合わせることによって形成される1つの画面のことである。
図1に示す本実施形態に係る映像分割再生システムは、図2に示す通り、各ディスプレイに表示する映像を制御することによって、複数のディスプレイによって構成されるマルチ画面に任意の映像を表示するシステムである。このマルチ画面は、図2に示す通り、例えば、1つのマスタ再生端末の表示部である第1ディスプレイD1の画面と、3つのスレーブ再生端末の表示部である第2ディスプレイD2、第3ディスプレイD3および第4ディスプレイD4のそれぞれの画面を含む。
本実施形態に係る映像分割再生システムは、このマルチ画面に、例えば、表示対象となるコンテンツ映像からユーザによって選択された一部の映像(以下、選択映像という)を表示するものであり、ユーザによって選択された部分が変更された場合、このユーザの操作に応じて、変更後の映像を表示するものである。
例えば、コンテンツ映像が、図3に示すようなスポーツ映像である場合、矩形状のアイコンによって指定された部分が選択映像である。図3に示すスポーツ映像は、サッカーの試合を撮影した映像であって、キッカーがゴールに向かってシュートをするシーンの映像である。本実施形態に係る映像分割再生システムは、この選択領域として、図4に示すような映像(例えば、キッカーとゴールキーパーの周辺の映像)をマルチ画面に表示するものである。
以下、映像分割再生システムの構成の一例について、図1に戻って、詳細に説明する。
図1に示す通り、本実施形態に係る映像分割再生システムは、配信サーバ20と、マスタ再生端末40と、スレーブ再生端末50と、スレーブ再生端末60と、スレーブ再生端末70と、を備える。
配信サーバ20と、マスタ再生端末40と、スレーブ再生端末50と、スレーブ再生端末60と、スレーブ再生端末70とは、ネットワーク(A)30を介して、それぞれ通信可能に接続されている。このネットワーク(A)30は、広範囲に接続されるネットワークを意味している。
本実施形態において、映像分割再生システムは、1台のマスタ再生端末40と、少なくとも1台以上のスレーブ再生端末として3台のスレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70とを含む。
マスタ再生端末40は、第1ディスプレイD1を備える。スレーブ再生端末50は、第2ディスプレイD2を備える。スレーブ再生端末60は、第3ディスプレイD3を備える。スレーブ再生端末70は、第4ディスプレイD4を備える。
マスタ再生端末40は、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70を支配(統括的に制御)し、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70間での映像の再生制御を行う。
このマスタ再生端末40は、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70に対する映像の再生開始および停止を制御する。スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、このマスタ再生端末40の制御に従って動作する。
また、マスタ再生端末40は、ユーザからの操作入力を受け付け、ユーザによって指定された選択領域を示す情報に基づき、コンテンツ映像の領域うち選択映像の領域の位置を示す選択領域情報を生成し、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70へ送信する。
マスタ再生端末40、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、マスタ再生端末40によって生成された選択領域情報に基づいて、1つの符号化映像データ(例えば選択映像)を、各ディスプレイD1〜D4が再生すべき領域に分割して再生する。つまり、1つの符号化映像データ(例えば選択映像)を、マスタ再生端末40、第1スレーブ再生端末50、第2スレーブ再生端末60、および第3スレーブ再生端末70の各ディスプレイD1〜4の画面によって構成されるマルチ画面において表示する。なお、再生開始時(つまり、初期状態からの最初の再生時)においては、再生設定ファイルに予め記載されている選択領域情報が示す初期位置を使用して、選択映像をマルチ画面に表示する。
次に、配信サーバ20の構成について詳細に説明する。
配信サーバ20は、受信部21と、再生データ保存部22と、送信部23と、サーバ制御部24とを含む。
受信部21は、広域のネットワーク(A)30を介して、マスタ再生端末40、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70のそれぞれから要求信号を受信し、受信した要求信号をサーバ制御部24に出力する。
サーバ制御部24は、再生データ保存部22を参照して、受信部21から入力する要求信号に基づき、要求信号に対応するデータを読み出し、送信部23に出力する。
再生データ保存部22は、マルチビュー再生ファイルと、再生設定ファイルと、符号化映像データと、マルチビュー再生ファイルテーブルと、符号化映像データテーブルを蓄積している。
マルチビュー再生ファイルの一例を図5に示す。マルチビュー再生ファイルは、例えば、図5に示す通り、符号化映像データが格納されている存在場所を示すコンテンツURLと、マルチ画面における再生映像の分割数(縦、横)が記載されているテキストファイルである。なお、この再生映像の分割数(縦、横)は、言い換えると、マルチ画面を構成するマスタ再生端末40とスレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70の配置を示す情報である。
図示の例では、コンテンツURL(符号化映像データが存在する場所「rtsp://XXX.XXX.XXX/符号化映像データ」)、縦分割数(選択領域の縦方向の分割数、図示の例では「2」)、横分割数(選択領域の横方向の分割数、図示の例では「2」)が記載されている。
再生設定ファイルの一例を図6に示す。再生設定ファイルには、例えば、図6に示す通り、初期値として用いる選択領域情報と、メイン映像の解像度と、ナビゲーション映像の解像度が記載されている。なお、選択領域情報の初期値は、ユーザによって選択されるコンテンツ映像における一部の領域である選択領域を示す情報として、予め決められているものである。
符号化映像データは、コンテンツ映像を符号化したものであって、映像全体を再生するナビゲーション符号化映像データと、選択した領域を再生するメイン符号化映像データとの2つを含む。このナビゲーション符号化映像データとメイン符号化映像データは、同一のコンテンツ映像の符号化データであって、解像度が異なる点が異なる。メイン符号化映像データは、ナビゲーション符号化映像データより解像度が高い映像である。本実施形態において、ナビゲーション符号化映像データの解像度は、200×400=8万画素であり、メイン符号化映像データの解像度は、2000×4000=800万画素である。これらナビゲーション符号化映像データとメイン符号化映像データは、1つの符号化映像データとして再生データ保存部22に蓄積されている。
マルチビュー再生ファイルテーブルの一例を図7に示す。このマルチビュー再生テーブルは、例えば、図7に示す通り、マルチビュー再生ファイルの所在を示すマルチビュー再生ファイルURLと、マルチビュー再生ファイルとを対応付けるテーブルである。
符号化映像データテーブルの一例を図8に示す。この符号化映像データテーブルは、例えば、図8に示す通り、符号化映像データの所在を示すコンテンツURLと、符号化映像データと、再生設定ファイルとを対応付けるテーブルである。
なお、マルチビュー再生ファイルテーブルと符号化映像データテーブルは、それぞれ予め管理者やユーザ等によって決められている。
送信部23は、サーバ制御部24によって再生データ保存部22から読み出されたデータを、ネットワーク(A)30を介して、マスタ再生端末40、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70に送信する。
マスタ再生端末40は、再生要求部41と、同期再生制御部42と、送信部43と、受信部44と、復号部45と、表示部46と、マスタ記憶部47を含む。
再生要求部41は、マルチビュー再生ファイルURLを入力し、同期再生制御部42に出力する。この再生要求部41は、例えば、ユーザからの操作入力を受け付ける入力部であって、ユーザが指定したコンテンツ映像の所在を示すマルチビュー再生ファイルURLの情報を受け付ける。
マスタ記憶部47は、ネットワーク(A)30を介して配信サーバ20と接続される全のスレーブ再生端末50,60,70のIPアドレスと各スレーブ再生端末と端末識別子とを対応付ける情報であるスレーブ再生端末識別一覧情報を保持している。
図9は、スレーブ再生端末識別一覧情報の一例を示す図である。
スレーブ再生端末識別一覧情報は、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70に予め割り当てられているIPアドレスと、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70に割り当てられるスレーブ再生端末識別子とを対応付ける情報である。
マスタ記憶部47は、図9に示すようなスレーブ再生端末のIPアドレス一覧を保持し、IPアドレス一覧の上から順番にスレーブ再生端末50、スレーブ再生端末60、スレーブ再生端末70と割り当て、スレーブ再生端末識別子として例えば、上から順にスレーブ再生端末50には“1”、スレーブ再生端末60には“2”、スレーブ再生端末70には“3”を付与する。
同期再生制御部42は、再生要求部41、受信部44および復号部45からの要求制御と、受信部44、復号部45および送信部43への要求制御を行う。
マスタ再生端末40は、全てのスレーブ再生端末50、60、70とネットワーク(B)31を介してTCP/IP接続をする。これは、少なくとも、スレーブ再生端末識別子、マルチビュー再生ファイルURL、再生準備通知信号、再生開始通知信号、および指定した時間ごとに、その時の再生時間を示す情報を、それぞれ、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70へ送信するために用いる。
スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70からは、受信開始通知信号、再生準備完了通知信号、再生開始実行通知信号、マスタ再生端末40からの情報の受け取り返信に用いる。
また、マスタ再生端末40は、ネットワーク(B)31を介して、指定時間毎に選択領域情報を各スレーブ再生端末50、60、70へUDP(User Datagram Protocol)マルチキャスト(UDPブロードキャストでもよい)で送信する。
なお、UDPブロードキャストは、ネットワーク上の全員にメッセージを送る送信方法である。UDPマルチキャストは、ネットワーク上の特定グループにメッセージを送る送信方法である。TCPは、確実に相手にメッセージを届ける送信方法である。UDPは、転送速度は速いが相手に確実に届く保証はない送信方法である。
ネットワークBは、家庭LAN(Local Area Network)や、社内LANなどのような特定の建物内、敷地内で使用する限られた範囲内のネットワークを意味している。
マスタ再生端末40の送信部43は、同期再生制御部42からの要求信号を受け取り、要求内容に応じて、配信サーバ20、または、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70に、要求信号を送信する。
より具体的には、送信部43は、配信サーバ20に対しては、ネットワーク(A)30を介して、マルチビュー再生ファイル、符号化映像データ配信要求信号を送信する。また、送信部43は、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70に対しては、ネットワーク(B)31を介して、少なくともスレーブ再生端末識別子、マルチビュー再生ファイルURL、再生準備通知、再生開始通知、指定した時間ごとにその時の再生時間を示す情報をTCP/IPで送信する。また、送信部43は、指定時間毎に選択領域情報をUDPマルチキャスト(UDPブロードキャストでもよい)で送信する。
受信部44は、配信サーバ20、スレーブ再生端末50、スレーブ再生端末60、あるいはスレーブ再生端末70からのデータを受信し、受信したデータが符号化映像データの場合には、復号部45へ出力し、それ以外の場合には、同期再生制御部42へ出力する。
復号部45は、受信部44から符号化映像データを受け取り、受け取った符号化映像データに含まれるナビゲーション符号化映像データとメイン符号化映像データを並列して1GOP(Group Of Picture)単位で復号化する。
また、復号部45は、マルチ画面にナビゲーション映像を表示する場合のみ、ナビゲーション符号化映像データの復号化を行うものであってもよい。復号部45がナビゲーション符号化映像データの復号化を行わない場合には、以下で説明するナビゲーション映像と各端末の担当する映像サムネイル映像はマルチ画面に表示しないものとする。
なお、1GOPは、一般的に、15フレーム、0.5秒であるが、必ずしもその必要はない。復号部45は、選択領域情報と分割数からスレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70が再生する選択担当領域の映像の位置を示す再生領域情報を作成し、選択領域情報と再生領域情報から再生領域値を作成する。
復号部45は、メイン符号化映像データの復号化において、選択領域情報とマスタ再生領域情報とを基にメイン符号化映像データを復号化し、さらに、マスタ再生領域値を基にマスタ再生領域映像をメイン符号化映像データから切り出す。さらに、復号部45は、復号化したナビゲーション映像とマスタ再生領域映像とを表示部46へ送る。
表示部46は、復号部45から復号化したナビゲーション映像とマスタ再生領域映像とを受け取り、再生を行う。この表示部46は、マルチ画面における第1ディスプレイD1に相当するものであって、本実施形態では、マスタ再生領域映像のみを全面に、第1ディスプレイD1の画面のサイズに合わせ表示する。なお、表示部46は、予め決められた位置において、マスタ再生領域映像の上に、ナビゲーション映像を重畳して表示するものであってもよい。
復号部45は、復号部45が復号化したナビゲーション映像から選択領域情報と再生領域値を基に各端末の再生領域映像を切り出し、さらにサムネイル化する。
表示部46は、サムネイル化された各再生端末の再生領域映像を受け取り、再生を行う。
次に、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70の構成について説明する。
スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、各々、同一の構成を有するものであるため、ここでは代表して、スレーブ再生端末50を例に説明し、他のスレーブ再生端末60およびスレーブ再生端末70についての説明は省略する。
スレーブ再生端末50は、同期再生制御部52と、送信部53と、受信部54と、復号部55と、表示部56と、スレーブ記憶部57とを含む。本実施形態では、スレーブ再生端末は、3台であるが、3台とは限らない。
同期再生制御部52は、受信部54、復号部55からの要求制御と、受信部54、復号部55、送信部53への要求制御を行う。
送信部53は、同期再生制御部52からの要求信号を受け取り、要求内容に応じて、配信サーバ20、または、マスタ再生端末40へ要求信号を送信する。この送信部53は、配信サーバ20に対して、ネットワーク(A)30を介して、マルチビュー再生ファイル配信要求、符号化映像データ配信要求信号を送信する。一方、送信部53は、マスタ再生端末40に対して、ネットワーク(B)31を介して、受信開始通知、再生準備完了通知、再生開始実行通知の送信、マスタ再生端末40からの情報受け取り返信をTCP/IPで行う。
受信部54は、配信サーバ20、マスタ再生端末40からのデータを受信し、同期再生制御部52へ出力する。この受信部54は、ネットワーク(B)31を介して、マスタ再生端末40からスレーブ再生端末識別子、マルチビュー再生ファイルURL、再生準備通知、再生開始通知、指定した時間毎の再生時間を示す情報、指定時間毎の選択領域情報を受け取る。
復号部55は、受信部54から符号化映像データを受け取り、受け取った符号化映像データに含まれるナビゲーション符号化映像データとメイン符号化映像データとを1GOP単位で並列して復号化する。
また、ナビゲーション符号化映像データの復号化は必ずしも行わない場合もある。ナビゲーション符号化映像データの復号化を行わない場合には、以下で説明するナビゲーション映像、各端末の担当する映像サムネイル映像はないものとする。
なお、1GOPは、一般的に、15フレーム、0.5秒であるが、必ずしもその必要はない。復号部55は、選択領域情報と分割数から各再生端末が再生する再生領域情報を作成し、選択領域情報と再生領域情報から再生領域値を作成する。
メイン符号化映像データの復号化は、選択領域情報と、スレーブ再生端末50(60、70)の再生領域情報とを元に復号化し、さらに、スレーブ再生端末50(60、70)の再生領域値に基づいて再生領域映像を切り出す。
さらに、復号部55は、復号化したナビゲーション映像とスレーブ再生端末50(60、70)の再生領域映像を表示部56へ送る。表示部56は、復号部55から復号化したナビゲーション映像とスレーブ再生端末50(60、70)の再生領域映像とを受け取り、再生を行う。
復号部55は、復号部55が復号化したナビゲーション映像から選択領域情報と再生領域値を基に各端末の再生領域映像を切り出し、さらにサムネイル化する。
表示部46は、サムネイル化された各再生端末の再生領域映像を受け取り、再生を行う。
次に、再生領域情報と再生領域値について説明する。
図10は、本実施形態による、再生領域情報と再生領域値を説明するための概念図である。
図11は、マルチ画面における再生担当領域の一例を説明するための概念図である。
本実施形態では、マルチビュー画面において、マスタ再生端末40、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70のそれぞれが表示する画面の領域(以下、マルチ画面再生担当領域という)は、マルチビュー再生ファイルに記載されている分割数に基づいて、予め決められている。
例えば、図11に示すように、マルチ画面において左上角の領域は、常にマスタ再生端末40に対して割り当てらえているマルチ画面再生担当領域である。なお、マルチ画面におけるその他の領域は、再生端末識別子に基づき、例えばラスタスキャンの順番に従って、識別子の数が小さい順に、各スレーブ再生端末の再生領域として割り当てられる。
本実施形態において、4等分割されたマルチ画面において右上のマルチ画面再生担当領域を、識別子“1”のスレーブ再生端末50とする。4等分割されたマルチ画面において左下のマルチ画面再生担当領域を、識別子“2”のスレーブ再生端末60とする。4等分割されたマルチ画面において右下のマルチ画面再生担当領域を、識別子“3”のスレーブ再生端末70とする。
図10に示す通り、メイン映像とナビゲーション映像は、それぞれ解像度が異なる同一のコンテンツ映像である。このコンテンツ映像は、例えば、図3に示したような、スポーツ映像である。また、メイン映像とナビゲーション映像は、このコンテンツ映像のうちの同じ一部を示す選択領域が指定されている。この選択領域は、図4に示したような、キッカーとゴールキーパーの映像である。
なお、メイン映像における選択領域に対応する画像を選択領域画像S1、ナビゲーション映像における選択領域に対応する画像を選択領域画像S2と記す。また、メイン映像における選択領域画像S1において、四分割された左上の画像領域を第1ディスプレイ再生担当領域R11、四分割された右上の画像領域を第2ディスプレイ再生担当領域R12、四分割された左下の画像領域を第3ディスプレイ再生担当領域R13、四分割された右下の画像領域を第4ディスプレイ再生担当領域R14と記す。なお、選択領域画像S2において同様に、四分割された左上の画像領域を第1ディスプレイ再生担当領域R21、四分割された右上の画像領域を第2ディスプレイ再生担当領域R22、四分割された左下の画像領域を第3ディスプレイ再生担当領域R23、四分割された右下の画像領域を第4ディスプレイ再生担当領域R24と記す。なお、第1〜4ディスプレイ再生担当領域R11〜R14は、それぞれ、マスタ再生端末40、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70にそれぞれ対応する。また、第1〜4ディスプレイ再生担当領域R21〜R24は、それぞれ、マスタ再生端末40、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70に表示される映像を表示する領域である。この第1〜4ディスプレイ再生担当領域R21〜R24に相当する画像は、実際にナビゲーション映像を分割して生成する画像ではないが、説明便宜のためナビゲーション映像の選択領域画像S2を仮想的に分割したもとのとして定義するものである。
上述の通り、本実施形態では、ナビゲーション映像の解像度は、400×200=8万画素である。このナビゲーション映像において、選択領域S2を示す選択領域情報(X、Y、幅、高さ)は、例えば、(30,70,260,100)である。なお、このX,Yは、基準となる基準位置を示す座標である。本実施形態において、この基準位置P(X,Y)のXに幅を加算しYに高さを加算した座標(X+幅,Y+高さ)は、基準位置の対角線上の座標P´となる。よって、この(X、Y、幅、高さ)は、基準位置Pと対角線上の座標P´により規定される矩形領域を示す。
ナビゲーション映像において、選択領域情報(30,70,260,100)が示す選択領域S2を、ナビゲーション映像を表示することが設定されている再生端末の画面において、予め決められた位置に表示する。
また、上述の通り、メイン映像の解像度は、2000×4000=800万画素である。このメイン映像において選択領域S1を示す選択領域情報(X、Y、幅、高さ)は、(300,700,2600,1000)である。
なお、本実施形態において、選択領域情報は、メイン映像あるいはナビゲーション映像における座標により選択領域を示すものとして説明するが、本発明はこれに限定されず、メイン映像やナビゲーション映像全体における相対的な座標を示すものであってもよい。例えば、メイン映像における(X、Y、幅、高さ)=(300,700,2600,1000)で表わされる選択領域を、相対座標で表わした相対座標値(0.075,0.35,0.65,0.5)で示すものであってもよい。また、ナビゲーション映像における(X、Y、幅、高さ)=(30,70,260,100)で表わされる選択領域を、相対座標で表わした相対座標値(0.075,0.35,0.65,0.5)で示すものであってもよい。
本実施形態において、マスタ再生端末40に対応する第1ディスプレイ再生担当領域R11を示す再生領域値は、(300,700,1300,500)である。スレーブ再生端末50に対応する第2ディスプレイ再生担当領域R12を示す再生領域値は、(1600,700,1300,500)である。スレーブ再生端末60に対応する第3ディスプレイ再生担当領域R13を示す再生領域値は、(300,1200,1300,500)である。スレーブ再生端末70に対応する第4ディスプレイ再生担当領域R14を示す再生領域値は、(1600,1200,1300,500)である。
メイン映像において、選択領域情報(300,700,2600,1000)が示す選択領域S1を4等分割した画像が、それぞれ、第1〜4ディスプレイ再生担当領域R11〜R14に対応するマスタ再生端末40、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70に表示される。
次に、各ディスプレイ再生担当領域の復号化の一例について説明する。
図10に示す通り、本実施形態において、メイン映像およびナビゲーション映像は、それぞれ、10個に分割されており、分割数=10である。また、メイン映像およびナビゲーション映像は、それぞれ、上段に5つと下段に5つの分割映像を配置した配列で分割されている。各分割映像には、他の分割映像とを識別するための映像番号が割り当てられている。例えば、メイン映像およびナビゲーション映像の上段の左側の分割映像に対して“0”、下段の右側の分割映像に対して“9”が、それぞれ割り当てられている。その他の分割映像に対しては、左から右に向かって番号が大きくなるように、昇順に、“1”〜“8”が割り当てられている。
なお、分割数は、図10に示す10に限られない。また、分割した場所の識別は、番号に限られない。
図10に示す例では、選択領域画像S1あるいは選択領域画像S2が、それぞれ、映像番号=“0”,“1”,“2”,“3”,“5”,“6”,“7”,“8”の分割映像の一部の映像を含んでいる。つまり、映像番号=“4”,“9”に対応する領域は、選択領域画像S1および選択領域画像S2のそれぞれの画像を含まない分割映像である。
例えば、マスタ再生端末40は、マスタ再生端末40の再生領域情報に基づき、メイン映像のうち、マスタ再生端末40の再生領域部分に対応する映像番号が“0”,“1”,“5”,“6”の映像の符号化データを復号化し、さらにマスタ再生端末40の再生領域値を基に、映像番号“0”,“1”,“5”,“6”の映像からマスタ再生端末40の再生領域値が示すその部分を切りだしてメイン映像を再生する。
スレーブ再生端末50は、スレーブ再生端末50の再生領域情報に基づき、“1”,“2”,“3”,“6”,“7”,“8”を復号化し、さらにスレーブ再生端末50の再生領域値を基にその部分を切りだしてメイン映像を再生する。
マスタ再生端末40は、サムネイル映像として、ナビゲーション映像から再生領域値を基に各再生端末の再生領域映像切りだして、さらにサムネイル化し、再生端末毎のサムネイル映像として再生する。
図12、13は、本実施形態に係る映像分割再生システムによる処理について説明するためのシーケンス図である。具体的には、配信要求から再生開始処理、ユーザ操作選択領域の分割再生処理、再生停止までの処理について説明するためのシーケンス図である。
図12に示すシーケンスについて、以下説明する。
1.マスタ再生端末40は、全てのスレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70とTCP/IP接続する。マスタ再生端末40は、全てのスレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70に対して、それぞれ固有のスレーブ再生端末識別子を送信する。本実施形態において、マスタ再生端末40は、スレーブ再生端末50にスレーブ再生端末識別子“001”を、スレーブ再生端末60にスレーブ再生端末識別子“002”を、スレーブ再生端末70にスレーブ再生端末識別子“003”を、それぞれ送信する。そして、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、それぞれ、受信したスレーブ再生端末識別子を記憶部に記憶する。
2.マスタ再生端末40は、配信サーバ20へマルチビュー再生ファイルの配信要求を送る。マスタ再生端末40は、配信サーバ20からマルチビュー再生ファイルを受け取る。
3.マスタ再生端末40は、マルチビュー再生ファイルに記載されているコンテンツURLを配信サーバ20へ送る。マスタ再生端末40は、配信サーバ20から、コンテンツURLに対応する符号化映像データと、再生設定ファイルを受信して、マスタ記憶部47に保存する。ここでは、マスタ再生端末40の符号化映像データの再生開始は、まだ実行しない。なお、マスタ再生端末40は、符号化映像データの受信を開始するが、受信バッファ残量から配信制御を行うことにより、受信バッファが溢れる事態を回避している。配信サーバ20は、符号化映像データをマスタ再生端末40に対してストリーム配信している。
4.マスタ再生端末40は、マルチビュー再生ファイルURLを全てのスレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70に対して送信する。
5.このスレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、配信サーバ20に対して、マルチビュー再生ファイルの配信要求を送る。そして、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、配信サーバ20からマルチビュー再生ファイルを受け取る。
6.スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、マルチビュー再生ファイルに記載されているコンテンツURLを配信サーバへ送る。スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、配信サーバ20から、コンテンツURLに対応する符号化映像データと、再生設定ファイルを受信して、スレーブ記憶部57に保存する。ここでは、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70の符号化映像データの再生開始は、まだ実行しない。なお、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、符号化映像データの受信を開始するが、受信バッファ残量から配信制御を行うことにより、受信バッファが溢れる事態を回避している。配信サーバ20は、符号化映像データをスレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70に対してストリーム配信している。
7.スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、受信開始通知をマスタ再生端末40へ送信する。
8.マスタ再生端末40は、全てのスレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70から受信開始通知を受け取ると、受信部44から符号化映像データを1GOP復号部45に出力する。また、マスタ再生端末40は、マスタ記憶部47から読み出した再生設定ファイルを復号部45に出力する。
9.そして、マスタ再生端末40は、全てのスレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70に対して、再生準備を通知する。
10.スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、それぞれ、マスタ再生端末40から再生準備を受け取ると、受信部54から符号化映像データを1GOP復号部55に出力する。また、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、スレーブ記憶部57から読み出した再生設定ファイルを復号部55に出力する。
11.スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、マスタ再生端末40へ再生準備完了を通知する。
12.マスタ再生端末40は、全てのスレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70から再生準備完了を受け取ると、全てのスレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70に対して再生開始を通知する。
13.スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、再生開始を受け取ると、それぞれの復号部55が、再生設定ファイルに記載されている分割数および初期選択領域情報と、再生端末識別子とに基づき、各スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70に対応する再生担当領域を示す再生領域情報を作成する。また、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、初期選択領域情報と再生領域情報に基づき各スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70に対応する再生担当領域を示す再生領域値を作成し、再生領域値を基に、スレーブ再生端末50、スレーブ再生端末60、あるいはスレーブ再生端末70のそれぞれに対応する第2ディスプレイ再生担当領域R22、第3ディスプレイ再生担当領域R23、第4ディスプレイ再生担当領域R24に、それぞれに対応する画像の再生を開始し、ナビゲーション映像を再生開始してもよい。
さらに、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、初期選択領域情報、再生領域情報、および再生領域値に基づき、全再生端末(マスタ再生端末40、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70)のサムネイルの再生を開始してもよい。
14.スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、再生開始実行をマスタ再生端末40へ通知する。
15.マスタ再生端末40は、全てのスレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70から再生開始実行を受け取ると、復号部45が、再生設定ファイルに記載されている分割数および初期選択領域情報と、再生端末識別子とに基づき、再生領域情報を作成する。そして、マスタ再生端末40は、この初期選択領域情報と再生領域情報に基づき、再生領域値を作成する。マスタ再生端末40は、再生領域値に基づき、マスタ再生端末40に対応する第1ディスプレイ再生担当領域に対応する画像の再生を開始する。また、マスタ再生端末40は、ナビゲーション映像の再生を開始してもよい。
さらに、マスタ再生端末40は、初期選択領域情報、再生領域情報、および再生領域値に基づき、全ての再生端末(マスタ再生端末40、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70)のサムネイルの再生を開始してもよい。
次に、図13に示すシーケンスについて、以下説明する。
ここで、マスタ再生端末40に対して、ユーザが選択領域の変更を指示する。
16.マスタ再生端末40は、ユーザが指定する変更後の選択領域の位置を示す新選択領域情報と再生領域情報に基づき、選択領域変更後の第1ディスプレイ再生担当領域R11を示す新再生領域値を作成する。
マスタ再生端末40は、新再生領域値に基づき、選択領域変更後の第1ディスプレイ再生担当領域R11に対応する画像の再生を開始する。また、マスタ再生端末40は、ナビゲーション映像の再生を開始してもよい。
さらに、マスタ再生端末40は、新選択領域情報、再生領域情報、および新再生領域値に基づき、全再生端末(マスタ再生端末40、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70)のサムネイルを再生する。
17.マスタ再生端末40は、指定時間毎に、全てのスレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70に対して新選択領域情報を送信する。
18.スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、マスタ再生端末40から選択領域情報を受け取る。そして、受け取った新選択領域情報と再生領域情報に基づき、新しい再生領域値を作成する。新再生領域値を基にスレーブ再生端末の再生領域を再生する。ナビゲーション映像を再生する。さらに、受け取った選択領域情報と再生領域情報、新再生領域値を基に全再生端末のサムネイルを再生開始する。
19.マスタ再生端末40は、指定時間毎に再生時間を確認する。このマスタ再生端末40は、再生時間を示す情報(以下、再生時間情報という)を全てのスレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70に送信する。この再生時間情報とは、コンテンツ映像を再生する順番を映像の再生時間によって表わす情報である。
20.スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、受け取ったマスタ再生端末の再生時間情報が示す再生時間に、自身が表示するコンテンツ映像の再生時間を合わせる。
21.マスタ再生端末40が再生停止を実行すると、マスタ再生端末40は、全てのスレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70に対して再生停止を通知する。
22.そして、全てのスレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、再生停止を受信する。
23.マスタ再生端末40は、配信サーバ20へ配信停止を送信する。
24.マスタ再生端末40は再生を停止する。
25.スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、配信サーバ20へ配信停止を送信する。
26.スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、再生を停止する。
なお、本実施形態に係る映像分割再生システムは、マスタ再生端末40から再生開始通知を受け取ると、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70が、それぞれ、符号化データの再生を開始し、再生開始実行通知信号をマスタ再生端末40に送信する。このマスタ再生端末40は、全てのスレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70から再生開始実行通知信号を受信した場合、符号化データの再生を開始する。その後、マスタ再生端末40は、各スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70に対して指定時間ごとに再生時間情報を送信する。このスレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、受信した再生時間情報に基づき、マスタ再生端末40において表示される映像の再生タイミングとスレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70のそれぞれにおいて表示される映像の再生タイミングの同期をとっている。これにより、マスタ再生端末40、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70によって構成されるマルチ画面において表示される映像のずれを低減することができる。
ここで、指定時間とは、マスタ再生端末40、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70において、それぞれ復号化される符号化データの長さを示すものであって、予め決められている。また、再生時間とは、符号化ファイルにおいて再生する順番を映像の長さを示す時間によって表わしたものである。例えば、100msecごとに分割された単位時間の映像に対して、再生時間は、この単位時間当たりの映像の並び順を示す情報である。よって、再生期間が示す情報が同じ単位時間当たりの映像は、同一の映像あるいは同一タイミングによって再生されるべき映像を示している。
また、本実施形態に係る映像分割再生システムは、メイン映像に同期してナビゲーション映像を表示するものである。この場合も、各ディスプレイD1〜D4に表示する映像を同期させる場合と同様に、再生時間情報に基づき、指定時間ごとに映像の再生タイミングを合わせる。
なお、図13に示すシーケンスにおいて、マスタ再生端末40のみが、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70に対して再生時間情報を送信することを例に説明したが、本発明はこれに限られない。つまり、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70のいずれかが、再生した符号化映像データに対応する再生時間情報を指定時間ごとにマスタ再生端末40、あるいは他のスレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70へ送信するものであってもよい。
次に、本実施形態に係る映像分割再生システムの処理フローの一例について、図14〜図22を参照して説明する。
なお、以下では、スレーブ再生端末として、スレーブ再生端末50についてのみ説明する。しかし、本発明は、上述のとおり複数のスレーブ再生端末を備える構成であってもよく、他のスレーブ再生端末60、70もスレーブ再生端末50と同様の動作を行うため、スレーブ再生端末50の後ろに括弧で符号のみを示して、詳細な説明は省略する。
図14〜図22は、本実施形態に係る映像分割再生システムによる映像分割再生方法の一例を説明するためのフローチャートである。
はじめに、図14を参照して、本実施形態に係る映像分割再生方法の一例を説明する。
マスタ再生端末40の同期再生制御部42は、マスタ記憶部47に保存されているスレーブ再生端末識別一覧情報を参照して、スレーブ再生端末50(60、70)とネットワーク(B)31を介して、TCP/IP(Transmission Control Protocol/Internet Protocol)接続を行う。このスレーブ再生端末識別テーブルは、事前に設定してある。
次に、マスタ再生端末40の同期再生制御部42は、TCP/IP接続した全てのスレーブ再生端末50(60、70)に対して、各スレーブ再生端末50(60、70)を識別するためのスレーブ再生端末識別子を示す情報を送信する。つまり、同期再生制御部42は、スレーブ再生端末識別一覧情報を参照して、スレーブ再生端末50(60、70)に対して予め割り当てられているIPアドレスに基づき、スレーブ再生端末識別一覧情報においてIPアドレスと対応付けられている再生端末識別子を、スレーブ再生端末50(60、70)に対して送信する。
このスレーブ再生端末50(60、70)は、それぞれ、自身に割り当てられているIPアドレスに対応するスレーブ再生端末識別子を受信し、スレーブ記憶部57に保存する(ステップ701)。
ここで、ユーザによって、マルチビュー再生ファイルURLを示す情報が再生要求部41に対して入力されると、再生要求部41は、入力されたマルチビュー再生ファイルURLを示す情報を同期再生制御部42に出力する(ステップ702)。
同期再生制御部42は、再生要求部41から入力するマルチビュー再生ファイルURLを示す情報を受け取り、受け取ったマルチビュー再生ファイルURLを示す情報をマスタ記憶部47に保存するとともに、このマルチビュー再生ファイルURLを示す情報を送信部43へ出力する(ステップ703)。
そして、送信部43は、マルチビュー再生ファイルURLを示す情報を同期再生制御部42から受け取り、受け取ったマルチビュー再生ファイルURLが示すマルチビュー再生ファイルの配信を要求するマルチビュー再生ファイル配信要求信号を、ネットワーク(A)30を介して、配信サーバ20へ送信する(ステップ704)。
配信サーバ20の受信部21は、ネットワーク(A)30を介して、マスタ再生端末40からマルチビュー再生ファイル配信要求信号を受信し、サーバ制御部24へ出力する(ステップ705)。
サーバ制御部24は、受信部21からマルチビュー再生ファイル配信要求信号を受け取り、再生データ保存部22のマルチビュー再生ファイルテーブルを参照して、受け取ったマルチビュー再生ファイル配信要求信号が示すマルチビュー再生ファイルURLに対応するマルチビュー再生ファイルを再生データ保存部22から読み出し、送信部23へ出力する(ステップ706)。
送信部23は、サーバ制御部24からマルチビュー再生ファイルを受け取り、受け取ったマルチビュー再生ファイルを、ネットワーク(A)30を介してマスタ再生端末40へ送信する(ステップ707)。
マスタ再生端末40の受信部44は、ネットワーク(A)30を介して、配信サーバ20からマルチビュー再生ファイルを受信し、同期再生制御部42へ出力する(ステップ708)。
同期再生制御部42は、受信部44からマルチビュー再生ファイルを受け取ると、マルチビュー再生ファイルの中に記載されているコンテンツURLの符号化映像データの配信を要求する符号化映像データ配信要求信号を送信部43へ出力するとともに、受信したマルチビュー再生ファイルをマスタ記憶部45に保存する(ステップ709)。
送信部43は、同期再生制御部42から符号化映像データ配信要求信号を受け取り、受け取った符号化映像データ配信要求信号を、ネットワーク(A)30を介して配信サーバ20へ送信する(ステップ710)。
次に、図15を参照して、本実施形態に係る映像分割再生方法の続きを説明する。
配信サーバ20の受信部21は、ネットワーク(A)30を介して、マスタ再生端末40から符号化映像データ配信要求信号を受信し、受け取った符号化映像データ配信要求信号をサーバ制御部24へ出力する(ステップ711)。
次に、サーバ制御部24は、受信部21から符号化映像データ配信要求信号を受け取り、再生データ保存部22の符号化映像データテーブルを参照して、符号化映像データ配信要求信号が示すコンテンツURLに対応する符号化映像データの再生設定ファイルを再生データ保存部22から読み出し、送信部23へ出力する。
配信サーバ20の送信部23は、サーバ制御部24から入力する再生設定ファイルを受け取り、受け取った再生設定ファイルを、ネットワーク(A)30を介してマスタ再生端末40へ送信する(ステップ712)。
また、サーバ制御部24は、再生データ保存部22の符号化映像データテーブルを参照して、符号化映像データ配信要求信号が示すコンテンツURLに対応する符号化映像データを再生データ保存部22から読み出し、送信部23へ出力する。この送信部23は、サーバ制御部24から送られた符号化映像データを受け取り、受け取った符号化映像データを、ネットワーク(A)30を介してマスタ再生端末40へ送信する(ステップ713)。
そして、マスタ再生端末40の受信部44は、配信サーバ20の送信部23から送信された再生設定ファイルと符号化映像データを、ネットワーク(A)30を介して受信すると、同期再生制御部42に出力する。この同期再生制御部42は、再生設定ファイルをマスタ記憶部47に保存する。また、受信部44は、再生設定ファイルと符号化映像データを受信すると、符号化映像データを受信したことを示す符号化映像データ受信開始通知信号を生成し、同期再生制御部42に出力する(ステップ714)。
なお、マスタ再生端末40は、この段階ではまだ、符号化映像データの再生処理を開始しない。受信部44は、バッファ残量から配信制御を行っているため、受信バッファが溢れることはない。
そして、同期再生制御部42は、受信部44から符号化映像データ受信開始通知信号と再生設定ファイルを受け取ると、ステップ702と同じマルチビュー再生ファイルURLを全てのスレーブ再生端末50(60、70)に通知する。つまり、同期再生制御部42は、マスタ記憶部47に記憶されているマスタビュー再生ファイルURLを読み出し、このマスタビュー再生ファイルURLを示す情報を送信部43へ出力する(ステップ715)。
この送信部43は、同期再生制御部42からステップ702と同じマルチビュー再生ファイルURLを示す情報を受け取り、受け取ったマルチビュー再生ファイルURLを示す情報を、ネットワーク(B)31を介して、全てのスレーブ再生端末50(60、70)へ送信する(ステップ716)。
スレーブ再生端末50(60、70)の受信部54は、ネットワーク(B)31を介して、マスタ再生端末40からマルチビュー再生ファイルURLを示す情報を受け取り、該マルチビュー再生ファイルURLを示す情報を同期再生制御部52へ出力する(ステップ717)。
このスレーブ再生端末50(60、70)の同期再生制御部52は、受信部54からマルチビュー再生ファイルURLを示す情報を受け取り、このマルチビュー再生ファイルURLを示す情報をスレーブ記憶部57に保存するとともに、このマルチビュー再生ファイルURLを示す情報を送信部53へ出力する(ステップ718)。
スレーブ再生端末50(60、70)の送信部53は、同期再生制御部52からマルチビュー再生ファイルURLを示す情報を受け取り、このマルチビュー再生ファイルURLの示すマルチビュー再生ファイルの配信を要求するマルチビュー再生ファイル配信要求信号を、ネットワーク(A)30を介して配信サーバ20へ送る(ステップ719)。
次に、図16を参照して、本実施形態に係る映像分割再生方法の続きを説明する。
配信サーバ20の受信部21は、ネットワーク(A)30を介して、スレーブ再生端末50(60、70)からマルチビュー再生ファイル配信要求信号を受信し、サーバ制御部24に出力する(ステップ720)。
サーバ制御部24は、受信部21からマルチビュー再生ファイル配信要求信号を受け取り、再生データ保存部22のマルチビュー再生ファイルテーブルを参照して、受け取ったマルチビュー再生ファイル配信要求信号が示すマルチビュー再生ファイルURLと対応するマルチビュー再生ファイルを再生データ保存部22から要求された数だけ読み出し、送信部23へ出力する(ステップ721)。
送信部23は、サーバ制御部24からマルチビュー再生ファイルを要求された数だけ受け取り、受け取ったマルチビュー再生ファイルを、ネットワーク(A)30を介して、スレーブ再生端末50(60、70)へ送信する(ステップ722)。
そして、スレーブ再生端末50(60、70)の受信部54は、ネットワーク(A)30を介して、配信サーバ20からマルチビュー再生ファイルを受信し、同期再生制御部52へ出力する(ステップ723)。
次いで、スレーブ再生端末50(60、70)の同期再生制御部52は、受信部54からマルチビュー再生ファイルを受け取ると、マルチビュー再生ファイルの中に記載されているコンテンツURLの符号化映像データの配信を要求する符号化映像データ配信要求信号を、送信部53へ出力するとともに、受信したマルチビュー再生ファイルをスレーブ記憶部57に保存する(ステップ724)。
送信部53は、同期再生制御部52から符号化映像データ配信要求信号を受け取り、受け取った符号化映像データ配信要求信号を、ネットワーク(A)30を介して、配信サーバ20へ送信する(ステップ725)。
配信サーバ20の受信部21は、ネットワーク(A)30を介して、スレーブ再生端末50(60、70)から符号化映像データ配信要求信号を受信し、受け取った符号化映像データ配信要求信号をサーバ制御部24に出力する(ステップ726)。
サーバ制御部24は、受信部21から符号化映像データ配信要求信号を受け取り、再生データ保存部22の符号化映像データテーブルを参照して、符号化映像データ配信要求信号が示すコンテンツURLに対応する符号化映像データの再生設定ファイルを再生データ保存部22から要求された数だけ読み出し、送信部23へ出力する。この送信部23は、サーバ制御部24から出力された再生設定ファイルを要求された数だけ受け取り、この受け取った再生設定ファイルを、ネットワーク(A)30を介してスレーブ再生端末50(60、70)へ送信する(ステップ727)。
次いで、サーバ制御部24は、再生データ保存部22の符号化映像データテーブルを参照して、符号化映像データ配信要求信号が示すコンテンツURLに対応する符号化映像データを再生データ保存部22から要求された数だけ読み出し、送信部23へ出力する。この送信部23は、サーバ制御部24から符号化映像データを要求された数だけ受け取り、受け取った符号化映像データを、ネットワーク(A)30を介してスレーブ再生端末50(60、70)へ送信する(ステップ728)。
次に、図17を参照して、本実施形態に係る映像分割再生方法の続きを説明する。
スレーブ再生端末50(60、70)の受信部54は、ネットワーク(A)30を介して、配信サーバ20の送信部23から送信された再生設定ファイルと符号化映像データを受信すると、再生設定ファイルを同期再生制御部52に出力する。この同期再生制御部52は、再生設定ファイルをスレーブ記憶部57に保存する。また、受信部54は、再生設定ファイルと符号化映像データを受信すると、符号化映像データを受信したことを示す符号化映像データ受信開始通知信号を生成し、同期再生制御部52に出力する(ステップ729)。
なお、スレーブ再生端末50(60、70)は、この段階では、符号化映像データの再生処理を開始しない。スレーブ再生端末50(60、70)において、受信部54は、バッファ残量から配信制御を行っているため、受信バッファが溢れることはない。
次に、スレーブ再生端末50(60、70)の同期再生制御部52は、受信部54から符号化映像データ受信開始通知信号を受け取り、受け取った符号化映像データ受信開始通知信号を、送信部53へ出力する(ステップ730)。
送信部53は、同期再生制御部52から符号化映像データ受信開始通知信号を受け取り、受け取った符号化映像データ受信開始通知信号を、ネットワーク(B)31を介して、マスタ再生端末40へ送信する(ステップ731)。
マスタ再生端末40の受信部44は、スレーブ再生端末50(60、70)からネットワーク(B)31を介して符号化映像データ受信開始通知信号を受信し、受信した符号化映像データ受信開始通知信号を、同期再生制御部42へ出力する(ステップ732)。
同期再生制御部42は、受信部44からスレーブ再生端末50(60、70)の符号化映像データ受信開始通知信号を受け取る。この同期再生制御部42は、全てのスレーブ再生端末50(60、70)から符号化映像データ受信開始通知信号を受信したか否かを判定する。全てのスレーブ再生端末50(60、70)から符号化映像データ受信開始通知信号を受信した場合、同期再生制御部42は、符号化映像データを1GOPのみ復号部45へ送信する信号を受信部44へ送る。受信部44は、この符号化映像データ1GOPを復号部45へ出力する。
このとき、復号部45は、入力した符号化映像データ1GOPをまだ復号せずに、一時的に自身の記憶部に保存しておく。
また、同期再生制御部42は、全てのスレーブ再生端末50(60、70)から符号化映像データ受信開始通知信号を受信した場合、マスタ記憶部47から再生設定ファイルを読み出し、復号部45へこの再生設定ファイルを出力するとともに、再生準備通知信号を送信部43へ出力する(ステップ733)。
マスタ再生端末40の送信部43は、同期再生制御部42から各スレーブ再生端末50(60、70)に対して送信する再生準備通知信号を受け取り、各スレーブ再生端末50(60、70)に対して、ネットワーク(B)31を介して再生準備通知信号を送信する(ステップ734)。
スレーブ再生端末50(60、70)の受信部54は、マスタ再生端末40から再生準備通知信号をネットワーク(B)31を介して受信すると、受信した再生準備通知信号を同期再生制御部52へ出力する(ステップ735)。
同期再生制御部52は、再生準備通知信号を受け取ると、符号化映像データを1GOPのみ復号部55へ送信する信号を受信部54へ送る。受信部54は、この符号化映像データ1GOPを復号部55へ出力する。このとき、復号部55は、入力した符号化映像データ1GOPをまだ復号せずに、一時的に自身の記憶部に保存しておく。
同期再生制御部52は、スレーブ記憶部57から再生設定ファイルを読み出し、復号部55へ出力するとともに、スレーブ再生端末50(60、70)における符号化映像データの再生の準備が完了したことを示す再生準備完了通知信号を、送信部53へ出力する。(ステップ736)。
次に、図18を参照して、本実施形態に係る映像分割再生方法の続きを説明する。
この送信部53は、同期再生制御部52から再生準備完了通知信号を受け取り、マスタ再生端末40へ、ネットワーク(B)31を介して再生準備完了通知信号を送信する(ステップ737)。
マスタ再生端末40の受信部44は、スレーブ再生端末50(60、70)から再生準備完了通知信号を、ネットワーク(B)31を介して受信すると、受信した再生準備完了通知信号を、同期再生制御部42へ出力する(ステップ738)。この同期再生制御部42は、受信部44から再生準備完了通知信号を受け取り、全てのスレーブ再生端末50、60、70から再生準備完了通知信号を受信したか否かを判定する。全てのスレーブ再生端末50、60、70から再生準備完了通知信号を受信した場合、同期再生制御部42は、再生開始通知信号を全スレーブ再生端末50、60、70へ送る指示を、送信部43へ出力する(ステップ739)。
マスタ再生端末40の送信部43は、同期再生制御部42から再生開始通知信号を受け取ると、ネットワーク(B)31を介して、全てのスレーブ再生端末50、60、70へ再生開始通知信号を送信する(ステップ740)。
スレーブ再生端末50(60、70)において、受信部54は、再生開始通知信号をマスタ再生端末40からネットワーク(B)31を介して受信すると、受信した再生開始通知信号を、同期再生制御部52へ出力する(ステップ741)。
そして、同期再生制御部52は、受信部54から再生開始通知信号を受け取ると、復号部55に、一時保存されている符号化映像データの復号化を開始することを示す復号化開始指示信号を出力するとともに、受信部54へ符号化データの復号部55への送信開始を示す送信開始信号を送る。受信部54は、送信開始信号を受け取ると、復号部55へ符号化データの送信を開始する。
さらに、同期再生制御部52は、スレーブ再生端末50(60、70)の符号化映像データの復号化を開始したことを示す再生開始実行通知信号を作成し、送信部53に出力する(ステップ742)。
スレーブ再生端末50(60、70)において、復号部55は、同期再生制御部52から復号化開始指示信号が入力すると、スレーブ記憶部57に保存されているスレーブ再生端末識別子と、再生設定ファイルに記載されている初期選択領域情報およびマルチビュー再生ファイルの分割数とに基づき、選択領域におけるスレーブ再生端末50(60、70)の再生担当領域の位置を示す再生領域情報を作成する。
例えば、スレーブ再生端末50のスレーブ記憶部57には、スレーブ再生端末識別子“2”が保存されている。また、スレーブ再生端末50のスレーブ記憶部57には、初期選択領域情報(X、Y、幅、高さ)=(300,700,2600,1000)、あるいは相対座標で表わした相対座標値(0.075,0.35,0.65,0.5)と、マルチビュー再生ファイルの分割数{縦分割数=2、横分割数=2}が記載されている。よって、同期再生制御部52は、初期選択領域情報(300,700,2600,1000)あるいは相対座標で表わした相対座標値(0.075,0.35,0.65,0.5)によって示される選択領域S1を4分割した場合、スレーブ再生端末識別子“1”に対応する領域が選択領域S1において右上側の領域であることを示す再生領域情報を作成する。なお、初期選択領域情報、分割数、およびスレーブ再生端末識別子の組み合わせに応じた再生領域は、予め決められており、これらの関係性を示す情報はプログラムとして事前に復号部55に搭載されている。
さらに、復号部55は、初期選択領域情報(300,700,2600,1000)、あるいは相対座標で表わした相対座標値(0.075,0.35,0.65,0.5)と、スレーブ再生端末50(60、70)の再生領域情報とに基づき、各スレーブ再生端末50(60、70)にそれぞれ対応する第2〜4ディスプレイ再生担当領域R12〜14を示す再生領域値を算出する。
例えば、スレーブ再生端末50の同期再生制御部52は、スレーブ再生端末50に対応する第2ディスプレイ再生担当領域R12を示す再生領域値=(1600,700,1300,500)を算出する。
なお、スレーブ再生端末60も同様にして、スレーブ再生端末60に対応する第3ディスプレイ再生担当領域R13を示す再生領域値=(300,1200,1300,500)を算出する。また、スレーブ再生端末70も同様にして、スレーブ再生端末70に対応する第4ディスプレイ再生担当領域R14を示す再生領域値=(1600,1200,1300,500)を算出する(ステップ743)。
復号部55は、初期選択領域情報(300,700,2600,1000)、あるいは相対座標で表わした相対座標値(0.075,0.35,0.65,0.5)とステップ743において算出したスレーブ再生端末50(60、70)それぞれの自端末の再生領域値に基づき、符号化映像データに含まれるメイン符号化映像データの復号化と、ナビゲーション符号化映像データとの復号化を、1GOP単位で並列して開始する。なお、スレーブ再生端末50(60、70)において、ナビゲーション符号化映像データを表示しない場合、メイン符号化映像データの復号化のみを開始する。
初期選択領域情報と再生領域値とに基づいて復号化したメイン映像は、図10に示すスレーブ再生領域より大きいサイズとなる。そのため、スレーブ再生端末50(60、70)の再生領域値に基づいて、スレーブ50(60、70)再生領域映像を切り出し、このスレーブ50(60、70)再生領域映像とナビゲーション映像とを、表示部56へ送る。さらに、復号部55は、復号化したナビゲーション映像から、選択領域情報、再生領域情報、再生領域値に基づき、再生端末毎の再生領域を切り出し、さらにサムネイル化し、マスタ再生端末40、スレーブ再生端末50(60、70)の該サムネイル映像を表示部56に送る(ステップ744)。
次に、図19を参照して、本実施形態に係る映像分割再生方法の続きを説明する。
一方、送信部53は、ステップ742において同期再生制御部52から受け取った再生開始実行通知信号を、ネットワーク(B)31を介してマスタ再生端末40へ送る(ステップ745)。
次に、マスタ再生端末40において、受信部44は、スレーブ再生端末50(60、70)からネットワーク(B)31を介して再生開始実行通知信号を受け取り、受け取った再生開始実行通知を、同期再生制御部42へ送る(ステップ746)。
この同期再生制御部42は、受信部44から再生開始実行通知を受け取る、この同期再生制御部42は、全てのスレーブ再生端末50(60、70)から再生開始実行通知信号を受信したか否かを判定する。全てのスレーブ再生端末50(60、70)から再生開始実行通知信号を受信した場合、同期再生制御部42は、復号部45に対して、一時保存されている符号化映像データの復号化を開始することを示す復号化開始指示信号を出力するとともに、受信部44へ符号化データの復号部45へ送信開始を示す送信開始信号を送る。受信部44は、送信開始信号を受け取ると、復号部45へ復号化データの送信を開始する(ステップ747)。
マスタ再生端末40において、復号部45は、同期再生制御部42から復号化開始指示信号を受け取ると、マスタ記憶部47に保存されているマスタ再生端末識別子と、再生設定ファイルに記載されている選択領域情報およびマルチビュー再生ファイルの分割数とに基づき、選択領域におけるマスタ再生端末40の再生担当領域の位置を示す再生領域情報を作成する。
例えば、マスタ再生端末40のマスタ記憶部47には、マスタ再生端末識別子“0”が保存されている。また、マスタ記憶部47には、初期選択領域情報(X、Y、幅、高さ)=(300,700,2600,1000)、あるいは相対座標で表わした相対座標値(0.075,0.35,0.65,0.5)と、マルチビュー再生ファイルの分割数{縦分割数=2、横分割数=2}が記載されている。よって、同期再生制御部42は、初期選択領域情報(300,700,2600,1000)、あるいは相対座標で表わした相対座標値(0.075,0.35,0.65,0.5)によって示される選択領域S1を4分割した場合、マスタ再生端末識別子“0”に対応する領域が選択領域S1において左上側の領域であることを示す再生領域情報を作成する。なお、初期選択領域情報、分割数、およびスレーブ再生端末識別子の組み合わせに応じた再生領域は、予め決められており、これらの関係性を示す情報はプログラムとして事前に復号部45に搭載されている。
さらに、復号部45は、初期選択領域情報(300,700,2600,1000)、あるいは相対座標で表わした相対座標値(0.075,0.35,0.65,0.5)と、マスタ再生端末40の再生領域情報から、マスタ再生端末40に対応する第1ディスプレイ再生担当領域R11を示す再生領域値を算出する。
例えば、マスタ再生端末40の同期再生制御部42は、マスタ再生端末40に対応する第1ディスプレイ再生担当領域R11を示す再生領域値(300,700,1300,500)を算出する(ステップ748)。
復号部45は、初期選択領域情報(300,700,2600,1000)、あるいは相対座標で表わした相対座標値(0.075,0.35,0.65,0.5)と、ステップ748において算出したマスタ再生端末40の再生領域値とに基づき、復号化映像データに含まれるメイン符号化映像データの復号化と、ナビゲーション符号化映像データの復号化を、1GOP単位で並列して開始する。なお、マスタ再生端末40において、ナビゲーション符号化映像データを表示しない場合、メイン符号化映像データの復号化のみを開始する。
初期選択領域情報と再生領域値とに基づいて復号化したメイン映像は、図10に示すマスタ再生領域より大きいサイズとなる。そのため、マスタ再生端末40の再生領域値に基づいて、マスタ再生領域映像を切り出し、このマスタ再生領域映像とナビゲーション映像とを、表示部56へ送る。さらに、復号部45は、復号化したナビゲーション映像から、選択領域情報、再生領域情報、再生領域値に基づき、再生端末毎の再生領域を切り出し、さらにサムネイル化し、マスタ再生端末40、スレーブ再生端末50(60、70)の該サムネイル映像を表示部46に送る(ステップ749)。
ここで、マスタ再生端末40の操作手段(図示せず)において、ユーザの操作によりメイン映像あるいはナビゲーション映像の選択領域を変更する操作が入力された場合、再生要求部41は、同期再生制御部42に対して、変更後の選択領域を示す変更後選択領域情報を送る。同期再生制御部42は、受け取った変更後選択領域情報を復号部45へ送る(ステップ750)。
なお、再生要求部41は、ユーザ操作により選択領域を変更する操作が入力された場合に、選択領域情報を同期再生制御部42へ送る。例えば、この選択領域を変更する操作として、キーボードの「→」キーをユーザが1回押下することにより、再生要求部41は、画面内の画像を矢印の方向にNピクセル動かすという操作を受け付ける。つまり、再生要求部41は、選択領域情報として、現在の選択領域情報の各値を矢印の方向にNピクセル動かした場合の選択領域情報を生成し、同期再生制御部42に送る。
また、ユーザによって「→」キーが押下され続けた場合、再生要求部41は、連続して選択領域を変更する操作を入力する。
同期再生制御部42は、選択領域情報を送信部43へ送る。また、同期再生制御部42は、選択領域情報を復号部45に送る。送信部43は、同期再生制御部42から選択領域情報を受け取ったタイミングで、スレーブ再生端末50(60、70)にそれぞれ受け取った選択領域情報を送信する。
ここで、図23を参照して、選択領域を変更する操作が入力されたタイミングとマスタ再生端末40がスレーブ再生端末50(60、70)に選択領域情報を送信するタイミングについて、説明する。図23は、本実施形態において、選択領域情報の送信タイミングについて説明するための図である。
同期再生制御部42は、内蔵するタイマーで選択領域情報が入力する時間間隔を計時しながら、再生要求部41からの次の選択領域情報の入力があるか否かを判定する。この同期再生制御部42は、再生要求部41から現在指定されている選択領域情報を入力した時点から第1指定時間以内に次の選択領域情報を入力するか否かを判定する。なお、本実施形態において、第1指定時間とは、例えば、1フレームの長さに相当する時間であって、33msecである。
再生要求部41から現在指定されている選択領域情報を入力した時点から第1指定時間未満に次の選択領域情報を入力した場合、同期再生制御部42は、再生要求部41から現在指定されている選択領域情報を入力した時点から第1指定時間後に、次の選択領域情報を送信部43と復号部45に出力する。
例えば、ユーザが「→」キーを押下し続けた場合、選択領域を変更する操作が連続して再生要求部41に入力される。この場合、再生要求部41は、1フレーム(33msec)未満の間隔で、変更後の選択領域情報を連続して同期再生制御部42に出力する。この同期再生制御部42は、再生が開始されるとタイマーを開始し、受け取った順に連続して再生要求部41から受け取った選択領域情報を第1指定時間(33msec)毎に送信部43と復号部45へ送る。つまり、同期再生制御部42は、33msecの間隔で、選択領域情報を送信部43と復号部45に出力する。よって、送信部43は、33msecの間隔で、選択領域情報をスレーブ再生端末50(60、70)に送信する。
一方、再生要求部41から現在指定されている選択領域情報を入力した時点から第1指定時間が経過した場合、同期再生制御部42は、再生要求部41から現在指定されている選択領域情報を入力した時点から第2指定時間以内に次の選択領域情報を入力するか否かを判定する。この第2指定時間とは、第1指定時間よりも長く、例えば、500msecである。
再生要求部41から現在指定されている選択領域情報を入力した時点から第2指定時間未満に次の選択領域情報を入力した場合、同期再生制御部42は、再生要求部41から選択領域情報を入力したタイミングでその都度、選択領域情報を送信部43および復号部45へ出力する。つまり、ユーザ操作により選択領域を変更する操作が、33msec以上500msec未満の間隔で入力された場合、送信部43は、同期再生制御部42から選択領域情報を入力したタイミングでその都度、選択領域情報をスレーブ再生端末50(60、70)に送信する。
一方、再生要求部41から現在指定されている選択領域情報を入力した時点から第2指定時間以上に次の選択領域情報が入力されない場合、同期再生制御部42は、再生要求部41から現在指定されている選択領域情報を入力した時点から第2指定時間後に、現在指定されている選択領域情報を送信部43と復号部45に出力する。
つまり、ユーザ操作により選択領域を変更する操作が入力されない場合、再生要求部41は、選択領域情報を同期再生制御部42へ送信しない。そのため、同期再生制御部42は、選択領域情報を受け取らない。同期再生制御部42は、500msec以上、選択領域情報を再生要求41から受け取らない場合、現在指定されている選択領域情報を、第2指定時間(例えば、500msec)毎に、送信部43と復号部45へ送る。つまり、第2指定時間以上、ユーザ操作により選択領域を変更する操作が入力されない場合、送信部43は、再生要求部41から現在指定されている選択領域情報を入力した時点から第2指定時間後に、現在指定されている選択領域情報をスレーブ再生端末50(60、70)に送信する。
このように、ユーザ操作により、選択領域を変更する操作が入力されたタイミングに応じて、同期再生制御部42が選択領域情報を送信部43と復号部45に送信する間隔が異なる。ユーザ操作による入力がない場合の方が、選択領域を変更した場合よりも、選択領域情報を送信する間隔を長く取る。
復号部45は、変更後選択領域情報を同期再生制御部42から受け取り、受け取った変更後選択領域情報と、現在再生しているメイン映像(あるいはナビゲーション映像)に対して指定されている選択領域を示す選択領域情報(以下、変更前選択領域情報という)と比較する。この変更後選択領域情報が示す領域と、変更前選択領域情報が示す領域が一致しない場合、復号部45は、受け取った変更後選択領域情報と、各再生端末40、50(60、70)の再生領域情報から、新たに各再生端末の再生領域値を作成する。
なお、復号部45による変更後選択領域情報への切り替えは、今復号化しているフレームの次のフレームからとなる。復号部45は、受け取った変更後選択領域情報と、マスタ再生端末40の再生領域情報とに基づき、メイン符号化映像データの復号化と、ナビゲーション符号化映像データとの復号化とを、1GOP単位で並列して開始する。変更後選択領域情報と再生領域値とに基づいて復号化したメイン映像は、図10に示すマスタ再生領域より大きいサイズとなる。そのため、マスタ再生端末40の新しい再生領域値に基づいて、マスタ再生領域映像を切り出し、このマスタ再生領域映像とナビゲーション映像とを、表示部46へ送る。さらに、復号化したナビゲーション映像から、変更後選択領域情報と再生領域情報、新再生領域値に基づいて、再生端末毎の再生領域を切り出し、さらにサムネイル化し、マスタ再生端末40、スレーブ再生端末50(60、70)の該サムネイル映像を表示部46に送る(ステップ751)。
次に、図20を参照して、本実施形態に係る映像分割再生方法の続きを説明する。
マスタ再生端末40において、同期再生制御部42は、指定時間毎に、変更後選択領域情報を復号部45から受け取り、受け取った変更後選択領域情報を送信部43へ出力する(ステップ752)。この送信部43は、受け取った変更後選択領域情報をネットワーク(B)31を介して、全てのスレーブ再生端末50、60、70に送信する(ステップ753)。
スレーブ再生端末50(60、70)において、受信部54は、マスタ再生端末40から変更後選択領域情報をネットワーク(B)31を介して受け取り、受け取った変更後選択領域情報を同期再生制御部52へ出力する(ステップ754)。
この同期再生制御部52は、変更後選択領域情報を受け取ると、復号部55へ変更後選択領域情報を出力する(ステップ755)。
復号部55は、受け取った変更後選択領域情報と今再生している変更前選択領域情報と比較する。この変更後選択領域情報が示す領域と、変更前選択領域情報が示す領域が一致しない場合、復号部55は、受け取った変更後選択領域情報と、各スレーブ再生端末50(60、70)の再生領域情報に基づき、それぞれ、スレーブ再生端末50(60、70)に対応する第2〜4ディスプレイ再生担当領域R12〜14を示す新たに再生領域値を算出する。
なお、復号部55による変更後選択領域情報への切り替えは、今復号化しているフレームの次のフレームからとなる。復号部55は、受け取った変更後選択領域情報と、スレーブ再生端末50(60、70)のそれぞれの自端末の再生領域情報とに基づき、メイン符号化映像データの復号化と、ナビゲーション符号化映像データとの復号化を、1GOP単位で並列して開始する。変更後選択領域情報と再生領域情報とに基づいて復号化したメイン映像は、図10に示すスレーブ再生領域より大きいサイズとなる。そのため、スレーブ再生端末50(60、70)の新しい再生領域値に基づいて、それぞれのスレーブ再生領域映像を切り出し、このスレーブ再生領域映像とナビゲーション映像とを、表示部56へ送る。さらに、復号化したナビゲーション映像から、選択領域情報と再生領域情報、新再生領域値に元づいて、再生端末毎の再生領域を切り出し、さらにサムネイル化し、マスタ再生端末40、スレーブ再生端末50(60、70)の該サムネイル映像を表示部56に送る(ステップ756)。
マスタ再生端末40において、復号部45は、指定時間毎にその時の再生時間を確認する。メイン映像とナビゲーション映像は並列して復号化しているため、どちらの再生時間を用いてもよい。復号部45は、確認した再生時間を示す再生時間情報を同期再生制御部42へ出力する(ステップ757)。
同期再生制御部42は、復号部45から受け取った再生時間情報を送信部43へ出力する(ステップ758)。この送信部43は、同期再生制御部42から受け取った再生時間情報を、ネットワーク(B)31を介して、スレーブ再生端末50(60、70)に送信する(ステップ759)。
次に、図21を参照して、本実施形態に係る映像分割再生方法の続きを説明する。
スレーブ再生端末50(60、70)において、受信部54は、マスタ再生端末40から再生時間情報をネットワーク(B)31を介して受け取り、受け取った再生時間情報を同期再生制御部52へ出力する(ステップ760)。なお、スレーブ再生端末50(60、70)は、マスタ再生端末40からの再生時間に必ず合わせる必要はなく、例えば、他のスレーブ再生端末50(60、70)から受け取った再生時間情報を同期再生制御部52へ出力するものであってもよい。なお、マスタ再生端末40も、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70のいずれから受け取った再生時刻情報を同期再生制御部42へ出力してもよい。
この同期再生制御部52は、受け取った再生時間情報を復号部55へ出力する(ステップ761)。
復号部55は、同期再生制御部52から受け取った再生時間情報が示す再生時間とスレーブ再生端末50(60、70)が比較するその時に表示部56に表示されるコンテンツ映像の再生時間とを比較し、同じならばそのまま再生する。スレーブ再生端末50(60、70)が進んでいた場合は、進んでいた時間分を停止する。スレーブ再生端末50(60、70)が遅れていた場合、遅れていた時間分を早送りして再生する(ステップ762)。
マスタ再生端末40において、再生要求部41は同期再生制御部42へ再生停止を送る(ステップ763)。
同期再生制御部42は、再生停止を送信部43へ送る。また、復号部45へ再生停止を送る。受信部44へ符号化映像データの送信停止を送る(ステップ764)。
送信部43は、同期再生制御部42から再生停止を受け取ると、ネットワーク(B)31を介して、各スレーブ再生端末50、60、70へ再生停止を送信する。また、送信部43は、配信サーバ20へ配信停止をネットワーク(A)30を介して送る(ステップ765)。
マスタ再生端末40の受信部44は、同期再生制御部42から符号化映像データ送信停止を受けとると、復号部45へ符号化映像データ送信を停止する(ステップ766)。
復号部44は、復号化を停止し、表示部46へ再生停止を送る。表示部46は、再生を停止する(ステップ767)。
スレーブ再生端末50(60、70)において、受信部54は、マスタ再生端末40から再生停止をネットワーク(B)31を介して受け取り、受け取った再生停止を同期再生制御部52へ出力する(ステップ768)。
次に、図22を参照して、本実施形態に係る映像分割再生方法の続きを説明する。
同期再生制御部52は、復号部55へ再生停止を送る。受信部54へ符号化映像データ送信停止を送る。送信部53へ配信停止を送る(ステップ769)。
送信部53は、同期再生制御部52から配信停止を受け取ると、配信サーバ20へ配信停止をネットワーク(A)30を介して送信する(ステップ770)。
受信部54は、同期再生制御部52から符号化映像データ送信停止を受けとると、復号部55への符号化で映像データ送信を停止する(ステップ771)。
復号部55は、同期再生制御部52から再生停止を受け取ると、復号化を停止し、表示部56へ再生停止を送る。表示部56は、再生を停止する(ステップ772)。
上記構成により、本実施形態に係る映像分割再生システムは、解像度が高い映像を表示する場合であっても、映像を分割し、複数のディスプレイにより構成されるマルチ画面に分割した映像を表示させることにより、各再生端末の処理負荷を軽減させることができる。また、処理負荷が大きく1台の再生端末では再生が不可能な高解像度映像であっても、本実施形態に係る映像分割再生システムにより、複数のディスプレイにおいて分割した映像を同期して再生することができる。
また、上述の通り、高解像度コンテンツを配信する配信サーバ20と、マスタ再生端末40、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70とは、広範囲に接続される広域ネットワークAを介して接続されている。また、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、特定の建物内、敷地内の限られた範囲内の限定範囲ネットワークBを介して接続される。
よって、本実施形態に係る映像分割再生システムは、コンテンツ映像の分割処理を、限定範囲ネットワークBの範囲で行うことができる。
<第2実施形態>
また、本発明に係る再生端末は、上記構成に限られず、図23に示すようなメイン再生端末80やサブ再生端末90を備えるシステムであってもよい。本実施形態は、選択映像を分割せずに、メイン再生端末80とサブ再生端末90において、同一の選択映像を表示させる点が、第1実施形態と異なる。
このメイン再生端末80は、例えば、サブ再生端末90の動作を制御するリモコンである。サブ再生端末90は、例えば、テレビ等である。よって、サブ再生端末90の表示部96の方が、メイン再生端末80の表示部86の画面よりも大きくかつ解像度も高い。
なお、図24に示す通り、メイン再生端末80は、マスタ再生端末40と同様の構成である再生要求部81と、同期再生制御部82と、送信部83と、受信部84と、復号部85と、表示部86と、記憶部87を含む。なお、各構成については、マスタ再生端末40の再生要求部41と、同期再生制御部42と、送信部43と、受信部44と、復号部45と、表示部46と、マスタ記憶部47と同様であるため、詳細な説明は省略する。
ここで、メイン再生端末80は、例えば、選択領域情報を相対座標値でサブ再生端末90へ送る。メイン再生端末80は、相対座標値の選択領域情報に基づき、復号化、再生をする。なお、メイン再生端末80は、マスタ再生端末40と異なり、再生領域情報を生成しない。
また、サブ再生端末90は、スレーブ再生端末50(60、70)と同様の構成である同期再生制御部92と、送信部93と、受信部94と、復号部95と、表示部96と、記憶部97とを含む。なお、各構成については、スレーブ再生端末50(60、70)のスレーブ再生端末50は、同期再生制御部52と、送信部53と、受信部54と、復号部55と、表示部56と、スレーブ記憶部57と同様であるため、詳細な説明は省略する。
ここで、サブ再生端末90は、例えば、選択領域情報を相対座標値でメイン再生端末80から受信すると、現在復元しているフレームの次のフレームから受け取った相対座標値の選択領域情報に基づき、復号化、再生をする。なお、サブ再生端末90は、スレーブ再生端末50(60、70)と異なり、再生領域情報を生成しない。
このように、メインディスプレイとサブディスプレイの解像度が異なる場合であっても、選択された同じ領域(映像)を示す選択映像を、メイン再生端末80のメインディスプレイには低解像度に、サブ再生端末90のサブディスプレイには高解像度に、それぞれ表示することができる。
図25、26は、本実施形態に係る映像分割再生システムによる処理について説明するためのシーケンス図である。具体的には、配信要求から再生開始処理、ユーザ操作選択領域の分割再生処理、再生停止までの処理について説明するためのシーケンス図である。
図25に示すシーケンスについて、以下説明する。
1.メイン再生端末80は、サブ再生端末90とTCP/IP接続する。メイン再生端末80は、ユーザから入力されたコンテンツURLを配信サーバ20へ送る。メイン再生端末80は、配信サーバ20から、コンテンツURLに対応する符号化映像データと再生設定ファイルを受信して、再生設定ファイルを記憶部87に保存する。ここでは、メイン再生端末80の符号化映像データの再生開始は、まだ実行しない。なお、メイン再生端末80は、符号化映像データの受信を開始するが、受信バッファ残量から配信制御を行うことにより、受信バッファが溢れる事態を回避している。配信サーバ20は、符号化映像データをメイン再生端末80に対してストリーム配信している。
2.メイン再生端末80は、コンテンツURLをサブ再生端末90に対して送信する。サブ再生端末90は、メイン再生端末80からコンテンツURLを受信する。
3.サブ再生端末90は、コンテンツURLを配信サーバ20へ送る。サブ再生端末90は、配信サーバ20から、コンテンツURLに対応する符号化映像データと再生設定ファイルを受信して、再生設定ファイルを記憶部97に保存する。ここでは、サブ再生端末90の符号化映像データの再生開始は、まだ実行しない。なお、サブ再生端末90は、符号化映像データの受信を開始するが、受信バッファ残量から配信制御を行うことにより、受信バッファが溢れる事態を回避している。配信サーバ20は、符号化映像データをサブ再生端末90に対してストリーム配信している。
4.サブ再生端末90は、受信開始通知をメイン再生端末80へ送信する。
5.メイン再生端末80は、サブ再生端末90から受信開始通知を受け取ると、受信部84から符号化映像データを1GOP復号部85に出力する。また、メイン再生端末80は、記憶部87から読み出した再生設定ファイルを復号部85に出力する。
6.そして、メイン再生端末80は、サブ再生端末90に対して、再生準備を通知する。
7.サブ再生端末90は、メイン再生端末80から再生準備を受け取ると、受信部94から符号化映像データを1GOP復号部95に出力する。また、サブ再生端末90は、記憶部97から読み出した再生設定ファイルを復号部95に出力する。
8.サブ再生端末90は、メイン再生端末80へ再生準備完了を通知する。
9.メイン再生端末80は、サブ再生端末90から再生準備完了を受け取ると、サブ再生端末90に対して再生開始を通知する。
10.サブ再生端末90は、再生開始を受け取ると、復号部95が、再生設定ファイルに記載されている初期選択領域情報に基づき、対応するメイン映像の復号化、再生を開始する。また、サブ再生端末90は、ナビゲーション映像を再生開始してもよい。
11.サブ再生端末90は、再生開始実行をメイン再生端末80へ通知する。
12.メイン再生端末80は、サブ再生端末90から再生開始実行を受け取ると、復号部85が、再生設定ファイルに記載されている初期選択領域情報に基づき、対応するメイン映像の復号化、再生を開始する。また、メイン再生端末80は、ナビゲーション映像の再生を開始してもよい。
次に、図26に示すシーケンスについて、以下説明する。
ここで、メイン再生端末80に対して、ユーザが選択領域の変更を指示する。
13.メイン再生端末80は、ユーザが指定する変更後の選択領域の位置を示す新選択領域情報に基づき、対応するメイン映像の復号化、再生を行う。また、メイン再生端末80は、ナビゲーション映像を再生してもよい。
14.メイン再生端末80は、指定時間毎に、サブ再生端末90に対して新選択領域情報を送信する。
15.サブ再生端末90は、メイン再生端末80から新選択領域情報を受け取る。そして、サブ再生端末90は、受け取った新選択領域情報に基づき、メイン映像の復号化、再生を行う。サブ再生端末90は、ナビゲーション映像を再生してもよい。
16.メイン再生端末80は、指定時間毎に再生時間を確認する。このメイン再生端末80は、再生時間を示す情報(以下、再生時間情報という)をサブ再生端末90に送信する。この再生時間情報とは、コンテンツ映像を再生する順番を映像の再生時間によって表わす情報である。
17.サブ再生端末90は、受け取ったメイン再生端末80の再生時間情報が示す再生時間に、自身が表示するコンテンツ映像の再生時間を合わせる。なお、再生時間問い合わせは、サブ再生端末90からメイン再生端末80へ再生時間情報を送信して、メイン再生端末80が、サブ再生端末90の再生時間に合わせてもよい。
18.メイン再生端末80が再生停止を実行すると、メイン再生端末80は、サブ再生端末90に対して再生停止を通知する。
19.そして、サブ再生端末90は、再生停止を受信する。
20.メイン再生端末80は、配信サーバ20へ配信停止を送信する。
21.メイン再生端末80は再生を停止する。
22.サブ再生端末90は、配信サーバ20へ配信停止を送信する。
23.サブ再生端末90は、再生を停止する。
また、本実施形態に係る映像分割再生システムに係る映像分割再生方法は、再生端末と配信サーバは広域ネットワークを介して接続され、配信サーバからは符号化映像データを再生端末へ配信し、再生端末はマスタ再生端末とスレーブ再生端末に分類し、スレーブ再生端末はマスタ再生端末の支配下に置かれ、マスタ再生端末とスレーブ再生端末は限られた範囲内のネットワークで接続し、マスタ再生端末が選択領域情報をスレーブ再生端末へ送信し、マスタ再生端末の再生時間にスレーブ再生端末の再生時間を合わせ、一画像を複数の再生端末に分割して同期して再生を行う方法であって、マスタ再生端末は配信サーバにマルチビュー再生ファイルの配信要求し、マスタ再生端末は、受信したマルチビュー再生ファイルをマスタ再生端末復号部へ送るとともに、マルチビュー再生ファイルの中に記載されているコンテンツURLの符号化映像データの配信要求を配信サーバに行い、マスタ再生端末は符号化映像データと再生設定ファイルを受信すると、マスタ再生端末は、マスタ再生端末が配信要求したマルチビュー再生ファイルURLを全スレーブ再生端末に通知し、スレーブ再生端末は、マスタ再生端末から受け取ったマルチビュー再生ファイルの配信要求を配信サーバに送信し、スレーブ再生端末は、受信したマルチビュー再生ファイルをスレーブ再生端末復号部へ送るとともに、マルチビュー再生ファイルの中に記載されているコンテンツURLの符号化映像データの配信要求を配信サーバに行い、スレーブ再生端末は符号化映像データと再生設定ファイルを受信すると、マスタ再生端末へ符号化映像データ受信開始を通知し、マスタ再生端末は、全スレーブ端末から符号化映像データ受信開始通知を受け取ると、マスタ再生端末の復号部に符号化映像データを1GOP送るとともに再生設定ファイルを復号部へ送り、マスタ再生端末は、再生準備を全スレーブ再生端末に通知し、スレーブ再生端末は、再生準備を受け取るとスレーブ再生端末の復号部に符号化映像データを1GOP送るとともに再生設定ファイルを復号部へ送り、さらに、マスタ再生端末へ再生準備完了を通知する。
マスタ再生端末は、全てのスレーブ再生端末から再生準備完了通知を受け取ると、全てのスレーブ再生端末へ再生開始を通知し、スレーブ再生端末は、再生開始通知を受け取ると、分割数、初期注視領域情報、スレーブ再生端末識別子を基に再生領域情報と再生領域値を作成し、初期選択領域情報と再生領域情報に基づいてメイン符号化映像データの担当する領域の復号化を開始し、さらに再生領域値を基づいて担当する分割映像を切り出し、メイン映像の担当する分割映像を再生開始する。さらに、マスタ再生端末へ再生開始実行を通知する。
マスタ再生端末は、全てのスレーブ再生端末から再生開始実行通知を受け取ると、分割数、初期注視領域情報、スレーブ再生端末識別子を基に再生領域情報と再生領域値を作成し、初期選択領域情報と再生領域情報に基づいてメイン符号化映像データの担当するマスタ領域の復号化を開始し、さらに再生領域値を基づいて担当するマスタ分割映像を切り出し、メイン映像の担当するマスタ分割映像を再生開始する。
以上のことにより、マスタ再生端末と全スレーブ再生端末間で分割メイン映像を同期して再生することができる。
また、本実施形態に係る映像分割再生システムに係る映像分割再生方法は、再生端末と配信サーバは広域ネットワークを介して接続され、配信サーバからは符号化映像データを再生端末へ配信し、再生端末はマスタ再生端末とスレーブ再生端末に分類し、スレーブ再生端末はマスタ再生端末の支配下に置かれ、マスタ再生端末とスレーブ再生端末は限られた範囲内のネットワークで接続し、マスタ再生端末が選択領域情報をスレーブ再生端末へ送信し、マスタ再生端末の再生時間にスレーブ再生端末の再生時間を合わせ、一画像を複数の再生端末に分割して同期して再生を行う方法であって、マスタ再生端末表示部にストリーム再生中の映像上から選択領域を変更し、マスタ再生端末は、指定時間毎に前記変更した選択領域の選択領域情報を全スレーブ再生端末へ送信し、マスタ再生端末と全スレーブ再生端末は、前記選択領域情報と再生領域情報を基に新たに再生領域値を作成し、今復号化している次のフレームから、前記選択領域情報と再生領域情報に基づいて担当するメイン符号化映像データの復号化を行い、さらに前記再生領域値を基に担当する分割映像を切り出し、メイン映像の担当する分割映像を再生する。
以上のことにより、マスタ再生端末と全スレーブ再生端末間で分割メイン映像を同期して再生することができる。
また、本実施形態に係る映像分割再生システムに係る映像分割再生方法は、再生端末と配信サーバは広域ネットワークを介して接続され、配信サーバからは符号化映像データを再生端末へ配信し、再生端末はマスタ再生端末とスレーブ再生端末に分類し、スレーブ再生端末はマスタ再生端末の支配下に置かれ、マスタ再生端末とスレーブ再生端末は限られた範囲内のネットワークで接続し、マスタ再生端末が選択領域情報をスレーブ再生端末へ送信し、マスタ再生端末の再生時間にスレーブ再生端末の再生時間を合わせ、一画像を複数の再生端末に分割して同期して再生を行う方法であって、マスタ再生端末は、指定時間毎にその時の再生時間を確認し、マスタ再生端末は確認した再生時間を示す再生時間情報を全スレーブ再生端末に送信し、スレーブ再生端末は、受け取った再生時間情報が示す再生時間情報と比較する時のスレーブ再生端末の再生時間とを比較し、比較結果がマスタ再生端末と再生時間が同じならば、そのまま再生を続け、また、比較結果がマスタ再生端末より再生遅れの場合、遅れている時間分だけ早送りして再生し、また、比較結果がマスタ再生端末より再生が進んでいる場合、先に進んでいる時間分再生を停止する。
以上の事によりマスタ再生端末と全スレーブ再生端末間で分割メイン映像を同期して再生することができる。
なお、上述の配信サーバ20、マスタ再生端末40、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、内部にコンピュータシステムを有している。そして、配信サーバ20、マスタ再生端末40、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいう「コンピュータシステム」とは、CPU及び各種メモリやOS、周辺機器等のハードウェアを含むものである。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、また、配信サーバ20、マスタ再生端末40、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70はこの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、処理を行ってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
20・・・配信サーバ、21・・・受信部、22・・・再生データ保存部、23・・・送信部、24・・・サーバ制御部、40・・・マスタ再生端末、41・・・再生要求部、42・・・同期再生制御部、43・・・送信部、44・・・受信部、45・・・復号部、46・・・表示部、47・・・マスタ記憶部、50・・・スレーブ再生端末、52・・・同期再生制御部、53・・・送信部、54・・・受信部、55・・・復号部、56・・・表示部、57・・・スレーブ記憶部、60・・・スレーブ再生端末、70・・・スレーブ再生端末

Claims (7)

  1. それぞれネットワークを介して通信可能に接続されている配信サーバと、マスタ再生端末と、少なくとも1つのスレーブ再生端末とを備え、前記マスタ再生端末のディスプレイの画面と前記スレーブ再生端末のディスプレイの画面から構成されるマルチ画面に映像を表示する映像分割再生システムにおける映像分割再生方法において、
    前記配信サーバが、
    前記マルチ画面に表示するコンテンツ映像の符号化映像データと、前記マルチ画面を構成する前記マスタ再生端末と前記スレーブ再生端末の数である分割数とを、前記マスタ再生端末および前記スレーブ再生端末に送信するステップと、
    前記マスタ再生端末が、
    前記マルチ画面における前記スレーブ再生端末のディスプレイの画面の位置を前記スレーブ再生端末のそれぞれに対して割り当てられた固有の情報で表わすスレーブ再生端末識別子を、それぞれ対応する前記スレーブ再生端末に送信するステップと、
    前記スレーブ再生端末が、
    前記コンテンツ映像における一部の領域である選択領域を示す選択領域情報、前記スレーブ再生端末識別子および前記分割数に基づき、前記マルチ画面において当該スレーブ再生端末が表示を担当する領域を示すスレーブ再生領域情報を生成し、当該スレーブ再生領域情報および前記選択領域情報に基づき、前記符号化映像データのコンテンツ映像における選択領域のうち、当該スレーブ再生端末が表示を担当する領域を示すスレーブ再生領域値を算出するステップと、
    前記マスタ再生端末が、
    前記マルチ画面における前記マスタ再生端末のディスプレイの位置を示すマスタ再生端末識別子、前記選択領域情報および前記分割数に基づき、前記マルチ画面において当該マスタ再生端末が表示を担当する領域を示すマスタ再生領域情報を生成し、当該マスタ再生領域情報および前記選択領域情報に基づき、前記符号化映像データのコンテンツ映像における選択領域のうち、当該マスタ再生端末が表示を担当する領域を示すマスタ再生領域値を算出するステップと、
    前記マスタ再生端末が、前記符号化映像データに基づき、前記マスタ再生領域値が示す領域のコンテンツ映像の一部を自身のディスプレイに表示するとともに、前記スレーブ再生端末が、前記マスタ再生端末の表示に同期して、前記符号化映像データに基づき、前記スレーブ再生領域値が示す領域のコンテンツ映像の一部を自身のディスプレイに表示するステップと、
    有することを特徴とする映像分割再生方法。
  2. 前記マスタ再生端末は、
    前記マルチ画面に表示している前記コンテンツ映像の選択領域を示す第1選択領域情報を異なる第2選択領域情報に変更することを示す情報を入力すると、当該第2選択領域情報を前記スレーブ再生端末に送信するとともに、当該第2選択領域情報、前記マスタ再生端末識別子および前記分割数に基づき前記マスタ再生領域情報を生成し、当該マスタ再生領域情報および前記第2選択領域情報に基づき前記マスタ再生領域値を算出するステップと、
    前記スレーブ再生端末が、
    前記マスタ再生端末から前記第2選択領域情報を受信すると、当該第2選択領域情報、前記スレーブ再生端末識別子および前記分割数に基づき前記スレーブ再生領域情報を生成し、当該スレーブ再生領域情報および前記第2選択領域情報に基づき前記スレーブ再生領域値を算出するステップと、
    有することを特徴とする請求項1に記載の映像分割再生方法。
  3. 前記符号化映像データには、前記コンテンツ映像を再生する順番を映像の再生時間によって表わす再生時間情報が含まれており、
    前記マスタ再生端末あるいは前記スレーブ再生端末は、
    前記符号化映像データに基づき前記コンテンツ映像の一部を表示した場合、当該表示したコンテンツ映像の符号化映像データに対応する前記再生時間情報を送信するとともに、前記マスタ再生端末あるいは他の前記スレーブ再生端末から前記再生時間情報を受信した場合、前記受信した再生時間情報が示すタイミングに合わせるようにして各自の前記ディスプレイに前記コンテンツ映像を表示することを特徴とする請求項1あるいは2に記載の映像分割再生方法。
  4. 前記マスタ再生端末は、
    前記ディスプレイに表示している前記コンテンツ映像の選択領域を示す第1選択領域情報を異なる第2選択領域情報に変更することを示す情報が入力されたか否かを判定し、前記第1選択領域情報を入力した時点から第1指定時間経過前に前記第2選択領域情報を入力した場合、前記第1選択領域情報を送信した時点から前記第1指定時間経過後に前記第2選択領域情報を前記スレーブ再生端末に送信し、
    前記ディスプレイに表示している前記コンテンツ映像の選択領域を示す第1選択領域情報を異なる第2選択領域情報に変更することを示す情報が入力されたか否かを判定し、前記第1選択領域情報を入力した時点から前記第1指定時間よりも長い第2指定時間以上経過した場合、前記第1選択領域情報を送信した時点から前記第2指定時間経過後に前記第1選択領域情報を前記スレーブ再生端末に送信することを特徴とする請求項1から3のうちいずれか一項に記載の映像分割再生方法。
  5. それぞれネットワークを介して通信可能に接続されている配信サーバ、メインディスプレイを備えるメイン再生端末、および、前記メインディスプレイと解像度が異なるサブディスプレイを備えるサブ再生端末、を備える映像再生システムにおける映像再生方法において、
    前記配信サーバが、
    コンテンツ映像の符号化映像データを前記メイン再生端末および前記サブ再生端末に送信するステップと、
    前記メイン再生端末が、
    前記コンテンツ映像における一部の領域である選択領域を示す選択領域情報入力を受け付けるステップと、
    前記メイン再生端末が、
    前記選択領域情報を前記サブ再生端末に送信するステップと、
    前記メイン再生端末が、
    前記符号化映像データに基づき、前記選択領域情報が示す領域のコンテンツ映像の一部を前記メインディスプレイに表示するとともに、
    前記サブ再生端末が、
    前記メイン再生端末の表示に同期して、前記符号化映像データに基づき、前記選択領域情報が示す領域のコンテンツ映像の一部を前記サブディスプレイに表示するステップと、
    有することを特徴とする映像再生方法。
  6. それぞれネットワークを介して通信可能に接続されている配信サーバと、マスタ再生端末と、少なくとも1つのスレーブ再生端末とを備え、前記マスタ再生端末のディスプレイの画面と前記スレーブ再生端末のディスプレイの画面から構成されるマルチ画面に映像を表示する映像分割再生システムにおいて、
    前記配信サーバは、
    前記マルチ画面に表示するコンテンツ映像の符号化映像データと、前記マルチ画面を構成する前記マスタ再生端末と前記スレーブ再生端末の数である分割数とを、前記マスタ再生端末および前記スレーブ再生端末に送信する送信部を備え、
    前記マスタ再生端末は、
    前記マルチ画面における前記スレーブ再生端末のディスプレイの画面の位置を前記スレーブ再生端末のそれぞれに対して割り当てられた固有の情報で表わすスレーブ再生端末識別子を、それぞれ対応する前記スレーブ再生端末に送信する送信部と、
    前記マルチ画面における前記マスタ再生端末のディスプレイの位置を示すマスタ再生端末識別子、前記コンテンツ映像における一部の領域である選択領域を示す選択領域情報および前記分割数に基づき、前記マルチ画面において当該マスタ再生端末が表示を担当する領域を示すマスタ再生領域情報を生成するとともに、当該マスタ再生領域情報および前記選択領域情報に基づき、前記符号化映像データのコンテンツ映像における選択領域のうち、当該マスタ再生端末が表示を担当する領域を示すマスタ再生領域値を算出し、前記符号化映像データに基づき、前記マスタ再生領域値が示す領域のコンテンツ映像の一部を自身のディスプレイに表示させるマスタ復号部と、を備え、
    前記スレーブ再生端末は、
    前記選択領域情報、前記スレーブ再生端末識別子および前記分割数に基づき、前記マルチ画面において当該スレーブ再生端末が表示を担当する領域を示すスレーブ再生領域情報を生成するとともに、当該スレーブ再生領域情報および前記選択領域情報に基づき、前記符号化映像データのコンテンツ映像における選択領域のうち、当該スレーブ再生端末が表示を担当する領域を示すスレーブ再生領域値を算出し、前記マスタ再生端末の表示に同期して、前記符号化映像データに基づき、前記スレーブ再生領域値が示す領域のコンテンツ映像の一部を自身のディスプレイに表示させるスレーブ復号部と、
    を備えることを特徴とする映像分割再生システム。
  7. それぞれネットワークを介して通信可能に接続されている複数の再生端末を備え、前記再生端末のディスプレイの画面から構成されるマルチ画面に映像を表示する映像分割再生システムに用いられるコンピュータに、
    前記マルチ画面に表示するコンテンツ映像の符号化映像データと、前記コンテンツ映像における一部の領域である選択領域を示す選択領域情報と、前記マルチ画面を構成する前記再生端末の数である分割数と、前記マルチ画面における自再生端末のディスプレイの位置を自再生端末のそれぞれに対して割り当てられた固有の情報で表わす再生端末識別子を受信するステップ、
    前記選択領域情報、前記再生端末識別子および前記分割数に基づき、前記マルチ画面において自再生端末が表示を担当する領域を示す再生領域情報を生成し、当該再生領域情報および前記選択領域情報に基づき、前記符号化映像データのコンテンツ映像における選択領域のうち、自再生端末が表示を担当する領域を示す再生領域値を算出するステップ、
    前記符号化映像データに基づき、前記再生領域値が示す領域のコンテンツ映像の一部を、他の再生端末の表示に同期して、自身のディスプレイに表示するステップ、
    を実行させるための映像分割再生プログラム。
JP2011027089A 2011-02-10 2011-02-10 映像分割再生方法、映像再生方法、映像分割再生システム、及び映像分割再生プログラム Active JP5461454B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011027089A JP5461454B2 (ja) 2011-02-10 2011-02-10 映像分割再生方法、映像再生方法、映像分割再生システム、及び映像分割再生プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011027089A JP5461454B2 (ja) 2011-02-10 2011-02-10 映像分割再生方法、映像再生方法、映像分割再生システム、及び映像分割再生プログラム

Publications (2)

Publication Number Publication Date
JP2012169739A JP2012169739A (ja) 2012-09-06
JP5461454B2 true JP5461454B2 (ja) 2014-04-02

Family

ID=46973487

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011027089A Active JP5461454B2 (ja) 2011-02-10 2011-02-10 映像分割再生方法、映像再生方法、映像分割再生システム、及び映像分割再生プログラム

Country Status (1)

Country Link
JP (1) JP5461454B2 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6143473B2 (ja) * 2013-01-23 2017-06-07 キヤノン株式会社 画像出力装置、システムおよびそれらの制御方法、プログラム、並びに記憶媒体
JP6241103B2 (ja) * 2013-07-19 2017-12-06 株式会社リコー 集合出力システム、端末装置および出力プログラム
JP2016045445A (ja) * 2014-08-26 2016-04-04 三菱電機株式会社 マルチ画面表示装置
JP2016045452A (ja) * 2014-08-26 2016-04-04 三菱電機株式会社 マルチ画面表示装置
JP6516448B2 (ja) * 2014-11-17 2019-05-22 株式会社アイ・オー・データ機器 映像処理装置、プログラム、及び映像処理システム
JP6540793B2 (ja) 2015-03-19 2019-07-10 富士通株式会社 表示方法、情報処理装置、表示制御装置及びプログラム
JP2017173763A (ja) * 2016-03-25 2017-09-28 シャープ株式会社 画像提供装置、画像表示システム、画像提供方法、および、プログラム
US10390076B2 (en) 2016-03-29 2019-08-20 Mitsubishi Electric Corporation Image receiving/reproducing device, image generating/transmitting device, display system, image receiving/reproducing method, image generating/transmitting method, and computer readable medium
JP6381855B2 (ja) 2016-04-19 2018-08-29 三菱電機株式会社 画像処理装置、画像処理方法及び画像処理プログラム
KR101882016B1 (ko) * 2017-10-13 2018-07-25 주식회사 제노시스 복수의 디코더장치를 이용한 비디오 월 시스템의 제어장치
KR101961841B1 (ko) * 2017-11-13 2019-07-17 주식회사 카이 영상 장치 및 영상 장치의 동작 방법
KR101969081B1 (ko) * 2017-11-13 2019-04-16 주식회사 카이 영상 장치 및 영상 장치의 동기화 방법
JP7075202B2 (ja) * 2017-12-18 2022-05-25 日本放送協会 端末装置
JP7273410B2 (ja) * 2019-12-02 2023-05-15 フォレストデジタル株式会社 映像システム、プログラム、およびコンピュータ読み取り可能な記憶媒体
CN115767176A (zh) * 2021-09-06 2023-03-07 纬创资通股份有限公司 用于显示墙系统的影像处理装置及播放控制方法
CN114938463A (zh) * 2022-06-22 2022-08-23 深圳市泛联信息科技有限公司 视频显示系统及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000020042A (ja) * 1998-07-01 2000-01-21 Nec Corp 映像表示システム
JP2003009101A (ja) * 2001-06-26 2003-01-10 Nec Viewtechnology Ltd マルチ画面再生装置およびマルチ画面再生方法
JP3791904B2 (ja) * 2001-11-14 2006-06-28 オリンパス株式会社 マルチディスプレイ装置
JP3979145B2 (ja) * 2002-03-27 2007-09-19 ソニー株式会社 マルチディスプレイ装置、画像表示装置、および方法、並びにコンピュータ・プログラム
JP2008096756A (ja) * 2006-10-12 2008-04-24 Sharp Corp 多画面表示システムおよびその表示方法

Also Published As

Publication number Publication date
JP2012169739A (ja) 2012-09-06

Similar Documents

Publication Publication Date Title
JP5461454B2 (ja) 映像分割再生方法、映像再生方法、映像分割再生システム、及び映像分割再生プログラム
US20240214540A1 (en) Method for transmitting panoramic videos, terminal and server
CN115379244B (zh) 360度视频回放空间增强自适应比特率直播流送方法和装置
JP6415468B2 (ja) 空間的にセグメント化されたコンテンツの配信
JP5335087B2 (ja) 情報処理システムおよび情報処理装置
JP5179508B2 (ja) データストリーム同士間でコンテンツを分配および切替するデータストリーム再生方法およびデータストリーム再生装置
WO2019214371A1 (zh) 图像的显示方法、生成方法、装置、存储介质及电子装置
CN112565802A (zh) 直播交互方法、系统、服务器及存储介质
US9538140B2 (en) Social television service
JP2008072244A (ja) 映像表示システム、映像表示装置、その制御方法及びプログラム
KR102542070B1 (ko) Iptv 망 기반 가상현실 콘텐츠 제공 시스템 및 방법
JP5940999B2 (ja) 映像再生装置、映像配信装置、映像再生方法、映像配信方法及びプログラム
KR102218187B1 (ko) 영상 콘텐츠 제공을 위한 장치 및 방법
EP3635958B1 (en) Image processing device and system
JP6623905B2 (ja) サーバ装置、情報処理方法およびプログラム
JP6224522B2 (ja) 映像配信装置、映像配信方法及び映像配信プログラム
JP7319340B2 (ja) 配信サーバ、配信方法及びプログラム
JP5860862B2 (ja) 映像表示システム、映像表示装置、その制御方法及びプログラム
JP2021069100A (ja) 配信システム、プログラム、およびコンピュータ読み取り可能な記憶媒体
JP5993037B2 (ja) 制御装置、映像表示装置、表示制御システム、制御方法、映像表示方法、プログラム及び情報記憶媒体
JP2022066944A (ja) 情報処理装置、コンピュータプログラムおよび情報処理システム
JP5301481B2 (ja) 再生時間継続再生方法、映像配信方法、映像再生方法、映像配信システムおよびプログラム
JP5485952B2 (ja) 映像表示システム、映像表示装置、その制御方法及びプログラム
JP2021002811A (ja) 配信サーバ、配信方法及びプログラム
JP2011109175A (ja) 映像分割再生方法、映像分割再生装置、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130123

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130605

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130726

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140115

R150 Certificate of patent or registration of utility model

Ref document number: 5461454

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350