JP5461454B2 - 映像分割再生方法、映像再生方法、映像分割再生システム、及び映像分割再生プログラム - Google Patents
映像分割再生方法、映像再生方法、映像分割再生システム、及び映像分割再生プログラム Download PDFInfo
- Publication number
- JP5461454B2 JP5461454B2 JP2011027089A JP2011027089A JP5461454B2 JP 5461454 B2 JP5461454 B2 JP 5461454B2 JP 2011027089 A JP2011027089 A JP 2011027089A JP 2011027089 A JP2011027089 A JP 2011027089A JP 5461454 B2 JP5461454 B2 JP 5461454B2
- Authority
- JP
- Japan
- Prior art keywords
- playback
- slave
- terminal
- reproduction
- playback terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
Description
以下、本発明の一実施形態にかかる映像分割再生システムの一例について説明する。図1は、本実施形態にかかる映像分割再生システムの構成の一例を示すブロック図である。図2は、本実施形態に係る映像分割再生システムによって表示されるマルチ画面の一例を示す図である。このマルチ画面とは、複数のディスプレイの画面を組み合わせることによって形成される1つの画面のことである。
図1に示す本実施形態に係る映像分割再生システムは、図2に示す通り、各ディスプレイに表示する映像を制御することによって、複数のディスプレイによって構成されるマルチ画面に任意の映像を表示するシステムである。このマルチ画面は、図2に示す通り、例えば、1つのマスタ再生端末の表示部である第1ディスプレイD1の画面と、3つのスレーブ再生端末の表示部である第2ディスプレイD2、第3ディスプレイD3および第4ディスプレイD4のそれぞれの画面を含む。
例えば、コンテンツ映像が、図3に示すようなスポーツ映像である場合、矩形状のアイコンによって指定された部分が選択映像である。図3に示すスポーツ映像は、サッカーの試合を撮影した映像であって、キッカーがゴールに向かってシュートをするシーンの映像である。本実施形態に係る映像分割再生システムは、この選択領域として、図4に示すような映像(例えば、キッカーとゴールキーパーの周辺の映像)をマルチ画面に表示するものである。
図1に示す通り、本実施形態に係る映像分割再生システムは、配信サーバ20と、マスタ再生端末40と、スレーブ再生端末50と、スレーブ再生端末60と、スレーブ再生端末70と、を備える。
マスタ再生端末40は、第1ディスプレイD1を備える。スレーブ再生端末50は、第2ディスプレイD2を備える。スレーブ再生端末60は、第3ディスプレイD3を備える。スレーブ再生端末70は、第4ディスプレイD4を備える。
このマスタ再生端末40は、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70に対する映像の再生開始および停止を制御する。スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、このマスタ再生端末40の制御に従って動作する。
また、マスタ再生端末40は、ユーザからの操作入力を受け付け、ユーザによって指定された選択領域を示す情報に基づき、コンテンツ映像の領域うち選択映像の領域の位置を示す選択領域情報を生成し、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70へ送信する。
配信サーバ20は、受信部21と、再生データ保存部22と、送信部23と、サーバ制御部24とを含む。
受信部21は、広域のネットワーク(A)30を介して、マスタ再生端末40、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70のそれぞれから要求信号を受信し、受信した要求信号をサーバ制御部24に出力する。
サーバ制御部24は、再生データ保存部22を参照して、受信部21から入力する要求信号に基づき、要求信号に対応するデータを読み出し、送信部23に出力する。
マルチビュー再生ファイルの一例を図5に示す。マルチビュー再生ファイルは、例えば、図5に示す通り、符号化映像データが格納されている存在場所を示すコンテンツURLと、マルチ画面における再生映像の分割数(縦、横)が記載されているテキストファイルである。なお、この再生映像の分割数(縦、横)は、言い換えると、マルチ画面を構成するマスタ再生端末40とスレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70の配置を示す情報である。
図示の例では、コンテンツURL(符号化映像データが存在する場所「rtsp://XXX.XXX.XXX/符号化映像データ」)、縦分割数(選択領域の縦方向の分割数、図示の例では「2」)、横分割数(選択領域の横方向の分割数、図示の例では「2」)が記載されている。
符号化映像データテーブルの一例を図8に示す。この符号化映像データテーブルは、例えば、図8に示す通り、符号化映像データの所在を示すコンテンツURLと、符号化映像データと、再生設定ファイルとを対応付けるテーブルである。
なお、マルチビュー再生ファイルテーブルと符号化映像データテーブルは、それぞれ予め管理者やユーザ等によって決められている。
再生要求部41は、マルチビュー再生ファイルURLを入力し、同期再生制御部42に出力する。この再生要求部41は、例えば、ユーザからの操作入力を受け付ける入力部であって、ユーザが指定したコンテンツ映像の所在を示すマルチビュー再生ファイルURLの情報を受け付ける。
図9は、スレーブ再生端末識別一覧情報の一例を示す図である。
スレーブ再生端末識別一覧情報は、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70に予め割り当てられているIPアドレスと、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70に割り当てられるスレーブ再生端末識別子とを対応付ける情報である。
マスタ記憶部47は、図9に示すようなスレーブ再生端末のIPアドレス一覧を保持し、IPアドレス一覧の上から順番にスレーブ再生端末50、スレーブ再生端末60、スレーブ再生端末70と割り当て、スレーブ再生端末識別子として例えば、上から順にスレーブ再生端末50には“1”、スレーブ再生端末60には“2”、スレーブ再生端末70には“3”を付与する。
同期再生制御部42は、再生要求部41、受信部44および復号部45からの要求制御と、受信部44、復号部45および送信部43への要求制御を行う。
スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70からは、受信開始通知信号、再生準備完了通知信号、再生開始実行通知信号、マスタ再生端末40からの情報の受け取り返信に用いる。
なお、UDPブロードキャストは、ネットワーク上の全員にメッセージを送る送信方法である。UDPマルチキャストは、ネットワーク上の特定グループにメッセージを送る送信方法である。TCPは、確実に相手にメッセージを届ける送信方法である。UDPは、転送速度は速いが相手に確実に届く保証はない送信方法である。
ネットワークBは、家庭LAN(Local Area Network)や、社内LANなどのような特定の建物内、敷地内で使用する限られた範囲内のネットワークを意味している。
より具体的には、送信部43は、配信サーバ20に対しては、ネットワーク(A)30を介して、マルチビュー再生ファイル、符号化映像データ配信要求信号を送信する。また、送信部43は、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70に対しては、ネットワーク(B)31を介して、少なくともスレーブ再生端末識別子、マルチビュー再生ファイルURL、再生準備通知、再生開始通知、指定した時間ごとにその時の再生時間を示す情報をTCP/IPで送信する。また、送信部43は、指定時間毎に選択領域情報をUDPマルチキャスト(UDPブロードキャストでもよい)で送信する。
また、復号部45は、マルチ画面にナビゲーション映像を表示する場合のみ、ナビゲーション符号化映像データの復号化を行うものであってもよい。復号部45がナビゲーション符号化映像データの復号化を行わない場合には、以下で説明するナビゲーション映像と各端末の担当する映像サムネイル映像はマルチ画面に表示しないものとする。
復号部45は、メイン符号化映像データの復号化において、選択領域情報とマスタ再生領域情報とを基にメイン符号化映像データを復号化し、さらに、マスタ再生領域値を基にマスタ再生領域映像をメイン符号化映像データから切り出す。さらに、復号部45は、復号化したナビゲーション映像とマスタ再生領域映像とを表示部46へ送る。
表示部46は、サムネイル化された各再生端末の再生領域映像を受け取り、再生を行う。
スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、各々、同一の構成を有するものであるため、ここでは代表して、スレーブ再生端末50を例に説明し、他のスレーブ再生端末60およびスレーブ再生端末70についての説明は省略する。
同期再生制御部52は、受信部54、復号部55からの要求制御と、受信部54、復号部55、送信部53への要求制御を行う。
送信部53は、同期再生制御部52からの要求信号を受け取り、要求内容に応じて、配信サーバ20、または、マスタ再生端末40へ要求信号を送信する。この送信部53は、配信サーバ20に対して、ネットワーク(A)30を介して、マルチビュー再生ファイル配信要求、符号化映像データ配信要求信号を送信する。一方、送信部53は、マスタ再生端末40に対して、ネットワーク(B)31を介して、受信開始通知、再生準備完了通知、再生開始実行通知の送信、マスタ再生端末40からの情報受け取り返信をTCP/IPで行う。
また、ナビゲーション符号化映像データの復号化は必ずしも行わない場合もある。ナビゲーション符号化映像データの復号化を行わない場合には、以下で説明するナビゲーション映像、各端末の担当する映像サムネイル映像はないものとする。
なお、1GOPは、一般的に、15フレーム、0.5秒であるが、必ずしもその必要はない。復号部55は、選択領域情報と分割数から各再生端末が再生する再生領域情報を作成し、選択領域情報と再生領域情報から再生領域値を作成する。
さらに、復号部55は、復号化したナビゲーション映像とスレーブ再生端末50(60、70)の再生領域映像を表示部56へ送る。表示部56は、復号部55から復号化したナビゲーション映像とスレーブ再生端末50(60、70)の再生領域映像とを受け取り、再生を行う。
復号部55は、復号部55が復号化したナビゲーション映像から選択領域情報と再生領域値を基に各端末の再生領域映像を切り出し、さらにサムネイル化する。
表示部46は、サムネイル化された各再生端末の再生領域映像を受け取り、再生を行う。
図10は、本実施形態による、再生領域情報と再生領域値を説明するための概念図である。
図11は、マルチ画面における再生担当領域の一例を説明するための概念図である。
本実施形態では、マルチビュー画面において、マスタ再生端末40、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70のそれぞれが表示する画面の領域(以下、マルチ画面再生担当領域という)は、マルチビュー再生ファイルに記載されている分割数に基づいて、予め決められている。
本実施形態において、4等分割されたマルチ画面において右上のマルチ画面再生担当領域を、識別子“1”のスレーブ再生端末50とする。4等分割されたマルチ画面において左下のマルチ画面再生担当領域を、識別子“2”のスレーブ再生端末60とする。4等分割されたマルチ画面において右下のマルチ画面再生担当領域を、識別子“3”のスレーブ再生端末70とする。
ナビゲーション映像において、選択領域情報(30,70,260,100)が示す選択領域S2を、ナビゲーション映像を表示することが設定されている再生端末の画面において、予め決められた位置に表示する。
また、上述の通り、メイン映像の解像度は、2000×4000=800万画素である。このメイン映像において選択領域S1を示す選択領域情報(X、Y、幅、高さ)は、(300,700,2600,1000)である。
なお、本実施形態において、選択領域情報は、メイン映像あるいはナビゲーション映像における座標により選択領域を示すものとして説明するが、本発明はこれに限定されず、メイン映像やナビゲーション映像全体における相対的な座標を示すものであってもよい。例えば、メイン映像における(X、Y、幅、高さ)=(300,700,2600,1000)で表わされる選択領域を、相対座標で表わした相対座標値(0.075,0.35,0.65,0.5)で示すものであってもよい。また、ナビゲーション映像における(X、Y、幅、高さ)=(30,70,260,100)で表わされる選択領域を、相対座標で表わした相対座標値(0.075,0.35,0.65,0.5)で示すものであってもよい。
メイン映像において、選択領域情報(300,700,2600,1000)が示す選択領域S1を4等分割した画像が、それぞれ、第1〜4ディスプレイ再生担当領域R11〜R14に対応するマスタ再生端末40、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70に表示される。
図10に示す通り、本実施形態において、メイン映像およびナビゲーション映像は、それぞれ、10個に分割されており、分割数=10である。また、メイン映像およびナビゲーション映像は、それぞれ、上段に5つと下段に5つの分割映像を配置した配列で分割されている。各分割映像には、他の分割映像とを識別するための映像番号が割り当てられている。例えば、メイン映像およびナビゲーション映像の上段の左側の分割映像に対して“0”、下段の右側の分割映像に対して“9”が、それぞれ割り当てられている。その他の分割映像に対しては、左から右に向かって番号が大きくなるように、昇順に、“1”〜“8”が割り当てられている。
図10に示す例では、選択領域画像S1あるいは選択領域画像S2が、それぞれ、映像番号=“0”,“1”,“2”,“3”,“5”,“6”,“7”,“8”の分割映像の一部の映像を含んでいる。つまり、映像番号=“4”,“9”に対応する領域は、選択領域画像S1および選択領域画像S2のそれぞれの画像を含まない分割映像である。
例えば、マスタ再生端末40は、マスタ再生端末40の再生領域情報に基づき、メイン映像のうち、マスタ再生端末40の再生領域部分に対応する映像番号が“0”,“1”,“5”,“6”の映像の符号化データを復号化し、さらにマスタ再生端末40の再生領域値を基に、映像番号“0”,“1”,“5”,“6”の映像からマスタ再生端末40の再生領域値が示すその部分を切りだしてメイン映像を再生する。
スレーブ再生端末50は、スレーブ再生端末50の再生領域情報に基づき、“1”,“2”,“3”,“6”,“7”,“8”を復号化し、さらにスレーブ再生端末50の再生領域値を基にその部分を切りだしてメイン映像を再生する。
マスタ再生端末40は、サムネイル映像として、ナビゲーション映像から再生領域値を基に各再生端末の再生領域映像切りだして、さらにサムネイル化し、再生端末毎のサムネイル映像として再生する。
図12に示すシーケンスについて、以下説明する。
1.マスタ再生端末40は、全てのスレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70とTCP/IP接続する。マスタ再生端末40は、全てのスレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70に対して、それぞれ固有のスレーブ再生端末識別子を送信する。本実施形態において、マスタ再生端末40は、スレーブ再生端末50にスレーブ再生端末識別子“001”を、スレーブ再生端末60にスレーブ再生端末識別子“002”を、スレーブ再生端末70にスレーブ再生端末識別子“003”を、それぞれ送信する。そして、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、それぞれ、受信したスレーブ再生端末識別子を記憶部に記憶する。
3.マスタ再生端末40は、マルチビュー再生ファイルに記載されているコンテンツURLを配信サーバ20へ送る。マスタ再生端末40は、配信サーバ20から、コンテンツURLに対応する符号化映像データと、再生設定ファイルを受信して、マスタ記憶部47に保存する。ここでは、マスタ再生端末40の符号化映像データの再生開始は、まだ実行しない。なお、マスタ再生端末40は、符号化映像データの受信を開始するが、受信バッファ残量から配信制御を行うことにより、受信バッファが溢れる事態を回避している。配信サーバ20は、符号化映像データをマスタ再生端末40に対してストリーム配信している。
5.このスレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、配信サーバ20に対して、マルチビュー再生ファイルの配信要求を送る。そして、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、配信サーバ20からマルチビュー再生ファイルを受け取る。
8.マスタ再生端末40は、全てのスレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70から受信開始通知を受け取ると、受信部44から符号化映像データを1GOP復号部45に出力する。また、マスタ再生端末40は、マスタ記憶部47から読み出した再生設定ファイルを復号部45に出力する。
9.そして、マスタ再生端末40は、全てのスレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70に対して、再生準備を通知する。
12.マスタ再生端末40は、全てのスレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70から再生準備完了を受け取ると、全てのスレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70に対して再生開始を通知する。
さらに、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、初期選択領域情報、再生領域情報、および再生領域値に基づき、全再生端末(マスタ再生端末40、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70)のサムネイルの再生を開始してもよい。
15.マスタ再生端末40は、全てのスレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70から再生開始実行を受け取ると、復号部45が、再生設定ファイルに記載されている分割数および初期選択領域情報と、再生端末識別子とに基づき、再生領域情報を作成する。そして、マスタ再生端末40は、この初期選択領域情報と再生領域情報に基づき、再生領域値を作成する。マスタ再生端末40は、再生領域値に基づき、マスタ再生端末40に対応する第1ディスプレイ再生担当領域に対応する画像の再生を開始する。また、マスタ再生端末40は、ナビゲーション映像の再生を開始してもよい。
さらに、マスタ再生端末40は、初期選択領域情報、再生領域情報、および再生領域値に基づき、全ての再生端末(マスタ再生端末40、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70)のサムネイルの再生を開始してもよい。
ここで、マスタ再生端末40に対して、ユーザが選択領域の変更を指示する。
16.マスタ再生端末40は、ユーザが指定する変更後の選択領域の位置を示す新選択領域情報と再生領域情報に基づき、選択領域変更後の第1ディスプレイ再生担当領域R11を示す新再生領域値を作成する。
マスタ再生端末40は、新再生領域値に基づき、選択領域変更後の第1ディスプレイ再生担当領域R11に対応する画像の再生を開始する。また、マスタ再生端末40は、ナビゲーション映像の再生を開始してもよい。
さらに、マスタ再生端末40は、新選択領域情報、再生領域情報、および新再生領域値に基づき、全再生端末(マスタ再生端末40、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70)のサムネイルを再生する。
18.スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、マスタ再生端末40から選択領域情報を受け取る。そして、受け取った新選択領域情報と再生領域情報に基づき、新しい再生領域値を作成する。新再生領域値を基にスレーブ再生端末の再生領域を再生する。ナビゲーション映像を再生する。さらに、受け取った選択領域情報と再生領域情報、新再生領域値を基に全再生端末のサムネイルを再生開始する。
20.スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、受け取ったマスタ再生端末の再生時間情報が示す再生時間に、自身が表示するコンテンツ映像の再生時間を合わせる。
21.マスタ再生端末40が再生停止を実行すると、マスタ再生端末40は、全てのスレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70に対して再生停止を通知する。
22.そして、全てのスレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、再生停止を受信する。
23.マスタ再生端末40は、配信サーバ20へ配信停止を送信する。
24.マスタ再生端末40は再生を停止する。
25.スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、配信サーバ20へ配信停止を送信する。
26.スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、再生を停止する。
また、本実施形態に係る映像分割再生システムは、メイン映像に同期してナビゲーション映像を表示するものである。この場合も、各ディスプレイD1〜D4に表示する映像を同期させる場合と同様に、再生時間情報に基づき、指定時間ごとに映像の再生タイミングを合わせる。
なお、図13に示すシーケンスにおいて、マスタ再生端末40のみが、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70に対して再生時間情報を送信することを例に説明したが、本発明はこれに限られない。つまり、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70のいずれかが、再生した符号化映像データに対応する再生時間情報を指定時間ごとにマスタ再生端末40、あるいは他のスレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70へ送信するものであってもよい。
なお、以下では、スレーブ再生端末として、スレーブ再生端末50についてのみ説明する。しかし、本発明は、上述のとおり複数のスレーブ再生端末を備える構成であってもよく、他のスレーブ再生端末60、70もスレーブ再生端末50と同様の動作を行うため、スレーブ再生端末50の後ろに括弧で符号のみを示して、詳細な説明は省略する。
はじめに、図14を参照して、本実施形態に係る映像分割再生方法の一例を説明する。
マスタ再生端末40の同期再生制御部42は、マスタ記憶部47に保存されているスレーブ再生端末識別一覧情報を参照して、スレーブ再生端末50(60、70)とネットワーク(B)31を介して、TCP/IP(Transmission Control Protocol/Internet Protocol)接続を行う。このスレーブ再生端末識別テーブルは、事前に設定してある。
このスレーブ再生端末50(60、70)は、それぞれ、自身に割り当てられているIPアドレスに対応するスレーブ再生端末識別子を受信し、スレーブ記憶部57に保存する(ステップ701)。
同期再生制御部42は、再生要求部41から入力するマルチビュー再生ファイルURLを示す情報を受け取り、受け取ったマルチビュー再生ファイルURLを示す情報をマスタ記憶部47に保存するとともに、このマルチビュー再生ファイルURLを示す情報を送信部43へ出力する(ステップ703)。
そして、送信部43は、マルチビュー再生ファイルURLを示す情報を同期再生制御部42から受け取り、受け取ったマルチビュー再生ファイルURLが示すマルチビュー再生ファイルの配信を要求するマルチビュー再生ファイル配信要求信号を、ネットワーク(A)30を介して、配信サーバ20へ送信する(ステップ704)。
サーバ制御部24は、受信部21からマルチビュー再生ファイル配信要求信号を受け取り、再生データ保存部22のマルチビュー再生ファイルテーブルを参照して、受け取ったマルチビュー再生ファイル配信要求信号が示すマルチビュー再生ファイルURLに対応するマルチビュー再生ファイルを再生データ保存部22から読み出し、送信部23へ出力する(ステップ706)。
送信部23は、サーバ制御部24からマルチビュー再生ファイルを受け取り、受け取ったマルチビュー再生ファイルを、ネットワーク(A)30を介してマスタ再生端末40へ送信する(ステップ707)。
同期再生制御部42は、受信部44からマルチビュー再生ファイルを受け取ると、マルチビュー再生ファイルの中に記載されているコンテンツURLの符号化映像データの配信を要求する符号化映像データ配信要求信号を送信部43へ出力するとともに、受信したマルチビュー再生ファイルをマスタ記憶部45に保存する(ステップ709)。
送信部43は、同期再生制御部42から符号化映像データ配信要求信号を受け取り、受け取った符号化映像データ配信要求信号を、ネットワーク(A)30を介して配信サーバ20へ送信する(ステップ710)。
配信サーバ20の受信部21は、ネットワーク(A)30を介して、マスタ再生端末40から符号化映像データ配信要求信号を受信し、受け取った符号化映像データ配信要求信号をサーバ制御部24へ出力する(ステップ711)。
次に、サーバ制御部24は、受信部21から符号化映像データ配信要求信号を受け取り、再生データ保存部22の符号化映像データテーブルを参照して、符号化映像データ配信要求信号が示すコンテンツURLに対応する符号化映像データの再生設定ファイルを再生データ保存部22から読み出し、送信部23へ出力する。
また、サーバ制御部24は、再生データ保存部22の符号化映像データテーブルを参照して、符号化映像データ配信要求信号が示すコンテンツURLに対応する符号化映像データを再生データ保存部22から読み出し、送信部23へ出力する。この送信部23は、サーバ制御部24から送られた符号化映像データを受け取り、受け取った符号化映像データを、ネットワーク(A)30を介してマスタ再生端末40へ送信する(ステップ713)。
なお、マスタ再生端末40は、この段階ではまだ、符号化映像データの再生処理を開始しない。受信部44は、バッファ残量から配信制御を行っているため、受信バッファが溢れることはない。
この送信部43は、同期再生制御部42からステップ702と同じマルチビュー再生ファイルURLを示す情報を受け取り、受け取ったマルチビュー再生ファイルURLを示す情報を、ネットワーク(B)31を介して、全てのスレーブ再生端末50(60、70)へ送信する(ステップ716)。
このスレーブ再生端末50(60、70)の同期再生制御部52は、受信部54からマルチビュー再生ファイルURLを示す情報を受け取り、このマルチビュー再生ファイルURLを示す情報をスレーブ記憶部57に保存するとともに、このマルチビュー再生ファイルURLを示す情報を送信部53へ出力する(ステップ718)。
スレーブ再生端末50(60、70)の送信部53は、同期再生制御部52からマルチビュー再生ファイルURLを示す情報を受け取り、このマルチビュー再生ファイルURLの示すマルチビュー再生ファイルの配信を要求するマルチビュー再生ファイル配信要求信号を、ネットワーク(A)30を介して配信サーバ20へ送る(ステップ719)。
配信サーバ20の受信部21は、ネットワーク(A)30を介して、スレーブ再生端末50(60、70)からマルチビュー再生ファイル配信要求信号を受信し、サーバ制御部24に出力する(ステップ720)。
サーバ制御部24は、受信部21からマルチビュー再生ファイル配信要求信号を受け取り、再生データ保存部22のマルチビュー再生ファイルテーブルを参照して、受け取ったマルチビュー再生ファイル配信要求信号が示すマルチビュー再生ファイルURLと対応するマルチビュー再生ファイルを再生データ保存部22から要求された数だけ読み出し、送信部23へ出力する(ステップ721)。
送信部23は、サーバ制御部24からマルチビュー再生ファイルを要求された数だけ受け取り、受け取ったマルチビュー再生ファイルを、ネットワーク(A)30を介して、スレーブ再生端末50(60、70)へ送信する(ステップ722)。
次いで、スレーブ再生端末50(60、70)の同期再生制御部52は、受信部54からマルチビュー再生ファイルを受け取ると、マルチビュー再生ファイルの中に記載されているコンテンツURLの符号化映像データの配信を要求する符号化映像データ配信要求信号を、送信部53へ出力するとともに、受信したマルチビュー再生ファイルをスレーブ記憶部57に保存する(ステップ724)。
送信部53は、同期再生制御部52から符号化映像データ配信要求信号を受け取り、受け取った符号化映像データ配信要求信号を、ネットワーク(A)30を介して、配信サーバ20へ送信する(ステップ725)。
サーバ制御部24は、受信部21から符号化映像データ配信要求信号を受け取り、再生データ保存部22の符号化映像データテーブルを参照して、符号化映像データ配信要求信号が示すコンテンツURLに対応する符号化映像データの再生設定ファイルを再生データ保存部22から要求された数だけ読み出し、送信部23へ出力する。この送信部23は、サーバ制御部24から出力された再生設定ファイルを要求された数だけ受け取り、この受け取った再生設定ファイルを、ネットワーク(A)30を介してスレーブ再生端末50(60、70)へ送信する(ステップ727)。
スレーブ再生端末50(60、70)の受信部54は、ネットワーク(A)30を介して、配信サーバ20の送信部23から送信された再生設定ファイルと符号化映像データを受信すると、再生設定ファイルを同期再生制御部52に出力する。この同期再生制御部52は、再生設定ファイルをスレーブ記憶部57に保存する。また、受信部54は、再生設定ファイルと符号化映像データを受信すると、符号化映像データを受信したことを示す符号化映像データ受信開始通知信号を生成し、同期再生制御部52に出力する(ステップ729)。
なお、スレーブ再生端末50(60、70)は、この段階では、符号化映像データの再生処理を開始しない。スレーブ再生端末50(60、70)において、受信部54は、バッファ残量から配信制御を行っているため、受信バッファが溢れることはない。
送信部53は、同期再生制御部52から符号化映像データ受信開始通知信号を受け取り、受け取った符号化映像データ受信開始通知信号を、ネットワーク(B)31を介して、マスタ再生端末40へ送信する(ステップ731)。
同期再生制御部42は、受信部44からスレーブ再生端末50(60、70)の符号化映像データ受信開始通知信号を受け取る。この同期再生制御部42は、全てのスレーブ再生端末50(60、70)から符号化映像データ受信開始通知信号を受信したか否かを判定する。全てのスレーブ再生端末50(60、70)から符号化映像データ受信開始通知信号を受信した場合、同期再生制御部42は、符号化映像データを1GOPのみ復号部45へ送信する信号を受信部44へ送る。受信部44は、この符号化映像データ1GOPを復号部45へ出力する。
このとき、復号部45は、入力した符号化映像データ1GOPをまだ復号せずに、一時的に自身の記憶部に保存しておく。
また、同期再生制御部42は、全てのスレーブ再生端末50(60、70)から符号化映像データ受信開始通知信号を受信した場合、マスタ記憶部47から再生設定ファイルを読み出し、復号部45へこの再生設定ファイルを出力するとともに、再生準備通知信号を送信部43へ出力する(ステップ733)。
マスタ再生端末40の送信部43は、同期再生制御部42から各スレーブ再生端末50(60、70)に対して送信する再生準備通知信号を受け取り、各スレーブ再生端末50(60、70)に対して、ネットワーク(B)31を介して再生準備通知信号を送信する(ステップ734)。
同期再生制御部52は、再生準備通知信号を受け取ると、符号化映像データを1GOPのみ復号部55へ送信する信号を受信部54へ送る。受信部54は、この符号化映像データ1GOPを復号部55へ出力する。このとき、復号部55は、入力した符号化映像データ1GOPをまだ復号せずに、一時的に自身の記憶部に保存しておく。
同期再生制御部52は、スレーブ記憶部57から再生設定ファイルを読み出し、復号部55へ出力するとともに、スレーブ再生端末50(60、70)における符号化映像データの再生の準備が完了したことを示す再生準備完了通知信号を、送信部53へ出力する。(ステップ736)。
この送信部53は、同期再生制御部52から再生準備完了通知信号を受け取り、マスタ再生端末40へ、ネットワーク(B)31を介して再生準備完了通知信号を送信する(ステップ737)。
マスタ再生端末40の受信部44は、スレーブ再生端末50(60、70)から再生準備完了通知信号を、ネットワーク(B)31を介して受信すると、受信した再生準備完了通知信号を、同期再生制御部42へ出力する(ステップ738)。この同期再生制御部42は、受信部44から再生準備完了通知信号を受け取り、全てのスレーブ再生端末50、60、70から再生準備完了通知信号を受信したか否かを判定する。全てのスレーブ再生端末50、60、70から再生準備完了通知信号を受信した場合、同期再生制御部42は、再生開始通知信号を全スレーブ再生端末50、60、70へ送る指示を、送信部43へ出力する(ステップ739)。
マスタ再生端末40の送信部43は、同期再生制御部42から再生開始通知信号を受け取ると、ネットワーク(B)31を介して、全てのスレーブ再生端末50、60、70へ再生開始通知信号を送信する(ステップ740)。
そして、同期再生制御部52は、受信部54から再生開始通知信号を受け取ると、復号部55に、一時保存されている符号化映像データの復号化を開始することを示す復号化開始指示信号を出力するとともに、受信部54へ符号化データの復号部55への送信開始を示す送信開始信号を送る。受信部54は、送信開始信号を受け取ると、復号部55へ符号化データの送信を開始する。
さらに、同期再生制御部52は、スレーブ再生端末50(60、70)の符号化映像データの復号化を開始したことを示す再生開始実行通知信号を作成し、送信部53に出力する(ステップ742)。
例えば、スレーブ再生端末50のスレーブ記憶部57には、スレーブ再生端末識別子“2”が保存されている。また、スレーブ再生端末50のスレーブ記憶部57には、初期選択領域情報(X、Y、幅、高さ)=(300,700,2600,1000)、あるいは相対座標で表わした相対座標値(0.075,0.35,0.65,0.5)と、マルチビュー再生ファイルの分割数{縦分割数=2、横分割数=2}が記載されている。よって、同期再生制御部52は、初期選択領域情報(300,700,2600,1000)あるいは相対座標で表わした相対座標値(0.075,0.35,0.65,0.5)によって示される選択領域S1を4分割した場合、スレーブ再生端末識別子“1”に対応する領域が選択領域S1において右上側の領域であることを示す再生領域情報を作成する。なお、初期選択領域情報、分割数、およびスレーブ再生端末識別子の組み合わせに応じた再生領域は、予め決められており、これらの関係性を示す情報はプログラムとして事前に復号部55に搭載されている。
例えば、スレーブ再生端末50の同期再生制御部52は、スレーブ再生端末50に対応する第2ディスプレイ再生担当領域R12を示す再生領域値=(1600,700,1300,500)を算出する。
なお、スレーブ再生端末60も同様にして、スレーブ再生端末60に対応する第3ディスプレイ再生担当領域R13を示す再生領域値=(300,1200,1300,500)を算出する。また、スレーブ再生端末70も同様にして、スレーブ再生端末70に対応する第4ディスプレイ再生担当領域R14を示す再生領域値=(1600,1200,1300,500)を算出する(ステップ743)。
初期選択領域情報と再生領域値とに基づいて復号化したメイン映像は、図10に示すスレーブ再生領域より大きいサイズとなる。そのため、スレーブ再生端末50(60、70)の再生領域値に基づいて、スレーブ50(60、70)再生領域映像を切り出し、このスレーブ50(60、70)再生領域映像とナビゲーション映像とを、表示部56へ送る。さらに、復号部55は、復号化したナビゲーション映像から、選択領域情報、再生領域情報、再生領域値に基づき、再生端末毎の再生領域を切り出し、さらにサムネイル化し、マスタ再生端末40、スレーブ再生端末50(60、70)の該サムネイル映像を表示部56に送る(ステップ744)。
一方、送信部53は、ステップ742において同期再生制御部52から受け取った再生開始実行通知信号を、ネットワーク(B)31を介してマスタ再生端末40へ送る(ステップ745)。
次に、マスタ再生端末40において、受信部44は、スレーブ再生端末50(60、70)からネットワーク(B)31を介して再生開始実行通知信号を受け取り、受け取った再生開始実行通知を、同期再生制御部42へ送る(ステップ746)。
例えば、マスタ再生端末40のマスタ記憶部47には、マスタ再生端末識別子“0”が保存されている。また、マスタ記憶部47には、初期選択領域情報(X、Y、幅、高さ)=(300,700,2600,1000)、あるいは相対座標で表わした相対座標値(0.075,0.35,0.65,0.5)と、マルチビュー再生ファイルの分割数{縦分割数=2、横分割数=2}が記載されている。よって、同期再生制御部42は、初期選択領域情報(300,700,2600,1000)、あるいは相対座標で表わした相対座標値(0.075,0.35,0.65,0.5)によって示される選択領域S1を4分割した場合、マスタ再生端末識別子“0”に対応する領域が選択領域S1において左上側の領域であることを示す再生領域情報を作成する。なお、初期選択領域情報、分割数、およびスレーブ再生端末識別子の組み合わせに応じた再生領域は、予め決められており、これらの関係性を示す情報はプログラムとして事前に復号部45に搭載されている。
さらに、復号部45は、初期選択領域情報(300,700,2600,1000)、あるいは相対座標で表わした相対座標値(0.075,0.35,0.65,0.5)と、マスタ再生端末40の再生領域情報から、マスタ再生端末40に対応する第1ディスプレイ再生担当領域R11を示す再生領域値を算出する。
例えば、マスタ再生端末40の同期再生制御部42は、マスタ再生端末40に対応する第1ディスプレイ再生担当領域R11を示す再生領域値(300,700,1300,500)を算出する(ステップ748)。
なお、再生要求部41は、ユーザ操作により選択領域を変更する操作が入力された場合に、選択領域情報を同期再生制御部42へ送る。例えば、この選択領域を変更する操作として、キーボードの「→」キーをユーザが1回押下することにより、再生要求部41は、画面内の画像を矢印の方向にNピクセル動かすという操作を受け付ける。つまり、再生要求部41は、選択領域情報として、現在の選択領域情報の各値を矢印の方向にNピクセル動かした場合の選択領域情報を生成し、同期再生制御部42に送る。
また、ユーザによって「→」キーが押下され続けた場合、再生要求部41は、連続して選択領域を変更する操作を入力する。
同期再生制御部42は、選択領域情報を送信部43へ送る。また、同期再生制御部42は、選択領域情報を復号部45に送る。送信部43は、同期再生制御部42から選択領域情報を受け取ったタイミングで、スレーブ再生端末50(60、70)にそれぞれ受け取った選択領域情報を送信する。
同期再生制御部42は、内蔵するタイマーで選択領域情報が入力する時間間隔を計時しながら、再生要求部41からの次の選択領域情報の入力があるか否かを判定する。この同期再生制御部42は、再生要求部41から現在指定されている選択領域情報を入力した時点から第1指定時間以内に次の選択領域情報を入力するか否かを判定する。なお、本実施形態において、第1指定時間とは、例えば、1フレームの長さに相当する時間であって、33msecである。
再生要求部41から現在指定されている選択領域情報を入力した時点から第1指定時間未満に次の選択領域情報を入力した場合、同期再生制御部42は、再生要求部41から現在指定されている選択領域情報を入力した時点から第1指定時間後に、次の選択領域情報を送信部43と復号部45に出力する。
例えば、ユーザが「→」キーを押下し続けた場合、選択領域を変更する操作が連続して再生要求部41に入力される。この場合、再生要求部41は、1フレーム(33msec)未満の間隔で、変更後の選択領域情報を連続して同期再生制御部42に出力する。この同期再生制御部42は、再生が開始されるとタイマーを開始し、受け取った順に連続して再生要求部41から受け取った選択領域情報を第1指定時間(33msec)毎に送信部43と復号部45へ送る。つまり、同期再生制御部42は、33msecの間隔で、選択領域情報を送信部43と復号部45に出力する。よって、送信部43は、33msecの間隔で、選択領域情報をスレーブ再生端末50(60、70)に送信する。
再生要求部41から現在指定されている選択領域情報を入力した時点から第2指定時間未満に次の選択領域情報を入力した場合、同期再生制御部42は、再生要求部41から選択領域情報を入力したタイミングでその都度、選択領域情報を送信部43および復号部45へ出力する。つまり、ユーザ操作により選択領域を変更する操作が、33msec以上500msec未満の間隔で入力された場合、送信部43は、同期再生制御部42から選択領域情報を入力したタイミングでその都度、選択領域情報をスレーブ再生端末50(60、70)に送信する。
つまり、ユーザ操作により選択領域を変更する操作が入力されない場合、再生要求部41は、選択領域情報を同期再生制御部42へ送信しない。そのため、同期再生制御部42は、選択領域情報を受け取らない。同期再生制御部42は、500msec以上、選択領域情報を再生要求41から受け取らない場合、現在指定されている選択領域情報を、第2指定時間(例えば、500msec)毎に、送信部43と復号部45へ送る。つまり、第2指定時間以上、ユーザ操作により選択領域を変更する操作が入力されない場合、送信部43は、再生要求部41から現在指定されている選択領域情報を入力した時点から第2指定時間後に、現在指定されている選択領域情報をスレーブ再生端末50(60、70)に送信する。
このように、ユーザ操作により、選択領域を変更する操作が入力されたタイミングに応じて、同期再生制御部42が選択領域情報を送信部43と復号部45に送信する間隔が異なる。ユーザ操作による入力がない場合の方が、選択領域を変更した場合よりも、選択領域情報を送信する間隔を長く取る。
マスタ再生端末40において、同期再生制御部42は、指定時間毎に、変更後選択領域情報を復号部45から受け取り、受け取った変更後選択領域情報を送信部43へ出力する(ステップ752)。この送信部43は、受け取った変更後選択領域情報をネットワーク(B)31を介して、全てのスレーブ再生端末50、60、70に送信する(ステップ753)。
この同期再生制御部52は、変更後選択領域情報を受け取ると、復号部55へ変更後選択領域情報を出力する(ステップ755)。
なお、復号部55による変更後選択領域情報への切り替えは、今復号化しているフレームの次のフレームからとなる。復号部55は、受け取った変更後選択領域情報と、スレーブ再生端末50(60、70)のそれぞれの自端末の再生領域情報とに基づき、メイン符号化映像データの復号化と、ナビゲーション符号化映像データとの復号化を、1GOP単位で並列して開始する。変更後選択領域情報と再生領域情報とに基づいて復号化したメイン映像は、図10に示すスレーブ再生領域より大きいサイズとなる。そのため、スレーブ再生端末50(60、70)の新しい再生領域値に基づいて、それぞれのスレーブ再生領域映像を切り出し、このスレーブ再生領域映像とナビゲーション映像とを、表示部56へ送る。さらに、復号化したナビゲーション映像から、選択領域情報と再生領域情報、新再生領域値に元づいて、再生端末毎の再生領域を切り出し、さらにサムネイル化し、マスタ再生端末40、スレーブ再生端末50(60、70)の該サムネイル映像を表示部56に送る(ステップ756)。
同期再生制御部42は、復号部45から受け取った再生時間情報を送信部43へ出力する(ステップ758)。この送信部43は、同期再生制御部42から受け取った再生時間情報を、ネットワーク(B)31を介して、スレーブ再生端末50(60、70)に送信する(ステップ759)。
スレーブ再生端末50(60、70)において、受信部54は、マスタ再生端末40から再生時間情報をネットワーク(B)31を介して受け取り、受け取った再生時間情報を同期再生制御部52へ出力する(ステップ760)。なお、スレーブ再生端末50(60、70)は、マスタ再生端末40からの再生時間に必ず合わせる必要はなく、例えば、他のスレーブ再生端末50(60、70)から受け取った再生時間情報を同期再生制御部52へ出力するものであってもよい。なお、マスタ再生端末40も、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70のいずれから受け取った再生時刻情報を同期再生制御部42へ出力してもよい。
この同期再生制御部52は、受け取った再生時間情報を復号部55へ出力する(ステップ761)。
復号部55は、同期再生制御部52から受け取った再生時間情報が示す再生時間とスレーブ再生端末50(60、70)が比較するその時に表示部56に表示されるコンテンツ映像の再生時間とを比較し、同じならばそのまま再生する。スレーブ再生端末50(60、70)が進んでいた場合は、進んでいた時間分を停止する。スレーブ再生端末50(60、70)が遅れていた場合、遅れていた時間分を早送りして再生する(ステップ762)。
同期再生制御部42は、再生停止を送信部43へ送る。また、復号部45へ再生停止を送る。受信部44へ符号化映像データの送信停止を送る(ステップ764)。
送信部43は、同期再生制御部42から再生停止を受け取ると、ネットワーク(B)31を介して、各スレーブ再生端末50、60、70へ再生停止を送信する。また、送信部43は、配信サーバ20へ配信停止をネットワーク(A)30を介して送る(ステップ765)。
復号部44は、復号化を停止し、表示部46へ再生停止を送る。表示部46は、再生を停止する(ステップ767)。
スレーブ再生端末50(60、70)において、受信部54は、マスタ再生端末40から再生停止をネットワーク(B)31を介して受け取り、受け取った再生停止を同期再生制御部52へ出力する(ステップ768)。
同期再生制御部52は、復号部55へ再生停止を送る。受信部54へ符号化映像データ送信停止を送る。送信部53へ配信停止を送る(ステップ769)。
送信部53は、同期再生制御部52から配信停止を受け取ると、配信サーバ20へ配信停止をネットワーク(A)30を介して送信する(ステップ770)。
受信部54は、同期再生制御部52から符号化映像データ送信停止を受けとると、復号部55への符号化で映像データ送信を停止する(ステップ771)。
復号部55は、同期再生制御部52から再生停止を受け取ると、復号化を停止し、表示部56へ再生停止を送る。表示部56は、再生を停止する(ステップ772)。
また、上述の通り、高解像度コンテンツを配信する配信サーバ20と、マスタ再生端末40、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70とは、広範囲に接続される広域ネットワークAを介して接続されている。また、スレーブ再生端末50、スレーブ再生端末60、およびスレーブ再生端末70は、特定の建物内、敷地内の限られた範囲内の限定範囲ネットワークBを介して接続される。
よって、本実施形態に係る映像分割再生システムは、コンテンツ映像の分割処理を、限定範囲ネットワークBの範囲で行うことができる。
また、本発明に係る再生端末は、上記構成に限られず、図23に示すようなメイン再生端末80やサブ再生端末90を備えるシステムであってもよい。本実施形態は、選択映像を分割せずに、メイン再生端末80とサブ再生端末90において、同一の選択映像を表示させる点が、第1実施形態と異なる。
このメイン再生端末80は、例えば、サブ再生端末90の動作を制御するリモコンである。サブ再生端末90は、例えば、テレビ等である。よって、サブ再生端末90の表示部96の方が、メイン再生端末80の表示部86の画面よりも大きくかつ解像度も高い。
ここで、メイン再生端末80は、例えば、選択領域情報を相対座標値でサブ再生端末90へ送る。メイン再生端末80は、相対座標値の選択領域情報に基づき、復号化、再生をする。なお、メイン再生端末80は、マスタ再生端末40と異なり、再生領域情報を生成しない。
また、サブ再生端末90は、スレーブ再生端末50(60、70)と同様の構成である同期再生制御部92と、送信部93と、受信部94と、復号部95と、表示部96と、記憶部97とを含む。なお、各構成については、スレーブ再生端末50(60、70)のスレーブ再生端末50は、同期再生制御部52と、送信部53と、受信部54と、復号部55と、表示部56と、スレーブ記憶部57と同様であるため、詳細な説明は省略する。
ここで、サブ再生端末90は、例えば、選択領域情報を相対座標値でメイン再生端末80から受信すると、現在復元しているフレームの次のフレームから受け取った相対座標値の選択領域情報に基づき、復号化、再生をする。なお、サブ再生端末90は、スレーブ再生端末50(60、70)と異なり、再生領域情報を生成しない。
このように、メインディスプレイとサブディスプレイの解像度が異なる場合であっても、選択された同じ領域(映像)を示す選択映像を、メイン再生端末80のメインディスプレイには低解像度に、サブ再生端末90のサブディスプレイには高解像度に、それぞれ表示することができる。
図25に示すシーケンスについて、以下説明する。
1.メイン再生端末80は、サブ再生端末90とTCP/IP接続する。メイン再生端末80は、ユーザから入力されたコンテンツURLを配信サーバ20へ送る。メイン再生端末80は、配信サーバ20から、コンテンツURLに対応する符号化映像データと再生設定ファイルを受信して、再生設定ファイルを記憶部87に保存する。ここでは、メイン再生端末80の符号化映像データの再生開始は、まだ実行しない。なお、メイン再生端末80は、符号化映像データの受信を開始するが、受信バッファ残量から配信制御を行うことにより、受信バッファが溢れる事態を回避している。配信サーバ20は、符号化映像データをメイン再生端末80に対してストリーム配信している。
3.サブ再生端末90は、コンテンツURLを配信サーバ20へ送る。サブ再生端末90は、配信サーバ20から、コンテンツURLに対応する符号化映像データと再生設定ファイルを受信して、再生設定ファイルを記憶部97に保存する。ここでは、サブ再生端末90の符号化映像データの再生開始は、まだ実行しない。なお、サブ再生端末90は、符号化映像データの受信を開始するが、受信バッファ残量から配信制御を行うことにより、受信バッファが溢れる事態を回避している。配信サーバ20は、符号化映像データをサブ再生端末90に対してストリーム配信している。
5.メイン再生端末80は、サブ再生端末90から受信開始通知を受け取ると、受信部84から符号化映像データを1GOP復号部85に出力する。また、メイン再生端末80は、記憶部87から読み出した再生設定ファイルを復号部85に出力する。
6.そして、メイン再生端末80は、サブ再生端末90に対して、再生準備を通知する。
8.サブ再生端末90は、メイン再生端末80へ再生準備完了を通知する。
9.メイン再生端末80は、サブ再生端末90から再生準備完了を受け取ると、サブ再生端末90に対して再生開始を通知する。
12.メイン再生端末80は、サブ再生端末90から再生開始実行を受け取ると、復号部85が、再生設定ファイルに記載されている初期選択領域情報に基づき、対応するメイン映像の復号化、再生を開始する。また、メイン再生端末80は、ナビゲーション映像の再生を開始してもよい。
ここで、メイン再生端末80に対して、ユーザが選択領域の変更を指示する。
13.メイン再生端末80は、ユーザが指定する変更後の選択領域の位置を示す新選択領域情報に基づき、対応するメイン映像の復号化、再生を行う。また、メイン再生端末80は、ナビゲーション映像を再生してもよい。
15.サブ再生端末90は、メイン再生端末80から新選択領域情報を受け取る。そして、サブ再生端末90は、受け取った新選択領域情報に基づき、メイン映像の復号化、再生を行う。サブ再生端末90は、ナビゲーション映像を再生してもよい。
17.サブ再生端末90は、受け取ったメイン再生端末80の再生時間情報が示す再生時間に、自身が表示するコンテンツ映像の再生時間を合わせる。なお、再生時間問い合わせは、サブ再生端末90からメイン再生端末80へ再生時間情報を送信して、メイン再生端末80が、サブ再生端末90の再生時間に合わせてもよい。
18.メイン再生端末80が再生停止を実行すると、メイン再生端末80は、サブ再生端末90に対して再生停止を通知する。
19.そして、サブ再生端末90は、再生停止を受信する。
20.メイン再生端末80は、配信サーバ20へ配信停止を送信する。
21.メイン再生端末80は再生を停止する。
22.サブ再生端末90は、配信サーバ20へ配信停止を送信する。
23.サブ再生端末90は、再生を停止する。
マスタ再生端末は、全てのスレーブ再生端末から再生開始実行通知を受け取ると、分割数、初期注視領域情報、スレーブ再生端末識別子を基に再生領域情報と再生領域値を作成し、初期選択領域情報と再生領域情報に基づいてメイン符号化映像データの担当するマスタ領域の復号化を開始し、さらに再生領域値を基づいて担当するマスタ分割映像を切り出し、メイン映像の担当するマスタ分割映像を再生開始する。
以上のことにより、マスタ再生端末と全スレーブ再生端末間で分割メイン映像を同期して再生することができる。
以上のことにより、マスタ再生端末と全スレーブ再生端末間で分割メイン映像を同期して再生することができる。
以上の事によりマスタ再生端末と全スレーブ再生端末間で分割メイン映像を同期して再生することができる。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
Claims (7)
- それぞれネットワークを介して通信可能に接続されている配信サーバと、マスタ再生端末と、少なくとも1つのスレーブ再生端末とを備え、前記マスタ再生端末のディスプレイの画面と前記スレーブ再生端末のディスプレイの画面から構成されるマルチ画面に映像を表示する映像分割再生システムにおける映像分割再生方法において、
前記配信サーバが、
前記マルチ画面に表示するコンテンツ映像の符号化映像データと、前記マルチ画面を構成する前記マスタ再生端末と前記スレーブ再生端末の数である分割数とを、前記マスタ再生端末および前記スレーブ再生端末に送信するステップと、
前記マスタ再生端末が、
前記マルチ画面における前記スレーブ再生端末のディスプレイの画面の位置を前記スレーブ再生端末のそれぞれに対して割り当てられた固有の情報で表わすスレーブ再生端末識別子を、それぞれ対応する前記スレーブ再生端末に送信するステップと、
前記スレーブ再生端末が、
前記コンテンツ映像における一部の領域である選択領域を示す選択領域情報、前記スレーブ再生端末識別子および前記分割数に基づき、前記マルチ画面において当該スレーブ再生端末が表示を担当する領域を示すスレーブ再生領域情報を生成し、当該スレーブ再生領域情報および前記選択領域情報に基づき、前記符号化映像データのコンテンツ映像における選択領域のうち、当該スレーブ再生端末が表示を担当する領域を示すスレーブ再生領域値を算出するステップと、
前記マスタ再生端末が、
前記マルチ画面における前記マスタ再生端末のディスプレイの位置を示すマスタ再生端末識別子、前記選択領域情報および前記分割数に基づき、前記マルチ画面において当該マスタ再生端末が表示を担当する領域を示すマスタ再生領域情報を生成し、当該マスタ再生領域情報および前記選択領域情報に基づき、前記符号化映像データのコンテンツ映像における選択領域のうち、当該マスタ再生端末が表示を担当する領域を示すマスタ再生領域値を算出するステップと、
前記マスタ再生端末が、前記符号化映像データに基づき、前記マスタ再生領域値が示す領域のコンテンツ映像の一部を自身のディスプレイに表示するとともに、前記スレーブ再生端末が、前記マスタ再生端末の表示に同期して、前記符号化映像データに基づき、前記スレーブ再生領域値が示す領域のコンテンツ映像の一部を自身のディスプレイに表示するステップと、
を有することを特徴とする映像分割再生方法。 - 前記マスタ再生端末は、
前記マルチ画面に表示している前記コンテンツ映像の選択領域を示す第1選択領域情報を異なる第2選択領域情報に変更することを示す情報を入力すると、当該第2選択領域情報を前記スレーブ再生端末に送信するとともに、当該第2選択領域情報、前記マスタ再生端末識別子および前記分割数に基づき前記マスタ再生領域情報を生成し、当該マスタ再生領域情報および前記第2選択領域情報に基づき前記マスタ再生領域値を算出するステップと、
前記スレーブ再生端末が、
前記マスタ再生端末から前記第2選択領域情報を受信すると、当該第2選択領域情報、前記スレーブ再生端末識別子および前記分割数に基づき前記スレーブ再生領域情報を生成し、当該スレーブ再生領域情報および前記第2選択領域情報に基づき前記スレーブ再生領域値を算出するステップと、
を有することを特徴とする請求項1に記載の映像分割再生方法。 - 前記符号化映像データには、前記コンテンツ映像を再生する順番を映像の再生時間によって表わす再生時間情報が含まれており、
前記マスタ再生端末あるいは前記スレーブ再生端末は、
前記符号化映像データに基づき前記コンテンツ映像の一部を表示した場合、当該表示したコンテンツ映像の符号化映像データに対応する前記再生時間情報を送信するとともに、前記マスタ再生端末あるいは他の前記スレーブ再生端末から前記再生時間情報を受信した場合、前記受信した再生時間情報が示すタイミングに合わせるようにして各自の前記ディスプレイに前記コンテンツ映像を表示することを特徴とする請求項1あるいは2に記載の映像分割再生方法。 - 前記マスタ再生端末は、
前記ディスプレイに表示している前記コンテンツ映像の選択領域を示す第1選択領域情報を異なる第2選択領域情報に変更することを示す情報が入力されたか否かを判定し、前記第1選択領域情報を入力した時点から第1指定時間経過前に前記第2選択領域情報を入力した場合、前記第1選択領域情報を送信した時点から前記第1指定時間経過後に前記第2選択領域情報を前記スレーブ再生端末に送信し、
前記ディスプレイに表示している前記コンテンツ映像の選択領域を示す第1選択領域情報を異なる第2選択領域情報に変更することを示す情報が入力されたか否かを判定し、前記第1選択領域情報を入力した時点から前記第1指定時間よりも長い第2指定時間以上経過した場合、前記第1選択領域情報を送信した時点から前記第2指定時間経過後に前記第1選択領域情報を前記スレーブ再生端末に送信することを特徴とする請求項1から3のうちいずれか一項に記載の映像分割再生方法。 - それぞれネットワークを介して通信可能に接続されている配信サーバ、メインディスプレイを備えるメイン再生端末、および、前記メインディスプレイと解像度が異なるサブディスプレイを備えるサブ再生端末、を備える映像再生システムにおける映像再生方法において、
前記配信サーバが、
コンテンツ映像の符号化映像データを前記メイン再生端末および前記サブ再生端末に送信するステップと、
前記メイン再生端末が、
前記コンテンツ映像における一部の領域である選択領域を示す選択領域情報の入力を受け付けるステップと、
前記メイン再生端末が、
前記選択領域情報を前記サブ再生端末に送信するステップと、
前記メイン再生端末が、
前記符号化映像データに基づき、前記選択領域情報が示す領域のコンテンツ映像の一部を前記メインディスプレイに表示するとともに、
前記サブ再生端末が、
前記メイン再生端末の表示に同期して、前記符号化映像データに基づき、前記選択領域情報が示す領域のコンテンツ映像の一部を前記サブディスプレイに表示するステップと、
を有することを特徴とする映像再生方法。 - それぞれネットワークを介して通信可能に接続されている配信サーバと、マスタ再生端末と、少なくとも1つのスレーブ再生端末とを備え、前記マスタ再生端末のディスプレイの画面と前記スレーブ再生端末のディスプレイの画面から構成されるマルチ画面に映像を表示する映像分割再生システムにおいて、
前記配信サーバは、
前記マルチ画面に表示するコンテンツ映像の符号化映像データと、前記マルチ画面を構成する前記マスタ再生端末と前記スレーブ再生端末の数である分割数とを、前記マスタ再生端末および前記スレーブ再生端末に送信する送信部を備え、
前記マスタ再生端末は、
前記マルチ画面における前記スレーブ再生端末のディスプレイの画面の位置を前記スレーブ再生端末のそれぞれに対して割り当てられた固有の情報で表わすスレーブ再生端末識別子を、それぞれ対応する前記スレーブ再生端末に送信する送信部と、
前記マルチ画面における前記マスタ再生端末のディスプレイの位置を示すマスタ再生端末識別子、前記コンテンツ映像における一部の領域である選択領域を示す選択領域情報および前記分割数に基づき、前記マルチ画面において当該マスタ再生端末が表示を担当する領域を示すマスタ再生領域情報を生成するとともに、当該マスタ再生領域情報および前記選択領域情報に基づき、前記符号化映像データのコンテンツ映像における選択領域のうち、当該マスタ再生端末が表示を担当する領域を示すマスタ再生領域値を算出し、前記符号化映像データに基づき、前記マスタ再生領域値が示す領域のコンテンツ映像の一部を自身のディスプレイに表示させるマスタ復号部と、を備え、
前記スレーブ再生端末は、
前記選択領域情報、前記スレーブ再生端末識別子および前記分割数に基づき、前記マルチ画面において当該スレーブ再生端末が表示を担当する領域を示すスレーブ再生領域情報を生成するとともに、当該スレーブ再生領域情報および前記選択領域情報に基づき、前記符号化映像データのコンテンツ映像における選択領域のうち、当該スレーブ再生端末が表示を担当する領域を示すスレーブ再生領域値を算出し、前記マスタ再生端末の表示に同期して、前記符号化映像データに基づき、前記スレーブ再生領域値が示す領域のコンテンツ映像の一部を自身のディスプレイに表示させるスレーブ復号部と、
を備えることを特徴とする映像分割再生システム。 - それぞれネットワークを介して通信可能に接続されている複数の再生端末を備え、前記再生端末のディスプレイの画面から構成されるマルチ画面に映像を表示する映像分割再生システムに用いられるコンピュータに、
前記マルチ画面に表示するコンテンツ映像の符号化映像データと、前記コンテンツ映像における一部の領域である選択領域を示す選択領域情報と、前記マルチ画面を構成する前記再生端末の数である分割数と、前記マルチ画面における自再生端末のディスプレイの位置を自再生端末のそれぞれに対して割り当てられた固有の情報で表わす再生端末識別子を受信するステップ、
前記選択領域情報、前記再生端末識別子および前記分割数に基づき、前記マルチ画面において自再生端末が表示を担当する領域を示す再生領域情報を生成し、当該再生領域情報および前記選択領域情報に基づき、前記符号化映像データのコンテンツ映像における選択領域のうち、自再生端末が表示を担当する領域を示す再生領域値を算出するステップ、
前記符号化映像データに基づき、前記再生領域値が示す領域のコンテンツ映像の一部を、他の再生端末の表示に同期して、自身のディスプレイに表示するステップ、
を実行させるための映像分割再生プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011027089A JP5461454B2 (ja) | 2011-02-10 | 2011-02-10 | 映像分割再生方法、映像再生方法、映像分割再生システム、及び映像分割再生プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011027089A JP5461454B2 (ja) | 2011-02-10 | 2011-02-10 | 映像分割再生方法、映像再生方法、映像分割再生システム、及び映像分割再生プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012169739A JP2012169739A (ja) | 2012-09-06 |
JP5461454B2 true JP5461454B2 (ja) | 2014-04-02 |
Family
ID=46973487
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011027089A Active JP5461454B2 (ja) | 2011-02-10 | 2011-02-10 | 映像分割再生方法、映像再生方法、映像分割再生システム、及び映像分割再生プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5461454B2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6143473B2 (ja) * | 2013-01-23 | 2017-06-07 | キヤノン株式会社 | 画像出力装置、システムおよびそれらの制御方法、プログラム、並びに記憶媒体 |
JP6241103B2 (ja) * | 2013-07-19 | 2017-12-06 | 株式会社リコー | 集合出力システム、端末装置および出力プログラム |
JP2016045445A (ja) * | 2014-08-26 | 2016-04-04 | 三菱電機株式会社 | マルチ画面表示装置 |
JP2016045452A (ja) * | 2014-08-26 | 2016-04-04 | 三菱電機株式会社 | マルチ画面表示装置 |
JP6516448B2 (ja) * | 2014-11-17 | 2019-05-22 | 株式会社アイ・オー・データ機器 | 映像処理装置、プログラム、及び映像処理システム |
JP6540793B2 (ja) | 2015-03-19 | 2019-07-10 | 富士通株式会社 | 表示方法、情報処理装置、表示制御装置及びプログラム |
JP2017173763A (ja) * | 2016-03-25 | 2017-09-28 | シャープ株式会社 | 画像提供装置、画像表示システム、画像提供方法、および、プログラム |
US10390076B2 (en) | 2016-03-29 | 2019-08-20 | Mitsubishi Electric Corporation | Image receiving/reproducing device, image generating/transmitting device, display system, image receiving/reproducing method, image generating/transmitting method, and computer readable medium |
JP6381855B2 (ja) | 2016-04-19 | 2018-08-29 | 三菱電機株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
KR101882016B1 (ko) * | 2017-10-13 | 2018-07-25 | 주식회사 제노시스 | 복수의 디코더장치를 이용한 비디오 월 시스템의 제어장치 |
KR101961841B1 (ko) * | 2017-11-13 | 2019-07-17 | 주식회사 카이 | 영상 장치 및 영상 장치의 동작 방법 |
KR101969081B1 (ko) * | 2017-11-13 | 2019-04-16 | 주식회사 카이 | 영상 장치 및 영상 장치의 동기화 방법 |
JP7075202B2 (ja) * | 2017-12-18 | 2022-05-25 | 日本放送協会 | 端末装置 |
JP7273410B2 (ja) * | 2019-12-02 | 2023-05-15 | フォレストデジタル株式会社 | 映像システム、プログラム、およびコンピュータ読み取り可能な記憶媒体 |
CN115767176A (zh) * | 2021-09-06 | 2023-03-07 | 纬创资通股份有限公司 | 用于显示墙系统的影像处理装置及播放控制方法 |
CN114938463A (zh) * | 2022-06-22 | 2022-08-23 | 深圳市泛联信息科技有限公司 | 视频显示系统及方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000020042A (ja) * | 1998-07-01 | 2000-01-21 | Nec Corp | 映像表示システム |
JP2003009101A (ja) * | 2001-06-26 | 2003-01-10 | Nec Viewtechnology Ltd | マルチ画面再生装置およびマルチ画面再生方法 |
JP3791904B2 (ja) * | 2001-11-14 | 2006-06-28 | オリンパス株式会社 | マルチディスプレイ装置 |
JP3979145B2 (ja) * | 2002-03-27 | 2007-09-19 | ソニー株式会社 | マルチディスプレイ装置、画像表示装置、および方法、並びにコンピュータ・プログラム |
JP2008096756A (ja) * | 2006-10-12 | 2008-04-24 | Sharp Corp | 多画面表示システムおよびその表示方法 |
-
2011
- 2011-02-10 JP JP2011027089A patent/JP5461454B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012169739A (ja) | 2012-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5461454B2 (ja) | 映像分割再生方法、映像再生方法、映像分割再生システム、及び映像分割再生プログラム | |
US20240214540A1 (en) | Method for transmitting panoramic videos, terminal and server | |
CN115379244B (zh) | 360度视频回放空间增强自适应比特率直播流送方法和装置 | |
JP6415468B2 (ja) | 空間的にセグメント化されたコンテンツの配信 | |
JP5335087B2 (ja) | 情報処理システムおよび情報処理装置 | |
JP5179508B2 (ja) | データストリーム同士間でコンテンツを分配および切替するデータストリーム再生方法およびデータストリーム再生装置 | |
WO2019214371A1 (zh) | 图像的显示方法、生成方法、装置、存储介质及电子装置 | |
CN112565802A (zh) | 直播交互方法、系统、服务器及存储介质 | |
US9538140B2 (en) | Social television service | |
JP2008072244A (ja) | 映像表示システム、映像表示装置、その制御方法及びプログラム | |
KR102542070B1 (ko) | Iptv 망 기반 가상현실 콘텐츠 제공 시스템 및 방법 | |
JP5940999B2 (ja) | 映像再生装置、映像配信装置、映像再生方法、映像配信方法及びプログラム | |
KR102218187B1 (ko) | 영상 콘텐츠 제공을 위한 장치 및 방법 | |
EP3635958B1 (en) | Image processing device and system | |
JP6623905B2 (ja) | サーバ装置、情報処理方法およびプログラム | |
JP6224522B2 (ja) | 映像配信装置、映像配信方法及び映像配信プログラム | |
JP7319340B2 (ja) | 配信サーバ、配信方法及びプログラム | |
JP5860862B2 (ja) | 映像表示システム、映像表示装置、その制御方法及びプログラム | |
JP2021069100A (ja) | 配信システム、プログラム、およびコンピュータ読み取り可能な記憶媒体 | |
JP5993037B2 (ja) | 制御装置、映像表示装置、表示制御システム、制御方法、映像表示方法、プログラム及び情報記憶媒体 | |
JP2022066944A (ja) | 情報処理装置、コンピュータプログラムおよび情報処理システム | |
JP5301481B2 (ja) | 再生時間継続再生方法、映像配信方法、映像再生方法、映像配信システムおよびプログラム | |
JP5485952B2 (ja) | 映像表示システム、映像表示装置、その制御方法及びプログラム | |
JP2021002811A (ja) | 配信サーバ、配信方法及びプログラム | |
JP2011109175A (ja) | 映像分割再生方法、映像分割再生装置、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130123 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130605 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130726 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130918 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131015 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140115 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5461454 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |