JP7216588B2 - 動画ストリームを配信する配信サーバ、受信端末及びプログラム - Google Patents

動画ストリームを配信する配信サーバ、受信端末及びプログラム Download PDF

Info

Publication number
JP7216588B2
JP7216588B2 JP2019057054A JP2019057054A JP7216588B2 JP 7216588 B2 JP7216588 B2 JP 7216588B2 JP 2019057054 A JP2019057054 A JP 2019057054A JP 2019057054 A JP2019057054 A JP 2019057054A JP 7216588 B2 JP7216588 B2 JP 7216588B2
Authority
JP
Japan
Prior art keywords
receiving terminal
receiving
block
terminal
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019057054A
Other languages
English (en)
Other versions
JP2020161896A (ja
Inventor
正男 山本
正顕 黒住
翔平 森
敏 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2019057054A priority Critical patent/JP7216588B2/ja
Publication of JP2020161896A publication Critical patent/JP2020161896A/ja
Application granted granted Critical
Publication of JP7216588B2 publication Critical patent/JP7216588B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Description

本発明は、複数のディスプレイを上下左右に隣接させたマルチディスプレイを構成する受信端末グループに対し、動画ストリームを配信する配信サーバ、動画を再生する受信端末、及びプログラムに関する。
従来、インターネットを介して動画を配信する動画配信サービスの普及が進んでいる。動画配信サービスを実現するネット動画の受信端末としては、テレビ、PC(パーソナルコンピュータ)、タブレット、スマートフォン等が用いられる。
テレビは、一般に画面サイズが大きいため、多人数での視聴に適している。スマートフォンは、一般に手の平サイズのため、その画面サイズでは、テレビのような多人数での視聴には馴染まない。また、PC及びタブレットは、スマートフォンよりも画面サイズが大きいが、外出の際に携帯可能な程度の大きさであるため、同じく多人数での視聴には馴染まない。
そこで、複数の小型のディスプレイを隣接させて並べ、多人数での視聴に適した画面サイズのマルチディスプレイを構成する手法が提案されている(例えば、特許文献1,2を参照)。
特許文献1の手法は、複数のディスプレイを上下左右に隣接させてマルチディスプレイを構成し、その構成に応じて、全体画像を分割した部分画像を生成し、対応する部分画像を各ディスプレイに表示するものである。
特許文献2の手法は、特許文献1の手法により生じる問題に着目し、その問題を解決するものである。具体的には、前述の特許文献1の手法は、マルチディスプレイを構成するそれぞれの表示装置に上下左右方向別の接続ポートが設けられており、隣接する表示装置の隣接方向に接続ポート同士をケーブル接続することにより、位置関係を識別する必要がある。また、特許文献1の手法は、表示装置の4方向のそれぞれに接続用のポート及びケーブルが必要であるため、独立した専用のハードウェアが必須となる。
このように、特許文献1の手法では、機会に応じて動的に利用することができず、また、表示装置の隣接方向を考慮したケーブル接続が必要であるため、操作が直感的ではない。
そこで、特許文献2の手法は、このような問題を解決し、マルチディスプレイを簡易かつ動的に実現するために、表示装置に対するユーザのタッチ操作等により、表示装置の接続関係を判定し、当該接続関係に応じて表示制御する。
特許第3979145号公報 特許第5282079号公報
前述の特許文献1,2は、マルチディスプレイの構成に応じて、全体画像からそれぞれの受信端末に対応する部分画像を切り出す方法を用いている。このため、多数のマルチディスプレイが各所で同時に構成された場合、配信側は、それぞれのマルチディスプレイの構成に見合った部分画像を切り出す必要があり、切り出し処理及びエンコード処理の負荷が高いという問題があった。
つまり、配信側は、多数のマルチディスプレイのそれぞれに対応した形態で、マルチディスプレイ毎に、全体画像から部分画像を切り出してエンコードする必要があることから、配信側の処理負荷が高いという問題があった。このため、配信側の処理負荷を低減し、コストを削減することが所望されていた。
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、複数の受信端末を上下左右に隣接させて構成したマルチディスプレイに動画を表示する際に、配信側の負荷を低減可能な配信サーバ、受信端末及びプログラムを提供することにある。
前記課題を解決するために、請求項1の配信サーバは、動画ストリームの全体画像が所定領域毎に分割された複数のブロックを、インターネットを介して、マルチディスプレイを構成する複数の受信端末へ配信する配信サーバにおいて、前記複数の受信端末のそれぞれから、当該受信端末の画面サイズ及び解像度、並びに前記受信端末の隣接関係を判断するための隣接位置データを受信する端末情報受信部と、前記端末情報受信部により受信された前記画面サイズ及び前記隣接位置データに基づいて、前記複数の受信端末からなる受信端末グループの形状を判断し、前記受信端末グループの形状内に前記全体画像が収まるように、前記受信端末グループの形状内の画面位置を決定し、前記複数のブロックのそれぞれについて、前記受信端末により切り出し画像が切り出されて表示される切り出し位置を判断し、当該配信サーバから前記受信端末へ前記ブロックが配信される場合の、前記ブロックの番号及び前記受信端末のアドレスからなるインターネット配信情報、当該配信サーバから前記受信端末へ配信された前記ブロックが前記受信端末から他の前記受信端末へ転送される場合の、前記ブロックの番号、転送元の前記受信端末のアドレス及び転送先の前記受信端末のアドレスからなる端末間通信情報、及び、前記受信端末により前記ブロックから前記切り出し画像が切り出され、前記切り出し画像が表示される場合の、前記ブロックの番号、前記ブロックにおける切り出し位置及び前記受信端末における表示位置に関する切り出し情報を生成する配信通信情報処理部と、前記配信通信情報処理部により生成された前記インターネット配信情報、前記端末間通信情報及び前記切り出し情報、並びに前記全体画像の解像度を、前記複数の受信端末のそれぞれへ送信する送信部と、を備え、前記ブロック内の異なる部分が2以上の所定数の前記受信端末により表示される場合、前記ブロックは、当該配信サーバから前記2以上の所定数の前記受信端末のうちのいずれか一つの第1受信端末へ配信され、前記第1受信端末から前記2以上の所定数の前記受信端末のうち前記第1受信端末以外の残りの第2受信端末へ転送されるように、前記インターネット配信情報が、前記ブロックの番号、及び前記第1受信端末のアドレスを含み、前記端末間通信情報が、前記ブロックの番号、前記転送元である前記第1受信端末のアドレス、及び前記転送先である前記第2受信端末のアドレスを含む、ことを特徴とする。
また、請求項2の配信サーバは、動画ストリームの全体画像が所定領域毎に分割された複数のブロックを、インターネットを介して、マルチディスプレイを構成する複数の受信端末へ配信する配信サーバにおいて、前記複数の受信端末のそれぞれから、当該受信端末の画面サイズ及び解像度、並びに前記受信端末の隣接関係を判断するための隣接位置データを受信する端末情報受信部と、前記端末情報受信部により受信された前記画面サイズ及び前記隣接位置データに基づいて、前記複数の受信端末からなる受信端末グループの形状を判断し、前記受信端末グループの形状内に前記全体画像が収まるように、前記受信端末グループの形状内の画面位置を決定し、当該配信サーバから前記受信端末へ前記ブロックが配信される場合の、前記ブロックの番号及び前記受信端末のアドレスからなるインターネット配信情報、及び、当該配信サーバから前記受信端末へ配信された前記ブロックが前記受信端末から他の前記受信端末へ転送される場合の、前記ブロックの番号、転送元の前記受信端末のアドレス及び転送先の前記受信端末のアドレスからなる端末間通信情報を生成する配信通信情報処理部と、前記配信通信情報処理部により判断された前記受信端末グループの形状、前記配信通信情報処理部により決定された前記画面位置、前記配信通信情報処理部により生成された前記インターネット配信情報及び前記端末間通信情報、前記全体画像の解像度、並びに前記端末情報受信部により受信された前記受信端末の解像度を、前記複数の受信端末のそれぞれへ送信する送信部と、を備え、前記ブロック内の異なる部分が2以上の所定数の前記受信端末により表示される場合、前記ブロックは、当該配信サーバから前記2以上の所定数の前記受信端末のうちのいずれか一つの第1受信端末へ配信され、前記第1受信端末から前記2以上の所定数の前記受信端末のうち前記第1受信端末以外の残りの第2受信端末へ転送されるように、前記インターネット配信情報が、前記ブロックの番号、及び前記第1受信端末のアドレスを含み、前記端末間通信情報が、前記ブロックの番号、前記転送元である前記第1受信端末のアドレス、及び前記転送先である前記第2受信端末のアドレスを含む、ことを特徴とする。
また、請求項3の配信サーバは、請求項1または2に記載の配信サーバにおいて、前記配信通信情報処理部が、前記受信端末グループの形状内に、最大のサイズで前記全体画像が収まるように、前記画面位置を決定する、ことを特徴とする。
また、請求項4の配信サーバは、請求項1に記載の配信サーバにおいて、前記配信通信情報処理部が生成する前記切り出し情報を、前記受信端末により前記ブロックから前記切り出し画像が切り出され、前記切り出し画像が表示される場合の、前記ブロックの番号、前記ブロックの座標系における前記切り出し位置の座標、及び前記受信端末の座標系における前記表示位置の座標とする、ことを特徴とする。
さらに、請求項5の受信端末は、マルチディスプレイを構成する複数の受信端末のうちの一つの受信端末であって、配信サーバから、全体画像が所定領域毎に分割された複数のブロックからなる動画ストリームの配信を受ける前記受信端末において、ユーザの操作により、前記受信端末の隣接位置を特定するための隣接位置データを生成する位置特定部と、当該受信端末の画面サイズ、解像度、及び前記位置特定部により生成された前記隣接位置データを送信する第1送信部と、前記配信サーバから前記受信端末へ前記ブロックが配信される場合の、前記ブロックの番号及び前記受信端末のアドレスからなる情報であって、前記ブロック内の異なる部分が2以上の所定数の前記受信端末により表示される場合、前記ブロックが前記配信サーバから前記2以上の所定数の前記受信端末のうちのいずれか一つの第1受信端末へ配信されるように、前記ブロックの番号、及び前記第1受信端末のアドレスを含むインターネット配信情報、前記配信サーバから前記受信端末へ配信された前記ブロックが前記受信端末から他の前記受信端末へ転送される場合の、前記ブロックの番号、転送元の前記受信端末のアドレス及び転送先の前記受信端末のアドレスからなる情報であって、前記ブロック内の異なる部分が2以上の所定数の前記受信端末により表示される場合、前記ブロックは、前記第1受信端末から前記2以上の所定数の前記受信端末のうち前記第1受信端末以外の残りの第2受信端末へ転送されるように、前記ブロックの番号、前記転送元である前記第1受信端末のアドレス、及び前記転送先である前記第2受信端末のアドレスを含む端末間通信情報、前記受信端末により前記ブロックから切り出し画像が切り出され、前記切り出し画像が表示される場合の、前記ブロックの番号、前記ブロックにおける切り出し位置及び前記受信端末における表示位置に関する切り出し情報、及び、前記全体画像の解像度を、前記配信サーバから受信する第1受信部と、前記配信サーバから前記ブロックを受信する第2受信部と、前記第1受信部により受信された前記端末間通信情報に基づいて、前記第2受信部により受信された前記ブロックを前記転送先へ転送し、前記転送元から前記ブロックの転送を受ける端末間通信部と、前記第2受信部により受信された前記ブロック及び前記端末間通信部により転送を受けた前記ブロックから、前記第1受信部により受信された前記切り出し情報に基づいて前記切り出し画像を切り出し、前記切り出し画像を再生する映像再生部と、を備えたことを特徴とする。
また、請求項6の受信端末は、請求項5に記載の受信端末において、前記映像再生部が、前記第2受信部により受信された前記ブロック及び前記端末間通信部により転送を受けた前記ブロックから、前記第1受信部により受信された前記切り出し情報に含まれる前記切り出し位置にて、前記切り出し画像を切り出し、前記第1受信部により受信された前記全体画像の解像度及び当該受信端末の解像度に基づいて、前記切り出し画像を拡大または縮小し、前記切り出し情報に含まれる前記表示位置に、前記拡大または前記縮小した後の前記切り出し画像を再生する、ことを特徴とする。
また、請求項7の受信端末は、請求項5または6に記載の受信端末において、前記位置特定部が、前記ユーザの画面タッチの操作により、前記隣接位置データとして、前記受信端末の隣接位置を特定するための座標を生成する、ことを特徴とする。
また、請求項8の受信端末は、請求項5から7までのいずれか一項に記載の受信端末において、さらに、前記ユーザの操作により、前記動画ストリームの音声を再生する音声端末の指定を入力し、前記音声端末に関する情報を前記配信サーバへ送信する第2送信部と、前記配信サーバから前記音声を受信する第3受信部と、前記第3受信部により受信された前記音声を再生する音声再生部と、を備えたことを特徴とする。
さらに、請求項9のプログラムは、コンピュータを、請求項1から4までのいずれか一項に記載の配信サーバとして機能させることを特徴とする。
また、請求項10のプログラムは、コンピュータを、請求項5から8までのいずれか一項に記載の受信端末として機能させることを特徴とする。
以上のように、本発明によれば、複数の受信端末を上下左右に隣接させて構成したマルチディスプレイに動画を表示する際に、受信側に動画ストリームをシェアさせるようにした。これにより、配信側の負荷を受信側に分散することができ、配信側の負荷を低減することが可能となる。
本発明の実施形態による配信サーバ及び受信端末を含む動画配信システムの全体構成を示す概略図である。 全体画像Z及びブロックBを説明する図である。 全体の処理フロー及び送受信データを説明する図である。 画面タッチ入力処理(ステップS302)を説明する図である。 受信端末グループの形状判断及び画面位置決定処理(ステップS305)を説明する図である。 ブロックB11の配信、転送及び切り出し処理のフロー(ステップS310~S314)を説明する図である。 本発明の実施形態による配信サーバの構成例を示すブロック図である。 配信サーバの処理例を示すフローチャートである。 ブロックB11の切り出しブロック、切り出し座標及び表示座標の例を説明する図である。 ブロックの配信ルートを説明する図である。 ブロックB11に関する切り出し情報I3の例を説明する図である。 配信サーバのストア部に格納されたデータの例を説明する図である。 本発明の実施形態による受信端末の構成例を示すブロック図である。 受信端末の処理例を示すフローチャートである。 グループコードの送受信処理(ステップS1401)を示すフローチャートである。 受信端末のストア部に格納されたデータの例を説明する図である。
以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、複数のマルチディスプレイに動画を表示する際に、配信側が、それぞれのマルチディスプレイに適合した部分画像を切り出す代わりに、全てのマルチディスプレイに共通の部分画像を切り出し、部分画像を受信側へ送信し、受信側は、部分画像をシェア(転送)することを特徴とする。
すなわち、受信端末は、部分画像を受信すると、部分画像の一部を切り出して表示すると共に、部分画像を、部分画像の他の部分の表示を行う他の受信端末へ転送する。他の受信端末は、部分画像を受信すると、部分画像の他の部分を切り出して表示する。
これにより、配信側は、マルチディスプレイ毎に部分画像を切り出したり、エンコードしたりする必要がなく、複数のマルチディスプレイに共通の部分画像のみを切り出し、エンコードすればよい。したがって、配信側の負荷を低減することができる。
〔動画配信システム〕
まず、動画配信システムについて説明する。図1は、本発明の実施形態による配信サーバ及び受信端末を含む動画配信システムの全体構成を示す概略図である。この動画配信システムは、ファイルサーバ1、エンコーダ2、配信サーバ3、及び複数の受信端末5A~5Fからなる受信端末グループ4を備えて構成される。配信サーバ3と受信端末5A~5Fとは、インターネット6を介して接続され、受信端末5A~5Fも互いに、インターネット6を介して接続される。以下、受信端末5A~5Fを総称して「受信端末5」という。
受信端末グループ4における複数の受信端末5A~5Fによりマルチディスプレイが構成される。図1の例では、マルチディスプレイの周囲に凹凸はあるが、その形態はほぼ長方形の画面となっている。ユーザは、配信サーバ3から配信された動画を、複数の受信端末5A~5Fであるマルチディスプレイの受信端末グループ4にて視聴する。
尚、図1には、一つの受信端末グループ4のみが示されており、受信端末グループ4の形状はほぼ長方形であるが、実際には複数の受信端末グループ4が存在する。各受信端末グループ4における受信端末5の数及び形状は必ずしも同じではなく、受信端末グループ4毎に異なっているのが通常である。
図示しない分割装置は、動画配信システムが配信する動画の全体画像Zを、予め設定された分割規則にて複数の部分画像(ブロック)Bに分割する。そして、図示しない分割装置は、複数のブロックBをファイルサーバ1に格納する。この分割規則は、動画ストリームの配信を受ける全ての受信端末グループ4に共通の規則であり、全ての受信端末グループ4に共通のブロックBに分割される。
図2は、全体画像Z及びブロックBを説明する図である。全体画像Zは、予め設定された分割規則にて、動画配信システムに含まれる複数の受信端末グループ4に共通のブロックBに分割される。
図2の例では、全体画像Zは、縦3及び横4の合計12個の同一サイズのブロックB11~B34に分割される。分割された12個のブロックB11~34のそれぞれは、分割規則に従った大まかな部分画像であり、ファイルサーバ1に格納される。
図1に戻って、ファイルサーバ1は、動画の全体画像Zから分割された複数のブロックBが格納されるサーバである。図2の例では、ファイルサーバ1には、ブロックB11~B34が格納される。ファイルサーバ1は、ブロックB11~B34(以下、総称して「ブロックB」という。)をエンコーダ2へ受け渡す。
エンコーダ2は、ファイルサーバ1から受け渡されたブロックBをエンコードし、エンコード後のブロックBを配信サーバ3へ出力する。符号化方式としては、例えばAVC、HEVCが用いられる。
配信サーバ3は、エンコーダ2からエンコードされたブロックBを入力し、動画ストリーミング方式に応じた動画ストリームを生成する。そして、配信サーバ3は、動画ストリームを、インターネット6を介して受信端末5へ配信する。動画ストリーミング方式としては、例えばHLS、MPEG-DASHが用いられる。この場合、音声は、指定された受信端末5へ配信される。配信サーバ3の詳細については後述する。
受信端末5は、例えばタブレット、スマートフォンである。受信端末5は、配信サーバ3からインターネット6を介して、全体画像Zが所定領域毎に分割された複数のブロックBからなる動画ストリームの配信を受け、必要に応じて、受信したブロックBを他の受信端末5へ転送する。
受信端末5は、配信サーバ3から配信されたブロックB、及び/または他の受信端末5から転送されたブロックBについて、ブロックBから表示する部分を切り出し、その切り出し部分を画面表示する。
例えば、後述する図5に示すように、受信端末5A~5Bにより構成されるマルチディスプレイに全体画像Zが表示されるものとする。受信端末5Aは、ブロックB11から表示する部分を切り出し、その切り出し部分を画面表示する。同様に、受信端末5Bは、ブロックB11,B12,B13から表示する部分をそれぞれ切り出し、それらの切り出し部分を画面表示する。ここで、受信端末5Aは、配信サーバ3からブロックB11の配信を受ける。受信端末5Bは、配信サーバ3からブロックB12,B13の配信を受け、受信端末5AからブロックB11の転送を受ける。受信端末5の詳細については後述する。
これにより、ユーザは、配信サーバ3から配信された動画ストリームを、受信端末5A~5Fにより構成されるマルチディスプレイにて視聴することができる。
(全体の処理フロー)
次に、図1に示した動画配信システムの全体の処理フローについて説明する。図3は、全体の処理フロー及び送受信データを説明する図であり、全体の処理の流れ、及び配信サーバ3と受信端末5との間で送受信されるデータを示している。
配信サーバ3は、マルチディスプレイを構成する受信端末5A~5Fの代表の端末からのグループコード送信要求を受けると、グループコードを発行し、グループコードを受信端末5A~5Fの代表の端末へ送信する(ステップS301)。グループコードは、受信端末グループ4を構成する受信端末5A~5Fを識別し、特定するためのコードであり、受信端末5A~5Fのそれぞれに保持され、例えば端末間通信を行うときのセキュリティのために用いられる。
受信端末5は、マルチディスプレイを構成する受信端末5A~5Fの位置を設定するために、ユーザの操作に従い、隣接端末である受信端末5A~5Fの画面タッチを入力し(ステップS302)、タッチ位置座標を特定する。そして、受信端末5は、当該受信端末5の画面サイズ、解像度及びタッチ位置座標を配信サーバ3へ送信する(ステップS303)。
画面サイズは、当該受信端末5における表示画面のサイズ(例えば5.5インチ)であり、解像度は、当該受信端末5の画素数(例えば2160×1080)である。タッチ位置座標は、受信端末5A~5Fの隣接関係を判断するための隣接位置データであり、受信端末グループ4の形状を判断するために用いられる。
図4は、画面タッチ入力処理(ステップS302)を説明する図である。マルチディスプレイを構成する受信端末5A~5Fの配置が図4に示すとおりであるとする。図4に示す受信端末5A~5Fの配置において、丸印は、ユーザにより画面タッチされるタッチ位置を示し、実線で対応付けた2個の丸印は、ユーザにより連続的に画面タッチがなされる組の位置を示す。
ユーザは、受信端末5A~5Fのそれぞれがどの端末と隣接するかを示す隣接位置データを指定するために、画面タッチの操作を行う。例えば受信端末5Aが受信端末5B,5Dに隣接するように構成された場合、ユーザは、受信端末5Aのα1の箇所をタッチし、連続して受信端末5Bのα2の箇所をタッチする。そうすると、受信端末5Aは、α1の箇所のタッチ位置座標を特定し、当該タッチ位置座標を配信サーバ3へ送信する。そして、受信端末5Bは、連続して、α2の箇所のタッチ位置座標を特定し、当該タッチ位置座標を配信サーバ3へ送信する。
また、ユーザは、受信端末5Aのα3の箇所をタッチし、連続して受信端末5Dのα4の箇所をタッチする。そうすると、受信端末5Aは、α3の箇所のタッチ位置座標を特定し、当該タッチ位置座標を配信サーバ3へ送信する。そして、受信端末5Dは、連続して、α4の箇所のタッチ位置座標を特定し、当該タッチ位置座標を配信サーバ3へ送信する。
配信サーバ3は、受信端末5Aからα1の箇所のタッチ位置座標を受信し、その後連続して、受信端末5Bからα2の箇所のタッチ位置座標を受信する。そして、配信サーバ3は、受信端末5Aからα3の箇所のタッチ位置座標を受信し、その後連続して、受信端末5Dからα4の箇所のタッチ位置座標を受信する。
これにより、配信サーバ3は、受信端末5Aのα1の位置と受信端末5Bのα2の位置との対応付け、受信端末5Aのα3の位置と受信端末5Dのα4の位置との対応付け等を行うことができる。そして、配信サーバ3は、受信端末5A~5Fの隣接関係及びこれらの配置を判断することができ、受信端末5A~5Fからなる受信端末グループ4の形状を判断することができる。
尚、ユーザが画面タッチする位置は、各辺の際(きわ)とする。つまり、画面タッチの位置は、隣接する2つの端末の対向する辺において、互いに最も近い際とする。
図3に戻って、配信サーバ3は、受信端末5から画面サイズ、解像度及びタッチ位置座標を受信すると、当該受信端末5に対し、受付完了を送信する(ステップS304)。
配信サーバ3は、全ての受信端末5A~5Fから画面サイズ、解像度及びタッチ位置座標を受信し、全ての受信端末5A~5Fに対し、受付完了を送信すると、全ての受信端末5A~5Fの受付を完了する。
配信サーバ3は、画面サイズ及びタッチ位置座標に基づいて、受信端末グループ4の形状を判断し、受信端末グループ4の形状内に全体画像Zを表示する画面位置を決定し、受信端末5A~5F毎に画面表示するためのブロックBの切り出し位置を判断する。また、配信サーバ3は、インターネット配信情報I1、端末間通信情報I2及び切り出し情報I3を生成する(ステップS305)。ステップS305の処理の詳細については後述する。
インターネット配信情報I1は、ブロックBが配信サーバ3から受信端末5へ直接配信される場合の、ブロックBの番号(ブロック番号)、及び送信先の受信端末5のIPアドレスからなる。端末間通信情報I2は、ブロックBが受信端末5から他の受信端末5へ転送される場合の、ブロック番号、転送元の受信端末5のIPアドレス(転送元IPアドレス)、及び転送先の他の受信端末5のIPアドレス(転送先IPアドレス)からなる。切り出し情報I3は、ブロックBから切り出し画像が切り出され、切り出し画像が表示される場合の、ブロック番号、当該ブロックBにおける切り出し座標、切り出しが行われる(切り出し画像の表示が行われる)受信端末5のIPアドレス、切り出し画像が表示される受信端末5の表示座標からなる。
図5は、受信端末グループ4の形状判断及び画面位置決定処理(ステップS305)を説明する図である。配信サーバ3は、受信端末5A~5Fからのタッチ位置座標を受信したタイミングの連続性に基づいて、受信端末5A~5Fの隣接関係及び配置を特定し、画面サイズから受信端末グループ4の形状を判断する。
そして、配信サーバ3は、受信端末グループ4の形状内に全体画像Zが収まるように、例えば図5に示す画面位置を決定する。具体的には、配信サーバ3は、全体画像Zが受信端末グループ4の形状内に収まり、かつ全体画像Zが全ての受信端末5A~5Fを用いて表示されるように、受信端末グループ4の形状内で全体画像Zの位置を決定する。この場合、配信サーバ3は、全体画像Zの縦横の解像度の比率に応じて、受信端末グループ4の形状内に最大のサイズで全体画像Zが収まるように、全体画像Zの位置を決定するのが望ましい。
尚、配信サーバ3は、タッチ位置座標を用いて全体画像Zの位置を決定するようにしてもよい。具体的には、配信サーバ3は、受信端末グループ4の形状において、左上側の受信端末5Aにおけるタッチ位置座標の位置を、全体画像Zを構成するブロックB11の左上の頂点に設定する。また、配信サーバ3は、右下側の受信端末5Fにおけるタッチ位置座標の位置を、全体画像Zを構成するブロックB34の右下の頂点に設定する。そして、配信サーバ3は、これら頂点を基準として、全体画像Zの位置を決定する。
さらに、配信サーバ3は、受信端末グループ4の形状内における全体画像Zの位置、及び全体画像Zを構成するブロックB11~B34の位置に基づいて、受信端末5A~5Fの位置とブロックB11~B34との間の関係を判断する。そして、配信サーバ3は、受信端末5A~5Fのそれぞれについて、ブロックB11~B34の一部を表示するための切り出し位置を判断する。図5の例では、ブロックB11について、受信端末5Aがその一部を切り出して表示するための切り出し位置が判断され、同様に、受信端末5B,5Dのそれぞれがその一部を切り出して表示するための切り出し位置が判断される。
図3に戻って、配信サーバ3は、インターネット配信情報I1、端末間通信情報I2、切り出し情報I3、及び全体画像Zの解像度を受信端末5へ送信する(ステップS306)。全体画像Zの解像度は、受信端末5において、ブロックBから切り出した切り出し画像を画面表示する際に、切り出し画像の拡大または縮小処理のために用いられる。
受信端末5は、ユーザの操作に従い、音声を再生する音声端末を指定するための画面タッチを入力し(ステップS307)、音声端末情報を生成して配信サーバ3へ送信する(ステップS308)。ステップS307,S308の処理はなくてもよい。
受信端末5は、映像及び音声の配信を受けるための配信要求を配信サーバ3へ送信する(ステップS309)。配信サーバ3は、受信端末5からの配信要求を受信すると、当該配信要求に対応する映像(ブロックB)及び音声を受信端末5へ送信する(ステップS310)。この場合、配信サーバ3は、インターネット配信情報I1に基づいて、ブロックBを配信するための受信端末5を特定し、ブロックBを当該受信端末5のみへ送信する。
受信端末5は、配信サーバ3から送信された映像及び音声を受信すると、映像及び音声をバッファリングする。そして、受信端末5は、端末間通信情報I2に基づいて、転送対象のブロックBの転送先の受信端末5を特定し、転送対象のブロックBを転送先の受信端末5へシェア(転送)する(ステップS311)。
受信端末5は、配信サーバ3から配信を受けたブロックBのバッファリングが完了し、ブロックBの転送が完了し、他の受信端末5から転送を受けたブロックBのバッファリングが完了すると、シェア完了を配信サーバ3へ送信する(ステップS312)。尚、受信端末5によっては、ブロックBの転送を行わない場合もあり、また、他の受信端末5からブロックBの転送を受けない場合もある。シェア完了の条件の詳細については後述する。
配信サーバ3は、受信端末5からシェア完了を受信すると、再生開始要求(プッシュ通知)を受信端末5へ送信する(ステップS313)。受信端末5は、配信サーバ3から送信された再生開始要求を受信すると、バッファリングされたブロックBを読み出し、切り出し情報I3に基づいて、ブロックBから表示する部分を切り出し画像として切り出し、切り出し画像を拡大または縮小して動画を再生する(ステップS314)。また、受信端末5は、音声端末として指定されている場合、バッファリングされた音声を読み出し、音声を再生する。
図6は、ブロックB11の配信、転送及び切り出し処理のフロー(ステップS310~S314)を説明する図である。ブロックB11は、図5に示したとおり、受信端末5A,5B,5Dにより表示されるものとする。また、ブロックB11は、後述する図10のとおり、配信サーバ3から受信端末5Aへインターネット配信され、受信端末5Aから受信端末5B,5Dへ端末間通信されるものとする。
図6を参照して、配信サーバ3は、ブロックB11を、インターネット6を介して受信端末5Aへ送信する(ステップS601(S310))。受信端末5Aは、配信サーバ3からブロックB11を受信すると、ブロックB11を受信端末5Bへ転送する(ステップS602(S311),S603)。また、受信端末5Aは、ブロックB11を受信端末5Dへ転送する(ステップS604)。
受信端末5A,5B,5Dは、シェア完了を配信サーバ3へ送信する(ステップS605~S607(S312))。配信サーバ3は、受信端末5A,5B,5Dからシェア完了を受信すると、再生開始要求を受信端末5A,5B,5Dへ送信する(ステップS608(S313))。
受信端末5Aは、配信サーバ3から再生開始要求を受信する。そうすると、受信端末5Aは、後述する図9に示すように、ブロックB11から当該受信端末5Aが表示する部分である切り出しブロック(切り出し画像)B11-1を切り出す。受信端末5Aは、切り出しブロックB11-1を拡大または縮小して画面表示することで再生する(ステップS609(ステップS314))。
受信端末5Bは、配信サーバ3から再生開始要求を受信する。そうすると、受信端末5Bは、後述する図9に示すように、ブロックB11から当該受信端末5Bが表示する部分である切り出しブロックB11-2を切り出す。受信端末5Aは、切り出しブロックB11-2を拡大または縮小して画面表示することで再生する(ステップS610(ステップS314))。
受信端末5Dは、配信サーバ3から再生開始要求を受信する。そうすると、受信端末5Dは、後述する図9に示すように、ブロックB11から当該受信端末5Dが表示する部分である切り出しブロックB11-3を切り出す。受信端末5Dは、切り出しブロックB11-3を拡大または縮小して画面表示することで再生する(ステップS611(ステップS314))。
〔配信サーバ3〕
次に、図1に示した配信サーバ3について説明する。図7は、本発明の実施形態による配信サーバ3の構成例を示すブロック図であり、図8は、配信サーバ3の処理例を示すフローチャートである。
この配信サーバ3は、インターネット通信インターフェース部10、グループコード処理部11、サイズ・解像度・タッチ位置受信部(端末情報受信部)12、受付完了送信部13、形状・画面位置・切り出し情報処理部(配信通信情報処理部)14、配信・切り出し・解像度送信部15、音声端末受信部16、配信要求受信部17、映像・音声送信部18、シェア完了受信部19、再生開始要求送信部20及びストア部21を備えている。
インターネット通信インターフェース部10は、インターネット6を介して受信端末5A~5Fとの間で、IPパケットの送受信を行う。
インターネット通信インターフェース部10は、グループコード処理部11、受付完了送信部13、配信・切り出し・解像度送信部15、映像・音声送信部18または再生開始要求送信部20から送信データを入力し、送信データをIPパケットに格納し、IPパケットを送信先の受信端末5A~5Fへ送信する。また、インターネット通信インターフェース部10は、受信端末5A~5FからIPパケットを受信し、IPパケットから受信データを抽出し、受信データをグループコード処理部11、サイズ・解像度・タッチ位置受信部12、音声端末受信部16、配信要求受信部17またはシェア完了受信部19に出力する。
グループコード処理部11は、マルチディスプレイを構成する受信端末5A~5Fの代表の端末から送信されたグループコード送信要求を、インターネット通信インターフェース部10を介して受信する。そして、グループコード処理部11は、当該グループコード送信要求に対応するグループコードを発行し、グループコードを、インターネット通信インターフェース部10を介して受信端末5A~5Fの代表の端末へ送信する(ステップS801)。
サイズ・解像度・タッチ位置受信部12は、受信端末5A~5Fのそれぞれから送信された画面サイズ、解像度及びタッチ位置座標を、インターネット通信インターフェース部10を介して受信する。そして、サイズ・解像度・タッチ位置受信部12は、画面サイズ、解像度及びタッチ位置座標を受信した旨を受付完了送信部13及び形状・画面位置・切り出し情報処理部14に出力し、これらの情報をストア部21に格納する(ステップS802)。
受付完了送信部13は、サイズ・解像度・タッチ位置受信部12から、画面サイズ、解像度及びタッチ位置座標を受信した旨を入力する。そして、受付完了送信部13は、受付完了を、インターネット通信インターフェース部10を介して、画面サイズ、解像度及びタッチ位置座標を送信してきた受信端末5A~5Fへ送信する(ステップS803)。
これにより、ストア部21には、受信端末5A~5Fのそれぞれについて、画面サイズ、解像度及びタッチ位置座標が格納される。
形状・画面位置・切り出し情報処理部14は、サイズ・解像度・タッチ位置受信部12から、全ての受信端末5A~5Fから画面サイズ、解像度及びタッチ位置座標を受信した旨を入力する。そして、形状・画面位置・切り出し情報処理部14は、ストア部21から全ての受信端末5A~5Fの画面サイズ、解像度及びタッチ位置座標を読み出す。
形状・画面位置・切り出し情報処理部14は、全ての受信端末5A~5Fの画面サイズ及びタッチ位置座標に基づいて、受信端末グループ4の形状を判断する(ステップS804)。図4及び図5にて説明したとおり、受信端末5A~5Fからのタッチ位置座標を受信したタイミングの連続性から、隣接する受信端末5A~5Fが特定され、また隣接位置及び配置が特定される。そして、その画面サイズから受信端末グループ4の形状が判断される。
形状・画面位置・切り出し情報処理部14は、受信端末グループ4の形状内に全体画像Zが収まるように、受信端末グループ4の形状内に全体画像Zを表示する画面位置を決定する(ステップS805)。図5にて説明したとおり、例えば、全体画像Zが受信端末グループ4の形状内に収まり、かつ全体画像Zが全ての受信端末5A~5Fを用いて表示されるように、全体画像Zの位置が決定される。これにより、受信端末5A~5Fのそれぞれは、全体画像Zの一部を表示することとなる。
また、例えば、受信端末グループ4の形状内に最大のサイズで全体画像Zが収まるように、全体画像Zの位置が決定される。これにより、個々の受信端末5が小さいサイズであっても、ユーザは、受信端末グループ4の形状内で、最大の大きさの動画を視聴することができる。
形状・画面位置・切り出し情報処理部14は、受信端末5A~5F毎に画面表示するためのブロックB11~B34の切り出し位置を判断する(ステップS806)。
具体的には、形状・画面位置・切り出し情報処理部14は、ステップS804の処理にて特定した受信端末グループ4の形状内の受信端末5A~5Fの位置、及び、ステップS805の処理にて決定した受信端末グループ4の形状内の全体画像Zの位置に基づいて、ブロックB11~B34のそれぞれについて、予め設定された全体画像Zの解像度に基づく座標系の切り出し位置、すなわち全体画像Zの座標系で表した切り出し位置を判断する。
そして、形状・画面位置・切り出し情報処理部14は、全体画像Zの座標系で表した切り出し位置を、ブロックB11~B34のそれぞれの座標系で表した切り出し位置に変換する。また、形状・画面位置・切り出し情報処理部14は、ストア部21から受信端末5A~5Fの解像度を読み出し、ブロックB11~B34のそれぞれの座標系で表した切り出し位置を、受信端末5A~5Fのそれぞれの解像度に基づく座標系で表した表示位置に変換する。
これによりブロックB11~B34のそれぞれの座標系で表された切り出し位置、及び、受信端末5A~5Fのそれぞれの座標系で表した表示位置が得られる。
図9は、ブロックB11の切り出しブロック、切り出し座標及び表示座標の例を説明する図である。図5を参照して、受信端末グループ4の形状内の受信端末5A~5Fの位置、及び受信端末グループ4の形状内の全体画像Zの位置から、ブロックB11の一部が受信端末5A,5B,5Dにより切り出され表示されることが判断される。
そして、図9に示すように、ブロックB11について、全体画像Zの解像度に基づいたブロックB11の座標系における切り出し位置b1~b6が判断される。ブロックB11の座標系の目盛りは、全体画像Zの解像度が反映された単位であり、切り出し位置b1~b6は、全体画像Zの解像度が反映された座標である。
切り出し位置b1,b2にて特定される切り出しブロックB11-1は、受信端末5AによりブロックB11から切り出され表示される画像である。切り出し位置b3,b4にて特定される切り出しブロックB11-2は、受信端末5BによりブロックB11から切り出され表示される画像である。切り出し位置b5,b6にて特定される切り出しブロックB11-3は、受信端末5DによりブロックB11から切り出され表示される画像である。
また、ブロックB11について、受信端末5Aの解像度に基づいた受信端末5Aの座標系における表示位置5Ab1,5Ab2が判断され、受信端末5Bの解像度に基づいた受信端末5Bの座標系における表示位置5Bb3,5Bb4が判断される。また、受信端末5Dの解像度に基づいた受信端末5Dの座標系における表示位置5Db5,5Db6が判断される。
受信端末5Aの座標系の目盛りは、受信端末5Aの解像度が反映された単位であり、表示位置5Ab1,5Ab2は、受信端末5Aの解像度が反映された座標である。受信端末5Bの座標系の目盛りは、受信端末5Bの解像度が反映された単位であり、表示位置5Bb3,5Bb4は、受信端末5Bの解像度が反映された座標である。受信端末5Dの座標系の目盛りは、受信端末5Dの解像度が反映された単位であり、表示位置5Db5,5Db6は、受信端末5Dの解像度が反映された座標である。
このように、切り出しブロックB11-1について、受信端末5Aにより切り出されるブロックB11の座標系における切り出し位置b1,b2が判断され、受信端末5Aにより表示される受信端末5Aの座標系における表示位置5Ab1,5Ab2が判断される。
また、切り出しブロックB11-2について、受信端末5Bにより切り出されるブロックB11の座標系における切り出し位置b3,b4が判断され、受信端末5Bにより表示される受信端末5Bの座標系における表示位置5Bb3,5Bb4が判断される。
また、切り出しブロックB11-3について、受信端末5Dにより切り出されるブロックB11の座標系における切り出し位置b5,b6が判断され、受信端末5Dにより表示される受信端末5Dの座標系における表示位置5Db5,5Db6が判断される。
同様に、図5を参照して、ブロックB12のうち受信端末5Bに切り出され表示される部分について、受信端末5Bにより切り出されるブロックB12の座標系における切り出し位置、及び受信端末5Bにより表示される受信端末5Bの座標系のおける表示位置が判断される。また、ブロックB12のうち受信端末5Dに切り出され表示される部分について、受信端末5Dにより切り出されるブロックB12の座標系における切り出し位置、及び受信端末5Dにより表示される受信端末5Dの座標系のおける表示位置が判断される。
図7及び図8に戻って、形状・画面位置・切り出し情報処理部14は、インターネット配信情報I1、端末間通信情報I2及び切り出し情報I3を生成し、これらの情報をストア部21に格納する(ステップS807)。そして、形状・画面位置・切り出し情報処理部14は、インターネット配信情報I1等の生成完了を配信・切り出し・解像度送信部15に出力する。
これにより、ストア部21には、インターネット配信情報I1、端末間通信情報I2及び切り出し情報I3が格納される。
具体的には、形状・画面位置・切り出し情報処理部14は、ステップS806の処理において、ブロックB11~B34と、これらの一部または全部を表示する受信端末5A~5Fとの間の対応付けを求める。そして、形状・画面位置・切り出し情報処理部14は、これらの対応付けに基づいて、インターネット配信情報I1及び端末間通信情報I2を生成する。また、形状・画面位置・切り出し情報処理部14は、ステップS806にて判断した切り出し位置に基づいて、切り出し情報I3を生成する。
図10は、ブロックBの配信ルートを説明する図である。この配信ルートは、ステップS806の処理において、ブロックB11~B34と受信端末5A~5Fとの間の対応付けにより決定される。
図10に示すように、ブロックBの配信ルートには、インターネット配信及び端末間通信がある。インターネット配信は、受信端末5が配信サーバ3からブロックBを直接受信するルートである。端末間通信は、いわゆるシェアの通信であって、受信端末5が他の受信端末5からブロックBを間接的に受信するルートである。つまり、端末間通信においては、第1の受信端末5は、配信サーバ3からブロックBを受信し、第1の受信端末5は、当該ブロックBを第2の受信端末5へ転送する。
図10に示すように、インターネット配信により、ブロックB11は受信端末5Aへ送信され、ブロックB12,B13は受信端末5Bへ送信され、・・・、ブロックB24,B34は受信端末5Eへ送信される。また、端末間通信により、ブロックB11は受信端末5Aから受信端末5Bへ転送され、ブロックB13は受信端末5Bから受信端末5Cへ転送され、・・・、ブロックB24,B34は受信端末5Eから受信端末5Fへ転送される。
このような配信ルートから、ブロックBのインターネット配信に関するインターネット配信情報I1、及びブロックBの端末間通信に関する端末間通信情報I2が生成される。
つまり、形状・画面位置・切り出し情報処理部14は、以下の(A)及び(B)の条件を満たすように、インターネット配信情報I1及び端末間通信情報I2を生成する。
(A)一つのブロックBは、配信サーバ3から一つの受信端末5へ送信される。(複数の5へ送信されることはない。)
(B)複数の受信端末5が同一のブロックBを必要とする場合、そのブロックBは、配信サーバ3から第1の受信端末5へ送信され、第1の受信端末5から他の受信端末5へ転送される。(他の受信端末5は、そのブロックBを配信サーバ3から直接受信することはない。)
前述のとおり、インターネット配信情報I1は、ブロックBが配信サーバ3から受信端末5へ直接配信される場合のブロック番号及び送信先の受信端末5のIPアドレスからなる。図10の例では、インターネット配信情報I1は、(ブロックB11,受信端末5AのIPアドレス)(ブロックB12,受信端末5BのIPアドレス)・・・(ブロックB34,受信端末5EのIPアドレス)となる。
また、前述のとおり、端末間通信情報I2は、ブロックBが受信端末5から他の受信端末5へ転送される場合のブロック番号、転送元IPアドレス及び転送先IPアドレスからなる。図10の例では、端末間通信情報I2は、(ブロックB11,受信端末5AのIPアドレス,受信端末5BのIPアドレス)(ブロックB13,受信端末5BのIPアドレス,受信端末5CのIPアドレス)・・・(ブロックB34,受信端末5EのIPアドレス,受信端末5FのIPアドレス)となる。
図10に示した配信ルートは、受信端末5Aが、インターネット配信により配信サーバ3からブロックB11を受信し、端末間通信によりブロックB11を受信端末5B,5Dへ転送することを示している。受信端末5Aにおいては、端末間通信により受信するブロックBは存在しない。
また、この配信ルートは、受信端末5Bが、インターネット配信により配信サーバ3からブロックB12,B13を受信し、端末間通信によりブロックB12を受信端末5Dへ転送し、ブロックB13を受信端末5C,5D,5Eへ転送し、受信端末5AからブロックB11を受信する、ことを示している。
このように、形状・画面位置・切り出し情報処理部14により、ステップS806の処理におけるブロックB11~B34と受信端末5A~5Fとの間の対応付けに基づいて、図10に示した配信ルートが決定される。そして、図10に示したインターネット配信情報I1及び端末間通信情報I2が生成される。
ここで、配信サーバ3は、例えばブロックB11を受信端末5A,5B,5Dへ送信するのではなく、受信端末5Aのみへ送信する。そして、受信端末5Aは、ブロックB11を受信端末5B,5Dへ転送する。これにより、配信サーバ3の負荷を受信端末5Aに分散するようにしたから、配信サーバ3の負荷を低減することができる。
図11は、ブロックB11に関する切り出し情報I3の例を説明する図であり、図9に示したブロックB11の切り出しブロック、切り出し座標及び表示座標の例に対応している。
前述のとおり、ステップS806の処理により、ブロックB11について、ブロックB11の座標系において、受信端末5Aにより切り出される切り出しブロックB11-1の切り出し位置b1,b2が判断される。また、受信端末5Bにより切り出される切り出しブロックB11-2の切り出し位置b3,b4、及び、受信端末5Dにより切り出される切り出しブロックB11-3の切り出し位置b5,b6が判断される。
さらに、ステップS806の処理により、ブロックB11について、受信端末5Aの座標系において、受信端末5Aにより表示される切り出しブロックB11-1の表示位置5Ab1,5Ab2が判断される。また、受信端末5Bの座標系において、受信端末5Bにより表示される切り出しブロックB11-2の表示位置5Bb3,5Bb4、及び、受信端末5Dの座標系において、受信端末5Dにより表示される切り出しブロックB11-3の表示位置5Db5,5Db6が判断される。
前述のとおり、切り出し情報I3は、ブロックBから切り出し画像が切り出されるブロック番号、切り出し座標、切り出しが行われる受信端末5のIPアドレス、及び表示が行われる表示座標からなる。
図9の例では、図11に示すとおり、切り出し情報I3は、切り出しブロックB11-1について(ブロックB11,(b1,b2),受信端末5AのIPアドレス,(5Ab1,5Ab2))、切り出しブロックB11-2について(ブロックB11,(b3,b4),受信端末5BのIPアドレス,(5Bb3,5Bb4))、及び切り出しブロックB11-3について(ブロックB11,(b5,b6),受信端末5DのIPアドレス,(5Db5,5Db6))となる。
図7及び図8に戻って、配信・切り出し・解像度送信部15は、形状・画面位置・切り出し情報処理部14からインターネット配信情報I1等の生成完了を入力する。そして、配信・切り出し・解像度送信部15は、ストア部21からインターネット配信情報I1、端末間通信情報I2及び切り出し情報I3を読み出す。配信・切り出し・解像度送信部15は、これらの情報及び予め設定された全体画像Zの解像度を、インターネット通信インターフェース部10を介して受信端末5A~5Fへ送信する(ステップS808)。
音声端末受信部16は、音声端末として指定された受信端末5からインターネット通信インターフェース部10を介して、音声を再生する音声端末のIPアドレスを含む音声端末情報を受信する。そして、音声端末受信部16は、音声端末情報をストア部21に格納する(ステップS809)。
配信要求受信部17は、受信端末5からインターネット通信インターフェース部10を介して、映像及び音声の配信を受けるための配信要求を受信する(ステップS810)。そして、配信要求受信部17は、配信要求を受信した旨を映像・音声送信部18に出力する。
映像・音声送信部18は、配信要求受信部17から配信要求を受信した旨を入力すると、当該配信要求を送信してきた受信端末5へ送信すべきブロックBを決定する(ステップS811)。
具体的には、映像・音声送信部18は、ストア部21からインターネット配信情報I1を読み出し、インターネット配信情報I1から、配信要求を送信してきた受信端末5のIPアドレスに対応するブロック番号を抽出することで、ブロックBを決定する。これにより、インターネット配信情報I1を用いて、受信端末5へ送信すべきブロックBが決定される。
映像・音声送信部18は、ストア部21から映像及び音声を読み出し、映像及び音声を、インターネット通信インターフェース部10を介して、配信要求を送信してきた受信端末5へ送信する(ステップS812)。
具体的には、映像・音声送信部18は、ストア部21からインターネット配信情報I1の示すブロックBを読み出し、ブロックBを、インターネット配信情報I1にて当該ブロックBに対応するIPアドレスの受信端末5へ送信する。また、映像・音声送信部18は、ストア部21から音声端末情報及び音声を読み出し、配信要求を送信してきた受信端末5が音声端末情報の示す端末である場合、音声を、音声端末情報の示すIPアドレスの受信端末5へ送信する。
シェア完了受信部19は、ブロックBのバッファリング等が完了した受信端末5からインターネット通信インターフェース部10を介して、シェア完了を受信する(ステップS813)。そして、シェア完了受信部19は、シェア完了を受信した旨を再生開始要求送信部20に出力する。
再生開始要求送信部20は、シェア完了受信部19から、全ての受信端末5A~5Fについてのシェア完了を受信した旨を入力すると、再生開始要求(プッシュ通知)を、インターネット通信インターフェース部10を介して、シェア完了を送信してきた受信端末5へ送信する(ステップS814)。
これにより、受信端末5により、ブロックBの切り出し及び再生が行われ、転送が行われる。また、受信端末5は、音声端末として指定されている場合、音声を再生する。
図12は、配信サーバ3のストア部21に格納されたデータの例を説明する図である。ストア部21に格納されたデータは、受信端末5毎の端末情報、インターネット配信情報I1、端末間通信情報I2、切り出し情報I3、音声端末情報、映像及び音声等からなる。
端末情報は、図3のステップS303及び図8のステップS802にてサイズ・解像度・タッチ位置受信部12により格納されたデータであり、受信端末5毎のIPアドレス、画面サイズ、解像度及びタッチ位置座標からなる。
インターネット配信情報I1は、図3のステップS305及び図8のステップS807にて形状・画面位置・切り出し情報処理部14により格納されたデータであり、ブロックB毎のブロック番号及びIPアドレスからなる。
端末間通信情報I2は、図3のステップS305及び図8のステップS807にて形状・画面位置・切り出し情報処理部14により格納されたデータであり、ブロックB毎のブロック番号、転送元IPアドレス及び転送先IPアドレスからなる。
切り出し情報I3は、図3のステップS305及び図8のステップS807にて形状・画面位置・切り出し情報処理部14により格納されたデータであり、ブロックB毎のブロック番号、切り出し座標、IPアドレス及び表示座標からなる。
音声端末情報は、音声が再生される受信端末5のIPアドレスが含まれる。また、映像及び音声は、受信端末5により再生されるブロックB及び音声である。
以上のように、本発明の実施形態による配信サーバ3によれば、サイズ・解像度・タッチ位置受信部12は、受信端末グループ4を構成する受信端末5A~5Fの画面サイズ、解像度及びタッチ位置座標を受信し、これらのデータをストア部21に格納する。
形状・画面位置・切り出し情報処理部14は、受信端末5A~5Fの画面サイズ及びタッチ位置座標に基づいて、隣接端末の隣接位置及び配置を特定し、受信端末グループ4の形状を判断する。そして、形状・画面位置・切り出し情報処理部14は、受信端末グループ4の形状内に全体画像Zを表示する画面位置を決定する。
形状・画面位置・切り出し情報処理部14は、受信端末グループ4の形状内の受信端末5A~5Fの位置、受信端末グループ4の形状内の全体画像Zの位置、受信端末5A~5Fの解像度及び予め設定された全体画像Zの解像度に基づき、ブロックB11~B34のそれぞれについて、当該ブロックB11~B34の座標系で表した切り出し位置、及び受信端末5A~5Fの座標系で表した表示位置を求める。
形状・画面位置・切り出し情報処理部14は、ブロックB11~B34と、これらの一部または全部を表示する受信端末5A~5Fとの間の対応付けを求め、この対応付けに基づいて、インターネット配信情報I1及び端末間通信情報I2を生成する。また、形状・画面位置・切り出し情報処理部14は、切り出し位置及び表示位置等を用いて、切り出し情報I3を生成する。
配信・切り出し・解像度送信部15は、インターネット配信情報I1、端末間通信情報I2、切り出し情報I3、及び全体画像Zの解像度を受信端末5A~5Fへ送信する。
映像・音声送信部18は、インターネット配信情報I1から、ブロックB毎に送信先の受信端末5を特定し、ブロックBを送信先の受信端末5へ送信する。
これにより、複数の受信端末5が共通するブロックBの一部を表示する場合であっても、一つのブロックBのみがインターネット配信されるだけでよい。これにより、インターネット6の帯域を無駄にすることがなく、配信サーバ3の負荷を低減することができる。
また、全体画像Zを構成するブロックB11~B34は、複数の受信端末グループ4によるマルチディスプレイに共通の「大まかな部分画像」であればよく、複数の受信端末グループ4に共通する領域の画像として扱われる。このため、複数のマルチディスプレイのそれぞれについて異なる領域のブロックBを用いる必要がないから、ブロックBの切り出し処理及びエンコード処理の負荷を削減することができる。
また、受信端末5が表示する画像は、受信端末5において、切り出し情報I3に基づきブロックBから「精密な部分画像」として切り出される。これにより、配信側は、ブロックBから受信端末5が表示する画像を切り出す必要がない。
さらに、複数の受信端末5がブロックBの一部を表示する場合、当該ブロックBは、配信サーバ3から複数の受信端末5のうちの一つの受信端末5へ送信され、当該受信端末5から他の受信端末5へ転送される。これにより、配信側の負荷を受信端末5に分散することができ、配信側は、当該ブロックBを複数の受信端末5へ送信する必要がない。
したがって、受信側の受信端末5に動画ストリームをシェアさせ、画像を切り出させることで、配信側の負荷を受信側に分散することができる。つまり、複数の受信端末5を上下左右に隣接させて構成したマルチディスプレイに動画を表示する際に、配信サーバ3等の配信側及びインターネット6の輻輳の影響を受け難い動画配信を実現することができる。結果として、配信側の負荷を低減すると共に、その経費を削減することができる。
〔受信端末5〕
次に、図1に示した受信端末5について説明する。図13は、本発明の実施形態による受信端末5の構成例を示すブロック図であり、図14は、受信端末5の処理例を示すフローチャートである。
この受信端末5は、インターネット通信インターフェース部30、グループコード処理部31、タッチ位置特定部32、サイズ・解像度取得部33、サイズ・解像度・タッチ位置送信部34、受付完了受信部35、配信・切り出し・解像度受信部36、音声端末送信部37、配信要求部38、映像・音声受信部39、端末間通信部40、シェア完了送信部41、再生開始要求受信部42、映像・音声再生部43及びストア部44を備えている。
インターネット通信インターフェース部30は、インターネット6を介して、配信サーバ3及び他の受信端末5との間で、IPパケットの送受信を行う。
インターネット通信インターフェース部30は、グループコード処理部31、サイズ・解像度・タッチ位置送信部34、音声端末送信部37、配信要求部38またはシェア完了送信部41から送信データを入力し、送信データをIPパケットに格納し、IPパケットを送信先の配信サーバ3へ送信する。また、インターネット通信インターフェース部30は、グループコード処理部31または端末間通信部40から送信データを入力し、送信データをIPパケットに格納し、IPパケットを送信先の他の受信端末5へ送信する。
さらに、インターネット通信インターフェース部30は、配信サーバ3からIPパケットを受信し、IPパケットから受信データを抽出し、受信データをグループコード処理部31、受付完了受信部35、配信・切り出し・解像度受信部36、映像・音声受信部39または再生開始要求受信部42に出力する。また、インターネット通信インターフェース部30は、他の受信端末5からIPパケットを受信し、IPパケットから受信データを抽出し、受信データをグループコード処理部31または端末間通信部40に出力する。
グループコード処理部31は、グループコードの送受信処理を行う(ステップS1401)。
図15は、グループコードの送受信処理(ステップS1401)を示すフローチャートである。グループコード処理部31は、当該受信端末5が受信端末グループ4の代表に設定されている場合、グループコードを発行するためのグループコード要求を配信サーバ3へ送信する。受信端末グループ4の代表であるか否かは、ユーザにより予め設定される。グループコードとしては、例えば4桁の数字が用いられる。
グループコード処理部31は、配信サーバ3または受信端末5の代表からグループコードを受信する(ステップS1501)。具体的には、グループコード処理部31は、当該受信端末5が受信端末グループ4の代表に設定されている場合、配信サーバ3からグループコードを受信する。一方、グループコード処理部31は、当該受信端末5が受信端末グループ4の代表に設定されていない場合、受信端末5の代表からグループコードを受信する。
グループコード処理部31は、配信サーバ3からグループコードを受信した場合、グループコードを他の受信端末5へ送信する。これにより、受信端末グループ4を構成する受信端末5A~5Fは、共通のグループコードを取得することができる。
グループコード処理部31は、動画配信サービスのアプリケーションを起動し(ステップS1502)、当該アプリケーションにグループコードを入力し(ステップS1503)、これを保持する。
これにより、受信端末5A~5Fのそれぞれは、グループコードを用いることで、受信端末グループ4を構成する端末を識別し、特定することができ、受信端末グループ4の形状内で端末間通信を行う際のセキュリティを実現することができる。
図13及び図14に戻って、タッチ位置特定部32は、受信端末グループ4を構成する受信端末5A~5Fの位置を設定するための隣接端末の画面タッチをユーザに要求する。そして、タッチ位置特定部32は、ユーザの操作に従って画面タッチを入力し、タッチ位置座標を特定し(ステップS1402)、タッチ位置座標をサイズ・解像度・タッチ位置送信部34に出力する。
サイズ・解像度取得部33は、ストア部44から当該受信端末5の画面サイズ及び解像度を読み出し、画面サイズ及び解像度をサイズ・解像度・タッチ位置送信部34に出力する。ストア部44には、当該受信端末5の画面サイズ及び解像度が格納されているものとする。
サイズ・解像度・タッチ位置送信部34は、タッチ位置特定部32からタッチ位置座標を入力すると共に、サイズ・解像度取得部33から画面サイズ及び解像度を入力する。そして、サイズ・解像度・タッチ位置送信部34は、画面サイズ、解像度及びタッチ位置座標を配信サーバ3へ送信する(ステップS1403)。
この場合、サイズ・解像度・タッチ位置送信部34は、タッチ位置特定部32により画面タッチの入力がなされ、タッチ位置座標が特定されると、そのタイミングで、タッチ位置座標を配信サーバ3へ送信する。これにより、配信サーバ3は、受信端末グループ4を構成する受信端末5A~5Fからタッチ位置座標を受信すると、その連続性を判断することができる。そして、配信サーバ3は、受信端末5A~5Fの隣接関係及びこれらの配置を判断し、受信端末グループ4の形状を判断する。配信サーバ3は、受付完了を受信端末5へ送信する。
受付完了受信部35は、配信サーバ3から、サイズ・解像度・タッチ位置送信部34により送信された画面サイズ、解像度及びタッチ位置座標に対応する受付完了を受信する(ステップS1404)。
配信・切り出し・解像度受信部36は、配信サーバ3から、インターネット配信情報I1、端末間通信情報I2、切り出し情報I3、及び全体画像Zの解像度を受信し、これらの情報をストア部44に格納する(ステップS1405)。
音声端末送信部37は、音声端末を指定するための画面タッチをユーザに要求し、ユーザの操作に従って画面タッチを入力する(ステップS1406)。そして、音声端末送信部37は、当該受信端末5にIPアドレスを含む音声端末情報を生成し、音声端末情報を配信サーバ3へ送信する(ステップS1407)。
配信要求部38は、映像及び音声の配信を受けるための配信要求を配信サーバ3へ送信する(ステップS1408)。
映像・音声受信部39は、配信サーバ3からインターネット配信による映像及び音声を受信すると、映像及び音声をストア部44に格納することでバッファリングする(ステップS1409)。この場合、映像・音声受信部39は、当該受信端末5が音声端末に指定されている場合、配信サーバ3から音声を受信する。
映像・音声受信部39は、ステップS1409において、映像を再生するためのバッファリングが完了し、映像を再生できる状態となると、完了をシェア完了送信部41に出力する。
端末間通信部40は、端末間通信による映像のシェアを行い、他の受信端末5から端末間通信による映像を受信すると、映像をストア部44に格納することでバッファリングする(ステップS1410)。
具体的には、端末間通信部40は、ストア部44から端末間通信情報I2を読み出し、端末間通信情報I2に含まれる転送元IPアドレスと当該受信端末5のIPアドレスとを比較することで、端末間通信により転送すべきブロックBが存在するか否かを判定する。
端末間通信部40は、端末間通信情報I2に含まれる転送元IPアドレスが当該受信端末5のIPアドレスと一致すると判定した場合、端末間通信により転送すべきブロックBが存在すると判断する。一方、端末間通信部40は、端末間通信情報I2に含まれる転送元IPアドレスが当該受信端末5のIPアドレスと一致しないと判定した場合、端末間通信により転送すべきブロックBが存在しないと判断する。
端末間通信部40は、端末間通信情報I2から、一致すると判定した転送元IPアドレスに対応するブロック番号及び転送先IPアドレスを特定する。そして、端末間通信部40は、ストア部44から、特定したブロック番号のブロックBを読み出し、当該ブロックBを、特定した転送先IPアドレスの受信端末5へ送信する。これにより、端末間通信によるブロックBの転送が行われる。
また、端末間通信部40は、ストア部44から読み出した端末間通信情報I2に含まれる転送先IPアドレスと当該受信端末5のIPアドレスとを比較することで、端末間通信により転送を受けるブロックBが存在するか否かを判定する。
端末間通信部40は、端末間通信情報I2に含まれる転送先IPアドレスが当該受信端末5のIPアドレスと一致すると判定した場合、端末間通信により転送を受けるブロックBが存在すると判断する。一方、端末間通信部40は、端末間通信情報I2に含まれる転送先IPアドレスが当該受信端末5のIPアドレスと一致しないと判定した場合、端末間通信により転送を受けるブロックBが存在しないと判断する。
端末間通信部40は、端末間通信情報I2から、一致すると判定した転送先IPアドレスに対応するブロック番号及び転送元IPアドレスを特定する。そして、端末間通信部40は、特定した転送元IPアドレスの受信端末5から、特定したブロック番号のブロックBを受信した場合、このブロックBが端末間通信による映像のシェアを行われたブロックBであると判断する。
端末間通信部40は、ステップS1410において、端末間通信による映像のシェアが完了すると、または、端末間通信による映像のバッファリングが完了すると、映像を再生するためのバッファリングが完了して映像を再生できる状態となったと判断し、完了をシェア完了送信部41に出力する。
シェア完了送信部41は、映像・音声受信部39及び/または端末間通信部40から完了を入力することで、バッファリング完了を判断し、シェア完了を配信サーバ3へ送信する(ステップS1411)。
例えば、図10に示したインターネット配信情報I1及び端末間通信情報I2のとおり、受信端末5Aについては、インターネット配信により配信を受けるブロックB11が存在し、端末間通信により転送すべきブロックB11が存在し、端末間通信により転送を受けるブロックBが存在しない。この場合、受信端末5Aのシェア完了送信部41は、映像・音声受信部39から完了を入力すると共に、端末間通信部40からブロックB11の転送の完了を入力すると、シェア完了を配信サーバ3へ送信する。
また、受信端末5Fについては、インターネット配信により配信を受けるブロックBが存在せず、端末間通信により転送すべきブロックBが存在せず、端末間通信により転送を受けるブロックB14,B24,B34が存在する。この場合、受信端末5Fのシェア完了送信部41は、端末間通信部40からブロックB14,B24,B34の転送を受けたことの完了を入力すると、シェア完了を配信サーバ3へ送信する。
再生開始要求受信部42は、配信サーバ3から再生開始要求(プッシュ通知)を受信すると(ステップS1412)、再生開始要求を映像・音声再生部43に出力する。
映像・音声再生部43は、再生開始要求受信部42から再生開始要求を入力すると、ストア部44からブロックBを読み出し、ブロックBから表示対象の画像を切り出し、切り出した画像を拡大または縮小して再生する。また、映像・音声再生部43は、当該受信端末5が音声端末に指定されている場合、ストア部44から音声を読み出し、音声を再生する(ステップS1413)。
具体的には、映像・音声再生部43は、ストア部44から、当該受信端末5が再生するブロックBを読み出すと共に、切り出し情報I3、当該受信端末5の解像度及び全体画像Zの解像度を読み出す。
映像・音声再生部43は、切り出し情報I3に含まれる当該受信端末5のIPアドレスに対応するブロック番号、切り出し座標及び表示座標を特定し、当該受信端末5の解像度及び全体画像Zの解像度から拡大率(または縮小率)を算出する。
映像・音声再生部43は、特定したブロック番号のブロックBから、特定した切り出し座標の領域を切り出し画像として切り出し、切り出し画像に対し、算出した拡大率(または縮小率)の拡大処理(または縮小処理)を行う。そして、映像・音声再生部43は、拡大処理(または縮小処理)後の切り出し画像を、特定した表示座標の位置に再生する。
例えば図5及び図9の例において、受信端末5Aの映像・音声再生部43は、ブロックB11から切り出し座標(b1,b2)の領域を切り出し画像として切り出す。そして、映像・音声再生部43は、切り出し画像に対し、受信端末5Aの解像度及び全体画像Zの解像度から算出した拡大率(または縮小率)の拡大処理(または縮小処理)を行う。そして、映像・音声再生部43は、拡大処理(または縮小処理)後の切り出し画像を、受信端末5Aの全体画面における表示座標(5Ab1,5Ab2)の位置に再生する。
これにより、受信端末5A~5Fの解像度の違いが吸収され、受信端末グループ4のマルチディスプレイには、全体として統一したサイズにて全体画像Zが表示される。
図16は、受信端末5のストア部44に格納されたデータの例を説明する図である。ストア部44に格納されたデータは、当該受信端末5の画面サイズ及び解像度、インターネット配信情報I1、端末間通信情報I2、切り出し情報I3、全体画像Zの解像度、映像及び音声等からなる。
画面サイズ及び解像度は、図12に示した端末情報に含まれる画面サイズ及び解像度と同様である。また、インターネット配信情報I1、端末間通信情報I2及び切り出し情報I3は、図12に示したものと同様である。
以上のように、本発明の実施形態による受信端末5によれば、タッチ位置特定部32は、画面タッチを入力してタッチ位置座標を特定し、サイズ・解像度・タッチ位置送信部34は、当該受信端末5の画面サイズ、解像度及びタッチ位置座標を配信サーバ3へ送信する。
配信・切り出し・解像度受信部36は、配信サーバ3からインターネット配信情報I1、端末間通信情報I2、切り出し情報I3、及び全体画像Zの解像度を受信し、これらの情報をストア部44に格納する。
映像・音声受信部39は、配信サーバ3からインターネット配信による映像(及び音声)を受信すると、映像(及び音声)をストア部44にバッファリングする。
端末間通信部40は、端末間通信情報I2に基づいて、配信サーバ3から受信した映像の転送を行い、他の受信端末5から端末間通信による映像を受信すると、映像をストア部44にバッファリングする。
映像・音声再生部43は、切り出し情報I3に含まれる当該受信端末5のIPアドレスに対応するブロック番号、切り出し座標及び表示座標を特定し、当該受信端末5の解像度及び全体画像Zの解像度から、再生時の拡大率(または縮小率)を算出する。
映像・音声再生部43は、再生するブロックBから、切り出し座標の領域を切り出し画像として切り出し、切り出し画像に対し、拡大率(または縮小率)の拡大処理(または縮小処理)を行う。そして、映像・音声再生部43は、拡大処理(または縮小処理)後の切り出し画像を、特定した表示座標の位置に再生する。
これにより、複数の受信端末5のそれぞれが、共通するブロックBの一部を表示する場合であっても、複数の受信端末5のうちのいずれかが、共通するブロックBをインターネット配信にて受信すればよい。つまり、配信サーバ3から複数の受信端末5の全てに対し、共通するブロックBを送信する必要がなく、一つの受信端末5へ送信すればよいため、配信サーバ3の負荷を低減することができる。
また、全体画像Zを構成するブロックB11~B34は、複数のマルチディスプレイに共通する「大まかな部分画像」であればよく、複数の受信端末グループ4のそれぞれは、共通の領域のブロックB11~B34を用いればよい。このため、配信サーバ3は、複数のマルチディスプレイのそれぞれについて、異なる領域のブロックBを生成する必要がないから、ブロックBの切り出し処理及びエンコード処理の負荷を削減することができる。
また、受信端末5が表示する映像は、受信端末5において、切り出し情報I3に基づきブロックBから「精密な部分画像」として切り出される。これにより、配信側は、ブロックBから受信端末5が表示する映像を切り出す必要がない。
したがって、受信側の受信端末5A~5Fに動画ストリームをシェアさせ、映像を切り出させることで、配信側の負荷を受信側に分散することができる。つまり、複数の受信端末5を上下左右に隣接させて構成したマルチディスプレイに動画を表示する際に、配信サーバ3等の配信側及びインターネット6の輻輳の影響を受け難い動画配信を実現することができる。結果として、配信側の負荷を低減すると共に、その経費を削減することができる。
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば前記実施形態では、受信端末5の音声端末送信部37は、音声端末を指定するために、画面タッチの入力をユーザに要求するようにした。
これに対し、受信端末グループ4を構成する全ての受信端末5A~5Fが音声端末として指定されるようにしてもよい。音声は映像よりもデータ量が少ないため、全ての受信端末5A~5Fへ音声が配信されても、インターネット6の負荷がさほど高くならないからである。
また、前記実施形態では、配信サーバ3の形状・画面位置・切り出し情報処理部14は、受信端末グループ4の形状内の受信端末5A~5Fの位置、及び受信端末グループ4の形状内の全体画像Zの位置に基づいて、ブロックBの切り出し位置を判断し、切り出し情報I3を生成するようにした。
これに対し、受信端末5が、切り出し情報I3を生成するようにしてもよい。この場合、配信サーバ3は、受信端末グループ4の形状及び受信端末グループ4の形状内の全体画像Zの位置に関する情報、インターネット配信情報I1、端末間通信情報I2、全体画像Zの解像度、並びに全ての受信端末5の解像度を受信端末5へ送信する。これにより、配信サーバ3の負荷を一層低減することができる。
また、前記実施形態では、端末間通信を行う転送元の受信端末5は、ブロックBを転送先の受信端末5へ転送し、転送先の受信端末5は、ブロックBの転送を受け、ブロックBから切り出し画像を切り出して表示するようにした。
これに対し、転送元の受信端末5は、ブロックBを転送する代わりに、切り出し情報I3に基づいて、転送先の受信端末5により切り出され表示される切り出し画像をブロックBから切り出し、切り出し画像を、転送先の受信端末5へ送信するようにしてもよい。この場合、転送先の受信端末5は、切り出し処理を行う必要がなく、切り出し画像を受信して表示するだけでよい。
尚、本発明の実施形態による配信サーバ3及び受信端末5のハードウェア構成としては、通常のコンピュータを使用することができる。配信サーバ3及び受信端末5は、CPU、RAM等の揮発性の記憶媒体、ROM等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。
配信サーバ3に備えたインターネット通信インターフェース部10、グループコード処理部11、サイズ・解像度・タッチ位置受信部12、受付完了送信部13、形状・画面位置・切り出し情報処理部14、配信・切り出し・解像度送信部15、音声端末受信部16、配信要求受信部17、映像・音声送信部18、シェア完了受信部19、再生開始要求送信部20及びストア部21の各機能は、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。
また、受信端末5に備えたインターネット通信インターフェース部30、グループコード処理部31、タッチ位置特定部32、サイズ・解像度取得部33、サイズ・解像度・タッチ位置送信部34、受付完了受信部35、配信・切り出し・解像度受信部36、音声端末送信部37、配信要求部38、映像・音声受信部39、端末間通信部40、シェア完了送信部41、再生開始要求受信部42、映像・音声再生部43及びストア部44の各機能も、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。
これらのプログラムは、前記記憶媒体に格納されており、CPUに読み出されて実行される。また、これらのプログラムは、磁気ディスク(フロッピー(登録商標)ディスク、ハードディスク等)、光ディスク(CD-ROM、DVD等)、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
受信端末5のプログラムが当該受信端末5の記憶媒体に格納されている場合、受信端末5は、当該プログラムを起動することにより、前述の機能を実行する。また、受信端末5のプログラムは、Webサーバに格納されていてもよい。この場合、受信端末5は、Webブラウザを用いて、Webサーバからプログラムを読み出して起動する。
1 ファイルサーバ
2 エンコーダ
3 配信サーバ
4 受信端末グループ
5,5A,5B,5C,5D,5E,5F 受信端末
6 インターネット
10,30 インターネット通信インターフェース部
11,31 グループコード処理部
12 サイズ・解像度・タッチ位置受信部(端末情報受信部)
13 受付完了送信部
14 形状・画面位置・切り出し情報処理部(配信通信情報処理部)
15 配信・切り出し・解像度送信部
16 音声端末受信部
17 配信要求受信部
18 映像・音声送信部
19 シェア完了受信部
20 再生開始要求送信部
21,44 ストア部
32 タッチ位置特定部
33 サイズ・解像度取得部
34 サイズ・解像度・タッチ位置送信部
35 受付完了受信部
36 配信・切り出し・解像度受信部
37 音声端末送信部
38 配信要求部
39 映像・音声受信部
40 端末間通信部
41 シェア完了送信部
42 再生開始要求受信部
43 映像・音声再生部
Z 全体画像
B11,B12,・・・,B34 ブロック(部分画像)
B11-1,B11-2,B11-3 切り出しブロック(切り出し画像)
I1 インターネット配信情報
I2 端末間通信情報
I3 切り出し情報

Claims (10)

  1. 動画ストリームの全体画像が所定領域毎に分割された複数のブロックを、インターネットを介して、マルチディスプレイを構成する複数の受信端末へ配信する配信サーバにおいて、
    前記複数の受信端末のそれぞれから、当該受信端末の画面サイズ及び解像度、並びに前記受信端末の隣接関係を判断するための隣接位置データを受信する端末情報受信部と、
    前記端末情報受信部により受信された前記画面サイズ及び前記隣接位置データに基づいて、前記複数の受信端末からなる受信端末グループの形状を判断し、
    前記受信端末グループの形状内に前記全体画像が収まるように、前記受信端末グループの形状内の画面位置を決定し、
    前記複数のブロックのそれぞれについて、前記受信端末により切り出し画像が切り出されて表示される切り出し位置を判断し、
    当該配信サーバから前記受信端末へ前記ブロックが配信される場合の、前記ブロックの番号及び前記受信端末のアドレスからなるインターネット配信情報、
    当該配信サーバから前記受信端末へ配信された前記ブロックが前記受信端末から他の前記受信端末へ転送される場合の、前記ブロックの番号、転送元の前記受信端末のアドレス及び転送先の前記受信端末のアドレスからなる端末間通信情報、及び、
    前記受信端末により前記ブロックから前記切り出し画像が切り出され、前記切り出し画像が表示される場合の、前記ブロックの番号、前記ブロックにおける切り出し位置及び前記受信端末における表示位置に関する切り出し情報を生成する配信通信情報処理部と、
    前記配信通信情報処理部により生成された前記インターネット配信情報、前記端末間通信情報及び前記切り出し情報、並びに前記全体画像の解像度を、前記複数の受信端末のそれぞれへ送信する送信部と、を備え、
    前記ブロック内の異なる部分が2以上の所定数の前記受信端末により表示される場合、前記ブロックは、当該配信サーバから前記2以上の所定数の前記受信端末のうちのいずれか一つの第1受信端末へ配信され、前記第1受信端末から前記2以上の所定数の前記受信端末のうち前記第1受信端末以外の残りの第2受信端末へ転送されるように、
    前記インターネット配信情報は、前記ブロックの番号、及び前記第1受信端末のアドレスを含み、
    前記端末間通信情報は、前記ブロックの番号、前記転送元である前記第1受信端末のアドレス、及び前記転送先である前記第2受信端末のアドレスを含む、ことを特徴とする配信サーバ。
  2. 動画ストリームの全体画像が所定領域毎に分割された複数のブロックを、インターネットを介して、マルチディスプレイを構成する複数の受信端末へ配信する配信サーバにおいて、
    前記複数の受信端末のそれぞれから、当該受信端末の画面サイズ及び解像度、並びに前記受信端末の隣接関係を判断するための隣接位置データを受信する端末情報受信部と、
    前記端末情報受信部により受信された前記画面サイズ及び前記隣接位置データに基づいて、前記複数の受信端末からなる受信端末グループの形状を判断し、
    前記受信端末グループの形状内に前記全体画像が収まるように、前記受信端末グループの形状内の画面位置を決定し、
    当該配信サーバから前記受信端末へ前記ブロックが配信される場合の、前記ブロックの番号及び前記受信端末のアドレスからなるインターネット配信情報、及び、
    当該配信サーバから前記受信端末へ配信された前記ブロックが前記受信端末から他の前記受信端末へ転送される場合の、前記ブロックの番号、転送元の前記受信端末のアドレス及び転送先の前記受信端末のアドレスからなる端末間通信情報を生成する配信通信情報処理部と、
    前記配信通信情報処理部により判断された前記受信端末グループの形状、前記配信通信情報処理部により決定された前記画面位置、前記配信通信情報処理部により生成された前記インターネット配信情報及び前記端末間通信情報、前記全体画像の解像度、並びに前記端末情報受信部により受信された前記受信端末の解像度を、前記複数の受信端末のそれぞれへ送信する送信部と、を備え、
    前記ブロック内の異なる部分が2以上の所定数の前記受信端末により表示される場合、前記ブロックは、当該配信サーバから前記2以上の所定数の前記受信端末のうちのいずれか一つの第1受信端末へ配信され、前記第1受信端末から前記2以上の所定数の前記受信端末のうち前記第1受信端末以外の残りの第2受信端末へ転送されるように、
    前記インターネット配信情報は、前記ブロックの番号、及び前記第1受信端末のアドレスを含み、
    前記端末間通信情報は、前記ブロックの番号、前記転送元である前記第1受信端末のアドレス、及び前記転送先である前記第2受信端末のアドレスを含む、ことを特徴とする配信サーバ。
  3. 請求項1または2に記載の配信サーバにおいて、
    前記配信通信情報処理部は、
    前記受信端末グループの形状内に、最大のサイズで前記全体画像が収まるように、前記画面位置を決定する、ことを特徴とする配信サーバ。
  4. 請求項1に記載の配信サーバにおいて、
    前記配信通信情報処理部が生成する前記切り出し情報を、前記受信端末により前記ブロックから前記切り出し画像が切り出され、前記切り出し画像が表示される場合の、前記ブロックの番号、前記ブロックの座標系における前記切り出し位置の座標、及び前記受信端末の座標系における前記表示位置の座標とする、ことを特徴とする配信サーバ。
  5. マルチディスプレイを構成する複数の受信端末のうちの一つの受信端末であって、配信サーバから、全体画像が所定領域毎に分割された複数のブロックからなる動画ストリームの配信を受ける前記受信端末において、
    ユーザの操作により、前記受信端末の隣接位置を特定するための隣接位置データを生成する位置特定部と、
    当該受信端末の画面サイズ、解像度、及び前記位置特定部により生成された前記隣接位置データを送信する第1送信部と、
    前記配信サーバから前記受信端末へ前記ブロックが配信される場合の、前記ブロックの番号及び前記受信端末のアドレスからなる情報であって、前記ブロック内の異なる部分が2以上の所定数の前記受信端末により表示される場合、前記ブロックが前記配信サーバから前記2以上の所定数の前記受信端末のうちのいずれか一つの第1受信端末へ配信されるように、前記ブロックの番号、及び前記第1受信端末のアドレスを含むインターネット配信情報、
    前記配信サーバから前記受信端末へ配信された前記ブロックが前記受信端末から他の前記受信端末へ転送される場合の、前記ブロックの番号、転送元の前記受信端末のアドレス及び転送先の前記受信端末のアドレスからなる情報であって、前記ブロック内の異なる部分が2以上の所定数の前記受信端末により表示される場合、前記ブロックは、前記第1受信端末から前記2以上の所定数の前記受信端末のうち前記第1受信端末以外の残りの第2受信端末へ転送されるように、前記ブロックの番号、前記転送元である前記第1受信端末のアドレス、及び前記転送先である前記第2受信端末のアドレスを含む端末間通信情報、
    前記受信端末により前記ブロックから切り出し画像が切り出され、前記切り出し画像が表示される場合の、前記ブロックの番号、前記ブロックにおける切り出し位置及び前記受信端末における表示位置に関する切り出し情報、及び、前記全体画像の解像度を、前記配信サーバから受信する第1受信部と、
    前記配信サーバから前記ブロックを受信する第2受信部と、
    前記第1受信部により受信された前記端末間通信情報に基づいて、前記第2受信部により受信された前記ブロックを前記転送先へ転送し、前記転送元から前記ブロックの転送を受ける端末間通信部と、
    前記第2受信部により受信された前記ブロック及び前記端末間通信部により転送を受けた前記ブロックから、前記第1受信部により受信された前記切り出し情報に基づいて前記切り出し画像を切り出し、前記切り出し画像を再生する映像再生部と、
    を備えたことを特徴とする受信端末。
  6. 請求項5に記載の受信端末において、
    前記映像再生部は、
    前記第2受信部により受信された前記ブロック及び前記端末間通信部により転送を受けた前記ブロックから、前記第1受信部により受信された前記切り出し情報に含まれる前記切り出し位置にて、前記切り出し画像を切り出し、
    前記第1受信部により受信された前記全体画像の解像度及び当該受信端末の解像度に基づいて、前記切り出し画像を拡大または縮小し、
    前記切り出し情報に含まれる前記表示位置に、前記拡大または前記縮小した後の前記切り出し画像を再生する、ことを特徴とする受信端末。
  7. 請求項5または6に記載の受信端末において、
    前記位置特定部は、
    前記ユーザの画面タッチの操作により、前記隣接位置データとして、前記受信端末の隣接位置を特定するための座標を生成する、ことを特徴とする受信端末。
  8. 請求項5から7までのいずれか一項に記載の受信端末において、
    さらに、前記ユーザの操作により、前記動画ストリームの音声を再生する音声端末の指定を入力し、前記音声端末に関する情報を前記配信サーバへ送信する第2送信部と、
    前記配信サーバから前記音声を受信する第3受信部と、
    前記第3受信部により受信された前記音声を再生する音声再生部と、を備えたことを特徴とする受信端末。
  9. コンピュータを、請求項1から4までのいずれか一項に記載の配信サーバとして機能させるためのプログラム。
  10. コンピュータを、請求項5から8までのいずれか一項に記載の受信端末として機能させるためのプログラム。
JP2019057054A 2019-03-25 2019-03-25 動画ストリームを配信する配信サーバ、受信端末及びプログラム Active JP7216588B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019057054A JP7216588B2 (ja) 2019-03-25 2019-03-25 動画ストリームを配信する配信サーバ、受信端末及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019057054A JP7216588B2 (ja) 2019-03-25 2019-03-25 動画ストリームを配信する配信サーバ、受信端末及びプログラム

Publications (2)

Publication Number Publication Date
JP2020161896A JP2020161896A (ja) 2020-10-01
JP7216588B2 true JP7216588B2 (ja) 2023-02-01

Family

ID=72640003

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019057054A Active JP7216588B2 (ja) 2019-03-25 2019-03-25 動画ストリームを配信する配信サーバ、受信端末及びプログラム

Country Status (1)

Country Link
JP (1) JP7216588B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115767176A (zh) * 2021-09-06 2023-03-07 纬创资通股份有限公司 用于显示墙系统的影像处理装置及播放控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003280624A (ja) 2002-03-27 2003-10-02 Sony Corp マルチディスプレイ装置、画像表示装置、および方法、並びにコンピュータ・プログラム
JP2012133068A (ja) 2010-12-21 2012-07-12 Yahoo Japan Corp マルチディスプレイシステム、端末、方法及びプログラム
JP2018049257A (ja) 2016-09-15 2018-03-29 パナソニックIpマネジメント株式会社 画像表示システム
JP2018189826A (ja) 2017-05-08 2018-11-29 シャープ株式会社 表示装置、表示装置の制御方法、および制御プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003280624A (ja) 2002-03-27 2003-10-02 Sony Corp マルチディスプレイ装置、画像表示装置、および方法、並びにコンピュータ・プログラム
JP2012133068A (ja) 2010-12-21 2012-07-12 Yahoo Japan Corp マルチディスプレイシステム、端末、方法及びプログラム
JP2018049257A (ja) 2016-09-15 2018-03-29 パナソニックIpマネジメント株式会社 画像表示システム
JP2018189826A (ja) 2017-05-08 2018-11-29 シャープ株式会社 表示装置、表示装置の制御方法、および制御プログラム

Also Published As

Publication number Publication date
JP2020161896A (ja) 2020-10-01

Similar Documents

Publication Publication Date Title
US11032588B2 (en) Method and apparatus for spatial enhanced adaptive bitrate live streaming for 360 degree video playback
US11917221B2 (en) Encoding device and method, reproduction device and method, and program
EP3782368A1 (en) Processing video patches for three-dimensional content
KR102384489B1 (ko) 정보 처리 장치, 정보 제공 장치, 제어 방법, 및 컴퓨터 판독가능 저장 매체
US11483629B2 (en) Providing virtual content based on user context
KR101668858B1 (ko) 다채널 비디오 스트림 전송 방법, 그리고 이를 이용한 관제 시스템
TWI786572B (zh) 沉浸式媒體提供方法、獲取方法、裝置、設備及存儲介質
KR102564729B1 (ko) 복수의 뷰포인트들을 포함하는 3차원 컨텐트에 대한 정보를 전송하기 위한 방법 및 장치
KR20150029461A (ko) 파노라마 영상의 스트리밍 서비스 제공 시스템에서 타일링 영상 동기화 방법
JP7216588B2 (ja) 動画ストリームを配信する配信サーバ、受信端末及びプログラム
JP2017123503A (ja) 映像配信装置、映像配信方法及びコンピュータプログラム
KR20180052255A (ko) 스트리밍 컨텐츠 제공 방법, 및 이를 위한 장치
US20220150552A1 (en) Information processing apparatus, information processing method, reproduction processing device, and reproduction processing method
KR20180099109A (ko) 실시간 방송 요청 시스템 및 방법
JP2018088605A (ja) 情報処理装置、表示制御装置、制御方法、及びプログラム
Kondoz et al. Novel 3D Media Technologies
KR101979432B1 (ko) 360도 vr 콘텐츠 내의 음원 위치 정보를 이용한 사용자의 시점 예측 장치 및 방법
WO2020204253A1 (ko) 관심 영역 기반의 vr 영상 수신 장치 및 방법
KR20210064654A (ko) 360도 3차원 영상 재생시스템
JP2019125865A (ja) 情報処理装置および方法
KR102392908B1 (ko) 자유시점 비디오 서비스를 제공하는 방법, 장치 및 시스템
KR102465610B1 (ko) 일대다 영상 송출 제어용 매개 서버 및 제어 방법
US20210289194A1 (en) System, method, and computer program for generating volumetric video
JP7296219B2 (ja) 受信装置、送信装置、及びプログラム
WO2019138927A1 (ja) 情報処理装置および方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220131

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230120

R150 Certificate of patent or registration of utility model

Ref document number: 7216588

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150