JP5492736B2 - 映像配信システム、映像配信方法、および映像配信プログラム - Google Patents

映像配信システム、映像配信方法、および映像配信プログラム Download PDF

Info

Publication number
JP5492736B2
JP5492736B2 JP2010245497A JP2010245497A JP5492736B2 JP 5492736 B2 JP5492736 B2 JP 5492736B2 JP 2010245497 A JP2010245497 A JP 2010245497A JP 2010245497 A JP2010245497 A JP 2010245497A JP 5492736 B2 JP5492736 B2 JP 5492736B2
Authority
JP
Japan
Prior art keywords
multiplexed
information
data
video
multiplexed data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010245497A
Other languages
English (en)
Other versions
JP2012100032A (ja
Inventor
好江 山口
明男 亀田
英明 木全
勝彦 深澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2010245497A priority Critical patent/JP5492736B2/ja
Publication of JP2012100032A publication Critical patent/JP2012100032A/ja
Application granted granted Critical
Publication of JP5492736B2 publication Critical patent/JP5492736B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、符号化装置によって符号化中の映像をリアルタイムに近い再生を要求する再生端末に要求に応じた映像を配信する映像配信システム、映像配信方法、および映像配信プログラムに関する。
再生端末に既に録画されている映像の配信を行う場合、インデックスファイルを用いて再生端末が要求する映像を配信する方法がある。基本的に以下の方法で行われている。
例えば、インデックスファイルには、1行単位で、撮影時刻に応じて時系列に並べられた再生時刻を示す情報が記載されている。配信装置は、このインデックスファイルを参照して、再生端末からの要求に応じて映像を、この再生時刻に基づき記憶部から読み出して、再生端末に配信する。この再生時刻は、再生端末がいつ再生すれば良いかを示す時刻であって、その時刻間隔は極めて細かい。
このインデックスファイルとしては、例えば、特許文献1に記載されているものがある。
特開2001−45428号公報
しかしながら、リアルタイムに近い再生を要求する再生端末に映像を配信する場合、インデックスファイルを作成している時間的余裕がなく、インデックスファイルを用いたリアルタイムに近い再生は困難であった。
仮に実現できた場合であっても符号化中のタイムスタンプと再生のタイムスタンプに大きな時間差が生じ、再生端末における再生映像と符号化中の映像とずれる問題があった。また、インデックスファイルを利用する場合、いつ再生すればよいかを示す細かく刻まれた再生時間単位(1行単位)でインデックスファイルを参照して映像データを読み出すため、ファイルリード回数が大量に発生する問題があった。これによっても、再生映像と現実の撮像対象の映像とずれる問題があった。
本発明は、上記課題を解決するものであり、複数の符号化装置によって符号化中の映像を符号化装置に応じて切り換えてリアルタイムに近い再生する際、符号化中の映像と再生端末における再生映像との時間軸のずれを低減させることができる映像配信システム、映像配信方法、および映像配信プログラムを提供することを目的とする。
上述の課題を鑑み、本発明に係る映像配信システムは、多重化装置と、当該多重化装置から送信される情報を受信して再生端末からの要求に応じた情報を配信する配信サーバとを備える映像配信システムにおいて、前記多重化装置は、複数の符号化装置によって符号化されたデータであって、符号化された順番を示す時刻情報が付与された複数の符号化データを受信し、各符号化データを符号化した符号化装置を示す識別情報を各符号化データに付与する多重化受信部と、予め決められている時間長の前記符号化データを前記時刻情報および前記識別情報とともに多重化して多重化データを作成するとともに、前記多重化データに含まれる前記符号化データと対応付けられている前記時刻情報のうち符号化された順番が最も早い時刻情報を含む多重化情報を作成し、前記時刻情報に応じて対応付けた前記多重化データと前記多重化情報を、前記配信サーバに対して伝送する多重化送信部と、を備え、前記配信サーバは、互いに対応付けられている前記多重化情報と前記多重化データを受信し、前記多重化情報および前記多重化データに含まれる前記符号化データの前記時刻情報に基づき、前記時刻情報が示す符号化された順番に前記多重化データおよび前記多重化情報を並べて、一時記憶部に格納するサーバ受信部と、符号化された順番が最も早い前記時刻情報を含む前記多重化情報と前記一次記憶部において対応付けられている前記多重化データより、予め決められた時間分だけ過去に符号化された符号化データを含む前記多重化データから、前記再生端末が映像配信を要求している前記識別情報と対応付けられている前記多重化データを読み出し、前記再生端末に前記映像配信を要求している前記識別情報と対応付けられた前記多重化データおよび前記多重化情報を、当該多重化データと対応付けられている前記多重化情報の時刻情報が示す符号化された順番で送信する配信部と、を備え、前記配信部は、実際の伝送レートよりも予め決められたオーバーレートの速度で、前記再生端末に対して、前記多重化データを送信する。
上述の課題を鑑み、本発明に係る映像配信システムは、多重化装置と、当該多重化装置から送信される情報を受信して再生端末からの要求に応じた情報を配信する配信サーバとを備える映像配信システムにおいて、前記多重化装置は、複数の符号化装置によって符号化されたデータであって、符号化された順番を示す時刻情報が付与された複数の符号化データを受信し、各符号化データを符号化した符号化装置を示す識別情報を各符号化データに付与する多重化受信部と、予め決められている時間長の前記符号化データを前記時刻情報および前記識別情報とともに多重化して多重化データを作成するとともに、前記多重化データに含まれる前記符号化データと対応付けられている前記時刻情報のうち符号化された順番が最も早い時刻情報を含む多重化情報を作成し、前記時刻情報に応じて対応付けた前記多重化データと前記多重化情報を、前記配信サーバに対して伝送する多重化送信部と、を備え、前記配信サーバは、互いに対応付けられている前記多重化情報と前記多重化データを受信し、前記多重化情報および前記多重化データに含まれる前記符号化データの前記時刻情報に基づき、前記時刻情報が示す符号化された順番に前記多重化データおよび前記多重化情報を並べて、一時記憶部に格納するサーバ受信部と、符号化された順番が最も早い前記時刻情報を含む前記多重化情報と前記一次記憶部において対応付けられている前記多重化データより、予め決められた時間分だけ過去に符号化された符号化データを含む前記多重化データを読み出し、前記多重化データおよび前記多重化情報を、当該多重化データと対応付けられている前記多重化情報の時刻情報が示す符号化された順番で前記再生端末に送信する配信部と、を備え、前記配信部は、実際の伝送レートよりも予め決められたオーバーレートの速度で、前記再生端末に対して、前記多重化データを送信する。
上述の課題を鑑み、本発明に係る映像配信方法は、多重化装置と、当該多重化装置から送信される情報を受信して再生端末からの要求に応じた情報を配信する配信サーバとを備える映像配信方法において、前記多重化装置は、複数の符号化装置によって符号化されたデータであって、符号化された順番を示す時刻情報が付与された複数の符号化データを受信し、各符号化データを符号化した符号化装置を示す識別情報を各符号化データに付与し、予め決められている時間長の前記符号化データを前記時刻情報および前記識別情報とともに多重化して多重化データを作成するとともに、前記多重化データに含まれる前記符号化データと対応付けられている前記時刻情報のうち符号化された順番が最も早い時刻情報を含む多重化情報を作成し、前記時刻情報に応じて対応付けた前記多重化データと前記多重化情報を、前記配信サーバに対して伝送し、前記配信サーバは、互いに対応付けられている前記多重化情報と前記多重化データを受信し、前記多重化情報および前記多重化データに含まれる前記符号化データの前記時刻情報に基づき、前記時刻情報が示す符号化された順番に前記多重化データおよび前記多重化情報を並べて、一時記憶部に格納し、符号化された順番が最も早い前記時刻情報を含む前記多重化情報と前記一次記憶部において対応付けられている前記多重化データより、予め決められた時間分だけ過去に符号化された符号化データを含む前記多重化データから、前記再生端末が映像配信を要求している前記識別情報と対応付けられている前記多重化データを読み出し、前記再生端末に前記映像配信を要求している前記識別情報と対応付けられた前記多重化データおよび前記多重化情報を、当該多重化データと対応付けられている前記多重化情報の時刻情報が示す符号化された順番で前記再生端末に送信する際、実際の伝送レートよりも予め決められたオーバーレートの速度で、前記再生端末に対して、前記多重化データを送信する。
上述の課題を鑑み、本発明に係る映像配信プログラムは、多重化装置と、当該多重化装置から送信される情報を受信して再生端末からの要求に応じた情報を配信する配信サーバとを備える映像配信システムにおける映像配信プログラムであって、コンピュータを、複数の符号化装置によって符号化されたデータであって、符号化された順番を示す時刻情報が付与された複数の符号化データを受信し、各符号化データを符号化した符号化装置を示す識別情報を各符号化データに付与する多重化受信手段、予め決められている時間長の前記符号化データを前記時刻情報および前記識別情報とともに多重化して多重化データを作成するとともに、前記多重化データに含まれる前記符号化データと対応付けられている前記時刻情報のうち符号化された順番が最も早い時刻情報を含む多重化情報を作成し、前記時刻情報に応じて対応付けた前記多重化データと前記多重化情報を、前記配信サーバに対して伝送する多重化送信手段、互いに対応付けられている前記多重化情報と前記多重化データを受信し、前記多重化情報および前記多重化データに含まれる前記符号化データの前記時刻情報に基づき、前記時刻情報が示す符号化された順番に前記多重化データおよび前記多重化情報を並べて、一時記憶部に格納するサーバ受信手段、符号化された順番が最も早い前記時刻情報を含む前記多重化情報と前記一次記憶部において対応付けられている前記多重化データより、予め決められた時間分だけ過去に符号化された符号化データを含む前記多重化データをから、前記再生端末が映像配信を要求している前記識別情報と対応付けられている前記多重化データ読み出し、前記再生端末に前記映像配信を要求している前記識別情報と対応付けられた前記多重化データおよび前記多重化情報を、当該多重化データと対応付けられている前記多重化情報の時刻情報が示す符号化された順番で前記再生端末に送信する際、実際の伝送レートよりも予め決められたオーバーレートの速度で、前記再生端末に対して、前記多重化データを送信する配信手段、として機能させるためのプログラムである
本発明によれば、複数の符号化装置によって符号化している最中の映像を符号化装置に応じて切り換えて再生する際、現在符号化中の映像と再生端末における再生映像との時間軸のずれを低減させることができる。
本発明の第1実施形態に係る映像配信システムの概略構成を示すブロック図である。 本発明の第1実施形態に係る多重化装置から配信サーバへ多重化情報、全映像/音声多重化データを送信する説明図である。 本発明の第1実施形態に係る映像配信システムにおける、指定配信(映像/音声)要求の映像/音声多重化データ読み出しの説明図である。 本発明の第1実施形態に係る映像配信システムにおける、複数指定配信(映像/音声)要求の映像/音声多重化データ読み出しの説明図である。 本発明の第1実施形態に係る映像配信システムにおける、全配信(映像/音声)要求の映像/音声多重化データ読み出しの説明図である。 本発明の第1実施形態に係る再生端末から配信サーバへの要求と映像/音声多重化データの配信の説明図である。 本発明の第1実施形態における多重化情報と全映像/音声多重化データの構成を説明するための図である。 本発明の第2実施形態に係る映像配信システムの概略構成を示すブロック図である。 本発明の第2実施形態に係る映像多重化装置から配信サーバへ多重化情報、全映像多重化データを送信する説明図である。 本発明の第2実施形態に係る映像配信システムにおける、指定配信(映像)要求の映像符号化データ読み出しの説明図である。 本発明の第2実施形態に係る映像配信システムにおける、複数指定配信(映像)要求の映像多重化データ読み出しの説明図である。 本発明の第2実施形態に係る映像配信システムにおける、全配信(映像)要求の映像多重化データ読み出しの説明図である。 本発明の第2実施形態に係る再生端末から配信サーバへの要求と映像多重化データの配信の説明図である。 本発明の第1実施形態における多重化情報と全映像/音声多重化データの構成を説明するための図である。 本発明の第1実施形態に係る映像配信システムにおける、指定配信(映像/音声)処理手順を示すフローチャートである。 本発明の第1実施形態に係る映像配信システムにおける、複数指定(映像/音声)配信処理手順を示すフローチャートである。 本発明の第1実施形態に係る映像配信システムにおける、全配信(映像/音声)処理手順を示すフローチャートである。 本発明の第2実施形態に係る映像配信システムにおける、指定配信(映像)処理手順を示すフローチャートである。 本発明の第2実施形態に係る映像配信システムにおける、複数指定配信(映像)処理手順を示すフローチャートである。 本発明の第2実施形態に係る映像配信システムにおける、全配信(映像)処理手順を示すフローチャートである。
[第1実施形態]
以下、本発明の一実施形態による映像配信システムは、複数の撮影装置(以下、カメラという)100と、複数の符号化装置300と、多重化装置400と、配信サーバ500と、複数の再生端末600とを含む。複数のカメラ100と符号化装置300とは例えば有線または無線接続されており、符号化装置300がカメラ100から出力される情報を入力する。符号化装置300は、ネットワーク701を介して多重化装置400と接続されている。多重化装置400は、ネットワーク702を介して配信サーバ500と接続されている。配信サーバ500は、ネットワーク703を介して再生端末600と接続されている。
上述において、符号化装置300への入力情報として、カメラ100を用いる例を説明したが、例えば、パノラマ映像を分割して得られる複数の映像データであってもよい。
この複数のカメラ100は、例えばn個のカメラ100−1〜100−nを含む。本実施形態において、複数のカメラ100は、カメラ100−1、100−2と、ナビゲーションカメラ(以下、ナビカメラという)100−3と、マイク内蔵型カメラ100−nとを含む。このマイク内蔵型カメラ100−nは、マイク200を搭載している。このように、1台以上のカメラ100が符号化装置300に接続され、音声データは本実施例では、1台のマイク内蔵カメラのマイクによる集音により得られるものとしている。なお、マイク200は、カメラ内蔵されていない単体の装置であってもよい。また、マイク200は、複数のマイクを備えるものであってもよく、さらに、必須要件ではなく、なくてもよい。
なお、これら複数のカメラ100からの出力を特定するため、以下、カメラ100−1〜100−nのことを、カメラ1〜nと表わす場合がある。
複数のカメラ100は、例えば同一の被写体を撮影して、撮影した映像を示す映像データを接続されている符号化装置300にそれぞれ出力する。本実施形態において、カメラ100−1は、例えば被写体の一部を右側からアップ(拡大)で撮影して映像データD1を出力する。カメラ100−2は、例えば被写体の一部を左側からアップ(拡大)で撮影して映像データD2を出力する。ナビカメラ100−3は、被写体の全体を撮影して映像データD3を出力する。なお、ナビカメラ100−3によって撮影される映像を、以下、ナビゲーション映像という。マイク内蔵型カメラ100−4は、被写体の一部を正面からアップ(拡大)で撮影して映像データD4を出力する。また、マイク200は、取得した音声データD5を出力する。
複数の符号化装置300は、カメラ100−1から映像データD1が入力する符号化装置300−1と、カメラ100−2から映像データD2が入力する符号化装置300−2と、ナビカメラ100−3から映像データD3が入力する符号化装置300−3と、マイク内蔵型カメラ100−4から映像データD4および音声データD5が入力する符号化装置300−nを含む。つまり、各符号化装置300−1〜300−nは、接続されるカメラ100−1〜100−nが予め決められており、一対一に対応付けられている。
この複数の符号化装置300は、多重化装置400から、符号化データの作成開始を示す信号を受信すると、対応付けられているカメラ100から入力する映像データや音声データを符号化して符号化データを作成し、ネットワーク701を介して多重化装置400に送信する。本実施形態において、符号化装置300−1〜300−nは、映像符号化データD11〜14を作成して送信する。また、符号化装置300−nは、音声符号化データD15を作成して送信する。なお、符号化装置300は、カメラから送られた映像データと音声データをそれぞれ符号化し、符号化された映像符号化データおよび音声符号化データを別のデータとして、送信する。
この符号化装置300は、実際のレートでネットワーク701を介して符号化データを多重化装置400に送信する。ここで、実際のレートは、符号化時に符号化装置300によって作成されて配信レートを意味する。
符号化装置300−1〜300−nは、カメラ100−1〜100−nから入力する情報に基づき、符号化された順番を示すタイムスタンプを割り当てる。
例えば、符号化装置300−1〜300−nは、初期状態において、多重化装置400から符号化データの作成開始を示す信号を受信すると、最初に作成する符号化データに対して、タイムスタンプ=0を割り当てる。本実施形態において、符号化装置300−1〜300−nは、全てはじめは初期状態である。
符号化装置300−1〜300−nは、2回目以降、同じタイミングで、符号化した映像データおよび音声データに対して、符号化した順番に応じて、順次タイムスタンプ=1、2、・・・を割り当てる。なお、「同じタイミング」とは、完全に同一の時刻であることを意味するとともに、装置間における微小なズレを考慮して、同一の時刻であると許容される範囲を含む。
このように、符号化装置300−1〜300−nは、概ね同じタイミングで、符号化データの作成開始を示す信号を受信するため、同じタイミングで符号化した符号化データに対して、同じタイミング(順番)で符号化されたことを示す同じタイムスタンプを付与することができる。
なお、符号化装置300−1〜300−nは、符号化データの先頭にタイムスタンプを付与して、多重化装置400に送信する。
多重化装置400は、符号化装置300から送信された情報を受信する多重化受信部401と、この多重化受信部401が受信した情報を多重化して多重化データを作成する多重化部402と、多重化データを配信サーバ500に送信する多重化配信部403とを含む。
多重化受信部401は、符号化装置300−1〜300−nのそれぞれから、映像/音声符号化データ作成時に作成される情報であって、復号化する順番あるいは再生する順番を示す時刻情報(タイムスタンプ)が付与された映像/音声符号化データD11〜D15を受信する。
この多重化受信部401は、内蔵する記憶部に記憶されているカメラ出力対応テーブルを参照し、送信元の各符号化装置300−1〜300−nのIPアドレスに基づき、各カメラからの出力データを特定する。このカメラ出力対応テーブルは、符号化装置300−1〜300−nに割り当てられているIPアドレスと、各符号化装置300−1〜300−nを示す固有の識別番号(ViewID)と対応づけるテーブルである。
例えば、多重化受信部401は、受信した符号化データから送信元のIPアドレスが分かるためカメラ出力対応テーブルを参照し、送信元が符号化装置300−1の場合はView1、送信元が符号化装置300−2の場合はView2、送信元が符号化装置300−3の場合はView3を対応付ける。また、多重化受信部401は、送信元が符号化装置300−nの場合、映像符号化データに対してはViewnを、音声符号化データに対してはViewn+1を、それぞれ対応づけをする。以下、ViewIDを識別情報という。これにより識別情報(符号化装置)から映像/音声符号化データを特定できる。
さらに、多重化受信部401は、各符号化データに各符号化データに対応する識別情報であるViewIDを付与する。
多重化部402は、タイムスタンプに基づき、予め決められている時間長の映像/音声符号化データを多重化して多重化データを作成する。
例えば、各映像符号化データに付与されているタイムスタンプに基づき、時刻t1から予め決められている時間長後の時刻t2までの全ての符号化装置300−1〜300−nから受信した映像符号化データ(1GOP)を複数まとめて多重化し、多視点映像符号化データ(MVC)を作成する。さらに多重化部402は、音声符号化データのタイムスタンプに基づき、時刻t1から予め決められている時間長後のt2までの音声符号化データ(1GOP)と、多視点映像符号化データ(MVC)とを多重化し、1つの多重化データである1GOP全映像/音声多重化データを作成する。つまり、1GOP全映像/音声多重化データには、全ての符号化装置300−1〜300−nから受信した全ての映像符号化データと全ての音声符号化データがふくまれている。
なお本実施例では、この1GOP全映像/音声多重化データには、同じ時刻に符号化装置300−1〜300−nが符号化を開始した、複数のカメラ100によって撮影された映像データD1(View1)〜D4(Viewn)と、映像データD1〜D4と同時刻に符号化装置300−nが符号化を開始した音声データD5(Viewn+1)が含まれている。なお、多重化部402は、音声符号化データがない場合は、複数の映像符号化データのみを多重化した多視点映像符号化データ(MVC)を、1GOP全映像多重化データとして出力する。
なお、1GOP全映像/音声多重化データに含まれる映像符号化データおよび音声符号化データは、それぞれ、タイムスタンプの時系列(昇順)に並べられている。よって、1GOP全映像/音声多重化データのデータ列の先頭には、符号化された順番が最も早い映像符号化データあるいは音声符号化データが位置されている。つまり、多重化部402は、予め決められている時間長の符号化データを時刻情報(タイムスタンプ)および識別情報(ViewID)とともに多重化するとともに、符号化された順番に従って符号化データを並べた多重化データを作成する。
また、多重化部402は、1GOP全映像/音声多重化データの1GOPの先頭のタイムスタンプと、1GOP全映像/音声多重化データに含まれる全識別情報(全ViewID)とを含む多重化情報を作成する。つまり、多重化部402は、多重化データに含まれる符号化データと対応付けられている時刻情報(タイムスタンプ)のうち符号化された順番が最も早い時刻情報(タイムスタンプ)を含む多重化情報を作成する。
多重化部402は、作成した多重化情報と多重化データ(1GOP全映像/音声多重化データ)とを対応付けて多重化送信部403に出力する。つまり、多重化部402は、この多重化情報と1GOP全映像/音声多重化データを続けて、その間になんらの情報も挟まないように、多重化送信部403に出力する。
多重化送信部403は、この対応付けられた多重化情報と1GOP全映像/音声多重化データを、配信サーバ500に対して送信する。例えば、多重化送信部403は、最初に、多重化情報を配信サーバ500へ送信し、続けて1GOP全映像/音声多重化データを実際のレートで配信サーバ500へ送信する。ここで、実際のレートは、符号化時に符号化装置300によって作成された配信レートを意味する。
配信サーバ500は、多重化装置400から送信された多重化情報と1GOP全映像/音声多重化データを受信し、一時保存する。なお、送信される多重化情報と1GOP全映像/音声多重化データは、それぞれ対応づけられている。この配信サーバ500は、受信した多重化情報(1GOP全映像/音声多重化データの先頭のタイムスタンプ)と多重化データに付与されているタイムスタンプ(1GOP全映像/音声多重化データの先頭のタイムスタンプ)を参照して、受信した多重化情報と多重化データのセットデータを時系列に並べて一次記憶部に記憶させる。
また、配信サーバ500は、例えば再生端末600−1からの配信要求を受け取ると、一時保存している最新(最も時間が新しい)の1GOP全映像/音声多重化データより指定時間分戻ったところの多重化情報から、再生端末600−1が要求する識別情報(ViewID)を読み出す。
そして、配信サーバ500は、戻ったところの全映像/音声多重化データの1GOP全映像/音声多重化データの先頭から再生端末600−1が要求する映像/音声多重化データを読み出し、以後順次読み出す。
いいかえると、配信サーバ500は、一次記憶部において最新の多重化情報と対応付けられている1GOP全映像/音声多重化データより予め決められた時間分だけ過去の時刻の1GOP全映像/音声多重化データから、再生端末が映像配信を要求している識別情報(ViewID)と対応付けられている多重化データを読み出し、この多重化データと対応付けられている多重化情報(1GOPの先頭のタイムスタンプ)に応じた時系列で、再生端末600−1に送信する。
配信サーバ500は、読み出した要求の映像/音声多重化データを指定のオーバーレートに変更し、最初に要求の多重化情報(要求の識別情報)、次に指定のオーバーレートに変更した要求の1GOP映像/音声多重化データを、ネットワーク703を介してオーバーレートで再生端末600−1へ配信する。つまり、配信サーバ500は、符号化時に設定した伝送レートよりも予め決められたオーバーレートの速度で多重化データを配信する。
配信サーバ500は、このように、再生端末600−1が要求する符号化データに対応する多重化情報(要求の識別情報)および多重化データを、再生端末600−1に配信することができる。このように、再生端末600−1が要求する映像/音声データを識別情報によって指定することで指定された映像だけを配信する方法を、以下、第1の映像配信方法という。
また、本実施形態に係る配信サーバ500は、これに限られず、全配信要求の場合、多重化情報(全識別情報)、次に指定のオーバーレートに変更した1GOP全映像/音声多重化データを再生端末600−nに配信し、再生端末側で、要求に応じたカメラの映像データ等を取り出すものであってもよい。このように、再生端末600−nによって指定された映像に関わらず、全ての映像/音声データを端末装置600−nに配信する方法であって、端末装置600−n側で所望の映像/音声を受信データから取り出す方法を、以下、第2の映像配信方法という。
再生端末600は、複数の再生端末600−1〜600−nを含み、例えば、液晶表示装置やその他ディスプレイを備えるコンピュータや携帯機器等によって構成される。
この再生端末600は、第1の映像配信方法において指定配信要求を、または第2の映像配信方法において全配信要求を、配信サーバ500に対して行う。指定配信要求の場合、ユーザは複数の識別情報(ViewID)うちに、任意の識別情報(ViewID)を少なくとも1つ以上指定できる。
再生端末600は、要求した符号化データに対応する多重化情報(要求の識別情報)、要求した1GOP映像/音声多重化データの順番で、順次、配信サーバ500から受け取り、ストリーム再生を開始する。
なお、再生端末600には、操作部が取り付けられており、ユーザが操作部を操作して、ユーザが指定する符号化装置300−1〜300−nからの映像符号化データや音声符号化データの配信を、配信サーバ500に要求することができる。この再生端末600は、このユーザが指定する映像符号化データや音声符号化データを特定する情報(例えば、ViewID)を含む要求情報を配信サーバ500に送信することで、映像データや音声データの配信を要求する。
図2は、本発明の実施例の多重化装置400から配信サーバ500に対して、多重化情報と全映像/音声多重化データを送信するための説明図である。これは、第1,第2の映像配信方法を利用するものである。
多重化装置400は、符号化装置300−1〜300−nから1つ以上の映像符号化データD1〜D4と、本実地例では1つの音声符号化データD5を受けとる。多重化装置400は、カメラ出力対応テーブルを参照して、送信元の各符号化装置300−1〜300−nのIPアドレスに基づき、符号化データと識別情報(ViewID)を対応させる。多重化装置400は、この識別情報であるViewIDを、対応する各符号化データに付与する。
多重化装置400は、映像符号化データD11〜D14をまとめて多重化し、多視点映像符号化データ(MVC)を作成する。次に、多視点映像符号化データ(MVC)に1つの音声符号化データD15を多重化し、1つの多重化データである1GOP全映像/音声多重化データを作成する。
また、多重化装置400は、1GOP全映像/音声多重化データの1GOPの先頭のタイムスタンプと、1GOP全映像/音声多重化データに含まれる全識別情報(全ViewID)とを含む多重化情報を作成する。
多重化装置400は、初めに、多重化情報を、この多重化情報の次に、カメラ変更をGOP単位で行うために1GOP分の全映像/音声多重化データを、それぞれ実際の配信レートで配信サーバ500へ送信する。以後、多重化装置400は、多重化情報、1GOP全映像/音声多重化データの順番で、ネットワーク702を介して実際の配信レートで配信サーバ500へ送信する。ここで、実際のレートは、符号化時に符号化装置300によって作成された配信レートを意味する。
図3は、本発明の実地例の映像配信システムにおける、指定配信要求の映像/音声多重化データ読み出しの説明図である。これは、第1の映像配信方法を利用するものである。
配信サーバ500は、第1受信部501と、一次記憶部502と、第2受信部503と、送信部504と、配信変更部(配信部)505−1と、を備える。
第1受信部501は、多重化装置400から順次送信された多重化情報と1GOP全映像/音声多重化データを受け取り、受け取った多重化情報と1GOP全映像/音声多重化データを一時記憶部502に順次送る。なお、第1受信部501は、多重化情報と1GOP全映像/音声多重化データに付与されているタイムスタンプに基づき、受信した多重化データを時系列に並べ直して、一時記憶部502に順次出力する。
一時記憶部502は、多重化情報と1GOP全映像/音声多重化データを一時保存する。一時記憶部502は、第1受信部501によってタイムスタンプに基づき時系列に並べられた多重化情報と1GOP全映像/音声多重化データとを記憶する。一時記憶部502は、一定時間が経過した場合、あるいは、再生端末600に配信された場合、多重化情報と1GOP全映像/音声多重化データを削除する。
第2受信部503は、再生端末600−1からの配信要求を受け取ると、受け取った再生端末600−1からのView2とView3の映像データとViewn+1の音声データの配信を要求することを示す要求情報(以下、要求情報「View2、View3、Viewn+1の配信要求」と記す。)を一時記憶部502に送る。
一時記憶部502は、再生端末600−1から要求情報「View2、View3、Viewn+1の配信要求」を受け取ると、一時記憶領域である配信変更部505−1を作成する。この配信変更部505−1は、一時記憶部502に一時保存している最新(最も時間が新しい)の1GOP全映像/音声多重化データから指定時間分戻り、戻ったところの多重化情報から、再生端末600−1からの要求情報「View2、View3、Viewn+1の配信要求」に対応する識別情報(ViewID)を読み出す。
次に、配信変更部505−1は、戻ったGOPの全映像/音声多重化データの先頭から再生端末600−1からの要求情報(「View2、View3、Viewn+1の配信要求」)に対応する多重化データ(「View2、View3、Viewn+1の映像/音声多重化データ」)を読み出す。以後この順番で順次、配信変更部505−1が読み出す。
例えば、指定時間を1000msecとし場合、1GOPを0.5秒とすると、配信変更部505−1は、最新GOPから2GOP戻った多重化情報から、要求に応じた識別情報(ここでは、識別情報「View2、View3、Viewn+1」)を読み出す。
次に、配信変更部505−1は、戻ったGOPの全映像/音声多重化データの先頭から再生端末600−1の要求に応じた映像/音声多重化データ(ここでは、多重化データ「View2、View3、Viewn+1の映像/音声多重化データ」と記す)を読み出す。以後この順番で、順次配信変更部505−1が読み出す。
配信変更部505−1は、一時記憶部502から順次、要求の識別情報(View2、View3、Viewn+1)と、要求の映像/音声多重化データ(View2、View3、Viewn+1の映像/音声多重化データ)を取り出す。さらに、配信変更部505−1は、取り出した映像/音声多重化データ(View2、View3、Viewn+1の映像/音声多重化データ)を指定のオーバーレートに変更する。そして、配信変更部505−1は、最初に、多重化情報(要求の識別情報「View2、View3、Viewn+1」)、次に指定のオーバーレートに変更した要求の1GOP映像/音声多重化データ(View2、View3、Viewn+1の映像/音声多重化データ)を送信部504へ送る。配信変更部505−1は、以後この順番で、送信部504へ送る。
一時記憶部502は、配信要求の再生端末600−1〜600−n毎に一時記憶領域の配信変更部505−1〜505−nを作成し、一時記憶部502は、配信変更部505−1〜505−nが読み出し完了した一時記憶部502の多重化情報、1GOP全映像/音声多重化データを順に削除する。
配信変更部505−1は、送信完了した多重化情報、1GOP映像/音声多重化データから削除する。
一時記憶部502および配信変更部505−1は、1GOPの終わりは次の多重化情報で判断する。
送信部504は、配信変更部505−1から多重化情報(要求の識別情報「View2、View3、Viewn+1」)、要求の映像/音声多重化データ(「View2、View3、Viewn+1の映像/音声多重化データ」)の順番で受け取る。送信部504は、受け取った多重化情報(要求の識別情報「View2、View3、Viewn+1」)を、その次に要求の1GOP映像/音声多重化データ(「View2、View3、Viewn+1の映像/音声多重化データ」)をオーバーレートで要求元の再生端末600−1へネットワーク703を介して配信する。
以後、送信部504は、多重化情報(要求の識別情報「View2、View3、Viewn+1」)を、その次に要求の1GOP映像/音声多重化データ「View2、View3、Viewn+1の映像/音声多重化データ」の順番でネットワーク703を介してオーバーレートで再生端末600−1へ配信する。
なお、本実施例では1GOP(Group Of Picture)は、15フレーム、0.5秒とするが、必ずしもその必要はない。
図4は、本発明の実地例の映像配信システムにおける、複数指定配信要求の映像/音声多重化データ読み出しの説明図である。これは、第1の映像配信方法を利用するものの他の例である。
配信サーバ500の第1受信部501は、多重化装置400から順次送信された多重化情報と1GOP全映像/音声多重化データを受け取る。第1受信部501は、受け取った多重化情報と1GOP全映像/音声多重化データを一時記憶部502に順次送る。
一時記憶部502は、多重化情報と1GOP全映像/音声多重化データを一時保存する。
配信サーバ500の第2受信部503は、例えば、再生端末600−2からの配信要求を受け取ると、受け取った再生端末600−2からのView1、View2およびView3の映像データとViewn+1の音声データの配信を要求することを示す要求情報(ここでは、要求情報「View1、View2、View3、Viewn+1の配信要求」と記す。)を一時記憶部502に送る。
一時記憶部502は、再生端末600−2からこの要求情報を受け取ると、一時記憶領域の配信変更部505−2を作成する。配信変更部505−2は、一時記憶部502に一時保存している最新(最も時間が新しい)の1GOP全映像/音声多重化データから指定時間分戻り、戻ったところの多重化情報からを再生端末600−2の要求の「View1、View2、View3、Viewn+1の配信要求」に対応する識別情報(ViewID)を読み出す。
次に、配信変更部505−1は、戻ったGOPの全映像/音声多重化データの先頭から再生端末600−2からの要求情報(「View1、View2、View3、Viewn+1の配信要求」)に対応する映像/音声多重化データ(「View1、View2、View3、Viewn+1の映像/音声多重化データ」)を読み出す。以後この順番で順次、配信変更部505−2が読み出す。
例えば、配信変更部505―2は、指定時間を1000msecとし場合、1GOPを0.5秒とすると最新GOPから2GOP戻った多重化情報から、要求に応じた(ここでは、識別情報「View1、View2、View3、Viewn+1」と記す)を読み出す。
次に、配信変更部505―2は、戻ったGOPの全映像/音声多重化データの先頭から再生端末600−2の要求の映像/音声多重化データ「View1、カメラView2、View3、Viewn+1の映像/音声多重化データ」を読み出す。配信変更部505―2は、以後この順番で順次、情報を読み出す。
配信変更部505−2は、一時記憶部502から順次、要求の識別情報「View1、View2、View3、Viewn+1」、要求の映像/音声多重化データ「View1、View2、View3、Viewn+1の映像/音声多重化データ」を取り出す。さらに、配信変更部505―2は、受け取った映像/音声多重化データ「View1、カメラView2、View3、Viewn+1の映像/音声多重化データ」を指定のオーバーレートに変更する。そして、配信変更部505−2は、最初に、多重化情報(要求の識別情報「View1、View2、View3、Viewn+1」)、次に指定のオーバーレートに変更した要求の1GOPの映像/音声多重化データ「View1、View2、View3、Viewn+1の映像/音声多重化データ」を送信部504へ送る。配信変更部505―2は、以後この順番で送信部504へ情報を送る。
一時記憶部502は、配信要求の再生端末600−1〜600−n毎に一時記憶領域の配信変更部505−1〜505−nを作成し、一時記憶部502は、配信変更部505−1〜505−nが読み出し完了した一時記憶部502の多重化情報、1GOP全映像/音声多重化データを順に削除する。
配信変更部505−2は、送信完了した多重化情報、1GOP映像/音声多重化データから削除する。
一時記憶部502および配信変更部505−1は、1GOPの終わりは次の多重化情報で判断する。
送信部504は、配信変更部505−2から多重化情報(要求の識別情報「View1、View2、View3、Viewn+1」)、要求の映像/音声多重化データ「View1、View2、View3、Viewn+1の映像/音声多重化データ」の順番で受け取る。送信部504は、受け取った多重化情報(要求の識別情報「View1、View2、View3、Viewn+1」)を、その次に、要求の1GOPの映像/音声多重化データ「View1、View2、View3、Viewn+1の映像/音声多重化データ」をオーバーレートで要求元の再生端末600−2へネットワーク703を介して配信する。
以後、送信部504は、多重化情報(要求の識別情報「View1、View2、View3、Viewn+1」)、次に要求の1GOP映像/音声多重化データ「View1、View2、View3、Viewn+1の映像/音声多重化データ」の順番でネットワーク703を介してオーバーレートで再生端末600−2へ送信する。
なお、本実施例では1GOP(Group Of Picture)は、15フレーム、0.5秒とするが、必ずしもその必要はない。
図5は、本発明の実地例の映像配信システムにおける、全配信要求の映像/音声多重化データ読み出しの説明図である。これは、第2の映像配信方法を利用するものの一例である。
配信サーバ500の第1受信部501は、多重化装置400から順次送信された多重化情報と1GOP全映像/音声多重化データを受け取り、受け取った多重化情報と1GOP全映像/音声多重化データを一時記憶部502に順次送る。
一時記憶部502は、多重化情報と1GOP全映像/音声多重化データを一時保存する。
配信サーバ500の第2受信部503は、再生端末600−nからの配信要求を受け取ると、全配信を要求することを示す要求情報(ここでは、「ViewIDなし」)を一時記憶部502に送る。
一時記憶部502は、再生端末600−nから要求情報「ViewIDなし」を受け取ると、一時記憶領域の配信変更部505−3を作成する。この配信変更部505−3は、一時記憶部502に一時保存している最新(最も時間が新しい)のGOP全映像/音声多重化データから指定時間分戻り、戻ったところの多重化情報から再生端末600−nの要求情報に対応する全識別情報読み出す。
次に、配信変更部505−3は、戻ったGOPの全映像/音声多重化データの先頭から再生端末600−nの要求情報に対応する全映像/音声多重化データを読み出す。配信変更部505−3は、以後この順番で順次、情報を読み出す。
例えば、指定時間を1000msecとし場合、1GOPを0.5秒とすると、配信変更部505−3は、最新GOPから2GOP戻った多重化情報から全識別情報を読み出す。次に、配信変更部505−3は、戻ったGOPの全映像/音声多重化データの先頭から再生端末600−nの要求の全映像/音声多重化データを読み出す。配信変更部505−3は、以後この順番で読み出す。
配信変更部505−3は、一時記憶部502から順次、要求の全識別情報、要求の全映像/音声多重化データを受け取る。配信変更部505−3は、さらに、受け取った全映像/音声多重化データを指定のオーバーレートに変更し、最初に、多重化情報(要求の全識別情報)、次に指定のオーバーレートに変更した要求の1GOP全映像/音声多重化データを送信部504へ送る。配信変更部505−3は、以後この順番で送信部504へ送る。
一時記憶部502は、配信要求の再生端末600−1〜600−n毎に一時記憶領域の配信変更部505−1〜505−nを作成し、一時記憶部502は、配信変更部505−1〜505−nが読み出し完了した一時記憶部502の多重化情報、1GOP全映像/音声多重化データを順に削除する。
配信変更部505−3は、送信完了した多重化情報、1GOP映像/音声多重化データから削除する。
一時記憶部502および配信変更部505−3は、1GOPの終わりは次の多重化情報で判断する。
送信部504は、配信変更部505−3から多重化情報(要求の全識別情報)、要求の全映像/音声多重化データの順番で受け取る。送信部504は、受け取った多重化情報(要求の全識別情報)、その次に要求の1GOP全映像/音声多重化データをオーバーレートで要求元の再生端末602へネットワーク703を介して配信する。以後、送信部504は、多重化情報(要求の全識別情報)、次に要求の1GOP全映像/音声多重化データの順番で、ネットワーク703を介してオーバーレートで再生端末600−nへ送信する。
なお、本実施例では1GOP(Group Of Picture)は、15フレーム、0.5秒とするが、必ずしもその必要はない。
図6は、本発明の実施例の再生端末から配信サーバへの要求と映像/音声多重化データの配信の説明図である。
再生端末600−1〜600−nは、送信部601と、受信部602と、デコード部603と、制御部604と、表示部605とを、それぞれ備える。
再生端末600−1は、再生開始に、本実施例ではView2、View3、Viewn+1の指定配信要求(要求情報)を制御部604から送信部601へ送る。つまり、図3を用いて説明した実施形態に対応するものである。
送信部601は、配信サーバ500へネットワーク703を介してView2、View3、Viewn+1の指定配信要求を行う。配信サーバ500は、最新GOPから指定時間分戻ったところから多重化情報(要求の識別情報「View2、View3、Viewn+1」)、1GOPの映像/音声多重化データ「View2、View3、Viewn+1の映像/音声多重化データ」の順で順次、オーバーレートでネットワーク703を介して配信する。再生端末600−1の受信部602は、多重化情報(要求の識別情報「「View2、View3、Viewn+1」」と、1GOPの映像/音声多重化データ「View2、View3、Viewn+1の映像/音声多重化データ」の順番で順次受け取る。デコード部603が、View2、View3の映像データとViewn+1の音声データを伸張し、表示部605においてストリーム再生を開始する。
一方、再生端末600−2は、再生開始に、本実施例ではView1、View2、View3、Viewn+1の複数指定配信要求(要求情報)を、制御部604が送信部601へ送る。つまり、図4を用いて説明した実施形態に対応するものである。本実施例では、カメラ3台とマイク1つからの映像データ/音声データの配信要求であるが、3台以上の複数カメラの配信要求ができる。
この再生端末600−2の送信部601は、配信サーバ500へネットワーク703を介してView1、View2、View3、Viewn+1の指定配信要求(要求情報「View1、View2、View3、Viewn+1の配信要求」)を行う。配信サーバ500は、最新GOPから指定時間分戻ったところから多重化情報(要求の識別情報「View1、View2、View3、Viewn+1」)、1GOPの映像/音声多重化データ「View1、View2、View3、Viewn+1の映像/音声多重化データ」の順で、順次オーバーレートでネットワーク703を介して配信する。
再生端末600−2の受信部602は、多重化情報(要求の識別情報「View1、View2、View3、Viewn+1」)と、1GOPの映像/音声多重化データ「View1、View2、View3、Viewn+1の映像/音声多重化データ」の順番で順次受け取る。デコード部603は、View1、View2、View3の映像データと、Viewn+1の音声データを伸張し、表示部605においてストリーム再生を開始する。
また、再生端末600−nは、再生開始に、本実施例では全配信要求(ViewIDは付けない)を制御部604から送信部601へ送る。再生端末600−nの送信部601は、配信サーバ500へネットワーク703を介して全配信要求を行う。つまり、図5を用いて説明した実施形態に対応するものである。
配信サーバ500は、最新GOPから指定時間分戻ったところから多重化情報(要求の全識別情報)、1GOPの全映像/音声多重化データの順で順次オーバーレートでネットワーク703を介して配信する。再生端末600−nの受信部602は、多重化情報(全ての識別情報)と、1GOP全映像/音声多重化データの順番で順次受け取る。再生端末600−nのデコード部603は、受け取った全映像/音声多重化データの中から、再生開始映像として事前に指定してある例えばカメラ1とナビの映像データとマイク200の音声データを伸張し、ストリーム再生を開始する。
図7は、本発明の実施例の多重化情報と全映像/音声多重化データの構成を説明する図である。
多重化情報は、少なくとも、タイムスタンプと識別情報(ViewID)で構成されている。
1GOP映像/音声多重化データは、1GOP分の符号化データで構成されている。
図面上段に示す例1は、多重化装置400が、多重化情報と、この多重化情報に対応付けられた1GOP全映像/音声多重化データを、配信サーバ500に対して順次配信する図である。
多重化情報には、1GOP全映像/音声多重化データの先頭のタイムスタンプと、全識別情報(View1、2、3、・・・、n、n+1)が含まれている。
1GOP全映像/音声多重化データには、1GOP分の全符号化データ(View1、2、3、・・・、n、n+1)が含まれている。そして、符号化データ毎に、タイムスタンプと識別情報が付与されている。
図面下段に示す例2は、配信サーバ500が、多重化情報と、この多重化情報に対応付けられた1GOP全映像/音声多重化データを、再生端末600−1に順次配信する例である。つまり、図3を用いて説明した実施形態に対応するものである。
再生端末600−1の配信要求「View2、View3、Viewn+1」に対して、多重化情報には、1GOP映像/音声多重化データの先頭のタイムスタンプと、配信要求された識別情報「View2、View3、Viewn+1」が含まれている。
1GOP映像/音声多重化データには、1GOP分の配信要求された符号化データ(View2、View3、Viewn+1)が含まれている。そして、符号化データ毎に、符号化データのタイムスタンプとその識別情報が付与されている。
[第2実施形態]
図8は、本発明の他の例の映像配信システムの概略構成を示すブロック図である。
本実施例の映像配信システムは、複数のカメラ1100と、複数の符号化装置1300と、多重化装置1400と、配信サーバ1500と、複数の再生端末1600とを含む。上述の第1実施形態と同様の構成や機能については、詳細な説明は省略する。
1台以上のカメラ1100が符号化装置1300に接続されている。符号化装置1300は、カメラから送られた映像を符号化し、符号化された映像符号化データを実際のレートでネットワーク1701を介して多重化装置1400に送る。ここでは、実際の配信レートは、符号化時に符号化装置1300によって作成された配信レートを意味する。
多重化装置1400は、符号化装置1300−1〜1300−nから1つ以上の映像符号化データD11〜D14を受けとる。多重化装置1400は、カメラ出力対応テーブルを参照して、送信元の各符号化装置1300−1〜1300−nのIPアドレスに基づき、符号化データと識別情報(ViewID)を対応させる。多重化装置1400は、この識別情報であるViewIDを、対応する各符号化データに付与する。
多重化装置1400は、映像符号化データD11〜D14をまとめて多重化し、多重化データである1GOP全映像多重化データを作成する。また、多重化装置400は、1GOP全映像多重化データの1GOPの先頭のタイムスタンプと、1GOP全映像多重化データに含まれる全識別情報(全ViewID)とを含む多重化情報を作成する。
なお、ナビカメラ1100−3は、被写体の全体を撮影する。このナビカメラ1100−3によって撮影された映像は、ナビゲーション映像(ナビ映像)とよぶ。
さらに、多重化装置1400は、最初に、撮影した全てのカメラ(符号化データ)を識別する多重化情報(View1、2、3、・・・、n)を配信サーバ1500へ送信し、次に1GOP全映像多重化データを実際のレートで配信サーバ1500へ送信する。多重化装置1400は、以後この順番でネットワーク702を介して配信サーバ1500へ、多重化情報および1GOP全映像多重化データを送信する。
配信サーバ1500は、多重化装置1400から送信された多重化情報(View1、2、3、・・・、n)と1GOP全映像多重化データを一時保存する。
また、配信サーバ1500は、再生端末1600(1600−1、1600−2、・・・、1600−n)からの配信要求を受け取ると、一時保存している最新(最も時間が新しい)のGOP全映像多重化データから指定時間分戻ったところの多重化情報(View1、2、3、・・・、n)から再生端末1600の要求の識別情報(ViewID)を読み出す。配信サーバ1500は、戻ったところの全映像多重化データのGOPの先頭から再生端末1600の要求の映像多重化データを読み出す。
配信サーバ1500は、以後順次読み出し、読み出した要求の映像多重化データを指定のオーバーレートに変更し、最初に多重化情報(要求のViewID)、次に指定のオーバーレートに変更した要求の1GOP映像多重化データを、ネットワーク1703を介してオーバーレートで再生端末1600へ送信する。
再生端末1600は、指定配信要求または全配信要求を配信サーバ1500に行う。配信サーバ1500からは、多重化情報(要求したViewID)、要求した1GOP映像多重化データの順番で順次受け取り、ストリーム再生を開始する。
図9は、本発明の他の例の多重化装置から配信サーバへ多重化情報、全映像多重化データを送信する説明図である。
多重化装置1400は、符号化装置1300−1〜1300−nから1つ以上の映像符号化データを受けとる。多重化装置1400は、カメラ出力対応テーブルを参照して、送信元の各符号化装置1300−1〜1300−nのIPアドレスに基づき、符号化データと対応する識別情報(ViewID)を得て、各符号化データに付与する。
多重化装置1400は、映像符号化データをまとめて多重化し、多重化データである1GOP全映像多重化データを作成する。また、多重化装置400は、1GOP全映像多重化データの1GOPの先頭のタイムスタンプと、1GOP全映像多重化データに含まれる全識別情報(全ViewID)とを含む多重化情報を作成する。
この多重化装置1400は、初めに、多重化情報を、次に、カメラ変更をGOP単位で行うために1GOP分の全映像多重化データを実際の配信レートで、配信サーバ1500へ送信する。以後、多重化装置1400は、多重化情報、1GOP全映像多重化データの順番で、ネットワーク1702を介して実際の伝送レートで配信サーバ1500へ送信する。
図10は、本発明の他の例の映像配信システムにおける、指定配信要求の映像符号化データ読み出しの説明図である。これは、第1の映像配信方法を利用するものの一例である。
配信サーバ1500の第1受信部1501は、多重化装置1400から順次送信された多重化情報と1GOP全映像多重化データを受け取り、受け取った多重化情報と1GOP全映像多重化データを一時記憶部1502に順次送る。一時記憶部1502は、多重化情報と1GOP全映像多重化データを一時保存する。
配信サーバ1500の受信部1503は、再生端末1600−1からの配信要求を受け取ると、受け取った再生端末1600−1からのカメラ1100−2(View2)とナビカメラ1100−3(View3)の映像データの配信を要求することを示す要求情報(ここでは、要求情報「View2、View3の配信要求」と記す。)を一時記憶部502に送る。
一時記憶部1502は、再生端末1600−1から配信要求を受け取ると、一時記憶領域の配信変更部1505−1を作成する。配信変更部1505−1は、一時記憶部1502に一時保存している最新(最も時間が新しい)のGOP全映像多重化データから指定時間分戻り、戻ったところの多重化情報から再生端末1600−1の要求に対応する識別情報View2、View3を読み出す。
次に、配信変更部1505−1は、戻ったGOPの全映像多重化データの先頭から、再生端末1600−1が要求する識別情報View2、View3に対応する映像多重化データを読み出す。配信変更部1505−1は、以後この順番で順次情報を読み出す。
例えば、指定時間を1000msecとし場合、1GOPを0.5秒とすると、配信変更部1505−1は、最新GOPから2GOP戻った多重化情報から、View2、View3を読み出す。
次に、配信変更部1505−1は、戻ったGOPの全映像多重化データの先頭から再生端末1600−1要求のView2、3の映像多重化データを読み出し、配信変更部1505−1へ送る。配信変更部1505−1は、以後この順番で順次情報を読み出す。
配信変更部1505−1は、一時記憶部1502から順次、多重化情報「View2、View3」、および識別情報View2、View3に対応する映像多重化データを受け取る。配信変更部1505−1は、受け取った映像多重化データ「View2、View3の映像多重化データ」を、指定のオーバーレートに変更する。配信変更部1505−1は、最初に、多重化情報「View2、View3」、次に指定のオーバーレートに変更した要求の1GOPの映像多重化データ「View2、View3の映像多重化データ」を送信部1504へ送る。配信変更部1505−1、以後この順番で送信部1504へ送る。
一時記憶部1502は、配信要求の再生端末1600−1〜1600−n毎に一時記憶領域の配信変更部1505−1〜1505−nを作成する。一時記憶部1502は、配信変更部1505−1〜1505−nが読み出し完了した一時記憶部1502の多重化情報、1GOP全映像多重化データを順に削除する。
配信変更部1505−1は、送信完了した多重化情報、1GOP映像多重化データから削除する。
データ一時記憶部1502と配信変更部1505−1は、1GOPの終わりは次の多重化情報で判断する。
送信部1504は、配信変更部1505−1から多重化情報「View2、View3」、および識別情報View2、View3に対応する映像多重化データの順で受け取る。送信部1504は、受け取った多重化情報「View2、View3」、次に1GOP映像多重化データ「View2、View3の映像多重化データ」を、オーバーレートで要求元の再生端末1600−1へネットワーク1702を介して配信する。
以後、多重化情報「View2、View3」、次に1GOPの映像多重化データ「View2、View3の映像多重化データ」の順番で、ネットワーク1703を介してオーバーレートで再生端末1600−1へ送信する。
なお、本実施例では1GOP(Group Of Picture)は、15フレーム、0.5秒とするが、必ずしもその必要はない。
図11は、本発明の他の例の映像配信システムにおける、複数指定配信要求の映像多重化データ読み出しの説明図である。これは、第1の映像配信方法を利用するものの他の例である。
配信サーバ1500の第1受信部1501は、多重化装置1400から順次送信された多重化情報と1GOP全映像多重化データを受け取り、受け取った多重化情報と1GOP全映像多重化データを一時記憶部1502に順次送る。一時記憶部1502は、多重化情報と1GOP全映像多重化データを一時保存する。
配信サーバ1500の受信部1503は、再生端末1600−2からの配信要求を受け取ると、受け取った再生端末1600−2からのカメラ1100−1(View1)、カメラ1100−2(View2)およびナビカメラ1100−3(View3)の映像データの配信を要求することを示す要求情報(ここでは、要求情報「View1、View2、View3の配信要求」と記す。)を一時記憶部1502に送る。
一時記憶部1502は、再生端末1600−2から配信要求を受け取ると、一時記憶領域の配信変更部1505−2を作成する。この配信変更部1505−2は、一時記憶部1502に一時保存している最新(最も時間が新しい)のGOP全映像多重化データから指定時間分戻り、戻ったところの映像多重化情報から、再生端末1600−2の要求に対応する識別情報「View1、View2、View3」を読み出す。次に、配信変更部1505−2は、戻ったGOPの全映像多重化データの先頭から再生端末1600−2が要求する映像多重化データ「View1、View2、View3の映像多重化データ」を読み出す。配信変更部1505−2は、以後この順番で順次、情報を読み出す。
例えば、指定時間を1000msecとし場合、1GOPを0.5秒とすると、配信変更部1505−2は、最新GOPから2GOP戻った多重化情報から、識別情報「View1、View2、View3」を読み出す。次に、配信変更部1505−2は、戻ったGOPの全映像多重化データの先頭から再生端末1600−2の要求の映像多重化データ「View1、View2、View3の映像多重化データ」を読み出し、配信変更部1505−2へ送る。配信変更部1505−2は、以後この順番で順次、情報を読み出す。
配信変更部1505−2は、一時記憶部1502から順次、要求に対応する識別情報「View1、View2、View3」と、要求に対応する映像多重化データ「View1、View2、View3の映像多重化データ」を受け取る。配信変更部1505−2は、さらに、受け取った要求の映像多重化データ「View1、View2、View3の映像多重化データ」を、指定のオーバーレートに変更する。配信変更部1505−2は、最初に、多重化情報「View1、View2、View3」、その次に指定のオーバーレートに変更した要求の1GOPの映像多重化データ「View1、View2、View3の映像多重化データ」を、送信部1504へ送る。配信変更部1505−2は、以後この順番で、読み出した情報を送信部1504へ送る。
一時記憶部1502は、配信要求の再生端末1600−1〜1600−n毎に、一時記憶領域の配信変更部1505−1〜1505−nを作成する。一時記憶部1502は、配信変更部1505−1〜1501−nが読み出し完了した一時記憶部1502の多重化情報、1GOP全映像多重化データを順に削除する。
配信変更部1505−2は、送信完了した多重化情報、1GOP映像多重化データから削除する。
データ一時記憶部1502と配信変更部1505−2は、1GOPの終わりは次の多重化情報で判断する。
送信部1504は、配信変更部1505−2から多重化情報「View1、View2、View3」、その次に、映像多重化データ「View1、View2、View3の映像多重化データ」の順番で受け取る。送信部1504は、受け取った多重化情報「View1、View2、View3」、その次に、1GOPの映像多重化データ「View1、View2、View3の映像多重化データ」をオーバーレートで要求元の再生端末1600−2へネットワーク1703を介して配信する。送信部1504は、以後、多重化情報「View1、View2、View3」、その次に、1GOPの映像多重化データ「View1、View2、View3の映像多重化データ」を順番で、ネットワーク1703を介してオーバーレートで再生端末1600−2へ送信する。
なお、本実施例では1GOP(Group Of Picture)は、15フレーム、0.5秒とするが、必ずしもその必要はない。
図12は、本発明の他の例の映像配信システムにおける、全配信要求の映像多重化データ読み出しの説明図である。
配信サーバ1500の第1受信部1501は、多重化装置1400から順次送信された多重化情報と1GOP全映像多重化データを受け取り、受け取った多重化情報と1GOP全映像多重化データを一時記憶部1502に順次送る。一時記憶部1502は、多重化情報と1GOP全映像多重化データを一時保存する。
配信サーバ1500の受信部1503は、再生端末1600−3からの配信要求を受け取ると、受け取った再生端末1600−3からの全配信要求を一時記憶部1502に送る。
一時記憶部1502は、再生端末1600−3から配信要求を受け取ると、一時記憶領域の配信変更部1505−3を作成する。配信変更部1505−3は、一時記憶部1502に一時保存している最新(最も時間が新しい)のGOP全映像多重化データから指定時間分戻り、戻ったところの多重化情報から、再生端末1600−3の要求に対応する識別情報「View1、2、3、・・・、n」を読み出す。次に、配信変更部1505−3は、戻ったGOPの全映像多重化データの先頭から再生端末1600−3の要求の全映像多重化データを読み出す。配信変更部1505−3は、以後この順番で順次、情報を読み出す。
例えば、指定時間を1000msecとし場合、1GOPを0.5秒とすると、配信変更部1505−3は、最新GOPから2GOP戻った多重化情報から全識別情報を読み出し配信変更部1505−3へ送る。次に、配信変更部1505−3は、戻ったGOPの全映像多重化データの先頭から再生端末1600−3の要求の全映像多重化データを読み出す。配信変更部1505−3は、以後この順番で順次、情報を読み出す。
配信変更部1505−3は、一時記憶部1502から順次、要求に対応する多重化情報、全映像多重化データを受け取る。配信変更部1505−3は、さらに、受け取った全映像多重化データを指定のオーバーレートに変更する。配信変更部1505−3は、最初に、要求に対応する多重化情報、その次に指定のオーバーレートに変更した1GOP全映像多重化データを送信部1504へ送る。配信変更部1505−3は、以後この順番で、読み取った情報を送信部1504へ送る。
一時記憶部1502は、配信要求の再生端末1600−1〜1600−n毎に、一時記憶領域の配信変更部1505−1〜1505−nを作成する。一時記憶部1502は、配信変更部1505−1〜1505−nが読み出し完了した一時記憶部1502の多重化情報、1GOP全映像多重化データを順に削除する。
配信変更部1505−3は、送信完了した多重化情報、1GOP映像多重化データから削除する。
データ一時記憶部1502および配信変更部1505−3は、1GOPの終わりは次の多重化情報で判断する。
送信部1504は、配信変更部1505−3から要求に対応する多重化情報、全映像多重化データの順番で受け取る。送信部1504は、受け取った多重化情報、次に1GOP全映像多重化データをオーバーレートで要求元の再生端末1600−3へネットワーク1703を介して配信する。送信部1504は、以後、要求の多重化情報、次に1GOP全映像多重化データの順番でネットワーク1703を介してオーバーレートで再生端末1600−3へ送信する。
なお、本実施例では1GOP(Group Of Picture)は、15フレーム、0.5秒とするが、必ずしもその必要はない。
図13は、本発明の他の例の再生端末から配信サーバへの要求と映像多重化データの配信の説明図である。
再生端末1600−1は、再生開始に、本実施例ではカメラ1100−2(View2)、ナビカメラ1100−3(View)の指定配信要求を制御部1604から送信部1601へ送る。
送信部1601は、配信サーバ1500へネットワーク1703を介してView2、View3の指定配信要求を行う。配信サーバ1500は、最新GOPから指定時間分戻ったところから多重化情報「View2,View3」、1GOPView2,View3の映像多重化データの順で、順次オーバーレートでネットワーク1703を介して配信する。
再生端末1600−1の受信部1602は、多重化情報「View2,View3」と、1GOPの映像多重化データ「View2,View3の映像多重化データ」の順番で、順次受け取る。
デコード部1603は、映像多重化データ「View2,View3の映像多重化データ」を伸張し、表示部1605においてストリーム再生を開始する。
一方、再生端末1600−2は、再生開始に、本実施例ではカメラ1100−1(View1)、カメラ1100−2(View2)、ナビカメラ1100−3(View3)の複数指定配信要求(要求情報)を制御部1604から送信部1601へ送る。本実施例では、カメラ3台の配信要求であるが、3台以上の複数カメラの配信要求ができる。
送信部1601は、配信サーバ1500へネットワーク1703を介してView1,View2,View3の指定配信要求を行う。配信サーバ1500は、最新GOPから指定時間分戻ったところから多重化情報「View1,View2,View3」、その次に、1GOPの映像多重化データ「View1,View2,View3の映像多重化データ」の順で、順次オーバーレートでネットワーク1703を介して配信する。
再生端末1600−3の受信部1602は、多重化情報「View1,View2,View3」と、その後に、1GOPの映像多重化データ「View1,View2,View3の映像多重化データ」の順番で、順次受け取る。デコード部1603は、映像多重化データ「View1,View2,View3の映像多重化データ」を伸張し、ストリーム再生を開始する。
また、再生端末1600−3は、再生開始に、本実施例では全配信要求を制御部1604から送信部1601へ送る。送信部1601は、配信サーバ1500へネットワーク1703を介して全配信要求を行う。配信サーバ1500は、最新のGOPから指定時間分戻ったところから多重化情報「View1,View2,・・・,Viewn」、その後に、1GOPの全映像多重化データの順で、順次オーバーレートでネットワーク1703を介して配信する。再生端末1600−3の受信部1602は、多重化情報「View1,View2,・・・,Viewn」と、その後に、1GOPの全映像多重化データの順番で順次受け取る。デコード部1603は、受け取った全映像多重化データの中から、再生開始映像として事前に指定してある例えばView1とView3の映像を伸張し、ストリーム再生を開始する。
図14は、本発明の実施例の多重化情報と全映像多重化データの構成を説明する図である。
多重化情報は、少なくとも、タイムスタンプと識別情報(ViewID)で構成されている。
1GOP映像多重化データは、1GOP分の符号化データで構成されている。
図面上段に示す例1は、多重化装置1400から多重化情報と多重化情報に対応付けられた1GOP全映像多重化データを、配信サーバ1500に対して順次配信する図である。
多重化情報には、1GOP全映像多重化データの先頭のタイムスタンプと、全識別情報(View1、2、3、・・・、n)が含まれている。
1GOP全映像多重化データには、1GOP分の全符号化データ(View1、2、3、・・・、n)が含まれている。そして、符号化データ毎に、タイムスタンプと識別情報が付与されている。
図面下段に示す例2は、配信サーバ1500から多重化情報と多重化情報に対応付けられた1GOP全映像多重化データを再生端末1600−1に順次配信する例である。つまり、図10を用いて説明した実施形態に対応するものである。
再生端末1600−1の配信要求「View2、View3」に対して、
多重化情報には、1GOP映像多重化データの先頭のタイムスタンプと、配信要求された識別情報「View2、View3」が含まれている。
1GOP映像多重化データには、1GOP分の配信要求された符号化データ(View2、View3)が含まれている。そして、符号化データ毎に、符号化データのタイムスタンプとその識別情報が付与されている。
[第1実施形態に係る処理フロー]
図15は、本発明の第1実施形態に係る映像配信システムにおける、指定配信処理手順を示すフローチャートである。この処理手順は、図3に示した実施態様によるものに対応するものである。
ステップST1301で、1台以上のカメラ100−1〜100−nから符号化装置300−1〜300−nへ映像データを送る。また、音声データは、本実施例では1台のマイク内蔵カメラ100−nのマイク200が集音し、符号化装置300−nへ送る。
ステップST1302で、符号化装置300−1〜300−nは、カメラ100から送られた映像データおよび音声データをそれぞれに符号化し、符号化された映像符号化データと音声符号化データを実際のレートでネットワーク701を介して多重化装置400に送る。
ステップST1303で、多重化装置400は、符号化装置100〜100−nから1つ以上の映像符号化データD11〜D14と、本実地例では1つの音声符号化データD15を受けとる。多重化装置400は、カメラ出力対応テーブルを参照して、送信元の符号化装置300−1〜300−nのIPアドレスに基づき、符号化データに対応する識別情報(ViewID)を得て、各符号化データに付与する。
多重化装置400は、映像符号化データD11〜D14をまとめて多重化し、次に多重化した映像符号化データと1つの音声符号化データD15を多重化し、1GOP全映像多重化データを作成する。そして、多重化装置400は、1GOP全映像多重化データの1GOPの先頭に、タイムスタンプと、1GOP全映像多重化データに含まれる全識別情報(全ViewID)とを含む多重化情報を作成する。
多重化装置400は、最初に、多重化情報を配信サーバ500へ送信する。次に、多重化装置400は、カメラ変更をGOP単位で行うために全映像/音声多重化データの1GOP分を配信サーバ500へ実際のレートで送信する。
以後、多重化装置400は、多重化情報、1GOP全映像/音声多重化データの順で、ネットワーク702を介して、順次、配信サーバ500へ送信する。
ステップST1304で、配信サーバ500の第1受信部501は、多重化装置400から順次送信された多重化情報と1GOP全映像/音声多重化データを順次受け取る。多重化装置400は、受け取った多重化情報と1GOP全映像/音声多重化データを一時記憶部502に順次送る。一時記憶部502は、多重化情報と1GOP全映像/音声多重化データを時系列に並べて一時保存する。
ステップST1305で、配信サーバ500の第2受信部503は、例えば再生端末600−1からの配信要求(要求情報)を受け取ると、受け取った再生端末600−1からの識別情報View2、3の映像データと、識別情報Viewn+1の音声データの配信を要求することを示す要求情報(要求情報「View2、View3、Viewn+1の配信要求」)を一時記憶部502に送る。
一時記憶部502は、再生端末600−1から配信要求(要求情報)を受け取ると、一時記憶領域の配信変更部505−1を作成する。この配信変更部505−1は、一時記憶部502に一時保存している最新(最も時間が新しい)のGOP全映像/音声多重化データから指定時間分戻り、戻ったところの多重化情報からを再生端末600−1の要求の「View2、View3、Viewn+1」を読み出す。次に、配信変更部505−1は、戻ったGOPの全映像/音声多重化データの先頭から再生端末600−1の要求の多重化データ「View2、View3、Viewn+1の映像/音声多重化データ」を読み出し、配信変更部505−1へ送る。配信変更部505−1は、以後この順番で順次、一時記憶部502から読み出す。
例えば、指定時間を1000msecとし場合、1GOPを0.5秒とすると、配信変更部505−1は、最新GOPから2GOP戻った多重化情報から識別情報「View2、View3、Viewn+1」を読み出す。次に、配信変更部505−1は、戻ったGOPの全映像/音声多重化データの先頭から再生端末600−1の要求の多重化データ「View2、View3、Viewn+1の映像/音声多重化データ」を読み出す。配信変更部505−1は、以後この順番で順次、一時記憶部502から読み出す。
配信変更部505−1は、一時記憶部502から順次、多重化情報「View2、View3、Viewn+1」と、要求の映像/音声多重化データ「View2、View3、Viewn+1映像/音声多重化データ」を受け取る。さらに、配信変更部505−1は、受け取った映像/音声多重化データ「View2、View3、Viewn+1の映像/音声多重化データ」を指定のオーバーレートに変更する。配信変更部505−1は、最初に、多重化情報、その次に、指定のオーバーレートに変更した要求の1GOPの映像/音声多重化データ「View2、View3、Viewn+1の映像/音声多重化データ」を送信部504へ送る。配信変更部505−1は、以後この順番で、送信部504へ送る。
一時記憶部502は、配信要求の再生端末600−1〜600−n毎に一時記憶領域の配信変更部505−1〜505−nを作成する。一時記憶部502は、配信変更部505−1〜505−nが読み出し完了した一時記憶部502の多重化情報、1GOP全映像/音声多重化データを順に削除する。
配信変更部505−1は、送信完了した多重化情報、1GOP映像/音声多重化データを自身の記憶部から削除する。
データ一時記憶部502と配信変更部505−1は、1GOPの終わりは次の多重化情報で判断する。
ステップST1306で、送信部504は、配信変更部505から多重化情報「View2、View3、Viewn+1」、その次に、1GOPの映像/音声多重化データ「View2、View3、Viewn+1の映像/音声多重化データ」の順番で受け取る。送信部504は、受け取った多重化情報「View2、View3、Viewn+1」、その次に1GOPの映像/音声多重化データ「View2、View3、Viewn+1の映像/音声多重化データ」をオーバーレートで要求元の再生端末600−1へネットワーク703を介して配信する。
以後、送信部504は、多重化情報「View2、View3、Viewn+1」、その後に、1GOPの映像/音声多重化データ「View2、View3、Viewn+1の映像/音声多重化データ」の順番で、ネットワーク703を介してオーバーレートで再生端末600−1へ送信する。
ステップST1307で、再生端末600−1は、多重化情報「View2、View3、Viewn+1」、その後に1GOPの映像/音声多重化データ「View2、View3、Viewn+1の映像/音声多重化データ」の順番で順次受け取り、View2とView3の映像とViewn+1の音声のストリーム再生を開始する。
図16は、本発明の実施例の映像配信システムにおける、複数指定配信処理手順を示すフローチャートである。この処理手順は、図4に示した実施態様によるものに対応するものである。
ステップST1401で、1台以上のカメラから符号化装置300−1〜300−nへ映像を送る。また、音声は、本実施例では1台のマイク内蔵カメラ100−nのマイク200が集音し、符号化装置300−nへ送る。
ステップST1402で、符号化装置300−1〜300−nは、カメラ100から送られた映像データまたは音声データをそれぞれに符号化し、符号化された映像符号化データと音声符号化データを、ネットワーク701を介して多重化装置400に送る。
ステップST1403で、多重化装置400は、符号化装置300−1〜300−nから1つ以上の映像符号化データと、本実地例では1つの音声符号化データを受けとる。多重化装置400は、カメラ出力対応テーブルを参照して、送信元の符号化装置300−〜1300−nのIPアドレスに基づき、符号化データに対応する識別情報(ViewID)を得て、各符号化データに付与する。
多重化装置400は、映像符号化データD11〜D14をまとめて多重化し、次に多重化した映像符号化データと1つの音声符号化データD15を多重化し、1GOP全映像多重化データを作成する。そして、多重化装置400は、1GOP全映像多重化データの1GOPの先頭に、タイムスタンプと、1GOP全映像多重化データに含まれる全識別情報(全ViewID)とを含む多重化情報を作成する。
最初に、多重化装置400は、全てのカメラ100−1〜100−nに関する多重化情報を配信サーバ500へ送信する。次に、カメラ変更をGOP単位で行うために全映像/音声多重化データの1GOP分を配信サーバ500へ実際のレートで送信する。
以後、多重化装置400は、多重化情報、1GOP全映像/音声多重化データの順でネットワーク702を介して順次配信サーバ500へ送信する。
ステップST1404で、配信サーバ500の第1受信部501は、多重化装置400から順次送信された多重化情報と1GOP全映像/音声多重化データを順次受け取る。第1受信部501は、受け取った多重化情報と1GOP全映像/音声多重化データを一時記憶部502に順次送る。一時記憶部502は、多重化情報と1GOP全映像/音声多重化データを一時保存する。
ステップST1405で、配信サーバ500の第2受信部503は、再生端末600−2からの配信要求を受け取ると、受け取った再生端末600−2からの識別情報View1、View2、およびView3の映像データの配信と識別情報Viewn+1の音声データを要求することを示す要求情報(以下、要求情報「View1、View2、View3、Viewn+1の配信要求」と記す。)を一時記憶部502に送る。
一時記憶部502は、再生端末600−2から配信要求を受け取ると、一時記憶領域の配信変更部505−2を作成する。この配信変更部505−2は、一時記憶部502に一時保存している最新(最も時間が新しい)のGOP全映像/音声多重化データから指定時間分戻り、戻ったところの多重化情報からを再生端末600−2の要求に対応する識別情報「View1、View2、View3、Viewn+1」を読み出す。次に、配信変更部505−2は、戻ったGOPの全映像/音声多重化データの先頭から再生端末600−2の要求の映像/音声多重化データ「View1、View2、View3、Viewn+1の映像/音声多重化データ」を読み出す。配信変更部505−2は、以後この順番で順次、情報を読み出す。
例えば、指定時間を1000msecとし場合、1GOPを0.5秒とすると、配信変更部505−2は、最新GOPから2GOP戻った多重化情報から識別情報「View1、View2、View3、Viewn+1」を読み出す。次に、配信変更部505−2は、戻ったGOPの全映像/音声多重化データの先頭から再生端末600−2の要求に対応する映像/音声多重化データ「View1、View2、View3、Viewn+1の映像/音声多重化データ」を読み出す。配信変更部505−2は、以後この順番で順次読み出す。
配信変更部505−2は、一時記憶部502から順次、多重化情報「View1、View2、View3、Viewn+1」、その後に要求の映像/音声多重化データ「View1、View2、View3、Viewn+1映像/音声多重化データ」を受け取る。この配信変更部505−2は、さらに、受け取った映像/音声多重化データ「View1、View2、View3、Viewn+1の映像/音声多重化データ」を指定のオーバーレートに変更する。この配信変更部505−2は、最初に、多重化情報「View1、View2、View3、Viewn+1」を、その次に、指定のオーバーレートに変更した要求の1GOPの映像/音声多重化データ「View1、View2、View3、Viewn+1の映像/音声多重化データ」を送信部504へ送る。配信変更部505−2は、以後この順番で、読み出した情報を送信部504へ送る。
一時記憶部502は、配信要求の再生端末毎600に一時記憶領域の配信変更部505−1〜505−nを作成する。一時記憶部502は、配信変更部505−1〜505−nが読み出し完了した一時記憶部502の多重化情報、1GOP全映像/音声多重化データを順に削除する。
配信変更部505−1は、送信完了した多重化情報、1GOP映像/音声多重化データを自身の記憶部から削除する。
データ一時記憶部502と配信変更部505−2は、1GOPの終わりは次の多重化情報で判断する。
ステップST1406で、送信部504は、配信変更部505−2から多重化情報「View1、View2、View3、Viewn+1」、その後、要求の、映像/音声多重化データ「View1、View2、View3、Viewn+1の映像/音声多重化データ」の順番で受け取る。送信部504は、受け取った多重化情報「View1、View2、View3、Viewn+1」、その次に1GOPの映像/音声多重化データ「View1、View2、View3、Viewn+1の映像/音声多重化データ」をオーバーレートで要求元の再生端末600−2へネットワーク703を介して配信する。送信部504は、以後、多重化情報「View1、View2、View3、Viewn+1」、その次に1GOPの映像/音声多重化データ「View1、View2、View3、Viewn+1の映像/音声多重化データ」の順番で、ネットワーク703を介してオーバーレートで再生端末600−2へ送信する。
ステップST1407で、再生端末600−2は、多重化情報「View1、View2、View3、Viewn+1」、その後、1GOPの映像/音声多重化データ「View1、View2、View3、Viewn+1の映像/音声多重化データ」の順番で順次受け取り、View1、View2、View3の映像と、Viewn+1の音声のストリーム再生を開始する。
図17は、本発明の実施例の映像配信システムにおける、全カメラ配信処理手順を示すフローチャートである。この処理手順は、図5に示した実施態様によるものに対応するものである。
ステップST1501で、1台以上のカメラ100−1〜100−nから符号化装置300−1〜300−nへ映像を送る。また、音声は、本実施例では1台のマイク内蔵カメラ100−nのマイク200が集音し、符号化装置300−nへ送る。
ステップST1502で、符号化装置300−1〜300−nは、カメラ100−1〜100−nから送られた映像データまたは音声データをそれぞれに符号化し、符号化された映像符号化データと音声符号化データを、ネットワーク701を介して多重化装置400に送る。
ステップST1503で、多重化装置400は、符号化装置300−1〜300−nから1つ以上の映像符号化データ11〜D14と、本実地例では1つの音声符号化データ15を受けとる。多重化装置400は、カメラ出力対応テーブルを参照して、送信元の符号化装置300−1〜300−nのIPアドレスに基づき、符号化データに対応する識別情報(ViewID)を得て、各符号化データに付与する。
多重化装置400は、映像符号化データD11〜D14をまとめて多重化し、次に多重化した映像符号化データと1つの音声符号化データD15を多重化し、1GOP全映像多重化データを作成する。そして、多重化装置400は、1GOP全映像多重化データの1GOPの先頭に、タイムスタンプと、1GOP全映像多重化データに含まれる全識別情報(全ViewID)とを含む多重化情報を作成する。
多重化装置400は、最初に、全てのカメラ100−1〜100−nに関する多重化情報を配信サーバ500へ送信する。多重化装置400は、次に、カメラ変更をGOP単位で行うために全映像/音声多重化データの1GOP分を配信サーバ500へ実際のレートで送信する。多重化装置400は、以後、多重化情報、その後に、1GOP全映像/音声多重化データの順で、ネットワーク702を介して順次、配信サーバ500へ送信する。
ステップST1504で、配信サーバ500の第1受信部501は、多重化装置400から順次送信された多重化情報(全てのカメラ100に関する多重化情報)と1GOP全映像/音声多重化データを順次受け取り、受け取った多重化情報と1GOP全映像/音声多重化データを一時記憶部502に順次送る。一時記憶部502は、多重化情報と1GOP全映像/音声多重化データを一時保存する。
ステップST1505で、配信サーバ500の第2受信部503は、再生端末600−nからの配信要求(要求情報)を受け取ると、受け取った再生端末600−nからの全配信要求(全カメラからの映像データとマイク200からの音声データを要求することを示す)を一時記憶部502に送る。一時記憶部502は、再生端末600−nから配信要求(要求情報)を受け取ると、一時記憶領域の配信変更部505−3を作成する。配信変更部505−3は、一時記憶部502に一時保存している最新(最も時間が新しい)のGOP全映像/音声多重化データから指定時間分戻り、戻ったところの多重化情報から、再生端末600−nの要求に対応する多重化情報(識別情報ViewID)を読み出す。次に、配信変更部505−3は、戻ったGOPの全映像/音声多重化データの先頭から、再生端末600−nの要求に対応する全映像/音声多重化データを読み出す。配信変更部505−3は、以後この順番で順次、情報を読み出す。
例えば、指定時間を1000msecとし場合、1GOPを0.5秒とすると、配信変更部505−3は、最新GOPから2GOP戻った多重化情報から全ViewIDを読み出す。次に、配信変更部505−3は、戻ったGOPの全映像/音声多重化データの先頭から再生端末600−nの要求の全映像/音声多重化データを読み出す。配信変更部505−3は、以後この順番で順次、情報を読み出す。
配信変更部505−3は、一時記憶部502から順次、多重化情報、全映像/音声多重化データを受け取る。さらに、配信変更部505−3は、受け取った全映像/音声多重化データを指定のオーバーレートに変更する。配信変更部505−3は、最初に、多重化情報、次に指定のオーバーレートに変更した1GOP全映像/音声多重化データを送信部504へ送る。配信変更部505−3は、以後この順番で、読み出した情報を送信部504へ送る。
一時記憶部502は、配信要求の再生端末600−1〜600−n毎に一時記憶領域の配信変更部505−1〜505−nを作成する。一時記憶部502は、配信変更部505−1〜505−nが読み出し完了した一時記憶部502の多重化情報、1GOP全映像/音声多重化データを順に削除する。
配信変更部505−3は、送信完了した多重化情報、1GOP映像多重化データを自身の記憶部から削除する。
データ一時記憶部502と配信変更部505−3は、1GOPの終わりは次の多重化情報で判断する。
ステップST1506で、送信部504は、配信変更部505−3から多重化情報、その次に1GOP全映像/音声多重化データの順番で受け取る。送信部504は、受け取った多重化情報、その次に1GOP全映像/音声多重化データを、それぞれオーバーレートで要求元の再生端末600−nへネットワーク703を介して配信する。以後、多重化情報、1GOP全映像/音声多重化データの順番でネットワーク703を介してオーバーレートで再生端末600−nへ送信する。
ステップST1507で、再生端末600−nは、多重化情報と、全映像/音声多重化データの順番で順次受け取り、再生開始カメラとして事前に指定してあるView1、View3の映像とViewn+1の音声のストリーム再生を開始する。
[第2実施形態に係る処理フロー]
図18は、本発明の他の例の映像配信システムにおける、指定配信処理手順を示すフローチャートである。この処理手順は、図10に示した実施態様によるものに対応するものである。
ステップST1601で、1台以上のカメラから符号化装置1300へ映像を送る。
ステップST1602で、符号化装置1300は、カメラ1100から送られた映像を符号化し、符号化された映像符号化データを実際のレートでネットワーク1702を介して多重化装置1400に送る。
ステップST1603で、多重化装置1400は、符号化装置1300−1〜1300−nから1つ以上の映像符号化データを受けとる。多重化装置1400は、カメラ出力対応テーブルを参照して、送信元の各符号化装置1300−1〜1300−nのIPアドレスに基づき、符号化データと識別情報(ViewID)を対応させる。多重化装置1400は、この識別情報であるViewIDを、対応する各符号化データに付与する。
そして、多重化装置1400は、これら映像符号化データをまとめて多重化し、多重化データである1GOP全映像多重化データを作成する。多重化装置400は、1GOP全映像多重化データの1GOPの先頭のタイムスタンプと、1GOP全映像多重化データに含まれる全識別情報(全ViewID)とを含む多重化情報を作成する。
多重化装置1400は、最初に、多重化情報を配信サーバ1500へ送信する。多重化装置1400は、その次に、カメラ変更をGOP単位で行うために全映像多重化データの1GOP分を配信サーバ1500へ実際のレートで送信する。多重化装置400は、以後、多重化情報、1GOP全映像多重化データの順で、ネットワーク1702を介して順次配信サーバ1500へ送信する。
ステップST1604で、配信サーバ1500の第1受信部1501は、多重化装置1400から順次送信された多重化情報と1GOP全映像多重化データを順次受け取る。
第1受信部1501は、受け取った多重化情報と1GOP全映像多重化データを一時記憶部1502に順次送る。一時記憶部1502は、多重化情報と1GOP全映像多重化データを一時保存する。
ステップST1605で、配信サーバ1500の第2受信部1503は、再生端末1600−1からの配信要求を受け取ると、受け取った再生端末1600−1からの識別情報View2、View3の映像データの配信を要求することを示す要求情報(要求情報「View2、View3の配信要求」)を一時記憶部1502に送る。
一時記憶部1502は、再生端末1600−1から配信要求(要求情報)を受け取ると、一時記憶領域の配信変更部1505−1を作成する。この配信変更部1505−1は、一時記憶部1502に一時保存している最新(最も時間が新しい)のGOP全映像多重化データから指定時間分戻り、戻ったところの多重化情報から、再生端末1600−1の要求に対応する識別情報「View2、View3」を読み出す。次に、配信変更部1505−1は、戻ったGOPの全映像多重化データの先頭から再生端末1600−1の要求に対応する識別情報「View2、View3」の映像多重化データを読み出す。配信変更部1505−1は、以後この順番で順次、情報を読み出す。
例えば、指定時間を1000msecとし場合、1GOPを0.5秒とすると、配信変更部1505−1は、最新GOPから2GOP戻った多重化情報から識別情報「View2、View3」を読み出す。次に、配信変更部1505−1は、戻ったGOPの全映像多重化データの先頭から再生端末1600−1が要求する映像多重化データ「View2、View3映像多重化データ」を読み出す。配信変更部1505−1は、以後この順番で順次、情報を読み出す。
配信変更部1505−1は、一時記憶部1502から順次、多重化情報から要求の識別情報「View2、View3」と、その後、要求の多重化データ「View2、View3の映像多重化データ」を受け取る。配信変更部1505−1は、さらに、受け取った識別情報「View2、View3」の映像多重化データを、指定のオーバーレートに変更する。配信変更部1505−1は、最初に、多重化情報「View2、View3」を、その次に指定のオーバーレートに変更した1GOPの映像多重化データ「View2、View3の映像多重化データ」を、送信部1504へ送る。配信変更部1505−1は、以後この順番で、読み出した情報を送信部1504へ送る。
一時記憶部1502は、配信要求の再生端末1600−1〜1600−n毎に一時記憶領域の配信変更部1505−1〜1505−nを作成する。一時記憶部1502は、配信変更部1505−1〜1505−nが読み出し完了した一時記憶部1502の多重化情報、1GOP全映像多重化データを順に削除する。
配信変更部1505−1は、送信完了した多重化情報、1GOP映像多重化データを自身の記憶部から削除する。
データ一時記憶部1502と配信変更部1505−1は、1GOPの終わりは次の多重化情報で判断する。
ステップST1606で、送信部1504は、配信変更部1505−1から多重化情報「View2、View3」、その次に1GOPの映像多重化データ「View2、View3の映像多重化データ」の順番で受け取る。送信部1504は、受け取った多重化情報「View2、View3」、その次に1GOPの映像多重化データ「View2、View3の映像多重化データ」をオーバーレートで要求元の再生端末1600−1へネットワーク1703を介して配信する。送信部1504は、以後、多重化情報「View2、View3」、その後1GOPの映像多重化データ「View2、View3の映像多重化データ」の順番でネットワーク1703を介してオーバーレートで再生端末1600−1へ送信する。
ステップST1607で、再生端末1600−1は、多重化情報「View2、View3」、その後、1GOPの映像多重化データ「View2、View3の映像多重化データ」の順番で順次受け取り、識別情報「View2、View3」の映像データのストリーム再生を開始する。
図19は、本発明の他の例の映像配信システムにおける、複数指定カメラ配信処理手順を示すフローチャートである。図11に示した実施態様によるものに対応するものである。
ステップST1701で、1台以上のカメラ1100から符号化装置1300へ映像を送る。
ステップST1702で、符号化装置1300は、カメラ1100から送られた映像を符号化し、符号化された映像符号化データを実際のレートでネットワーク1701を介して多重化装置1400に送る。
ステップST1703で、多重化装置1400は、符号化装置1300−1〜1300−nから1つ以上の映像符号化データを受けとる。多重化装置1400は、カメラ出力対応テーブルを参照して、送信元の各符号化装置1300−1〜1300−nのIPアドレスに基づき、符号化データと対応する識別情報(ViewID)を得て、各符号化データに付与する。
多重化装置1400は、映像符号化データをまとめて多重化し、多重化データである1GOP全映像多重化データを作成する。また、多重化装置400は、1GOP全映像多重化データの1GOPの先頭のタイムスタンプと、1GOP全映像多重化データに含まれる全識別情報(全ViewID)とを含む多重化情報を作成する。
多重化装置1400は、最初に、多重化情報を配信サーバ1500へ送信する。多重化装置1400は、その次に、カメラ変更をGOP単位で行うために全映像多重化データの1GOP分を配信サーバ1500へ実際のレートで送信する。多重化装置1400は、以後、多重化情報、その後、1GOP全映像多重化データの順で、ネットワーク1702を介して順次配信サーバ1500へ送信する。
ステップST1704で、配信サーバ1500の第1受信部1501は、多重化装置1400から順次送信された多重化情報と1GOP全映像多重化データを順次受け取り、受け取った多重化情報と1GOP全映像多重化データを一時記憶部1502に順次送る。
一時記憶部1502は、多重化情報と1GOP全映像多重化データを時系列に並べて一時保存する。
ステップST1705で、配信サーバ1500の受信部1503は、再生端末1600−2からの配信要求を受け取ると、受け取った再生端末1600−2からの識別情報「View1、View2、View3」の映像データの配信を要求することを示す要求情報(要求情報「View1、View2、View3の配信要求」)を一時記憶部1502に送る。
一時記憶部1502は、再生端末1600−2から配信要求(要求情報)を受け取ると、一時記憶領域の配信変更部1505−2を作成する。この配信変更部1505−2は、一時記憶部1502に一時保存している最新(最も時間が新しい)のGOP全映像多重化データから指定時間分戻り、戻ったところの多重化情報からを再生端末1600−2の要求の「View1、View2、View3」を読み出す。次に、配信変更部1505−2は、戻ったGOPの全映像多重化データの先頭から再生端末1600−2要求の多重化データ「View1、View2、View3の映像多重化データ」を読み出す。配信変更部1505−2は、以後この順番で順次、情報を読み出す。
例えば、指定時間を1000msecとし場合、1GOPを0.5秒とすると、配信変更部1505−2は、最新GOPから2GOP戻った多重化情報から識別情報「View1、View2、View3」を読み出す。次に、配信変更部1505−2は、戻ったGOPの全映像多重化データの先頭から再生端末1600−2の要求の多重化データ「View1、View2、View3の映像多重化データ」を読み出す。配信変更部1505−2は、以後この順番で、情報を読み出す。
配信変更部1505−2は、一時記憶部1502から順次、多重化情報「View1、View2、View3」、その後に要求の多重化データ「View1、View2、View3の映像多重化データ」を受け取る。配信変更部1505−2は、さらに、受け取った多重化データ「View1、View2、View3の映像多重化データ」を指定のオーバーレートに変更する。配信変更部1505−2は、最初に、多重化情報「View1、View2、View3」、次に指定のオーバーレートに変更した要求の1GOPの映像多重化データ「View1、View2、View3の映像多重化データ」を送信部1504へ送る。配信変更部1505−2は、以後この順番で、情報を送信部1504へ送る。
一時記憶部1502は、配信要求の再生端末1600−1〜1600−n毎に、一時記憶領域の配信変更部1505−1〜1505−nを作成する。一時記憶部1502は、配信変更部1505−1〜1505−nが読み出し完了した一時記憶部1502の多重化情報と1GOP全映像多重化データを削除する。
配信変更部1505−2は、送信完了した多重化情報と1GOP映像多重化データを自身が内蔵する記憶部から削除する。
データ一時記憶部1502、配信変更部1505−1は、1GOPの終わりは次の多重化情報で判断する。
ステップST1706で、送信部1504は、配信変更部1505−2から多重化情報「View1、View2、View3」、次に1GOPの映像多重化データ「View1、View2、View3の映像多重化データ」の順番で受け取る。送信部1504は、受け取った多重化情報「View1、View2、View3」、次に1GOPの映像多重化データ「View1、View2、View3の映像多重化データ」をオーバーレートで要求元の再生端末1600−2へネットワーク1703を介して配信する。送信部1504は、以後、多重化情報「View1、View2、View3」、その後に、1GOPの映像多重化データ「View1、View2、View3の映像多重化データ」の順番でネットワーク1703を介してオーバーレートで再生端末1600−2へ送信する。
ステップST1707で、再生端末1600−2は、多重化情報「View1、View2、View3」、1GOPの映像多重化データ「View1、View2、View3の映像多重化データ」の順番で順次受け取り、カメラ1、カメラ2、ナビの映像データのストリーム再生を開始する。
図20は、本発明の他の例の映像配信システムにおける、全カメラ配信処理手順を示すフローチャートである。この処理手順は、図12に示した実施態様によるものに対応するものである。
ステップST1801で、1台以上のカメラ1100−1〜1100−nから符号化装置1300−1〜1300−nへ映像を送る。
ステップST1802で、符号化装置1300−1〜1300−nは、カメラ1100−1〜1100−nから送られた映像を符号化し、符号化された映像符号化データを実際のレートでネットワーク1701を介して多重化装置1400に送る。
ステップST1803で、多重化装置1400は、符号化装置1300−1〜1300−nから1つ以上の映像符号化データを受けとる。多重化装置1400は、カメラ出力対応テーブルを参照して、送信元の各符号化装置1300−1〜1300−nのIPアドレスに基づき、符号化データと対応する識別情報(ViewID)を得て、各符号化データに付与する。
多重化装置1400は、映像符号化データをまとめて多重化し、多重化データである1GOP全映像多重化データを作成する。また、多重化装置400は、1GOP全映像多重化データの1GOPの先頭のタイムスタンプと、1GOP全映像多重化データに含まれる全識別情報(全ViewID)とを含む多重化情報を作成する。
多重化装置1400は、最初に、全てのカメラ1100に関する多重化情報を配信サーバ1500へ送信する。多重化装置1400は、次に、カメラ変更をGOP単位で行うために全映像多重化データの1GOP分を配信サーバ1500へ実際のレートで送信する。多重化装置1400は、以後、多重化情報、その後、1GOP全映像多重化データの順で、ネットワーク1702を介して順次、配信サーバ1500へ送信する。
ステップST1804で、配信サーバ1500の第1受信部1501は、多重化装置1400から順次送信された多重化情報と1GOP全映像多重化データを順次受け取る。第1受信部1501は、受け取った多重化情報と1GOP全映像多重化データを一時記憶部1502に順次送る。一時記憶部1502は、多重化情報と1GOP全映像多重化データを時系列に並べて一時保存する。
ステップST1805で、配信サーバ1500の受信部1503は、再生端末1600−nからの配信要求を受け取ると、受け取った再生端末1600−nからの全配信要求(全カメラからの映像データを示す)を一時記憶部1502に送る。一時記憶部502は、再生端末1600−nから配信要求を受け取ると、一時記憶領域の配信変更部1505−3を作成する。この配信変更部1505−3は、一時記憶部1502に一時保存している最新(最も時間が新しい)の1GOP全映像多重化データから指定時間分戻り、戻ったところの全多重化情報からを再生端末1600−nの要求の多重化情報(識別情報)を読み出す。次に、配信変更部1505−3は、戻ったGOPの全映像多重化データの先頭から再生端末1600−nの要求に対応する全映像多重化データを読み出す。配信変更部1505−3は、以後この順番で順次、読み出す。
例えば、指定時間を1000msecとし場合、1GOPを0.5秒とすると、配信変更部1505−3は、最新GOPから2GOP戻った多重化情報から多重化情報を読み出す。次に、配信変更部1505−3は、戻ったGOPの全映像多重化データの先頭から再生端末1600−nの要求の全映像多重化データを読み出す。配信変更部1505−3は、以後この順番で順次、読み出す。
配信変更部1505−3は、一時記憶部1502から順次、要求の多重化情報および要求の全映像多重化データを受け取る。この配信変更部1505−3は、さらに、受け取った全映像多重化データを指定のオーバーレートに変更する。配信変更部1505−3は、最初に、要求の多重化情報、その次に指定のオーバーレートに変更した要求の1GOP全映像多重化データを送信部1504へ送る。配信変更部1505−3は、以後この順番で、読み出した情報を送信部1504へ送る。
一時記憶部1502は、配信要求の再生端末1600−1〜1600−n毎に一時記憶領域の配信変更部1505−1〜1505−nを作成する。一時記憶部1502は、配信変更部1505−1〜1505−nが読み出し完了した一時記憶部1502の多重化情報、1GOP全映像多重化データを一次記憶部1502から削除する。
配信変更部1505−3は、送信完了した多重化情報、1GOP映像多重化データを自身の記憶部から削除する。
データ一時記憶部1502と配信変更部1505−3は、1GOPの終わりは次の多重化情報で判断する。
ステップST1806で、送信部1504は、配信変更部1505−3から多重化情報、その次に1GOP全映像多重化データの順番で受け取る。送信部1504は、受け取った多重化情報、その次に1GOP全映像多重化データをオーバーレートで要求元の再生端末1600−nへネットワーク1703を介して配信する。以後、配信変更部1505−3は、多重化情報、その後に1GOP全映像多重化データの順番で、ネットワーク1703を介してオーバーレートで再生端末1600−nへ送信する。
ステップST1807で、再生端末1600−nは、多重化情報と、その後に全映像多重化データの順番で順次受け取り、再生開始カメラとして事前に指定してあるカメラ1、ナビの映像のストリーム再生を開始する。
この構成により、本願発明に係る映像配信システムは、インデックスファイルを用いずとも、再生端末が要求するカメラからの出力映像を配信することができる。これにより、インデックスファイルを作成する時間が削減され、処理速度が速くなることで、リアルタイムに近い再生を実現することができる。言い換えると、符号化中の映像と再生映像にずれが少ない再生を実現することができる。また、オーバーレート配信により、配信要求から再生開始までの時間を短くすることができる。
例えば、複数の符号化装置によって符号化される映像を符号化装置に応じて切り換えて、リアルタイムに近い再生をする際、符号化中の映像と再生端末における再生映像との時間軸のずれを低減させることができる。
また、多重化情報と1GPOにまとめられた多重化データを配信サーバ500、1500に配信するようにした。これにより、配信サーバ500、1500は、多重化情報と、当該多重化情報に対応付けられた(直後に並べられた)多重化データから、再生端末が要求する映像を取り出すことができる。
また、本発明は、上記実施形態に限定されることなく、以下のような態様であってもよい。
上述において、映像データや音声データを出力するカメラやマイクを特定する情報として、IPアドレスを用いる例を説明したが、例えば、これら複数のカメラ100に対して、それぞれ割り当てられた固有の識別情報(以下、カメラID(IDentification)という)を用いるものであってもよい。このカメラIDは、各カメラ100が内蔵する記憶部に記憶されている。本実施形態においてカメラ100−1〜100−nには、カメラID1〜nが割り当てられている。
この場合、複数のカメラ100は、それぞれに割り当てられているカメラIDを映像データ等に対応付けて出力する。本実施形態において、カメラ100−1には、カメラID1が割り当てられており、映像データD1にカメラID1を対応付けて出力する。カメラ100−2には、カメラID2が割り当てられており、映像データD2にカメラID2を対応付けて出力する。ナビカメラ100−3には、カメラID3が割り当てられており、映像データD3にカメラID3を対応付けて出力する。マイク内蔵型カメラ100−4には、カメラID4が割り当てられており、映像データD4および音声データD5にカメラID4を対応付けて出力する。
なお、上述の符号化装置、多重化装置、配信サーバ、再生端末は、内部にコンピュータシステムを有している。そして、これら装置の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいう「コンピュータシステム」とは、CPU及び各種メモリやOS、周辺機器等のハードウェアを含むものである。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、図15〜20に示す各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、また、図1に示す符号化装置300、多重化装置400、配信サーバ500の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、処理を行ってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
100・・・カメラ、300・・・符号化装置、400・・・多重化装置400、500・・・配信サーバ、600・・・再生端末

Claims (4)

  1. 多重化装置と、当該多重化装置から送信される情報を受信して再生端末からの要求に応じた情報を配信する配信サーバとを備える映像配信システムにおいて、
    前記多重化装置は、
    複数の符号化装置によって符号化されたデータであって、符号化された順番を示す時刻情報が付与された複数の符号化データを受信し、各符号化データを符号化した符号化装置を示す識別情報を各符号化データに付与する多重化受信部と、
    予め決められている時間長の前記符号化データを前記時刻情報および前記識別情報とともに多重化して多重化データを作成するとともに、前記多重化データに含まれる前記符号化データと対応付けられている前記時刻情報のうち符号化された順番が最も早い時刻情報を含む多重化情報を作成し、前記時刻情報に応じて対応付けた前記多重化データと前記多重化情報を、前記配信サーバに対して伝送する多重化送信部と、を備え、
    前記配信サーバは、
    互いに対応付けられている前記多重化情報と前記多重化データを受信し、前記多重化情報および前記多重化データに含まれる前記符号化データの前記時刻情報に基づき、前記時刻情報が示す符号化された順番に前記多重化データおよび前記多重化情報を並べて、一時記憶部に格納するサーバ受信部と、
    符号化された順番が最も早い前記時刻情報を含む前記多重化情報と前記一次記憶部において対応付けられている前記多重化データより、予め決められた時間分だけ過去に符号化された符号化データを含む前記多重化データから、前記再生端末が映像配信を要求している前記識別情報と対応付けられている前記多重化データを読み出し、前記再生端末に前記映像配信を要求している前記識別情報と対応付けられた前記多重化データおよび前記多重化情報を、当該多重化データと対応付けられている前記多重化情報の時刻情報が示す符号化された順番で送信する配信部と、を備え
    前記配信部は、
    実際の伝送レートよりも予め決められたオーバーレートの速度で、前記再生端末に対して、前記多重化データを送信することを特徴とする映像配信システム。
  2. 多重化装置と、当該多重化装置から送信される情報を受信して再生端末からの要求に応じた情報を配信する配信サーバとを備える映像配信システムにおいて、
    前記多重化装置は、
    複数の符号化装置によって符号化されたデータであって、符号化された順番を示す時刻情報が付与された複数の符号化データを受信し、各符号化データを符号化した符号化装置を示す識別情報を各符号化データに付与する多重化受信部と、
    予め決められている時間長の前記符号化データを前記時刻情報および前記識別情報とともに多重化して多重化データを作成するとともに、前記多重化データに含まれる前記符号化データと対応付けられている前記時刻情報のうち符号化された順番が最も早い時刻情報を含む多重化情報を作成し、前記時刻情報に応じて対応付けた前記多重化データと前記多重化情報を、前記配信サーバに対して伝送する多重化送信部と、を備え、
    前記配信サーバは、
    互いに対応付けられている前記多重化情報と前記多重化データを受信し、前記多重化情報および前記多重化データに含まれる前記符号化データの前記時刻情報に基づき、前記時刻情報が示す符号化された順番に前記多重化データおよび前記多重化情報を並べて、一時記憶部に格納するサーバ受信部と、
    符号化された順番が最も早い前記時刻情報を含む前記多重化情報と前記一次記憶部において対応付けられている前記多重化データより、予め決められた時間分だけ過去に符号化された符号化データを含む前記多重化データを読み出し、前記多重化データおよび前記多重化情報を、当該多重化データと対応付けられている前記多重化情報の時刻情報が示す符号化された順番で前記再生端末に送信する配信部と、を備え
    前記配信部は、
    実際の伝送レートよりも予め決められたオーバーレートの速度で、前記再生端末に対して、前記多重化データを送信することを特徴とする映像配信システム。
  3. 多重化装置と、当該多重化装置から送信される情報を受信して再生端末からの要求に応じた情報を配信する配信サーバとを備える映像配信方法において、
    前記多重化装置は、
    複数の符号化装置によって符号化されたデータであって、符号化された順番を示す時刻情報が付与された複数の符号化データを受信し、各符号化データを符号化した符号化装置を示す識別情報を各符号化データに付与し、
    予め決められている時間長の前記符号化データを前記時刻情報および前記識別情報とともに多重化して多重化データを作成するとともに、前記多重化データに含まれる前記符号化データと対応付けられている前記時刻情報のうち符号化された順番が最も早い時刻情報を含む多重化情報を作成し、前記時刻情報に応じて対応付けた前記多重化データと前記多重化情報を、前記配信サーバに対して伝送し、
    前記配信サーバは、
    互いに対応付けられている前記多重化情報と前記多重化データを受信し、前記多重化情報および前記多重化データに含まれる前記符号化データの前記時刻情報に基づき、前記時刻情報が示す符号化された順番に前記多重化データおよび前記多重化情報を並べて、一時記憶部に格納し、
    符号化された順番が最も早い前記時刻情報を含む前記多重化情報と前記一次記憶部において対応付けられている前記多重化データより、予め決められた時間分だけ過去に符号化された符号化データを含む前記多重化データから、前記再生端末が映像配信を要求している前記識別情報と対応付けられている前記多重化データを読み出し、前記再生端末に前記映像配信を要求している前記識別情報と対応付けられた前記多重化データおよび前記多重化情報を、当該多重化データと対応付けられている前記多重化情報の時刻情報が示す符号化された順番で前記再生端末に送信する際、実際の伝送レートよりも予め決められたオーバーレートの速度で、前記再生端末に対して、前記多重化データを送信す
    ことを特徴とする映像配信方法。
  4. 多重化装置と、当該多重化装置から送信される情報を受信して再生端末からの要求に応じた情報を配信する配信サーバとを備える映像配信システムにおける映像配信プログラムであって、
    コンピュータを、
    複数の符号化装置によって符号化されたデータであって、符号化された順番を示す時刻情報が付与された複数の符号化データを受信し、各符号化データを符号化した符号化装置を示す識別情報を各符号化データに付与する多重化受信手段、
    予め決められている時間長の前記符号化データを前記時刻情報および前記識別情報とともに多重化して多重化データを作成するとともに、前記多重化データに含まれる前記符号化データと対応付けられている前記時刻情報のうち符号化された順番が最も早い時刻情報を含む多重化情報を作成し、前記時刻情報に応じて対応付けた前記多重化データと前記多重化情報を、前記配信サーバに対して伝送する多重化送信手段、
    互いに対応付けられている前記多重化情報と前記多重化データを受信し、前記多重化情報および前記多重化データに含まれる前記符号化データの前記時刻情報に基づき、前記時刻情報が示す符号化された順番に前記多重化データおよび前記多重化情報を並べて、一時記憶部に格納するサーバ受信手段、
    符号化された順番が最も早い前記時刻情報を含む前記多重化情報と前記一次記憶部において対応付けられている前記多重化データより、予め決められた時間分だけ過去に符号化された符号化データを含む前記多重化データをから、前記再生端末が映像配信を要求している前記識別情報と対応付けられている前記多重化データ読み出し、前記再生端末に前記映像配信を要求している前記識別情報と対応付けられた前記多重化データおよび前記多重化情報を、当該多重化データと対応付けられている前記多重化情報の時刻情報が示す符号化された順番で前記再生端末に送信する際、実際の伝送レートよりも予め決められたオーバーレートの速度で、前記再生端末に対して、前記多重化データを送信する配信手段、
    として機能させるためのプログラムであることを特徴とする映像配信プログラム。
JP2010245497A 2010-11-01 2010-11-01 映像配信システム、映像配信方法、および映像配信プログラム Expired - Fee Related JP5492736B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010245497A JP5492736B2 (ja) 2010-11-01 2010-11-01 映像配信システム、映像配信方法、および映像配信プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010245497A JP5492736B2 (ja) 2010-11-01 2010-11-01 映像配信システム、映像配信方法、および映像配信プログラム

Publications (2)

Publication Number Publication Date
JP2012100032A JP2012100032A (ja) 2012-05-24
JP5492736B2 true JP5492736B2 (ja) 2014-05-14

Family

ID=46391464

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010245497A Expired - Fee Related JP5492736B2 (ja) 2010-11-01 2010-11-01 映像配信システム、映像配信方法、および映像配信プログラム

Country Status (1)

Country Link
JP (1) JP5492736B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014093733A (ja) * 2012-11-06 2014-05-19 Nippon Telegr & Teleph Corp <Ntt> 映像配信装置、映像再生装置、映像配信プログラム及び映像再生プログラム
US10743043B2 (en) * 2016-11-11 2020-08-11 Sony Corporation Management device and management method
CN110677623B (zh) * 2019-10-15 2021-09-10 北京百度网讯科技有限公司 数据处理的方法、装置、设备和存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003069977A (ja) * 2001-08-28 2003-03-07 Sony Corp ネット配信によるデータ送出方法、及びネット配信の受信方法、及びネット配信によるデータ送出システム、及びネット配信の受信システム
JP4148673B2 (ja) * 2001-11-20 2008-09-10 株式会社日立製作所 映像配信システム
JP2003163897A (ja) * 2001-11-22 2003-06-06 Nippon Hoso Kyokai <Nhk> コンテンツ送信方法、コンテンツ送信装置、コンテンツ送信プログラムおよびコンテンツ受信制御方法、コンテンツ受信制御装置、コンテンツ受信制御プログラムならびにコンテンツ時刻制御システム
JP3836077B2 (ja) * 2002-11-14 2006-10-18 松下電器産業株式会社 伝送データ構造及びそれを伝送するための方法並びに装置
JP2005303783A (ja) * 2004-04-14 2005-10-27 Nippon Telegr & Teleph Corp <Ntt> ストリーム再生方法とそのプログラム
JP5473233B2 (ja) * 2008-02-25 2014-04-16 キヤノン株式会社 表示制御装置、及び方法、プログラム

Also Published As

Publication number Publication date
JP2012100032A (ja) 2012-05-24

Similar Documents

Publication Publication Date Title
RU2652099C2 (ru) Устройство передачи, способ передачи, устройство приема и способ приема
CN107925797B (zh) 用于获取音频数据的方法和设备
CN108965779B (zh) 一种音视频流的传输方法、录播方法、装置及系统
KR20110138134A (ko) 멀티미디어 스트림 파일의 저장 파일 포맷, 저장 방법 및 이를 이용한 클라이언트 장치
CN105230006B (zh) 保存方法、再现方法、保存装置及再现装置
WO2013008866A1 (ja) 生成装置、配信サーバ、生成方法、再生装置、再生方法、再生システム、生成プログラム、再生プログラム、記録媒体およびデータ構造
KR102362513B1 (ko) 타임 슬라이스 영상을 생성하는 서버, 방법 및 사용자 단말
JP2008530938A (ja) デジタル信号をライブで送出する方法
KR20110053179A (ko) 데이터 전송 방법 및 장치
JP6868783B2 (ja) ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法
CN112584087B (zh) 视频会议录制方法、电子装置和存储介质
JP6944131B2 (ja) ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法
JP5492736B2 (ja) 映像配信システム、映像配信方法、および映像配信プログラム
KR102090070B1 (ko) 스트리밍 서버, 클라이언트 단말 및 이를 이용한 av 라이브 스트리밍 시스템
JP4315914B2 (ja) 画像再生装置及び画像再生方法
CN111246261A (zh) 一种内容投放的方法、装置及系统
CN108966024B (zh) 一种音视频流的传输方法、回放方法、装置及系统
KR20090014621A (ko) Vod 서비스 방법, vod 수신기 및 vod 서버
JP4454821B2 (ja) 伝送装置、伝送方法、および記憶媒体
JP6355634B2 (ja) データ処理装置、データ処理方法、プログラム、記録媒体及びデータ処理システム
US20110276662A1 (en) Method of constructing multimedia streaming file format, and method and apparatus for servicing multimedia streaming using the multimedia streaming file format
JP5940999B2 (ja) 映像再生装置、映像配信装置、映像再生方法、映像配信方法及びプログラム
CN102625138A (zh) 一种视频集中存储和播放的控制方法及装置
JP6400163B2 (ja) 受信装置、受信方法、送信装置、送信方法、及びプログラム
JP2004159057A (ja) 再生情報配信システム及び再生情報配信方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130123

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130605

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130725

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131015

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140303

R150 Certificate of patent or registration of utility model

Ref document number: 5492736

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees