JP4012119B2 - 動画中継装置及び方法 - Google Patents
動画中継装置及び方法 Download PDFInfo
- Publication number
- JP4012119B2 JP4012119B2 JP2003142554A JP2003142554A JP4012119B2 JP 4012119 B2 JP4012119 B2 JP 4012119B2 JP 2003142554 A JP2003142554 A JP 2003142554A JP 2003142554 A JP2003142554 A JP 2003142554A JP 4012119 B2 JP4012119 B2 JP 4012119B2
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- frame
- image
- terminal device
- relay
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Details Of Television Systems (AREA)
- Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
【発明の属する技術分野】
本発明は、サーバ装置に用意された動画データの端末装置へ配信を、サーバ装置と端末装置との間で中継する動画中継装置および方法に関するものである。
【0002】
【従来の技術】
インターネットなどの有線のネットワーク(通信回線)により、動画が蓄積されている動画蓄積サーバより、クライアント側の端末装置に動画を配信し、端末装置で動画を視聴するシステムが開発されている(特許文献1,2参照)。配信される動画を表示再生するとき、端末装置では、受信した動画データをデコード(復号)し、また画像品質,フレームレート,画像サイズなどの動画パラメータを変換している。
【0003】
【特許文献1】
特開平9−018846号公報
【特許文献2】
特開平9−214869号公報
【0004】
【発明が解決しようとする課題】
ところで、端末装置において、複数の動画を受信して視聴可能とするためには、上述した演算処理を、各々の画像の表示において行うことになる。従って、1つの端末装置で、複数の動画を同時に再生表示させようとすると、端末装置には、非常に高い演算処理能力が必要となる。しかしながら、一般的な端末装置には、上述したような高い演算処理能力はなく、従来では、数十におよぶ複数の動画を、1台の端末装置で同時に再生表示させることが困難であった。
【0005】
本発明は、以上のような問題点を解消するためになされたものであり、高い処理能力を備えていない端末装置であっても、サーバより配信される複数の動画データを、同時に再生表示できるようにすることを目的とする。
【0006】
【課題を解決するための手段】
本発明に係る動画中継装置は、端末装置から送出された動画配信要求に基づいて複数の動画蓄積サーバに蓄積されている各々の動画データを通信回線を介して取得する動画データ取得手段と、この動画データ取得手段が取得した動画データを複数のフレーム画像に変換し、変換元の動画データとの対応およびフレームの順序を示す情報を含む識別子を各々のフレーム画像に付加して出力する複数の動画処理手段と、複数の動画処理手段が各々出力した複数のフレーム画像を、各フレーム画像に付加されている識別子をもとに、時分割多重化して多重化データを生成する多重化処手段と、この多重化処手段が生成した多重化データを端末装置に送出するデータ送出手段とを少なくとも備えたものである。
この動画中継装置によれば、複数の動画蓄積サーバより送出された複数の動画データは、これら各々を構成する複数のフレーム画像を時分割多重化した1つの多重化データとして端末装置に送出される。
【0007】
上記動画中継装置において、動画処理手段は、端末装置から送出された中継指示に基づいて、フレーム画像に対して所定の画像処理を行い、フレーム画像を端末装置に適した状態とする。この画像処理は、フレーム画像の画像品質,フレームレート,画像サイズを含む動画パラメータを変換するものであればよい。
【0008】
また、本発明に係る動画中継方法は、端末装置から送出された動画配信要求に基づいて複数の動画蓄積サーバに蓄積されている各々の動画データを通信回線を介して取得し、この動画データ取得手段が取得した複数の動画データを各々複数のフレーム画像に変換し、変換元の動画データとの対応およびフレームの順序を示す情報を含む識別子を各々のフレーム画像に付加し、これらの各フレーム画像に付加されている識別子をもとに、時分割多重化して多重化データを生成し、生成した多重化データを端末装置に送出するようにしたものである。
【0009】
上記動画中継方法において、端末装置から送出された中継指示に基づいて、フレーム画像に対して所定の画像処理を行うことで、フレーム画像を端末装置に適した状態とする。この画像処理は、フレーム画像の画像品質,フレームレート,画像サイズを含む動画パラメータを変換するものであればよい。
【0010】
【発明の実施の形態】
以下、本発明の実施の形態について図を参照して説明する。
図1は、本発明の実施の形態における動画中継装置の構成例を示す構成図である。図1に示すように、動画中継装置100は、回線接続部101,102と、複数の動画処理部103と複数の多重化処理部104とを備えている。これらは、制御バス105,データバス106を介して制御部107に接続している。動画処理部103と多重化処理部104は、制御バス105を介して制御部107により制御され、また、データバス106を介してフレーム画像情報を送受信する。
【0011】
回線接続部101および回線接続部102は、動画蓄積サーバ200および端末装置300と通信回線401,402により接続し、例えば「Ethernet」(R)のようなコンピュータ間接続方式によって通信を行う。制御部107は、端末装置300より送出された画像中継要求に従い、回線接続部101,回線接続部102,動画処理部103,多重化処理部104を制御する。
【0012】
図2に示すように、例えば、端末装置300より、動画蓄積サーバA200aに格納されている動画A,動画蓄積サーバB200bに格納されている動画B,動画蓄積サーバC200cに格納されている動画Cの取得要求が送出されると、これは、通信回線を介して動画中継装置100に受信される。
要求を受信した動画中継装置100では、制御部107が動画処理部A103a,動画処理部B103b,動画処理部C103cを制御し、動画蓄積サーバA200a,動画蓄積サーバB200b,動画蓄積サーバC200cより、各々動画A,動画B,動画Cを取得させる。
【0013】
各サーバに蓄積されている動画データは、所定のアルゴリズムによってエンコードされている。従って、動画処理部A103a,動画処理部B103b,動画処理部C103cでは、まず、取得した動画A,動画B,動画Cを、デコードし、各々連続したフレーム画像シーケンスを生成する。また、動画処理部A103a,動画処理部B103b,動画処理部C103cは、生成した各フレーム画像に対し、拡大縮小,JPEG圧縮などの2次元画像処理を施し、各フレーム画像に、フレーム番号,タイムコードなどの、変換元の動画データとの対応やフレームの順序を示す識別子を付加する。
【0014】
これらのことにより、各動画処理部で各々フレーム画像が生成されると、制御部107の制御により、多重化処理部104が、これらに画像識別子をつけて時分割多重化し、1つのフレーム画像シーケンス(多重化データ)として生成する。多重化処理部104が生成した1つのフレーム画像シーケンスは、通信回線402を介して端末装置300に送出される。送出された1つのフレーム画像シーケンスは、端末装置300に受信され、各フレーム画像につけられた画像識別子,フレーム番号,およびタイムコードなどが利用され、端末装置300の表示部に再生表示される。
【0015】
以上に説明したようにして中継を行う動画中継装置100は、図3に示すように、TCP/IPなどのプロトコルによるネットワーク400により、動画蓄積サーバA200a,動画蓄積サーバB200b,動画蓄積サーバC200cや、複数の端末装置300と接続することが可能である。また、図3に示すように、ネットワーク400に、複数の動画中継装置100が接続した形態であっても良い。
【0016】
図4は、動画処理部103の構成例を示す構成図である。以下に、動画処理部103の動作例について説明する。
制御部107からの動画処理要求を受け付けると、動画処理部103では、動画データ取得モジュール131が、回線接続部101を経由し、例えば動画蓄積サーバA200aに蓄積されている動画A(動画データ)の取得を行う。動画データ取得モジュール131は、取得した動画Aを、逐次的に動画データ保存バッファ133に記録する。動画データ保存バッファ133によって、ネットワークのトラフィック混雑による動画取得速度の変動を、ある程度均一化することが可能となる。
【0017】
データ保存バッファ133に動画Aが記録されると、動画デコードモジュール132が、この動画Aを読み出し、読み出した動画Aのデコードを行い、フレーム画像を生成する。動画デコードモジュール132は、例えば、MPGE1,MPGE2,またはAVIなどの各動画形式について、デコードを行うものである。動画デコードモジュール132は、フレーム画像を生成すると、1フレームずつ出力する。
【0018】
動画デコードモジュール132よりフレーム画像が出力されると、フレーム画像編集モジュール134が、出力された各フレーム画像に対し、所定の画像処理を行う。フレーム画像編集モジュール134は、例えば、各フレーム画像に対し、拡大縮小やトリミングなどの画像サイズ,フレーム画像の色深度,フレームレートなどの動画パラメータの変換や、フレーム画像のJPEG方式などによる2次元圧縮,および他の2次元画像処理を行う。例えば、拡大縮小やトリミングなどにより、画像サイズを変更する。これらの処理は、端末装置300における演算処理能力や表示の性能に、フレーム画像の状態を適応させるものであり、端末装置300より送出された中継指示に基づいて行う。
【0019】
また、フレーム画像編集モジュール134は、処理済みの各フレーム画像に対し、動画識別子,フレーム番号,タイムコードなどのフレーム情報を付加し、各々独立したフレーム画像データとしてフレーム画像データ保存バッファ135に記録する。フレーム画像データ保存バッファ135に記録されたフレーム画像データは、図5に示す多重化処理部104に送出される。
【0020】
図5は、多重化処理部104の構成例を示す構成図である。以下に、多重化処理部104の動作例について説明する。
多重化処理部104は、動画多重化スケジューラ141と、複数フレーム画像を記録可能なフレームメモリを内蔵した動画多重化用タイムスロット142を備えている。
【0021】
多重化処理部104は、制御部107の制御により、動画処理部A103a,動画処理部B103b,動画処理部C103cから画像フレームデータを取得し、端末装置300より送出された中継指示情報に則り、タイムスロットによる時分割多重化方式を利用して1つのフレーム画像シーケンスとし、これらを回線接続部102を経由して端末装置300に送出する。
【0022】
例えば、各動画蓄積サーバに格納されている各動画の諸元が、以下の表1に示すものであるのに対し、端末装置300からは、以下の表2に示すような中継指示が送出される。
【0023】
【表1】
表1:動画の諸元
─────────────────────────────
動画名称 蓄積場所 フレームレート 画面サイズ 動画サイズ
─────────────────────────────
動画A サーバA 30fps 640*480 30分
動画B サーバB 15fps 320*240 15分
動画A サーバC 15fps 160*120 30秒
─────────────────────────────
【0024】
【表2】
表2:端末装置からの中継指示情報
────────────────────────
動画名称 動画A 動画B 動画C
────────────────────────
蓄積場所 サーバA サーバB サーバC
────────────────────────
変換後フレームレート 30fps 15fps 15fps
────────────────────────
変換後画像サイズ 320*240 320*240 160*120
────────────────────────
2次元画像処理 コントラスト+10% ノイズ除去 ソフトフィルタ
────────────────────────
圧縮方式 低圧縮 標準圧縮 高圧縮
────────────────────────
【0025】
多重化処理部104では、上記表2の中継指示情報に対応するように、以下の表3に示すような、多重化された動画データである動画D(多重化データ)を生成する。
【0026】
【表3】
表3:生成される多重動画の諸元
─────────────────────
動画名称 タイムスロットのフレームレート 最大画面サイズ
─────────────────────
動画D 120fps 320*240
─────────────────────
【0027】
多重化処理部104では、動画多重化スケジューラ141が、図6に示すような多重化スケジュールにより、各動画を構成している動画フレームを、動画多重化用タイムスロット142に格納し、多重化された動画データである動画Dを生成する。
動画多重化用タイムスロット142の各スロット#01,#02・・・は、図6に示すように、各々さらに分割されている。図6の例では、各スロットが、4つに分割された状態を示している。
【0028】
以下、動画Dの生成について簡単に説明する。
表2に示したように、動画Aは、変換後フレームレートが30fpsであるため、動画Aのフレーム番号001,002,003・・・の動画フレームは、スロット番号#01のタイムスロット番号#001,スロット番号#02のタイムスロット番号#005,スロット番号#03のタイムスロット番号#009,スロット番号#04のタイムスロット番号#013・・・と、4つ毎のタイムスロットに書き込まれる。
【0029】
動画Bは、変換後フレームレートが15fpsと半分になるため、動画Bのフレーム番号001,002・・・の動画フレームは、1つおきに間引かれて、スロット番号#01のタイムスロット番号#002,スロット番号#03のタイムスロット番号#010・・・と、8つ毎のタイムスロットに書き込まれる。
動画Cは、フレームレートが返還前と変換後とが15fpsと変化しないので、動画Bのフレーム番号001,002・・・の動画フレームは、スロット番号#01のタイムスロット番号#003,スロット番号#03のタイムスロット番号#011・・・と、8つ毎のタイムスロットに書き込まれる。
【0030】
本例の場合、フレームレートが30fpsと15fpsの動画データを多重化するため、フレームレート30fpsの動画フレームは、スロット番号#01,#02,#03・・・に格納し、フレームレート15fpsの動画フレームは、スロット番号#01,#03・・・と一つおきに格納している。
【0031】
また、各スロットをさらに分割し、各スロットに同じ表示タイミングの複数のフレーム画像を格納している。本例では、各スロットを4分割し、4つのフレーム画像を格納可能としている。本例では、同じタイミングとなる最大のフレーム画像数は3個なので、各スロットにおいて、4つ目のタイムスロットが空きとなる。
【0032】
以上のようにして、動画多重化スケジューラ141が、動画多重化用タイムスロット142に各動画フレームを書き込むことにより、多重化された動画D(多重化データ)が生成される。
このように生成された動画Dが端末装置300において再生されると、端末装置300の演算処理能力に適合された状態で、動画A,動画B,動画Cに対応する3つの動画が同時に表示されるようになる。
【0033】
なお、図7に示すように、複数の制御バス105,データバス106を設け、また、複数の専用回線接続部を用いることで、バスの輻輳を抑制し、また、回線へのアクセス速度を向上させ、動画中継装置の性能を向上させるようにしても良い。図7では、3つの動画データ取得専用回線接続部111と、3つの動画データ送出専用回線接続部112とを備えるようにしたものである。
【0034】
また、図8に示すように、インターネットなどの広域網410を介して各動画蓄積サーバと動画中継装置100と端末装置300とを接続するようにしても良い。また、動画中継センタ100aに複数の動画中継装置100を格納し、これを広域網410に接続するようにしても良い。
【0035】
【発明の効果】
以上説明したように、本発明では、複数の動画蓄積サーバより送出された複数の動画データを、これら各々を構成する複数のフレーム画像を時分割多重化した1つの多重化データとして端末装置に送出するようにした。このことにより、本発明によれば、高い処理能力を備えていない端末装置において、動画蓄積サーバより配信される複数の動画データを、同時に再生表示できるという優れた効果が得られる。
【図面の簡単な説明】
【図1】 本発明の実施の形態における動画中継装置の構成例を示す構成図である。
【図2】 図1に示す画像中継装置の動作を説明するための構成図である。
【図3】 本発明の実施の形態における動画中継装置を用いたシステム構成例を示す構成図である。
【図4】 動画処理部の構成例を示す構成図である。
【図5】 多重化処理部の構成例を示す構成図である。
【図6】 多重化スケジュールの一例を示すタイムチャートである。
【図7】 本発明の実施の形態における動画中継装置の他の構成例を示す構成図である。
【図8】 本発明の実施の形態における動画中継装置を用いた他のシステム構成例を示す構成図である。
【符号の説明】
100…動画中継装置、101,102…回線接続部、103…動画処理部、104…多重化処理部、105…制御バス、106…データバス、107…制御部、200…動画蓄積サーバ、300…端末装置、401,402…通信回線。
Claims (6)
- 端末装置から送出された動画配信要求に基づいて複数の動画蓄積サーバに蓄積されている各々の動画データを通信回線を介して取得する動画データ取得手段と、
この動画データ取得手段が取得した動画データを複数のフレーム画像に変換し、変換元の動画データとの対応およびフレームの順序を示す情報を含む識別子を各々のフレーム画像に付加して出力する複数の動画処理手段と、
複数の前記動画処理手段が各々出力した複数のフレーム画像を、各フレーム画像に付加されている識別子をもとに、時分割多重化して多重化データを生成する多重化処手段と、
この多重化処手段が生成した多重化データを前記端末装置に送出するデータ送出手段と
を少なくとも備えたことを特徴とする動画中継装置。 - 請求項1記載の動画中継装置において、
前記動画処理手段は、前記端末装置から送出された中継指示に基づいて、前記フレーム画像に対して所定の画像処理を行う
ことを特徴とする動画中継装置。 - 請求項2記載の動画中継装置において、
前記動画処理手段は、前記端末装置から送出された中継指示に基づいて、前記フレーム画像の画像品質,フレームレート,画像サイズを含む動画パラメータを変換する画像処理を行う
ことを特徴とする動画中継装置。 - 端末装置から送出された動画配信要求に基づいて複数の動画蓄積サーバに蓄積されている各々の動画データを通信回線を介して取得し、
この動画データ取得手段が取得した複数の動画データを各々複数のフレーム画像に変換し、変換元の動画データとの対応およびフレームの順序を示す情報を含む識別子を各々のフレーム画像に付加し、
これらの各フレーム画像に付加されている識別子をもとに、時分割多重化して多重化データを生成し、
生成した多重化データを前記端末装置に送出する
ことを特徴とする動画中継方法。 - 請求項4記載の動画中継方法において、
前記端末装置から送出された中継指示に基づいて、前記フレーム画像に対して所定の画像処理を行う
ことを特徴とする動画中継方法。 - 請求項5記載の動画中継方法において、
前記端末装置から送出された中継指示に基づいて、前記フレーム画像の画像品質,フレームレート,画像サイズを含む動画パラメータを変換する画像処理を行う
ことを特徴とする動画中継方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003142554A JP4012119B2 (ja) | 2003-05-20 | 2003-05-20 | 動画中継装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003142554A JP4012119B2 (ja) | 2003-05-20 | 2003-05-20 | 動画中継装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004349877A JP2004349877A (ja) | 2004-12-09 |
JP4012119B2 true JP4012119B2 (ja) | 2007-11-21 |
Family
ID=33530610
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003142554A Expired - Lifetime JP4012119B2 (ja) | 2003-05-20 | 2003-05-20 | 動画中継装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4012119B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008288778A (ja) * | 2007-05-16 | 2008-11-27 | Hitachi Kokusai Electric Inc | 画像データ送受信システム |
JP4898861B2 (ja) * | 2009-03-24 | 2012-03-21 | 株式会社大都技研 | 遊技台 |
JP2016178356A (ja) * | 2015-03-18 | 2016-10-06 | 株式会社リコー | 通信装置、通信システム、受信制御方法およびプログラム |
JP7212611B2 (ja) * | 2017-02-27 | 2023-01-25 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 画像配信方法、画像表示方法、画像配信装置及び画像表示装置 |
-
2003
- 2003-05-20 JP JP2003142554A patent/JP4012119B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2004349877A (ja) | 2004-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8264421B2 (en) | Multi-screen video playback system | |
WO2009130843A1 (ja) | 車載装置、サーバ装置および通信システム | |
EP1783981A1 (en) | Image information storage device and image information storage regenerating device | |
JPH08149420A (ja) | ビデオビットストリームの伝送方法および装置 | |
JP4948147B2 (ja) | 複合コンテンツファイルの編集方法および装置 | |
JPH11355803A (ja) | 立体映像再生方法 | |
JP6239472B2 (ja) | エンコード装置、デコード装置、ストリーミングシステム、および、ストリーミング方法 | |
US20230232062A1 (en) | System and method for operating a transmission network | |
US20080094516A1 (en) | Digital image processing method for analog transmission network, and camera apparatus, image processing apparatus and image processing system therefor | |
CN113301295A (zh) | 多画面视频数据处理方法、装置、计算机设备和存储介质 | |
JP4012119B2 (ja) | 動画中継装置及び方法 | |
EP0827347A2 (en) | Recording and reproducing apparatus for digital image information | |
US6122020A (en) | Frame combining apparatus | |
JP2000042247A5 (ja) | ||
JP2009182372A (ja) | 画像圧縮配信装置、及び画像圧縮配信方法 | |
JP2011004015A (ja) | 再生装置およびコンテンツ再生方法 | |
JP2005311692A (ja) | 動画中継システムおよび動画中継方法 | |
JP3938019B2 (ja) | 記録装置及び記録方法 | |
US9479823B2 (en) | Transmitting device and receiving device | |
KR101652095B1 (ko) | 디지털 비디오 레코더를 이용한 실시간 원격 모니터링 및 재생 시스템 및 그 방법 | |
JP2003224837A (ja) | 通信方法、通信システム、サーバ装置 | |
JP2009296135A (ja) | 映像監視システム | |
KR20000028935A (ko) | 이미지 데이터 기록방법, 이미지 데이터 기록장치, 이미지데이터 재생방법, 이미지 데이터 재생장치, 정보기록매체및 컴퓨터로 독출가능한 기록매체 | |
JP3648829B2 (ja) | 通信装置及び方法、記録装置及び方法、並びに記録媒体 | |
JP3885021B2 (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050726 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070904 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070906 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4012119 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100914 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100914 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110914 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120914 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130914 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |