JP4012119B2 - 動画中継装置及び方法 - Google Patents
動画中継装置及び方法 Download PDFInfo
- Publication number
- JP4012119B2 JP4012119B2 JP2003142554A JP2003142554A JP4012119B2 JP 4012119 B2 JP4012119 B2 JP 4012119B2 JP 2003142554 A JP2003142554 A JP 2003142554A JP 2003142554 A JP2003142554 A JP 2003142554A JP 4012119 B2 JP4012119 B2 JP 4012119B2
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- frame
- image
- terminal device
- relay
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Details Of Television Systems (AREA)
- Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、サーバ装置に用意された動画データの端末装置へ配信を、サーバ装置と端末装置との間で中継する動画中継装置および方法に関するものである。
【０００２】
【従来の技術】
インターネットなどの有線のネットワーク（通信回線）により、動画が蓄積されている動画蓄積サーバより、クライアント側の端末装置に動画を配信し、端末装置で動画を視聴するシステムが開発されている（特許文献１，２参照）。配信される動画を表示再生するとき、端末装置では、受信した動画データをデコード（復号）し、また画像品質，フレームレート，画像サイズなどの動画パラメータを変換している。
【０００３】
【特許文献１】
特開平９−０１８８４６号公報
【特許文献２】
特開平９−２１４８６９号公報
【０００４】
【発明が解決しようとする課題】
ところで、端末装置において、複数の動画を受信して視聴可能とするためには、上述した演算処理を、各々の画像の表示において行うことになる。従って、１つの端末装置で、複数の動画を同時に再生表示させようとすると、端末装置には、非常に高い演算処理能力が必要となる。しかしながら、一般的な端末装置には、上述したような高い演算処理能力はなく、従来では、数十におよぶ複数の動画を、１台の端末装置で同時に再生表示させることが困難であった。
【０００５】
本発明は、以上のような問題点を解消するためになされたものであり、高い処理能力を備えていない端末装置であっても、サーバより配信される複数の動画データを、同時に再生表示できるようにすることを目的とする。
【０００６】
【課題を解決するための手段】
本発明に係る動画中継装置は、端末装置から送出された動画配信要求に基づいて複数の動画蓄積サーバに蓄積されている各々の動画データを通信回線を介して取得する動画データ取得手段と、この動画データ取得手段が取得した動画データを複数のフレーム画像に変換し、変換元の動画データとの対応およびフレームの順序を示す情報を含む識別子を各々のフレーム画像に付加して出力する複数の動画処理手段と、複数の動画処理手段が各々出力した複数のフレーム画像を、各フレーム画像に付加されている識別子をもとに、時分割多重化して多重化データを生成する多重化処手段と、この多重化処手段が生成した多重化データを端末装置に送出するデータ送出手段とを少なくとも備えたものである。
この動画中継装置によれば、複数の動画蓄積サーバより送出された複数の動画データは、これら各々を構成する複数のフレーム画像を時分割多重化した１つの多重化データとして端末装置に送出される。
【０００７】
上記動画中継装置において、動画処理手段は、端末装置から送出された中継指示に基づいて、フレーム画像に対して所定の画像処理を行い、フレーム画像を端末装置に適した状態とする。この画像処理は、フレーム画像の画像品質，フレームレート，画像サイズを含む動画パラメータを変換するものであればよい。
【０００８】
また、本発明に係る動画中継方法は、端末装置から送出された動画配信要求に基づいて複数の動画蓄積サーバに蓄積されている各々の動画データを通信回線を介して取得し、この動画データ取得手段が取得した複数の動画データを各々複数のフレーム画像に変換し、変換元の動画データとの対応およびフレームの順序を示す情報を含む識別子を各々のフレーム画像に付加し、これらの各フレーム画像に付加されている識別子をもとに、時分割多重化して多重化データを生成し、生成した多重化データを端末装置に送出するようにしたものである。
【０００９】
上記動画中継方法において、端末装置から送出された中継指示に基づいて、フレーム画像に対して所定の画像処理を行うことで、フレーム画像を端末装置に適した状態とする。この画像処理は、フレーム画像の画像品質，フレームレート，画像サイズを含む動画パラメータを変換するものであればよい。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態について図を参照して説明する。
図１は、本発明の実施の形態における動画中継装置の構成例を示す構成図である。図１に示すように、動画中継装置１００は、回線接続部１０１，１０２と、複数の動画処理部１０３と複数の多重化処理部１０４とを備えている。これらは、制御バス１０５，データバス１０６を介して制御部１０７に接続している。動画処理部１０３と多重化処理部１０４は、制御バス１０５を介して制御部１０７により制御され、また、データバス１０６を介してフレーム画像情報を送受信する。
【００１１】
回線接続部１０１および回線接続部１０２は、動画蓄積サーバ２００および端末装置３００と通信回線４０１，４０２により接続し、例えば「Ethernet」（Ｒ）のようなコンピュータ間接続方式によって通信を行う。制御部１０７は、端末装置３００より送出された画像中継要求に従い、回線接続部１０１，回線接続部１０２，動画処理部１０３，多重化処理部１０４を制御する。
【００１２】
図２に示すように、例えば、端末装置３００より、動画蓄積サーバＡ２００ａに格納されている動画Ａ，動画蓄積サーバＢ２００ｂに格納されている動画Ｂ，動画蓄積サーバＣ２００ｃに格納されている動画Ｃの取得要求が送出されると、これは、通信回線を介して動画中継装置１００に受信される。
要求を受信した動画中継装置１００では、制御部１０７が動画処理部Ａ１０３ａ，動画処理部Ｂ１０３ｂ，動画処理部Ｃ１０３ｃを制御し、動画蓄積サーバＡ２００ａ，動画蓄積サーバＢ２００ｂ，動画蓄積サーバＣ２００ｃより、各々動画Ａ，動画Ｂ，動画Ｃを取得させる。
【００１３】
各サーバに蓄積されている動画データは、所定のアルゴリズムによってエンコードされている。従って、動画処理部Ａ１０３ａ，動画処理部Ｂ１０３ｂ，動画処理部Ｃ１０３ｃでは、まず、取得した動画Ａ，動画Ｂ，動画Ｃを、デコードし、各々連続したフレーム画像シーケンスを生成する。また、動画処理部Ａ１０３ａ，動画処理部Ｂ１０３ｂ，動画処理部Ｃ１０３ｃは、生成した各フレーム画像に対し、拡大縮小，ＪＰＥＧ圧縮などの２次元画像処理を施し、各フレーム画像に、フレーム番号，タイムコードなどの、変換元の動画データとの対応やフレームの順序を示す識別子を付加する。
【００１４】
これらのことにより、各動画処理部で各々フレーム画像が生成されると、制御部１０７の制御により、多重化処理部１０４が、これらに画像識別子をつけて時分割多重化し、１つのフレーム画像シーケンス（多重化データ）として生成する。多重化処理部１０４が生成した１つのフレーム画像シーケンスは、通信回線４０２を介して端末装置３００に送出される。送出された１つのフレーム画像シーケンスは、端末装置３００に受信され、各フレーム画像につけられた画像識別子，フレーム番号，およびタイムコードなどが利用され、端末装置３００の表示部に再生表示される。
【００１５】
以上に説明したようにして中継を行う動画中継装置１００は、図３に示すように、ＴＣＰ／ＩＰなどのプロトコルによるネットワーク４００により、動画蓄積サーバＡ２００ａ，動画蓄積サーバＢ２００ｂ，動画蓄積サーバＣ２００ｃや、複数の端末装置３００と接続することが可能である。また、図３に示すように、ネットワーク４００に、複数の動画中継装置１００が接続した形態であっても良い。
【００１６】
図４は、動画処理部１０３の構成例を示す構成図である。以下に、動画処理部１０３の動作例について説明する。
制御部１０７からの動画処理要求を受け付けると、動画処理部１０３では、動画データ取得モジュール１３１が、回線接続部１０１を経由し、例えば動画蓄積サーバＡ２００ａに蓄積されている動画Ａ（動画データ）の取得を行う。動画データ取得モジュール１３１は、取得した動画Ａを、逐次的に動画データ保存バッファ１３３に記録する。動画データ保存バッファ１３３によって、ネットワークのトラフィック混雑による動画取得速度の変動を、ある程度均一化することが可能となる。
【００１７】
データ保存バッファ１３３に動画Ａが記録されると、動画デコードモジュール１３２が、この動画Ａを読み出し、読み出した動画Ａのデコードを行い、フレーム画像を生成する。動画デコードモジュール１３２は、例えば、ＭＰＧＥ１，ＭＰＧＥ２，またはＡＶＩなどの各動画形式について、デコードを行うものである。動画デコードモジュール１３２は、フレーム画像を生成すると、１フレームずつ出力する。
【００１８】
動画デコードモジュール１３２よりフレーム画像が出力されると、フレーム画像編集モジュール１３４が、出力された各フレーム画像に対し、所定の画像処理を行う。フレーム画像編集モジュール１３４は、例えば、各フレーム画像に対し、拡大縮小やトリミングなどの画像サイズ，フレーム画像の色深度，フレームレートなどの動画パラメータの変換や、フレーム画像のＪＰＥＧ方式などによる２次元圧縮，および他の２次元画像処理を行う。例えば、拡大縮小やトリミングなどにより、画像サイズを変更する。これらの処理は、端末装置３００における演算処理能力や表示の性能に、フレーム画像の状態を適応させるものであり、端末装置３００より送出された中継指示に基づいて行う。
【００１９】
また、フレーム画像編集モジュール１３４は、処理済みの各フレーム画像に対し、動画識別子，フレーム番号，タイムコードなどのフレーム情報を付加し、各々独立したフレーム画像データとしてフレーム画像データ保存バッファ１３５に記録する。フレーム画像データ保存バッファ１３５に記録されたフレーム画像データは、図５に示す多重化処理部１０４に送出される。
【００２０】
図５は、多重化処理部１０４の構成例を示す構成図である。以下に、多重化処理部１０４の動作例について説明する。
多重化処理部１０４は、動画多重化スケジューラ１４１と、複数フレーム画像を記録可能なフレームメモリを内蔵した動画多重化用タイムスロット１４２を備えている。
【００２１】
多重化処理部１０４は、制御部１０７の制御により、動画処理部Ａ１０３ａ，動画処理部Ｂ１０３ｂ，動画処理部Ｃ１０３ｃから画像フレームデータを取得し、端末装置３００より送出された中継指示情報に則り、タイムスロットによる時分割多重化方式を利用して１つのフレーム画像シーケンスとし、これらを回線接続部１０２を経由して端末装置３００に送出する。
【００２２】
例えば、各動画蓄積サーバに格納されている各動画の諸元が、以下の表１に示すものであるのに対し、端末装置３００からは、以下の表２に示すような中継指示が送出される。
【００２３】
【表１】
表１：動画の諸元
─────────────────────────────
動画名称 蓄積場所 フレームレート 画面サイズ 動画サイズ
─────────────────────────────
動画Ａ サーバＡ ３０ｆｐｓ 640*480 ３０分
動画Ｂ サーバＢ １５ｆｐｓ 320*240 １５分
動画Ａ サーバＣ １５ｆｐｓ 160*120 ３０秒
─────────────────────────────
【００２４】
【表２】
表２：端末装置からの中継指示情報
────────────────────────
動画名称 動画Ａ 動画Ｂ 動画Ｃ
────────────────────────
蓄積場所 サーバＡ サーバＢ サーバＣ
────────────────────────
変換後フレームレート 30fps 15fps 15fps
────────────────────────
変換後画像サイズ 320*240 320*240 160*120
────────────────────────
２次元画像処理 コントラスト+10% ノイズ除去 ソフトフィルタ
────────────────────────
圧縮方式 低圧縮 標準圧縮 高圧縮
────────────────────────
【００２５】
多重化処理部１０４では、上記表２の中継指示情報に対応するように、以下の表３に示すような、多重化された動画データである動画Ｄ（多重化データ）を生成する。
【００２６】
【表３】
表３：生成される多重動画の諸元
─────────────────────
動画名称 タイムスロットのフレームレート 最大画面サイズ
─────────────────────
動画Ｄ １２０ｆｐｓ ３２０＊２４０
─────────────────────
【００２７】
多重化処理部１０４では、動画多重化スケジューラ１４１が、図６に示すような多重化スケジュールにより、各動画を構成している動画フレームを、動画多重化用タイムスロット１４２に格納し、多重化された動画データである動画Ｄを生成する。
動画多重化用タイムスロット１４２の各スロット＃０１，＃０２・・・は、図６に示すように、各々さらに分割されている。図６の例では、各スロットが、４つに分割された状態を示している。
【００２８】
以下、動画Ｄの生成について簡単に説明する。
表２に示したように、動画Ａは、変換後フレームレートが３０ｆｐｓであるため、動画Ａのフレーム番号００１，００２，００３・・・の動画フレームは、スロット番号＃０１のタイムスロット番号＃００１，スロット番号＃０２のタイムスロット番号＃００５，スロット番号＃０３のタイムスロット番号＃００９，スロット番号＃０４のタイムスロット番号＃０１３・・・と、４つ毎のタイムスロットに書き込まれる。
【００２９】
動画Ｂは、変換後フレームレートが１５ｆｐｓと半分になるため、動画Ｂのフレーム番号００１，００２・・・の動画フレームは、１つおきに間引かれて、スロット番号＃０１のタイムスロット番号＃００２，スロット番号＃０３のタイムスロット番号＃０１０・・・と、８つ毎のタイムスロットに書き込まれる。
動画Ｃは、フレームレートが返還前と変換後とが１５ｆｐｓと変化しないので、動画Ｂのフレーム番号００１，００２・・・の動画フレームは、スロット番号＃０１のタイムスロット番号＃００３，スロット番号＃０３のタイムスロット番号＃０１１・・・と、８つ毎のタイムスロットに書き込まれる。
【００３０】
本例の場合、フレームレートが３０ｆｐｓと１５ｆｐｓの動画データを多重化するため、フレームレート３０ｆｐｓの動画フレームは、スロット番号＃０１，＃０２，＃０３・・・に格納し、フレームレート１５ｆｐｓの動画フレームは、スロット番号＃０１，＃０３・・・と一つおきに格納している。
【００３１】
また、各スロットをさらに分割し、各スロットに同じ表示タイミングの複数のフレーム画像を格納している。本例では、各スロットを４分割し、４つのフレーム画像を格納可能としている。本例では、同じタイミングとなる最大のフレーム画像数は３個なので、各スロットにおいて、４つ目のタイムスロットが空きとなる。
【００３２】
以上のようにして、動画多重化スケジューラ１４１が、動画多重化用タイムスロット１４２に各動画フレームを書き込むことにより、多重化された動画Ｄ（多重化データ）が生成される。
このように生成された動画Ｄが端末装置３００において再生されると、端末装置３００の演算処理能力に適合された状態で、動画Ａ，動画Ｂ，動画Ｃに対応する３つの動画が同時に表示されるようになる。
【００３３】
なお、図７に示すように、複数の制御バス１０５，データバス１０６を設け、また、複数の専用回線接続部を用いることで、バスの輻輳を抑制し、また、回線へのアクセス速度を向上させ、動画中継装置の性能を向上させるようにしても良い。図７では、３つの動画データ取得専用回線接続部１１１と、３つの動画データ送出専用回線接続部１１２とを備えるようにしたものである。
【００３４】
また、図８に示すように、インターネットなどの広域網４１０を介して各動画蓄積サーバと動画中継装置１００と端末装置３００とを接続するようにしても良い。また、動画中継センタ１００ａに複数の動画中継装置１００を格納し、これを広域網４１０に接続するようにしても良い。
【００３５】
【発明の効果】
以上説明したように、本発明では、複数の動画蓄積サーバより送出された複数の動画データを、これら各々を構成する複数のフレーム画像を時分割多重化した１つの多重化データとして端末装置に送出するようにした。このことにより、本発明によれば、高い処理能力を備えていない端末装置において、動画蓄積サーバより配信される複数の動画データを、同時に再生表示できるという優れた効果が得られる。
【図面の簡単な説明】
【図１】 本発明の実施の形態における動画中継装置の構成例を示す構成図である。
【図２】 図１に示す画像中継装置の動作を説明するための構成図である。
【図３】 本発明の実施の形態における動画中継装置を用いたシステム構成例を示す構成図である。
【図４】 動画処理部の構成例を示す構成図である。
【図５】 多重化処理部の構成例を示す構成図である。
【図６】 多重化スケジュールの一例を示すタイムチャートである。
【図７】 本発明の実施の形態における動画中継装置の他の構成例を示す構成図である。
【図８】 本発明の実施の形態における動画中継装置を用いた他のシステム構成例を示す構成図である。
【符号の説明】
１００…動画中継装置、１０１，１０２…回線接続部、１０３…動画処理部、１０４…多重化処理部、１０５…制御バス、１０６…データバス、１０７…制御部、２００…動画蓄積サーバ、３００…端末装置、４０１，４０２…通信回線。
【発明の属する技術分野】
本発明は、サーバ装置に用意された動画データの端末装置へ配信を、サーバ装置と端末装置との間で中継する動画中継装置および方法に関するものである。
【０００２】
【従来の技術】
インターネットなどの有線のネットワーク（通信回線）により、動画が蓄積されている動画蓄積サーバより、クライアント側の端末装置に動画を配信し、端末装置で動画を視聴するシステムが開発されている（特許文献１，２参照）。配信される動画を表示再生するとき、端末装置では、受信した動画データをデコード（復号）し、また画像品質，フレームレート，画像サイズなどの動画パラメータを変換している。
【０００３】
【特許文献１】
特開平９−０１８８４６号公報
【特許文献２】
特開平９−２１４８６９号公報
【０００４】
【発明が解決しようとする課題】
ところで、端末装置において、複数の動画を受信して視聴可能とするためには、上述した演算処理を、各々の画像の表示において行うことになる。従って、１つの端末装置で、複数の動画を同時に再生表示させようとすると、端末装置には、非常に高い演算処理能力が必要となる。しかしながら、一般的な端末装置には、上述したような高い演算処理能力はなく、従来では、数十におよぶ複数の動画を、１台の端末装置で同時に再生表示させることが困難であった。
【０００５】
本発明は、以上のような問題点を解消するためになされたものであり、高い処理能力を備えていない端末装置であっても、サーバより配信される複数の動画データを、同時に再生表示できるようにすることを目的とする。
【０００６】
【課題を解決するための手段】
本発明に係る動画中継装置は、端末装置から送出された動画配信要求に基づいて複数の動画蓄積サーバに蓄積されている各々の動画データを通信回線を介して取得する動画データ取得手段と、この動画データ取得手段が取得した動画データを複数のフレーム画像に変換し、変換元の動画データとの対応およびフレームの順序を示す情報を含む識別子を各々のフレーム画像に付加して出力する複数の動画処理手段と、複数の動画処理手段が各々出力した複数のフレーム画像を、各フレーム画像に付加されている識別子をもとに、時分割多重化して多重化データを生成する多重化処手段と、この多重化処手段が生成した多重化データを端末装置に送出するデータ送出手段とを少なくとも備えたものである。
この動画中継装置によれば、複数の動画蓄積サーバより送出された複数の動画データは、これら各々を構成する複数のフレーム画像を時分割多重化した１つの多重化データとして端末装置に送出される。
【０００７】
上記動画中継装置において、動画処理手段は、端末装置から送出された中継指示に基づいて、フレーム画像に対して所定の画像処理を行い、フレーム画像を端末装置に適した状態とする。この画像処理は、フレーム画像の画像品質，フレームレート，画像サイズを含む動画パラメータを変換するものであればよい。
【０００８】
また、本発明に係る動画中継方法は、端末装置から送出された動画配信要求に基づいて複数の動画蓄積サーバに蓄積されている各々の動画データを通信回線を介して取得し、この動画データ取得手段が取得した複数の動画データを各々複数のフレーム画像に変換し、変換元の動画データとの対応およびフレームの順序を示す情報を含む識別子を各々のフレーム画像に付加し、これらの各フレーム画像に付加されている識別子をもとに、時分割多重化して多重化データを生成し、生成した多重化データを端末装置に送出するようにしたものである。
【０００９】
上記動画中継方法において、端末装置から送出された中継指示に基づいて、フレーム画像に対して所定の画像処理を行うことで、フレーム画像を端末装置に適した状態とする。この画像処理は、フレーム画像の画像品質，フレームレート，画像サイズを含む動画パラメータを変換するものであればよい。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態について図を参照して説明する。
図１は、本発明の実施の形態における動画中継装置の構成例を示す構成図である。図１に示すように、動画中継装置１００は、回線接続部１０１，１０２と、複数の動画処理部１０３と複数の多重化処理部１０４とを備えている。これらは、制御バス１０５，データバス１０６を介して制御部１０７に接続している。動画処理部１０３と多重化処理部１０４は、制御バス１０５を介して制御部１０７により制御され、また、データバス１０６を介してフレーム画像情報を送受信する。
【００１１】
回線接続部１０１および回線接続部１０２は、動画蓄積サーバ２００および端末装置３００と通信回線４０１，４０２により接続し、例えば「Ethernet」（Ｒ）のようなコンピュータ間接続方式によって通信を行う。制御部１０７は、端末装置３００より送出された画像中継要求に従い、回線接続部１０１，回線接続部１０２，動画処理部１０３，多重化処理部１０４を制御する。
【００１２】
図２に示すように、例えば、端末装置３００より、動画蓄積サーバＡ２００ａに格納されている動画Ａ，動画蓄積サーバＢ２００ｂに格納されている動画Ｂ，動画蓄積サーバＣ２００ｃに格納されている動画Ｃの取得要求が送出されると、これは、通信回線を介して動画中継装置１００に受信される。
要求を受信した動画中継装置１００では、制御部１０７が動画処理部Ａ１０３ａ，動画処理部Ｂ１０３ｂ，動画処理部Ｃ１０３ｃを制御し、動画蓄積サーバＡ２００ａ，動画蓄積サーバＢ２００ｂ，動画蓄積サーバＣ２００ｃより、各々動画Ａ，動画Ｂ，動画Ｃを取得させる。
【００１３】
各サーバに蓄積されている動画データは、所定のアルゴリズムによってエンコードされている。従って、動画処理部Ａ１０３ａ，動画処理部Ｂ１０３ｂ，動画処理部Ｃ１０３ｃでは、まず、取得した動画Ａ，動画Ｂ，動画Ｃを、デコードし、各々連続したフレーム画像シーケンスを生成する。また、動画処理部Ａ１０３ａ，動画処理部Ｂ１０３ｂ，動画処理部Ｃ１０３ｃは、生成した各フレーム画像に対し、拡大縮小，ＪＰＥＧ圧縮などの２次元画像処理を施し、各フレーム画像に、フレーム番号，タイムコードなどの、変換元の動画データとの対応やフレームの順序を示す識別子を付加する。
【００１４】
これらのことにより、各動画処理部で各々フレーム画像が生成されると、制御部１０７の制御により、多重化処理部１０４が、これらに画像識別子をつけて時分割多重化し、１つのフレーム画像シーケンス（多重化データ）として生成する。多重化処理部１０４が生成した１つのフレーム画像シーケンスは、通信回線４０２を介して端末装置３００に送出される。送出された１つのフレーム画像シーケンスは、端末装置３００に受信され、各フレーム画像につけられた画像識別子，フレーム番号，およびタイムコードなどが利用され、端末装置３００の表示部に再生表示される。
【００１５】
以上に説明したようにして中継を行う動画中継装置１００は、図３に示すように、ＴＣＰ／ＩＰなどのプロトコルによるネットワーク４００により、動画蓄積サーバＡ２００ａ，動画蓄積サーバＢ２００ｂ，動画蓄積サーバＣ２００ｃや、複数の端末装置３００と接続することが可能である。また、図３に示すように、ネットワーク４００に、複数の動画中継装置１００が接続した形態であっても良い。
【００１６】
図４は、動画処理部１０３の構成例を示す構成図である。以下に、動画処理部１０３の動作例について説明する。
制御部１０７からの動画処理要求を受け付けると、動画処理部１０３では、動画データ取得モジュール１３１が、回線接続部１０１を経由し、例えば動画蓄積サーバＡ２００ａに蓄積されている動画Ａ（動画データ）の取得を行う。動画データ取得モジュール１３１は、取得した動画Ａを、逐次的に動画データ保存バッファ１３３に記録する。動画データ保存バッファ１３３によって、ネットワークのトラフィック混雑による動画取得速度の変動を、ある程度均一化することが可能となる。
【００１７】
データ保存バッファ１３３に動画Ａが記録されると、動画デコードモジュール１３２が、この動画Ａを読み出し、読み出した動画Ａのデコードを行い、フレーム画像を生成する。動画デコードモジュール１３２は、例えば、ＭＰＧＥ１，ＭＰＧＥ２，またはＡＶＩなどの各動画形式について、デコードを行うものである。動画デコードモジュール１３２は、フレーム画像を生成すると、１フレームずつ出力する。
【００１８】
動画デコードモジュール１３２よりフレーム画像が出力されると、フレーム画像編集モジュール１３４が、出力された各フレーム画像に対し、所定の画像処理を行う。フレーム画像編集モジュール１３４は、例えば、各フレーム画像に対し、拡大縮小やトリミングなどの画像サイズ，フレーム画像の色深度，フレームレートなどの動画パラメータの変換や、フレーム画像のＪＰＥＧ方式などによる２次元圧縮，および他の２次元画像処理を行う。例えば、拡大縮小やトリミングなどにより、画像サイズを変更する。これらの処理は、端末装置３００における演算処理能力や表示の性能に、フレーム画像の状態を適応させるものであり、端末装置３００より送出された中継指示に基づいて行う。
【００１９】
また、フレーム画像編集モジュール１３４は、処理済みの各フレーム画像に対し、動画識別子，フレーム番号，タイムコードなどのフレーム情報を付加し、各々独立したフレーム画像データとしてフレーム画像データ保存バッファ１３５に記録する。フレーム画像データ保存バッファ１３５に記録されたフレーム画像データは、図５に示す多重化処理部１０４に送出される。
【００２０】
図５は、多重化処理部１０４の構成例を示す構成図である。以下に、多重化処理部１０４の動作例について説明する。
多重化処理部１０４は、動画多重化スケジューラ１４１と、複数フレーム画像を記録可能なフレームメモリを内蔵した動画多重化用タイムスロット１４２を備えている。
【００２１】
多重化処理部１０４は、制御部１０７の制御により、動画処理部Ａ１０３ａ，動画処理部Ｂ１０３ｂ，動画処理部Ｃ１０３ｃから画像フレームデータを取得し、端末装置３００より送出された中継指示情報に則り、タイムスロットによる時分割多重化方式を利用して１つのフレーム画像シーケンスとし、これらを回線接続部１０２を経由して端末装置３００に送出する。
【００２２】
例えば、各動画蓄積サーバに格納されている各動画の諸元が、以下の表１に示すものであるのに対し、端末装置３００からは、以下の表２に示すような中継指示が送出される。
【００２３】
【表１】
表１：動画の諸元
─────────────────────────────
動画名称 蓄積場所 フレームレート 画面サイズ 動画サイズ
─────────────────────────────
動画Ａ サーバＡ ３０ｆｐｓ 640*480 ３０分
動画Ｂ サーバＢ １５ｆｐｓ 320*240 １５分
動画Ａ サーバＣ １５ｆｐｓ 160*120 ３０秒
─────────────────────────────
【００２４】
【表２】
表２：端末装置からの中継指示情報
────────────────────────
動画名称 動画Ａ 動画Ｂ 動画Ｃ
────────────────────────
蓄積場所 サーバＡ サーバＢ サーバＣ
────────────────────────
変換後フレームレート 30fps 15fps 15fps
────────────────────────
変換後画像サイズ 320*240 320*240 160*120
────────────────────────
２次元画像処理 コントラスト+10% ノイズ除去 ソフトフィルタ
────────────────────────
圧縮方式 低圧縮 標準圧縮 高圧縮
────────────────────────
【００２５】
多重化処理部１０４では、上記表２の中継指示情報に対応するように、以下の表３に示すような、多重化された動画データである動画Ｄ（多重化データ）を生成する。
【００２６】
【表３】
表３：生成される多重動画の諸元
─────────────────────
動画名称 タイムスロットのフレームレート 最大画面サイズ
─────────────────────
動画Ｄ １２０ｆｐｓ ３２０＊２４０
─────────────────────
【００２７】
多重化処理部１０４では、動画多重化スケジューラ１４１が、図６に示すような多重化スケジュールにより、各動画を構成している動画フレームを、動画多重化用タイムスロット１４２に格納し、多重化された動画データである動画Ｄを生成する。
動画多重化用タイムスロット１４２の各スロット＃０１，＃０２・・・は、図６に示すように、各々さらに分割されている。図６の例では、各スロットが、４つに分割された状態を示している。
【００２８】
以下、動画Ｄの生成について簡単に説明する。
表２に示したように、動画Ａは、変換後フレームレートが３０ｆｐｓであるため、動画Ａのフレーム番号００１，００２，００３・・・の動画フレームは、スロット番号＃０１のタイムスロット番号＃００１，スロット番号＃０２のタイムスロット番号＃００５，スロット番号＃０３のタイムスロット番号＃００９，スロット番号＃０４のタイムスロット番号＃０１３・・・と、４つ毎のタイムスロットに書き込まれる。
【００２９】
動画Ｂは、変換後フレームレートが１５ｆｐｓと半分になるため、動画Ｂのフレーム番号００１，００２・・・の動画フレームは、１つおきに間引かれて、スロット番号＃０１のタイムスロット番号＃００２，スロット番号＃０３のタイムスロット番号＃０１０・・・と、８つ毎のタイムスロットに書き込まれる。
動画Ｃは、フレームレートが返還前と変換後とが１５ｆｐｓと変化しないので、動画Ｂのフレーム番号００１，００２・・・の動画フレームは、スロット番号＃０１のタイムスロット番号＃００３，スロット番号＃０３のタイムスロット番号＃０１１・・・と、８つ毎のタイムスロットに書き込まれる。
【００３０】
本例の場合、フレームレートが３０ｆｐｓと１５ｆｐｓの動画データを多重化するため、フレームレート３０ｆｐｓの動画フレームは、スロット番号＃０１，＃０２，＃０３・・・に格納し、フレームレート１５ｆｐｓの動画フレームは、スロット番号＃０１，＃０３・・・と一つおきに格納している。
【００３１】
また、各スロットをさらに分割し、各スロットに同じ表示タイミングの複数のフレーム画像を格納している。本例では、各スロットを４分割し、４つのフレーム画像を格納可能としている。本例では、同じタイミングとなる最大のフレーム画像数は３個なので、各スロットにおいて、４つ目のタイムスロットが空きとなる。
【００３２】
以上のようにして、動画多重化スケジューラ１４１が、動画多重化用タイムスロット１４２に各動画フレームを書き込むことにより、多重化された動画Ｄ（多重化データ）が生成される。
このように生成された動画Ｄが端末装置３００において再生されると、端末装置３００の演算処理能力に適合された状態で、動画Ａ，動画Ｂ，動画Ｃに対応する３つの動画が同時に表示されるようになる。
【００３３】
なお、図７に示すように、複数の制御バス１０５，データバス１０６を設け、また、複数の専用回線接続部を用いることで、バスの輻輳を抑制し、また、回線へのアクセス速度を向上させ、動画中継装置の性能を向上させるようにしても良い。図７では、３つの動画データ取得専用回線接続部１１１と、３つの動画データ送出専用回線接続部１１２とを備えるようにしたものである。
【００３４】
また、図８に示すように、インターネットなどの広域網４１０を介して各動画蓄積サーバと動画中継装置１００と端末装置３００とを接続するようにしても良い。また、動画中継センタ１００ａに複数の動画中継装置１００を格納し、これを広域網４１０に接続するようにしても良い。
【００３５】
【発明の効果】
以上説明したように、本発明では、複数の動画蓄積サーバより送出された複数の動画データを、これら各々を構成する複数のフレーム画像を時分割多重化した１つの多重化データとして端末装置に送出するようにした。このことにより、本発明によれば、高い処理能力を備えていない端末装置において、動画蓄積サーバより配信される複数の動画データを、同時に再生表示できるという優れた効果が得られる。
【図面の簡単な説明】
【図１】 本発明の実施の形態における動画中継装置の構成例を示す構成図である。
【図２】 図１に示す画像中継装置の動作を説明するための構成図である。
【図３】 本発明の実施の形態における動画中継装置を用いたシステム構成例を示す構成図である。
【図４】 動画処理部の構成例を示す構成図である。
【図５】 多重化処理部の構成例を示す構成図である。
【図６】 多重化スケジュールの一例を示すタイムチャートである。
【図７】 本発明の実施の形態における動画中継装置の他の構成例を示す構成図である。
【図８】 本発明の実施の形態における動画中継装置を用いた他のシステム構成例を示す構成図である。
【符号の説明】
１００…動画中継装置、１０１，１０２…回線接続部、１０３…動画処理部、１０４…多重化処理部、１０５…制御バス、１０６…データバス、１０７…制御部、２００…動画蓄積サーバ、３００…端末装置、４０１，４０２…通信回線。
Claims (6)
- 端末装置から送出された動画配信要求に基づいて複数の動画蓄積サーバに蓄積されている各々の動画データを通信回線を介して取得する動画データ取得手段と、
この動画データ取得手段が取得した動画データを複数のフレーム画像に変換し、変換元の動画データとの対応およびフレームの順序を示す情報を含む識別子を各々のフレーム画像に付加して出力する複数の動画処理手段と、
複数の前記動画処理手段が各々出力した複数のフレーム画像を、各フレーム画像に付加されている識別子をもとに、時分割多重化して多重化データを生成する多重化処手段と、
この多重化処手段が生成した多重化データを前記端末装置に送出するデータ送出手段と
を少なくとも備えたことを特徴とする動画中継装置。 - 請求項１記載の動画中継装置において、
前記動画処理手段は、前記端末装置から送出された中継指示に基づいて、前記フレーム画像に対して所定の画像処理を行う
ことを特徴とする動画中継装置。 - 請求項２記載の動画中継装置において、
前記動画処理手段は、前記端末装置から送出された中継指示に基づいて、前記フレーム画像の画像品質，フレームレート，画像サイズを含む動画パラメータを変換する画像処理を行う
ことを特徴とする動画中継装置。 - 端末装置から送出された動画配信要求に基づいて複数の動画蓄積サーバに蓄積されている各々の動画データを通信回線を介して取得し、
この動画データ取得手段が取得した複数の動画データを各々複数のフレーム画像に変換し、変換元の動画データとの対応およびフレームの順序を示す情報を含む識別子を各々のフレーム画像に付加し、
これらの各フレーム画像に付加されている識別子をもとに、時分割多重化して多重化データを生成し、
生成した多重化データを前記端末装置に送出する
ことを特徴とする動画中継方法。 - 請求項４記載の動画中継方法において、
前記端末装置から送出された中継指示に基づいて、前記フレーム画像に対して所定の画像処理を行う
ことを特徴とする動画中継方法。 - 請求項５記載の動画中継方法において、
前記端末装置から送出された中継指示に基づいて、前記フレーム画像の画像品質，フレームレート，画像サイズを含む動画パラメータを変換する画像処理を行う
ことを特徴とする動画中継方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003142554A JP4012119B2 (ja) | 2003-05-20 | 2003-05-20 | 動画中継装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003142554A JP4012119B2 (ja) | 2003-05-20 | 2003-05-20 | 動画中継装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004349877A JP2004349877A (ja) | 2004-12-09 |
| JP4012119B2 true JP4012119B2 (ja) | 2007-11-21 |
Family
ID=33530610
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003142554A Expired - Lifetime JP4012119B2 (ja) | 2003-05-20 | 2003-05-20 | 動画中継装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4012119B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008288778A (ja) * | 2007-05-16 | 2008-11-27 | Hitachi Kokusai Electric Inc | 画像データ送受信システム |
| JP4898861B2 (ja) * | 2009-03-24 | 2012-03-21 | 株式会社大都技研 | 遊技台 |
| JP2016178356A (ja) * | 2015-03-18 | 2016-10-06 | 株式会社リコー | 通信装置、通信システム、受信制御方法およびプログラム |
| JP7212611B2 (ja) * | 2017-02-27 | 2023-01-25 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 画像配信方法、画像表示方法、画像配信装置及び画像表示装置 |
-
2003
- 2003-05-20 JP JP2003142554A patent/JP4012119B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004349877A (ja) | 2004-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8264421B2 (en) | Multi-screen video playback system | |
| WO2009130843A1 (ja) | 車載装置、サーバ装置および通信システム | |
| EP1783981A1 (en) | Image information storage device and image information storage regenerating device | |
| JPH08149420A (ja) | ビデオビットストリームの伝送方法および装置 | |
| JP4948147B2 (ja) | 複合コンテンツファイルの編集方法および装置 | |
| JPH11355803A (ja) | 立体映像再生方法 | |
| JP6239472B2 (ja) | エンコード装置、デコード装置、ストリーミングシステム、および、ストリーミング方法 | |
| US20230232062A1 (en) | System and method for operating a transmission network | |
| US20080094516A1 (en) | Digital image processing method for analog transmission network, and camera apparatus, image processing apparatus and image processing system therefor | |
| CN113301295A (zh) | 多画面视频数据处理方法、装置、计算机设备和存储介质 | |
| JP4012119B2 (ja) | 動画中継装置及び方法 | |
| EP0827347A2 (en) | Recording and reproducing apparatus for digital image information | |
| US6122020A (en) | Frame combining apparatus | |
| JP2000042247A5 (ja) | ||
| JP2009182372A (ja) | 画像圧縮配信装置、及び画像圧縮配信方法 | |
| JP2011004015A (ja) | 再生装置およびコンテンツ再生方法 | |
| JP2005311692A (ja) | 動画中継システムおよび動画中継方法 | |
| JP3938019B2 (ja) | 記録装置及び記録方法 | |
| US9479823B2 (en) | Transmitting device and receiving device | |
| KR101652095B1 (ko) | 디지털 비디오 레코더를 이용한 실시간 원격 모니터링 및 재생 시스템 및 그 방법 | |
| JP2003224837A (ja) | 通信方法、通信システム、サーバ装置 | |
| JP2009296135A (ja) | 映像監視システム | |
| KR20000028935A (ko) | 이미지 데이터 기록방법, 이미지 데이터 기록장치, 이미지데이터 재생방법, 이미지 데이터 재생장치, 정보기록매체및 컴퓨터로 독출가능한 기록매체 | |
| JP3648829B2 (ja) | 通信装置及び方法、記録装置及び方法、並びに記録媒体 | |
| JP3885021B2 (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050726 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070904 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070906 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4012119 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100914 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100914 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110914 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120914 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130914 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |