JP4455401B2

JP4455401B2 - ゲートウェイ装置及びマルチメディア通信システム

Info

Publication number: JP4455401B2
Application number: JP2005134364A
Authority: JP
Inventors: 尚之対馬; 幸成松田; 邦夫柴田; 進岡
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2005-05-02
Filing date: 2005-05-02
Publication date: 2010-04-21
Anticipated expiration: 2025-05-02
Also published as: JP2006311445A

Description

この発明は、複数のマルチメディア端末がメディアデータを通信する際に、そのマルチメディア端末間の特性差を吸収するゲートウェイ装置に関するものである。

クロック源が異なる２以上のマルチメディア端末間でマルチメディア通信を実施する場合、双方のマルチメディア端末が送信するメディアデータのクロックレートの同期を完全に取ることができない。
このため、双方のマルチメディア端末間でクロックレートに差が発生し、双方のマルチメディア端末において、メディアデータを格納する受信バッファのオーバーフローやアンダーフローが発生することがある。

そこで、マルチメディア端末間のクロック差に起因するメディアデータ量の差異を吸収するために、双方のマルチメディア端末やゲートウェイ装置の内部に受信バッファを搭載し、その受信バッファに蓄積されるメディアデータを適切に間引く処理や、ダミーデータを追加する処理などを実施するデータ量調整方式が開発されている。
また、メディアデータを受信するマルチメディア端末の受信バッファの残量に応じて、そのマルチメディア端末のシステムクロックを変化させる技術が開発されている（例えば、特許文献１参照）。

特開平９−２５２２９２号公報（段落番号［０００８］から［００１０］、図１）

従来のゲートウェイ装置は以上のように構成されているので、受信バッファに蓄積されるメディアデータの間引き処理やダミーデータの追加処理を実施することにより、複数のマルチメディア端末間のクロック差に起因するメディアデータ量の差異を吸収することができる。しかし、メディアデータの間引き処理やダミーデータの追加処理を実施すると、メディアデータの連続性が失われて、メディアの画質や音声の劣化を招くことがあるなどの課題があった。
また、メディアデータを受信するマルチメディア端末の受信バッファの残量に応じて、そのマルチメディア端末のシステムクロックを変化させることにより、複数のマルチメディア端末間のクロック差に起因するメディアデータ量の差異を吸収する場合、受信バッファの残量に応じてシステムクロックを制御する制御部品等をマルチメディア端末に実装する必要が生じ、そのマルチメディア端末の構成が複雑になる課題があった。

この発明は上記のような課題を解決するためになされたもので、マルチメディア端末の構成の複雑化や、メディアの画質や音声の劣化を招くことなく、複数のマルチメディア端末間のクロック差に起因するメディアデータ量の差異を吸収することができるゲートウェイ装置及びマルチメディア通信システムを得ることを目的とする。

この発明に係るゲートウェイ装置は、第１の受信手段により受信されたメディアデータの特性を抽出するとともに、第２の受信手段により受信されたメディアデータの特性を抽出して、双方のメディアデータの特性差を算出し、その特性差を解消する制御信号を生成する特性差解消手段を設け、第１の受信手段により受信されたメディアデータを復号化したのち、その特性差解消手段により生成された制御信号にしたがって当該メディアデータを符号化して第２のマルチメディア端末に送信し、第２の受信手段により受信されたメディアデータを復号化したのち、その特性差解消手段により生成された制御信号にしたがって当該メディアデータを符号化して第１のマルチメディア端末に送信するようにしたものである。

この発明によれば、第１の受信手段により受信されたメディアデータの特性を抽出するとともに、第２の受信手段により受信されたメディアデータの特性を抽出して、双方のメディアデータの特性差を算出し、その特性差を解消する制御信号を生成する特性差解消手段を設け、第１の受信手段により受信されたメディアデータを復号化したのち、その特性差解消手段により生成された制御信号にしたがって当該メディアデータを符号化して第２のマルチメディア端末に送信し、第２の受信手段により受信されたメディアデータを復号化したのち、その特性差解消手段により生成された制御信号にしたがって当該メディアデータを符号化して第１のマルチメディア端末に送信するように構成したので、マルチメディア端末の構成の複雑化や、メディアの画質や音声の劣化を招くことなく、複数のマルチメディア端末間のクロック差に起因するメディアデータ量の差異を吸収することができる効果がある。

実施の形態１．
図１はこの発明の実施の形態１によるマルチメディア通信システムを示す構成図であり、図において、マルチメディア端末１，２，３はネットワーク４に接続され、ゲートウェイ装置５経由で相互にメディアデータを送受信する機能を備えている。ただし、この実施の形態１では、説明の便宜上、マルチメディア端末１（第１のマルチメディア端末）とマルチメディア端末２（第２のマルチメディア端末）がゲートウェイ装置５経由でメディアデータを送受信するものとして説明する。
なお、マルチメディア端末１，２が基準とするクロック源は、マルチメディア端末１，２の内部にあり、マルチメディア端末１，２間で同期が取れていないものとする。一方、マルチメディア端末１，２におけるメディアデータの送信部と受信部は、同一のクロック源を使用するため同期が取れているものとする。
ネットワーク４は例えばＩＰ網などの網クロックを持たない網である。
ゲートウェイ装置５はマルチメディア端末１，２，３が送受信するメディアデータを中継する機能を備えている。

図２はこの発明の実施の形態１によるゲートウェイ装置を示す構成図である。図２ではネットワーク４が省略されているが、実施には、ゲートウェイ装置５はネットワーク４を介してマルチメディア端末１，２と接続されている。
図において、端末ＩＦ部１１はネットワーク４に対するインタフェース処理を実施し、マルチメディア端末１から送信されたメディアデータをネットワーク４から入力して、そのメディアデータをメディア処理部１３に出力し、また、メディア処理部１４から出力されたメディアデータをネットワーク４経由でマルチメディア端末１に送信する。
端末ＩＦ部１２はネットワーク４に対するインタフェース処理を実施し、マルチメディア端末２から送信されたメディアデータをネットワーク４から入力して、そのメディアデータをメディア処理部１４に出力し、また、メディア処理部１３から出力されたメディアデータをネットワーク４経由でマルチメディア端末２に送信する。

メディア処理部１３はマルチメディア端末１から送信されるメディアデータに対する処理を実施し、メディア処理部１４はマルチメディア端末２から送信されるメディアデータに対する処理を実施する。
メディア処理部１３のメディア受信部１３ａは端末ＩＦ部１１から出力されたメディアデータの受信処理を実施する。なお、メディア受信部１３ａは第１の受信手段を構成している。
メディア処理部１４のメディア受信部１４ａは端末ＩＦ部１２から出力されたメディアデータの受信処理を実施する。なお、メディア受信部１４ａは第２の受信手段を構成している。

メディア処理部１３の特性抽出部１３ｂはメディア受信部１３ａにより受信されたメディアデータの単位時間当りの受信パケット数やフレームレートを計測し、その受信パケット数やフレームレートからメディアデータの特性として、クロックレートを抽出する処理を実施する。
メディア処理部１４の特性抽出部１４ｂはメディア受信部１４ａにより受信されたメディアデータの単位時間当りの受信パケット数やフレームレートを計測し、その受信パケット数やフレームレートからメディアデータの特性として、クロックレートを抽出する処理を実施する。
特性差算出部１５は特性抽出部１３ｂにより抽出されたクロックレートと特性抽出部１４ｂにより抽出されたクロックレート間のクロックレート差を算出し、そのクロックレート差を解消する制御信号を生成する処理を実施する。
なお、特性抽出部１３ｂ、特性抽出部１４ｂ及び特性差算出部１５から特性差解消手段が構成されている。

メディア処理部１３のデコーダ部１３ｃはメディア受信部１３ａにより受信されたメディアデータを復号化する処理を実施する。
メディア処理部１３のエンコーダ部１３ｄは特性差算出部１５により生成された制御信号にしたがってデコーダ部１３ｃにより復号化されたメディアデータを符号化する処理を実施する。
なお、デコーダ部１３ｃ及びエンコーダ部１３ｄから第１の復号符号化手段が構成されている。

メディア処理部１４のデコーダ部１４ｃはメディア受信部１４ａにより受信されたメディアデータを復号化する処理を実施する。
メディア処理部１４のエンコーダ部１４ｄは特性差算出部１５により生成された制御信号にしたがってデコーダ部１４ｃにより復号化されたメディアデータを符号化する処理を実施する。
なお、デコーダ部１４ｃ及びエンコーダ部１４ｄから第２の復号符号化手段が構成されている。

メディア処理部１３のメディア送信部１３ｅはエンコーダ部１３ｄにより符号化されたメディアデータを端末ＩＦ部１２を介してマルチメディア端末２に送信する処理を実施する。なお、メディア送信部１３ｅは第１の送信手段を構成している。
メディア処理部１４のメディア送信部１４ｅはエンコーダ部１４ｄにより符号化されたメディアデータを端末ＩＦ部１１を介してマルチメディア端末１に送信する処理を実施する。なお、メディア送信部１４ｅは第２の送信手段を構成している。

次に動作について説明する。
マルチメディア端末１は、メディアデータをマルチメディア端末２に送信する場合、そのメディアデータを符号化し、そのメディアデータをネットワーク４経由でゲートウェイ装置５に送信する。
また、マルチメディア端末２は、メディアデータをマルチメディア端末１に送信する場合、そのメディアデータを符号化し、そのメディアデータをネットワーク４経由でゲートウェイ装置５に送信する。

ゲートウェイ装置５の端末ＩＦ部１１は、マルチメディア端末１がメディアデータを送信すると、ネットワーク４からそのメディアデータを入力して、そのメディアデータをメディア処理部１３のメディア受信部１３ａに出力する。
また、ゲートウェイ装置５の端末ＩＦ部１２は、マルチメディア端末２がメディアデータを送信すると、ネットワーク４からそのメディアデータを入力して、そのメディアデータをメディア処理部１４のメディア受信部１４ａに出力する。

メディア処理部１３のメディア受信部１３ａは、端末ＩＦ部１１からメディアデータを受けると、そのメディアデータの受信処理を実施して、そのメディアデータを特性抽出部１３ｂ及びデコーダ部１３ｃに出力する。
また、メディア処理部１４のメディア受信部１４ａは、端末ＩＦ部１２からメディアデータを受けると、そのメディアデータの受信処理を実施して、そのメディアデータを特性抽出部１４ｂ及びデコーダ部１４ｃに出力する。

メディア処理部１３の特性抽出部１３ｂは、メディア受信部１３ａからメディアデータを受けると、そのメディアデータの単位時間当りの受信パケット数やフレームレートを計測し、その受信パケット数やフレームレートからメディアデータの特性として、クロックレート（マルチメディア端末１から送信されたメディアデータのクロックレート）を抽出する。
また、メディア処理部１４の特性抽出部１４ｂは、メディア受信部１４ａからメディアデータを受けると、そのメディアデータの単位時間当りの受信パケット数やフレームレートを計測し、その受信パケット数やフレームレートからメディアデータの特性として、クロックレート（マルチメディア端末２から送信されたメディアデータのクロックレート）を抽出する。

特性差算出部１５は、特性抽出部１３ｂがマルチメディア端末１から送信されたメディアデータのクロックレートを抽出し、特性抽出部１４ｂがマルチメディア端末２から送信されたメディアデータのクロックレートを抽出すると、それらのクロックレート間のクロックレート差を算出して、そのクロックレート差を解消する制御信号を生成する。
即ち、特性差算出部１５は、メディア処理部１３のエンコーダ部１３ｄから出力されるメディアデータのクロックレートが、マルチメディア端末２から送信されるメディアデータのクロックレートと一致するように、エンコーダ部１３ｄにより符号化されるメディアデータのクロックレートを調整する。
また、特性差算出部１５は、メディア処理部１４のエンコーダ部１４ｄから出力されるメディアデータのクロックレートが、マルチメディア端末１から送信されるメディアデータのクロックレートと一致するように、エンコーダ部１４ｄにより符号化されるメディアデータのクロックレートを調整する。

メディア処理部１３のデコーダ部１３ｃは、メディア受信部１３ａからメディアデータを受けると、そのメディアデータを復号化する。
メディア処理部１３のエンコーダ部１３ｄは、デコーダ部１３ｃから復号化されたメディアデータを受けると、特性差算出部１５により生成された制御信号にしたがって、そのメディアデータを符号化する。なお、メディアデータの符号化方式や符号化速度は、ゲートウェイ装置５において既知であり、事前のネゴシエーション等によって決定されているものとする。
メディア処理部１３のメディア送信部１３ｅは、エンコーダ部１３ｄから符号化されたメディアデータを受けると、端末ＩＦ部１２を介して、そのメディアデータをマルチメディア端末２に送信する処理を実施する。

メディア処理部１４のデコーダ部１４ｃは、メディア受信部１４ａからメディアデータを受けると、そのメディアデータを復号化する。
メディア処理部１４のエンコーダ部１４ｄは、デコーダ部１４ｃから復号化されたメディアデータを受けると、特性差算出部１５により生成された制御信号にしたがって、そのメディアデータを符号化する。なお、メディアデータの符号化方式や符号化速度は、ゲートウェイ装置５において既知であり、事前のネゴシエーション等によって決定されているものとする。
メディア処理部１４のメディア送信部１４ｅは、エンコーダ部１４ｄから符号化されたメディアデータを受けると、端末ＩＦ部１１を介して、そのメディアデータをマルチメディア端末１に送信する処理を実施する。

以上で明らかなように、この実施の形態１によれば、メディア受信部１３ａにより受信されたメディアデータのクロックレートを抽出するとともに、メディア受信部１４ａにより受信されたメディアデータのクロックレートを抽出して、双方のクロックレート差を算出し、そのクロックレート差を解消する制御信号を生成する特性差算出部１５を設け、メディア受信部１３ａにより受信されたメディアデータを復号化したのち、その特性差算出部１５により生成された制御信号にしたがって当該メディアデータを符号化してマルチメディア端末２に送信し、メディア受信部１４ａにより受信されたメディアデータを復号化したのち、その特性差算出部１５により生成された制御信号にしたがって当該メディアデータを符号化してマルチメディア端末１に送信するように構成したので、マルチメディア端末１，２の構成の複雑化や、メディアの画質や音声の劣化を招くことなく、複数のマルチメディア端末１，２間のクロック差に起因するメディアデータ量の差異を吸収することができる効果を奏する。

実施の形態２．
図３はこの発明の実施の形態２によるゲートウェイ装置を示す構成図であり、図において、図２と同一符号は同一または相当部分を示すので説明を省略する。
メディア処理部１３の特性抽出部１３ｆはメディア受信部１３ａにより受信されたメディアデータの単位時間当りの受信パケット数やフレームレートを計測し、その受信パケット数やフレームレートからメディアデータのクロックレートを抽出するとともに、そのメディアデータの符号化方式と符号化速度を認識する処理を実施する。
メディア処理部１４の特性抽出部１４ｆはメディア受信部１４ａにより受信されたメディアデータの単位時間当りの受信パケット数やフレームレートを計測し、その受信パケット数やフレームレートからメディアデータのクロックレートを抽出するとともに、そのメディアデータの符号化方式と符号化速度を認識する処理を実施する。
なお、特性抽出部１３ｆ、特性抽出部１４ｆ及び特性差算出部１５から特性差解消手段が構成されている。

メディア処理部１３のデコーダ部１３ｇは特性抽出部１３ｆにより認識された符号化方式と符号化速度を参照して、メディア受信部１３ａにより受信されたメディアデータを復号化する処理を実施する。
メディア処理部１３のエンコーダ部１３ｈは特性差算出部１５により生成された制御信号にしたがって、特性抽出部１４ｆにより認識された符号化方式と符号化速度でデコーダ部１３ｇにより復号化されたメディアデータを符号化する処理を実施する。
なお、デコーダ部１３ｇ及びエンコーダ部１３ｈから第１の復号符号化手段が構成されている。

メディア処理部１４のデコーダ部１４ｇは特性抽出部１４ｆにより認識された符号化方式と符号化速度を参照して、メディア受信部１４ａにより受信されたメディアデータを復号化する処理を実施する。
メディア処理部１４のエンコーダ部１４ｈは特性差算出部１５により生成された制御信号にしたがって、特性抽出部１３ｆにより認識された符号化方式と符号化速度でデコーダ部１４ｇにより復号化されたメディアデータを符号化する処理を実施する。
なお、デコーダ部１４ｇ及びエンコーダ部１４ｈから第２の復号符号化手段が構成されている。

図４は特性抽出部１３ｆ，１４ｆの内部を示す構成図であり、図において、クロックレート抽出部２１はメディア受信部１３ａ，１４ａにより受信されたメディアデータの単位時間当りの受信パケット数やフレームレートを計測し、その受信パケット数やフレームレートからメディアデータのクロックレートを抽出する処理を実施する。
符号化方式認識部２２はメディア受信部１３ａ，１４ａにより受信されたメディアデータの符号化方式と符号化速度を認識する処理を実施する。

次に動作について説明する。
上記実施の形態１では、ゲートウェイ装置５がメディアデータの中継処理を開始する前に、ゲートウェイ装置５がマルチメディア端末１，２とネゴシエーションを実施して、予め、送受信するメディアデータの符号化方式と符号化速度を認識している必要があるものについて示したが、この実施の形態２では、事前のネゴシエーションを実施することなく、ゲートウェイ装置５がメディアデータの中継処理を開始するものについて説明する。

ゲートウェイ装置５の端末ＩＦ部１１は、マルチメディア端末１がメディアデータを送信すると、上記実施の形態１と同様に、ネットワーク４からそのメディアデータを入力して、そのメディアデータをメディア処理部１３のメディア受信部１３ａに出力する。
また、ゲートウェイ装置５の端末ＩＦ部１２は、マルチメディア端末２がメディアデータを送信すると、上記実施の形態１と同様に、ネットワーク４からそのメディアデータを入力して、そのメディアデータをメディア処理部１４のメディア受信部１４ａに出力する。

メディア処理部１３のメディア受信部１３ａは、端末ＩＦ部１１からメディアデータを受けると、上記実施の形態１と同様に、そのメディアデータの受信処理を実施して、そのメディアデータを特性抽出部１３ｆ及びデコーダ部１３ｇに出力する。
また、メディア処理部１４のメディア受信部１４ａは、端末ＩＦ部１２からメディアデータを受けると、上記実施の形態１と同様に、そのメディアデータの受信処理を実施して、そのメディアデータを特性抽出部１４ｆ及びデコーダ部１４ｇに出力する。

メディア処理部１３における特性抽出部１３ｆのクロックレート抽出部２１は、メディア受信部１３ａからメディアデータを受けると、そのメディアデータの単位時間当りの受信パケット数やフレームレートを計測し、その受信パケット数やフレームレートからメディアデータのクロックレート（マルチメディア端末１から送信されたメディアデータのクロックレート）を抽出する。
メディア処理部１３における特性抽出部１３ｆの符号化方式認識部２２は、メディア受信部１３ａからメディアデータを受けると、そのメディアデータの符号化方式と符号化速度を認識する処理を実施する。

また、メディア処理部１４における特性抽出部１４ｆのクロックレート抽出部２１は、メディア受信部１４ａからメディアデータを受けると、そのメディアデータの単位時間当りの受信パケット数やフレームレートを計測し、その受信パケット数やフレームレートからメディアデータのクロックレート（マルチメディア端末２から送信されたメディアデータのクロックレート）を抽出する。
メディア処理部１４における特性抽出部１４ｆの符号化方式認識部２２は、メディア受信部１４ａからメディアデータを受けると、そのメディアデータの符号化方式と符号化速度を認識する処理を実施する。

特性差算出部１５は、特性抽出部１３ｆがマルチメディア端末１から送信されたメディアデータのクロックレートを抽出し、特性抽出部１４ｆがマルチメディア端末２から送信されたメディアデータのクロックレートを抽出すると、上記実施の形態１と同様に、それらのクロックレート間のクロックレート差を算出して、そのクロックレート差を解消する制御信号を生成する。

メディア処理部１３のデコーダ部１３ｇは、メディア受信部１３ａからメディアデータを受けると、特性抽出部１３ｆにより認識された符号化方式と符号化速度を参照して、そのメディアデータを復号化する。
メディア処理部１３のエンコーダ部１３ｈは、デコーダ部１３ｇから復号化されたメディアデータを受けると、特性差算出部１５により生成された制御信号にしたがって、そのメディアデータを符号化する。なお、メディアデータの符号化方式や符号化速度は、特性抽出部１４ｆにより認識された符号化方式と符号化速度である。
メディア処理部１３のメディア送信部１３ｅは、エンコーダ部１３ｈから符号化されたメディアデータを受けると、端末ＩＦ部１２を介して、そのメディアデータをマルチメディア端末２に送信する処理を実施する。

メディア処理部１４のデコーダ部１４ｇは、メディア受信部１４ａからメディアデータを受けると、特性抽出部１４ｆにより認識された符号化方式と符号化速度を参照して、そのメディアデータを復号化する。
メディア処理部１４のエンコーダ部１４ｈは、デコーダ部１４ｇから復号化されたメディアデータを受けると、特性差算出部１５により生成された制御信号にしたがって、そのメディアデータを符号化する。なお、メディアデータの符号化方式や符号化速度は、特性抽出部１３ｆにより認識された符号化方式と符号化速度である。
メディア処理部１４のメディア送信部１４ｅは、エンコーダ部１４ｈから符号化されたメディアデータを受けると、端末ＩＦ部１１を介して、そのメディアデータをマルチメディア端末１に送信する処理を実施する。

以上で明らかなように、この実施の形態２によれば、特性抽出部１３ｆによりメディア受信部１４ａにより受信されたメディアデータの符号化方式と符号化速度が認識された場合、メディア受信部１３ａにより受信されたメディアデータを復号化したのち、その符号化方式と符号化速度で当該メディアデータを符号化し、特性抽出部１４ｆによりメディア受信部１３ａにより受信されたメディアデータの符号化方式と符号化速度が認識された場合、メディア受信部１４ａにより受信されたメディアデータを復号化したのち、その符号化方式と符号化速度で当該メディアデータを符号化するように構成したので、事前にネゴシエーションを実施して、予め、送受信するメディアデータの符号化方式と符号化速度を認識することなく、そのメディアデータの中継処理を開始することができるようになり、その結果、マルチメディア端末１，２が通信を開始してから、実際にメディアデータのやり取りが行われるまでの時間を短縮することができる効果を奏する。

実施の形態３．
図５はこの発明の実施の形態３によるゲートウェイ装置を示す構成図であり、図において、図２と同一符号は同一または相当部分を示すので説明を省略する。
メディア処理部１３のバッファ残量受信部１３ｉはマルチメディア端末１の内部にある受信バッファの残量を示すバッファ残量情報を受信する処理を実施する。なお、バッファ残量受信部１３ｉは第１の残量検出手段を構成している。
メディア処理部１４のバッファ残量受信部１４ｉはマルチメディア端末２の内部にある受信バッファの残量を示すバッファ残量情報を受信する処理を実施する。なお、バッファ残量受信部１４ｉは第２の残量検出手段を構成している。

メディア処理部１３の特性差補正部１３ｊは特性差算出部１５により生成された制御信号をバッファ残量受信部１４ｉにより受信されたバッファ残量情報が示すマルチメディア端末２の受信バッファ残量に応じて補正する処理を実施する。
メディア処理部１４の特性差補正部１４ｊは特性差算出部１５により生成された制御信号をバッファ残量受信部１３ｉにより受信されたバッファ残量情報が示すマルチメディア端末１の受信バッファ残量に応じて補正する処理を実施する。
なお、特性差補正部１３ｊ及び特性差補正部１４ｊから補正手段が構成されている。

図５では、図２の構成にバッファ残量受信部１３ｉ，１４ｉ及び特性差補正部１３ｊ，１４ｊを付加しているものを示しているが、図３の構成にバッファ残量受信部１３ｉ，１４ｉ及び特性差補正部１３ｊ，１４ｊを付加するようにしてもよい。

次に動作について説明する。
上記実施の形態１，２では、通信相手のマルチメディア端末に送信するメディアデータのクロックレートを、通信相手のマルチメディア端末から送信されたメディアデータのクロックレートに合わせるものについて示したが、例えば、エンコーダ部１３ｄ，１４ｄの性能が低く、所望のクロックレートの符号化データを生成することができない場合や、マルチメディア端末１，２の内部処理の負荷変動によって、マルチメディア端末１，２が受信バッファからメディアデータを引き抜くクロックレートが変動することにより、期待通りの効果が得られない場合がある。
この実施の形態３では、エンコーダ部１３ｄ，１４ｄの性能が低い場合や、マルチメディア端末１，２が受信バッファからメディアデータを引き抜くクロックレートが変動する場合でも、複数のマルチメディア端末１，２間のクロック差に起因するメディアデータ量の差異を吸収することができるように工夫している。
具体的には、以下の通りである。

マルチメディア端末１は、メディアデータをマルチメディア端末２に送信する場合、そのメディアデータを符号化し、そのメディアデータをネットワーク４経由でゲートウェイ装置５に送信する。
また、マルチメディア端末１は、内部にある受信バッファの残量を監視し、その受信バッファの残量を示すバッファ残量情報をネットワーク４経由でゲートウェイ装置５に送信する。

マルチメディア端末２は、メディアデータをマルチメディア端末１に送信する場合、そのメディアデータを符号化し、そのメディアデータをネットワーク４経由でゲートウェイ装置５に送信する。
また、マルチメディア端末２は、内部にある受信バッファの残量を監視し、その受信バッファの残量を示すバッファ残量情報をネットワーク４経由でゲートウェイ装置５に送信する。

ゲートウェイ装置５の端末ＩＦ部１１は、マルチメディア端末１がメディアデータを送信すると、上記実施の形態１と同様に、ネットワーク４からそのメディアデータを入力して、そのメディアデータをメディア処理部１３のメディア受信部１３ａに出力する。また、マルチメディア端末１がバッファ残量情報を送信すると、ネットワーク４からそのバッファ残量情報を入力して、そのバッファ残量情報をメディア処理部１３のバッファ残量受信部１３ｉに出力する。
ゲートウェイ装置５の端末ＩＦ部１２は、マルチメディア端末２がメディアデータを送信すると、上記実施の形態１と同様に、ネットワーク４からそのメディアデータを入力して、そのメディアデータをメディア処理部１４のメディア受信部１４ａに出力する。また、マルチメディア端末２がバッファ残量情報を送信すると、ネットワーク４からそのバッファ残量情報を入力して、そのバッファ残量情報をメディア処理部１４のバッファ残量受信部１４ｉに出力する。

メディア処理部１３のバッファ残量受信部１３ｉは、端末ＩＦ部１１からバッファ残量情報を受けると、そのバッファ残量情報の受信処理を実施して、そのバッファ残量情報をメディア処理部１４の特性差補正部１４ｊに出力する。
また、メディア処理部１４のバッファ残量受信部１４ｉは、端末ＩＦ部１２からバッファ残量情報を受けると、そのバッファ残量情報の受信処理を実施して、そのバッファ残量情報をメディア処理部１３の特性差補正部１３ｊに出力する。

メディア処理部１３の特性差補正部１３ｊは、特性差算出部１５が上記実施の形態１と同様にして、クロックレート差を解消する制御信号を生成し、メディア処理部１４のバッファ残量受信部１４ｉからバッファ残量情報を受けると、特性差算出部１５により生成された制御信号をバッファ残量情報が示すマルチメディア端末２の受信バッファ残量に応じて補正する処理を実施する。
即ち、特性差補正部１３ｊは、バッファ残量情報が示すマルチメディア端末２の受信バッファ残量が増加方向に遷移している場合、その受信バッファがオーバーフローする可能性があるので、特性差算出部１５により生成された制御信号が示すクロックレートより、エンコーダ部１３ｄにより符号化されるメディアデータのクロックレートが小さくなるように、特性差算出部１５から出力された制御信号を補正してエンコーダ部１３ｄに出力する。
逆に、バッファ残量情報が示すマルチメディア端末２の受信バッファ残量が減少方向に遷移している場合、その受信バッファがアンダーフローする可能性があるので、特性差算出部１５により生成された制御信号が示すクロックレートより、エンコーダ部１３ｄにより符号化されるメディアデータのクロックレートが大きくなるように、特性差算出部１５から出力された制御信号を補正してエンコーダ部１３ｄに出力する。

メディア処理部１４の特性差補正部１４ｊは、特性差算出部１５が上記実施の形態１と同様にして、クロックレート差を解消する制御信号を生成し、メディア処理部１３のバッファ残量受信部１３ｉからバッファ残量情報を受けると、メディア処理部１３の特性差補正部１３ｊと同様に、特性差算出部１５により生成された制御信号をバッファ残量情報が示すマルチメディア端末１の受信バッファ残量に応じて補正する処理を実施する。

以上で明らかなように、この実施の形態３によれば、マルチメディア端末１，２の内部にある受信バッファの残量を示すバッファ残量情報を受信するバッファ残量受信部１３ｉ，１４ｉを設け、特性差算出部１５により生成された制御信号をバッファ残量受信部１３ｉ，１４ｉにより受信されたバッファ残量情報が示す受信バッファの残量に応じて補正するように構成したので、例えば、エンコーダ部１３ｄ，１４ｄの性能が低い場合や、マルチメディア端末１，２が受信バッファからメディアデータを引き抜くクロックレートが変動する場合でも、複数のマルチメディア端末１，２間のクロック差に起因するメディアデータ量の差異を吸収することができる効果を奏する。

この発明の実施の形態１によるマルチメディア通信システムを示す構成図である。この発明の実施の形態１によるゲートウェイ装置を示す構成図である。この発明の実施の形態２によるゲートウェイ装置を示す構成図である。特性抽出部１３ｆ，１４ｆの内部を示す構成図である。この発明の実施の形態３によるゲートウェイ装置を示す構成図である。

符号の説明

１マルチメディア端末、２マルチメディア端末、３マルチメディア端末、４ネットワーク、５ゲートウェイ装置、１１端末ＩＦ部、１２端末ＩＦ部、１３メディア処理部、１３ａメディア受信部（第１の受信手段）、１３ｂ特性抽出部（特性差解消手段）、１３ｃデコーダ部（第１の復号符号化手段）、１３ｄエンコーダ部（第１の復号符号化手段）、１３ｅメディア送信部（第１の送信手段）、１３ｆ特性抽出部（特性差解消手段）、１３ｇデコーダ部（第１の復号符号化手段）、１３ｈエンコーダ部（第１の復号符号化手段）、１３ｉバッファ残量受信部（第１の残量検出手段）、１３ｊ特性差補正部（補正手段）、１４メディア処理部、１４ａメディア受信部（第２の受信手段）、１４ｂ特性抽出部（特性差解消手段）、１４ｃデコーダ部（第２の復号符号化手段）、１４ｄエンコーダ部（第２の復号符号化手段）、１４ｅメディア送信部（第２の送信手段）、１４ｆ特性抽出部（特性差解消手段）、１４ｇデコーダ部（第２の復号符号化手段）、１４ｈエンコーダ部（第２の復号符号化手段）、１４ｉバッファ残量受信部（第２の残量検出手段）、１４ｊ特性差補正部（補正手段）、１５特性差算出部（特性差解消手段）、２１クロックレート抽出部、２２符号化方式認識部。

Claims

第１のマルチメディア端末から符号化されているメディアデータを受信する第１の受信手段と、第２のマルチメディア端末から符号化されているメディアデータを受信する第２の受信手段と、上記第１の受信手段により受信されたメディアデータの特性を抽出するとともに、上記第２の受信手段により受信されたメディアデータの特性を抽出して、双方のメディアデータの特性差を算出し、その特性差を解消する制御信号を生成する特性差解消手段と、上記第１の受信手段により受信されたメディアデータを復号化したのち、上記特性差解消手段により生成された制御信号にしたがって当該メディアデータを符号化する第１の復号符号化手段と、上記第１の復号符号化手段により符号化されたメディアデータを上記第２のマルチメディア端末に送信する第１の送信手段と、上記第２の受信手段により受信されたメディアデータを復号化したのち、上記特性差解消手段により生成された制御信号にしたがって当該メディアデータを符号化する第２の復号符号化手段と、上記第２の復号符号化手段により符号化されたメディアデータを上記第１のマルチメディア端末に送信する第２の送信手段とを備えたゲートウェイ装置。
特性差解消手段は、第１の受信手段により受信されたメディアデータからクロックレートを抽出するとともに、第２の受信手段により受信されたメディアデータからクロックレートを抽出し、双方のメディアデータの特性差として、双方のクロックレートの差分を算出することを特徴とする請求項１記載のゲートウェイ装置。
第１の復号符号化手段は、特性差解消手段により第２の受信手段により受信されたメディアデータの符号化方式と符号化速度が認識された場合、第１の受信手段により受信されたメディアデータを復号化したのち、その符号化方式と符号化速度で当該メディアデータを符号化し、第２の復号符号化手段は、上記特性差解消手段により第１の受信手段により受信されたメディアデータの符号化方式と符号化速度が認識された場合、上記第２の受信手段により受信されたメディアデータを復号化したのち、その符号化方式と符号化速度で当該メディアデータを符号化することを特徴とする請求項１または請求項２記載のゲートウェイ装置。
第１のマルチメディア端末の内部にある受信バッファの残量を検出する第１の残量検出手段と、第２のマルチメディア端末の内部にある受信バッファの残量を検出する第２の残量検出手段と、特性差解消手段により生成された制御信号を上記第１及び第２の残量検出手段により検出された受信バッファの残量に応じて補正する補正手段とを設けたことを特徴とする請求項１から請求項３のうちのいずれか１項記載のゲートウェイ装置。
メディアデータを符号化して送信する一方、符号化されているメディアデータを受信する第１のマルチメディア端末と、上記第１のマルチメディア端末から送信されたメディアデータをゲートウェイ装置経由で受信する一方、メディアデータを符号化して、そのメディアデータを上記ゲートウェイ装置経由で上記第１のマルチメディア端末に送信する第２のマルチメディア端末とを備えたマルチメディア通信システムにおいて、上記ゲートウェイ装置が、上記第１のマルチメディア端末から送信されたメディアデータを受信する第１の受信手段と、上記第２のマルチメディア端末から送信されたメディアデータを受信する第２の受信手段と、上記第１の受信手段により受信されたメディアデータの特性を抽出するとともに、上記第２の受信手段により受信されたメディアデータの特性を抽出して、双方のメディアデータの特性差を算出し、その特性差を解消する制御信号を生成する特性差解消手段と、上記第１の受信手段により受信されたメディアデータを復号化したのち、上記特性差解消手段により生成された制御信号にしたがって当該メディアデータを符号化する第１の復号符号化手段と、上記第１の復号符号化手段により符号化されたメディアデータを上記第２のマルチメディア端末に送信する第１の送信手段と、上記第２の受信手段により受信されたメディアデータを復号化したのち、上記特性差解消手段により生成された制御信号にしたがって当該メディアデータを符号化する第２の復号符号化手段と、上記第２の復号符号化手段により符号化されたメディアデータを上記第１のマルチメディア端末に送信する第２の送信手段とを備えたことを特徴とするマルチメディア通信システム。