JP5516409B2 - ゲートウェイ装置と方法とシステム並びに端末 - Google Patents

Description

（関連出願についての記載）
本発明は、日本国特許出願：特願２００８−２４８１５２号（２００８年９月２６日出願）の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、ゲートウェイ装置と方法とシステムと端末に関する。

第１のネットワークが例えばモバイルネットワークで、第２のネットワークが例えばパケットネットワーク又は次世代ネットワーク（ＮＧＮ：Ｎｅｘｔ Ｇｅｎｅｒａｔｉｏｎ Ｎｅｔｗｏｒｋ）というように、異なるネットワーク間をつなげて、それぞれのネットワークに接続される端末同士で相互に動画や静止画をやりとりするサーヒスが始まっており、これらのサービスには、ゲートウェイ装置が使用されている。

端末間で動画又は静止画を用いた通信を行う場合、動画信号に対しては、低ビットレートで効率良く伝送するために端末側で圧縮符号化を行う。これらの方式としては、
ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ ｆｏｒ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ ｓｅｃｔｏｒ）勧告Ｈ．２６３や、ＩＳＯ／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏ ｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）で国際標準化されているＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ｐｈａｓｅ ４）が知られている。また、ＩＴＵ−ＴとＩＳＯ／ＩＥＣで国際標準化されたＨ．２６４／ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）によれば、前記動画像圧縮符号化方式よりもより効率良く圧縮することができる。

動画像の変換を行うゲートウェイとして、例えば特許文献１には、サーバからの動画像データを送信すべき端末の特性から導出された符号化パラメータ（符号化方式、フレームサイズ等）を用いて変換するゲートウェイが開示されている。また、時間解像度の拡大については、特許文献２に、低解像度の動画像を時間軸方向のサンプル数（フレームレート）をアップサンプリングし、不要な高域成分を除去し、非線形予測により時間軸方向に高域予測を行ない、高域予測が正しい場合、時間解像度の拡大を行う構成が開示されている。なお、以下の説明からも明らかとされるように、本発明は、これら特許文献に記載の発明とは全く相違している。

特開２００１−３１３９３７号公報 特開２００７−７４３０７号公報

以下に本発明による分析を与える。

従来のサービス及び装置によれば、第２のネットワークの特に下り方向が、第１のネットワークの特に上り方向に比べ、帯域幅が数倍以上に広く、第２のネットワークに接続する第２の端末がより高精細な画像を扱える能力がある場合が多い。そのような場合であっても、第１のネットワークに接続される第１の端末から送出された、解像度及び画質が十分でない動画又は静止画信号を、ゲートウェイ装置でそのまま第２のネットワークに送出しているため、第２のネットワークに接続される第２の端末でそのような動画や静止画を表示させると、解像度や画質が十分でない。このために、サービス自体の加入者の増大は容易ではない。

また、第２の端末から第１の端末の方向では、第１の端末の能力や第１のネットワークの帯域幅に合わせて解像度や画質を少し下げた信号を、第１の端末が受信するため、第１の端末のユーザにとっては、受信、復号して表示した動画又は静止画信号の解像度及び画質が十分でない。

本発明の目的は、第１のネットワークに接続される第１の端末から受信した動画又は静止画信号の画像信号に対し、第２のネットワークに接続される第２の端末に送出した場合に十分な解像度や画質を与えることを可能とし、及び、第２の端末から送信されゲートウェイ装置で受信して第１の端末に送出した動画又は静止画を含む画像信号に対し、第１の端末で十分な解像度や画質を与えることを可能とする通信システム、方法、ゲートウェイ装置、端末を提供することにある。

本書で開示される発明は、課題を解決するため概略以下の構成とされる。

本発明の１つの側面において、第１のネットワークと、前記第１のネットワークに接続された第１の端末と、第２のネットワークと、前記第２のネットワークに接続された第２の端末と、前記第１、第２のネットワークに接続されたゲートウェイ装置と、を備えた通信システムであって、前記ゲートウェイ装置は、画像信号の解像度及び画質を拡張する変換を施す変換部を備え、前記第１の端末から前記第１のネットワークに送出された動画又は静止画を含む画像信号を受信し、前記受信した画像信号に対して前記変換部にて解像度及び画質を拡張する変換を施し、前記変換後の画像信号を前記第２のネットワークに接続された前記第２の端末に対して送出し、さらに、前記ゲートウェイ装置は、前記第２の端末から前記第２のネットワークに送出された動画又は静止画を含む画像信号を受信し、前記受信した画像信号を前記第１のネットワークに出力する。前記第１の端末は、画像信号の解像度及び画像品質を拡張する変換を施す変換部を備え、前記ゲートウェイ装置から前記第１のネットワークに出力された画像信号を受信し、受信した画像信号を復号した上で、前記第１の端末の前記変換部で解像度及び画像品質を拡張する変換を施す。

本発明の他の側面において、
ゲートウェイは、第１の端末から第１のネットワークを介して送信された動画又は静止画を含む画像信号を受信し、前記受信した画像信号に対して解像度及び画質を拡張する変換を施し、前記変換後の画像信号を第２のネットワークを介して第２の端末に送信し、
前記ゲートウェイは、前記第２の端末から前記第２のネットワークを介して送信された動画又は静止画を含む画像信号を受信し、前記受信した画像信号を前記第１のネットワークに出力し、
前記第１の端末は、前記ゲートウェイから前記第１のネットワークに出力された画像信号を受信し復号した上で解像度及び画像品質を拡張する変換を施す、通信方法が提供される。

本発明の他の側面において、第１のネットワークに接続された第１の端末と、第２のネットワークに接続された第２の端末と、に接続されるゲートウェイ装置であって、
前記第１の端末から送信された動画又は静止画を含む画像信号を前記第１のネットワークを介して受信する第１の受信部と、
前記受信した画像信号に対して解像度及び画質を拡張する変換を施す変換部と、
前記変換後の画像信号を前記第２のネットワークに接続された第２の端末に対して送出する第１の送出部と、
前記第２の端末から送信された動画又は静止画を含む画像信号を前記第２のネットワークを介して受信する第２の受信部と、
前記受信した画像信号を前記第１のネットワークに接続された前記第１の端末に対して送出する第２の送出部と、
を備えるゲートウェイ装置が提供される。

本発明の他の側面において、第１のネットワークに接続された第１の端末と、第２のネットワークに接続された第２の端末と、に接続されるゲートウェイ装置を構成するコンピュータに、
前記第１の端末からの動画又は静止画を含む画像信号を前記第１のネットワークを介して受信する処理と、
前記受信した画像信号に対して、解像度及び画質を拡張する変換を施す変換処理と、
前記変換後の画像信号を、前記第２のネットワークに接続された第２の端末に対して送出する処理と、
前記第２の端末からの動画又は静止画を含む画像信号を前記第２のネットワークを介して受信する処理と、
前記受信した画像信号を、前記第１のネットワークに接続された前記第１の端末に対して送出する処理と、を実行させるプログラムを含む。

本発明の他の側面において、第１のネットワークを介してゲートウェイ装置に動画又は静止画を含む画像信号を送信し、第２のネットワークを介して前記ゲートウェイ装置に送信された動画又は静止画を含む画像信号を受信する端末を備え、前記端末は、
前記第２のネットワークに接続された第２の端末から前記ゲートウェイ装置を介して動画又は静止画を含む画像信号を受信する受信部と、
前記受信した画像信号を復号する復号部と、
前記復号された画像信号の解像度を変換し画質を改善する解像度変換を施す変換部と、
前記変換された信号を表示する表示部と、
を備えている。

本発明の他の側面において、前記第１のネットワークを介してゲートウェイ装置に動画又は静止画を含む画像信号を送信し、前記第２のネットワークを介して前記ゲートウェイ装置に送信された動画又は静止画を含む画像信号を受信する端末を構成するコンピュータに、
前記第２のネットワークに接続された第２の端末から前記ゲートウェイ装置を介して動画又は静止画を含む画像信号を受信する受信処理と、
前記受信した画像信号を復号する復号処理と、
前記復号された画像信号の解像度を変換し画質を改善する解像度変換を施す変換処理と、
前記変換された信号を表示する表示処理と、
を実行させるプログラムが提供される。

本発明によれば、第１のネットワークに接続される第１の端末から受信した動画又は静止画信号の画像信号に対し、第２のネットワークに接続される第２の端末に送出した場合に十分な解像度や画質を与えることができ、第２の端末から送信されゲートウェイ装置で受信して第１の端末に送出した動画又は静止画を含む画像信号に対し、第１の端末で十分な解像度や画質を与えることができる。

本発明の一実施例のシステム構成を示す図である。 本発明の第１の実施例におけるゲートウェイ装置の構成を示す図である。 本発明の第１の実施例におけるゲートウェイ装置の構成を示す図である。 本発明の第１の実施例における第１の端末の構成を示す図である。 本発明の第２の実施例におけるゲートウェイ装置の構成を示す図である。 本発明の第２の実施例におけるゲートウェイ装置の構成を示す図である。 本発明の第２の実施例における第１の端末の構成を示す図である。 本発明の第１の実施例におけるゲートウェイ装置の処理手順を示す図である。 （Ａ）、（Ｂ）は本発明の実施例のゲートウェイ装置、第１の端末の変形例を示す図である。

本発明の実施の形態を説明する。本発明の一形態によれば、第１のネットワークと、前記第１のネットワークに接続された第１の端末と、第２のネットワークと、前記第２のネットワークに接続された第２の端末と、前記第１、第２のネットワークに接続されたゲートウェイ装置と、を備えた通信システムであって、前記ゲートウェイ装置は、前記第１の端末から前記第１のネットワークに送出された動画又は静止画を含む画像信号を受信し、
前記受信した画像信号に対して、解像度及び画質を拡張する変換を施す変換部と、
前記変換後の画像信号を前記第２のネットワークに接続された前記第２の端末に対して送出する送出部と、
前記第２の端末から前記第２のネットワークに送出された動画又は静止画を含む画像信号を受信する受信部と、
前記受信した画像信号を前記第１のネットワークに出力する第２の送出部
を備えている。前記第１の端末は、前記ゲートウェイ装置から前記第１のネットワークに出力された画像信号を受信して復号した上で解像度及び画像品質を拡張する変換を施す変換部を備えている。

本発明によれば、第１の端末と第１のネットワークとゲートウェイ装置と第２のネットワークと第２の端末とが接続された通信システムであって、前記ゲートウェイ装置は、前記第１の端末から動画又は静止画信号を含むストリーム又はパケットを受信し解像度及び画質を拡張する変換を施す変換部と、前記変換後の信号を前記第２のネットワークに接続された第２の端末に送出する送出部と、前記第２の端末から前記第２のネットワークを通して動画又は静止画信号を含むパケット又はストリームを受信し前記第１のネットワークに出力する送出部と、を備え、前記第１の端末は前記出力を受信し復号した上で解像度及び画像品質を拡張する変換を施す変換部と、を備えた通信システムが提供される。

本発明によれば、第２の端末が第２のネットワークに接続され、前記第２の端末から前記第２のネットワークに動画又は静止画信号を含むパケット又はストリームが送出され、ゲートウェイ装置は前記パケット又はストリームを受信する受信部と第１のネットワークに出力する送出部とを備え、第１の端末は前記第１のネットワークに接続され前記送出部からの出力を受信し復号した上で解像度及び画像品質を拡張する変換を施す変換部とを備えることを特徴とする通信システムが提供される。

本発明によれば、第１のネットワークがモバイル回線交換ネットワーク又はモバイルパケットネットワークであり、第２のネットワークがパケットネットワーク又はＮＧＮネットワークであることを特徴とする通信システムが提供される。

本発明によれば、第１のネットワークがモバイル回線交換ネットワーク又はモバイルパケットネットワークであり、第２のネットワークが３．９世代又は４世代のモバイルパケットネットワークであることを特徴とする通信システムが提供される。以下、実施例に即して説明する。以下の実施例では、ビデオ（動画）信号を使う場合の構成例を説明する。

図１は、本発明による通信システムの構成を示す図である。図１には、ゲートウェイ装置と第１のネットワーク、第２のネットワーク、第１の端末、第２の端末との接続形態の例が示されている。

図１において、１２０は第１の端末を示し、ここでは例えば携帯端末とする。１３０は第１のネットワークの例を示しており、ここでは例えばモバイルネットワークとする。ゲートウェイ装置１５０は、第１のネットワーク１３０を通して第１の端末１２０から受信したビデオストリーム又はビデオパケットに対し、解像度及び画質を拡張する変換を施した上で、変換後の動画ストリーム又はパケットを、第２のネットワーク１７０を通して第２の端末１９０に送出する。ここで、第２のネットワークには、例えば、固定網のパケットネットワークや次世代ネットワーク（ＮＧＮ：Ｎｅｘｔ Ｇｅｎｅｒａｔｉｏｎ Ｎｅｔｗｏｒｋ）などを適用することができる。一方、第２の端末１９０から送出された動画信号又は静止画信号を、ゲートウェイ装置１５０で受信し、第１の端末１２０に送出し、第１の端末１２０で復号して表示する。

本発明は、モバイルネットワーク１３０が、モバイル回線交換ネットワークの場合と、モバイルパケットネットワークの場合の両者に適用することができるが、どちらであるかにより、ゲートウェイ装置１５０の構成が異なってくる。したがって、以下では、これらの各々の場合について、図２及び図３にゲートウェイ装置１５０の構成をそれぞれ示す。

本実施例において、モバイルネットワーク１３０が、モバイル回線交換ネットワークの場合と、モバイルパケットネットワークの場合の両者に適用することができるが、どちらであるかにより、ゲートウェイ装置１５０の構成が異なってくる。以下では、これらの各々の場合について、ゲートウェイ装置１５０の構成を、図２及び図３にそれぞれ示す。

図２は、モバイルネットワーク１３０がモバイル回線交換ネットワークの場合の、ゲートウェイ装置１５０の要部構成の一例を示す図である。ゲートウェイ装置１５０は、多重分離部１５５、呼制御部１５１、変換部１６０、パケット送出部１５９を備えている。

図１の携帯端末１２０は、３Ｇ３２４Ｍプロトコル（3Ｇ携帯電話網とＩＰ網の呼接続制御プロトコル）を実装しているとものする。なお、３Ｇ３２４Ｍプロトコルの詳細は、例えば、３ＧＰＰ ＴＳ２６．１１０規格やＴＲ２６．９１１規格を参照することができる。

逆のパスとして、第２の端末から第１の端末方向におけるゲートウェイ装置１５０の実施例を図３に示す。

図２において、多重分離部１５５は、Ｈ．２２３多重化信号を受信し、Ｈ．２４５呼制御信号、ビデオ信号、音声信号を分離し、分離後のＨ．２４５呼制御信号を呼制御部１５１に出力し、分離後のビデオ信号を変換部１６０のなかの復号部１６１に出力する。ここで、Ｈ．２２３及びＨ．２４５の詳細は、それぞれ、ＩＴＵ−Ｔ Ｈ．２２３規格及びＩＴＵ−Ｔ Ｈ．２４５規格を参照することができる。

呼制御部１５１は、Ｈ．２４５呼制御信号を解析し、ビデオ信号の復号に必要な、第１の端末に関する能力情報を、変換部１６０のなかの復号部１６１に出力する。ここでは、能力情報は、例えば次のようなものであるとする。ビデオコーデックは、ＭＰＥＧ−４ ＳＰ（Ｓｉｍｐｌｅ Ｐｒｏｆｉｌｅ） Ｌｅｖｅｌ ０、ビットレートは６４ｋｂｐｓ(キロビット／秒)、画面解像度はＱＣＩＦ（Ｑａｄｒａｔｕｒｅ Ｃｏｍｍｏｎ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ）、フレームレートは１５ｆｐｓ（フレーム／秒）である。

呼制御部１５１は、さらに、第２のネットワーク１７０を通して接続される第２の端末１９０との間で、例えばＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）及びＳＤＰ（Ｓｅｓｓｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ Ｐｒｏｔｏｃｏｌ）を用いて、呼制御情報（たとえば第２の端末１９０の受信ＩＰアドレスなど）及び能力情報をやりとりする（呼制御部１５１からの破線で示す）。呼制御部１５１は、この能力情報を変換部１６０に伝える。ここでは、第２の端末の能力情報として、例えば、ビデオコーデックとして、Ｈ．２６４ ＢＰ（Ｂａｓｅｌｉｎｅ Ｐｒｏｆｉｌｅ）を搭載しており、ＢＰプロファイルで、レベルは１．２まで収容可能であるとする。これは、最大ビットレートが３８４ｋｂｐｓ、画面解像度がＣＩＦ（Ｃｏｍｍｏｎ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ）、フレームレートが１５ｆｐｓであることを意味する。

変換部１６０は、復号部１６１、フレームメモリ１６２、超解像度変換部１６３、符号化部１６４を備えている。

復号部１６１は、呼制御部１５１から第１の端末に関する能力情報を受信し、例えば、ＭＰＥＧ−４ ＳＰレベル０、ビットレート６４ｋｂｐｓ、画面解像度ＱＣＩＦ、フレームレート１５ｆｐｓで復号する。復号したビデオ信号をフレーム毎に、一旦フレームメモリ１６２に格納する。

超解像度変換部１６３は、呼制御部１５１から第２の端末に関する能力情報を受信し、フレームメモリ１６２に格納されたビデオ信号を読み出し、解像度を拡大しながら画質を改善する処理を行う。

解像度に拡大として、
・変換対象の画像フレームに対し、参照画像として、複数枚の画像フレームを使用して画素数を増やしながら解像度を拡大する手法や、
・変換対象の画像フレーム内で異なる箇所の画素を用いて画素数を増やす手法、
が用いられる。超解像度変換部１６３では、これらの手法のうち、超解像度変換部１６３の処理に割り当てることのできる演算量とメモリ量の制約の中で最適な手法を選択する構成としてもよい。

超解像度変換部１６３において、変換対象フレームに対して、過去（時間的に前）の参照フレームを用いる場合、復号部１６１で復号されたマクロブロック毎の動きベクトルを入力し、該マクロブロックに含まれる画素に対して、前記動きベクトルを基に、動きベクトル探索処理（参照フレームの探索範囲内のマクロブロックのうち、変換対象フレームの当該マクロブロックとの差分が最も小さくなる位置を求める）を再実行することで、詳細な動きベクトルを求める（例えば半画素単位）。そして、再探索で求めた詳細な動きベクトルを過去の参照フレームの画素に適用し、前記詳細な動きベクトル分だけ移動させたフレームを用いて、変換対象フレームの画素を増やす構成をとることもできる。あるいは、復号部１６１からのマクロブロックの動きベクトルを使わずに、変換対象フレーム（現フレーム）と参照フレームから動きベクトルを探索する構成としてもよい。

また、超解像度変換部１６３においては、解像度拡大対象のフレームのみを使用する場合には、エッジ部分を検出し、エッジ近傍の画素を適用して画素を増やしたり、エッジ近傍の画素に補正を加えたり、エッジを検出して強調する、という処理を行うことで、解像度を高め、画質を改善する処理を行う。この処理は、動画及び／又は静止画に対して行われる。

超解像度変換部１６３においては、動き方向を推定することにより、時間方向のフレーム画像を補間し（前後フレームの間に１つフレームを挿入）、フレームレートを補間することで、例えばフレームレートを１５ｆｐｓから３０ｆｐｓに拡張する処理を行う。

符号化部１６４は、呼制御部１５１から第２の端末に関する能力情報を受信し、さらに超解像度変換部１６３からの出力信号を入力し、例えばＨ．２６４ ＢＰ Ｌｅｖｅｌ １．２符号化方式を用いて、ビットレート：３８４ｋｂｐｓ、画面解像度：ＣＩＦ、フレームレート：１５ｆｐｓで符号化する。

また、符号化部１６４において、動きベクトル探索の演算量を削減するために、復号部１６１から動きベクトル情報を入力し、入力した動きベクトル情報を基に（動きベクトルに対して解像度の拡大に対応した変換を施し）、超解像度変換部１６３で変換された画像信号に対して、該動きベクトルの近傍を探索して、新たに動きベクトルを求める構成としてもよい。

パケット送出部１５９は、呼制御部１５１から第２の端末１９０の受信ＩＰアドレスを入力し、符号化部１６４からＨ．２６４による圧縮符号化ストリームを入力し、圧縮符号化ストリームをＲＴＰペイロードに含めてＲＴＰパケットとして、受信ＩＰアドレスあてに送出する。

なお、パケット送出部１５９から送出されたＲＴＰパケットは、第２のネットワーク１７０を通して第２の端末１９０で受信される。

次に、図３を用いて、第２の端末から第１の端末方向におけるゲートウェイ装置１５０の実施例を説明する。図３において、図２と同じ要素には同一番号が付されている。図３において、図２と同一の構成要素は図２と同一の動作をするため、以下では、同一構成要素の説明を省略する。

図３において、パケット受信部１７２は、第２の端末１９０から第２のネットワーク１７０を通して、ビデオＲＴＰパケットを入力し、ＲＴＰペイロード部に格納されたビデオストリームを読み出して多重部１７５に出力する。

多重部１７５は、呼制御部２５１から入力したＨ．２４５呼制御信号とビデオストリームとをＨ．２２３多重化して、多重化後のストリームを第１のネットワーク１３０に向けて送出する。

図４は、第２の端末から第１の端末方向の通信で使用される第１の端末１２０の要部構成の一例を示す図である。図４を参照すると、第１の端末１２０は、多重分離部２００と、呼制御部２０１と、音声復号部２０２と、動画復号部２０３と、超解像度変換部２０４と、表示部２０５を備えている。

図４において、多重分離部２００は、Ｈ．２２３多重化信号を受信し、Ｈ．２４５呼制御信号、圧縮符号化されたビデオストリーム、圧縮符号化された音声ストリームを分離し、分離後のＨ．２４５呼制御信号を呼制御部２０１に出力し、分離後の圧縮符号化ビデオストリームを動画復号部２０３に出力し、分離後の圧縮符号化音声ストリームを音声復号部２０２に出力する。

呼制御部２０１は、Ｈ．２４５呼制御信号を用いて呼制御を行い、相手側端末で動画信号及び音声信号を符号化したときの能力情報をＨ．２４５呼制御信号から抽出して動画復号部２０３及び音声復号部２０２に出力する。

音声復号部２０２は、呼制御部２０１から能力情報を入力し、多重分離部２００から圧縮符号化された音声ストリームを入力し、所定の音声コーデックを用いて音声を復号して出力する。ここで、音声コーデックはＡＭＲ（Ａｄａｐｔｉｖｅ Ｍｕｌｔｉ−Ｒａｔｅ）とする。なお、ＡＭＲの詳細については、例えば、３ＧＰＰ ＴＳ２６．０７１規格やＴＳ２６．０９０規格を参照することができる。

動画復号部２０３は、呼制御部２０１から能力情報を入力し、多重分離部２００から圧縮符号化されたビデオストリームを入力し、圧縮符号化されたビデオストリームを入力し、能力情報で規定された動画コーデック（例えばＭＰＥＧ−４ ＳＰ＠Ｌ０）、画面解像度（例えばＱＣＩＦ）を用いて前記ストリームを復号し、復号されたビデオ信号を超解像度変換部２０４に出力する。

超解像度変換部２０４は、復号されたビデオ信号を入力し、解像度を拡大しながら画質を改善する処理を行う。例えば、ＱＣＩＦの解像度をＣＩＦの画面解像度に拡大する。これには、前述したように、対象画像フレームに対し参照画像として複数枚の画像フレームを使用して画素数を増やしながら解像度拡大する手法と、対象画像フレーム内で異なる箇所の画素を使い画素数を増やす手法が用いられる。この処理に割り当てることのできる演算量とメモリ量の制約の中で、最適な方法を選択するようにしてもよい。

前述したゲートウェイ装置１５０と同様に、変換対象フレームに対して、過去の参照フレームを用いる場合は、超解像度変換部２０４は、動画復号部２０３から各マクロブロック毎の動きベクトルを入力し、このマクロブロックに含まれる画素に対し、入力した動きベクトルを基に、所定範囲内で動きベクトルを再探索して、詳細な動きベクトルを求め、これを過去の参照画像フレームの画素に適用し、動きベクトルだけ移動させて、対象フレームの画素を増やす構成としてもよい。

さらに、動き方向を推定することにより、時間方向のフレーム画像を補間し、フレームレートを拡張することができる。例えば、１５ｆｐｓから３０ｆｐｓに拡張する。

もちろん動きベクトルを使わない構成をとることもできる。また、対象フレームのみを使用する場合は、エッジ部分を検出し、エッジ近傍の画素を適用して画素を増やしたり、エッジ近傍の画素に補正を加えたりすることで、解像度感を高め画質を改善するようにすることもできる。

超解像度変換部２０４は、超解像度変換後の動画信号を表示部２０５に出力する。表示部２０５は、変換後の動画信号を入力し表示を行う。

本実施例のゲートウェイ装置における処理手順を図８を参照して以下に説明する。

ステップＳ１：多重分離部１５５は、第１の端末から多重化信号を受信し、受信信号をＨ．２４５呼制御信号、ビデオ信号に分離し、分離後のＨ．２４５呼制御信号を呼制御部１５１に出力し、分離後のビデオ信号を、変換部１６０内の復号部１６１に供給する。

ステップＳ２：復号部１６１は、呼制御部１５１から第１の端末に関する能力情報にしたがって、ビデオ信号を復号する。

ステップＳ３：超解像度変換部１６３は、復号されたビデオ信号の解像度を拡大しながら、画質を改善する。

ステップＳ４：符号化部１６４は、呼制御部１５１から第２の端末に関する能力情報に基づき、超解像度変換部１６３からのビデオ信号を符号化する。

ステップＳ５：パケット送出部１５９は、符号化部１６４からの符号化された信号を入力し、ＲＴＰペイロードに含めてＲＴＰパケットとして送出する。

なお、上記したゲートウェイ装置のステップＳ１乃至Ｓ５は、ゲートウェイ装置を構成するコンピュータ上で実行されるプログラムによってその機能・処理を実現してもよいことは勿論である。以下の他の実施例も同様とされる。図９（Ａ）に示すように、ゲートウェイ装置を構成するコンピュータ（ＣＰＵ）は、記憶装置からプログラムをメモリにロードして実行することで、上記変換部の処理、多重分離部、パケット送出部、呼制御部の処理を実現する。なお、プログラムを記憶する記憶装置はゲートウェイ装置とネットワーク接続する構成としてもよいことは勿論である。

次に、本実施例において、第２の端末から第２のネットワーク、ゲートウェイ装置、第１のネットワークを介して信号を受信する第１の端末の処理手順を説明する。

ステップ１：多重分離部２００は、第２の端末からの受信信号をＨ．２４５呼制御信号、ビデオ信号に分離し、分離後のＨ．２４５呼制御信号を呼制御部２０１に出力し、分離後のビデオ信号を動画復号部２０３に出力する。

ステップ２：動画復号部２０３は、多重分離部２００からのビデオ信号を復号する。

ステップ３：超解像度変換部２０４は、復号されたビデオ信号の解像度を拡大しながら、画質を改善する。上記ステップ１〜３は、図８のステップＳ１〜Ｓ３に対応する。

ステップ４：表示部２０５は、変換後の動画信号を入力し表示を行う。

なお、上記した第１の端末のステップ１〜４は、第１の端末を構成するコンピュータ上で実行されるプログラムによってその機能・処理を実現してもよいことは勿論である。以下の実施例も同様とされる。図９（Ｂ）に示すように、第１の端末を構成するコンピュータ（ＣＰＵ）は、メモリに格納されたプログラムを実行することで、上記超解像度変換部の処理、多重分離部、呼制御部、動画復号部等の処理を実現する。なお、プログラムを記憶する記憶装置は第１の端末とネットワーク接続する構成としてもよいことは勿論である。

以上の実施例において、ビデオの圧縮符号化方式は問わず、Ｈ．２６３、ＭＰＥＧ−４、Ｈ．２６４など、どのような圧縮符号化方式でも対応することができる。

本発明の第１の実施例の作用効果を説明する。

第１の実施例によれば、第１の端末から第２の端末方向の通信において、第１のネットワーク（例えばモバイルネットワーク）に接続される第１の端末（例えば携帯端末）から受信した動画又は静止画信号に対し、ゲートウェイで解像度及び画像品質を拡張する変換を施した上で、前記変換後の動画又は静止画信号をパケットネットワークに接続される第２の端末に送出することができるので、第２のネットワーク（たとえばパケットネットワーク又はＮＧＮ）の下り方向の広帯域や第２の端末の高性能を生かしたサービスを提供することができ、第２の端末で高画質の画像を享受することができる。

次に、本発明の第２の実施例について説明する。モバイルネットワーク１３０がモバイルパケットネットワークである場合のゲートウェイ装置１５０の構成を図５と図６に示す。図５は、第１の端末から第２の端末方向の場合のゲートウェイ装置の構成を示し、図６は、第２の端末から第１の端末方向の場合のゲートウェイ装置の構成を示す。また、図７は、第２の端末から第１の端末方向の場合の第１の端末の構成を示す。なお、図５において、図２と同じ要素には、同一の参照番号が付されている。図５において、図２の構成要素と同一の要素は図２と同一の動作を行なうため、説明を省略する。

図５において、呼制御部３５１は、第１の端末１２０から、ＳＩＰ信号によるセッション制御信号を受信する。またＳＤＰ（Ｓｅｓｓｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ Ｐｒｏｔｏｃｏｌ）による第１の端末１２０の能力情報を受信する（図５の破線で示す）。呼制御部３５１は、第１の端末１２０の能力情報を変換部１６０に出力する。ここで、第１の端末１２０の能力情報として、例えば、ビデオコーデックはＭＰＥＧ−４ ＳＰ（Ｓｉｍｐｌｅ Ｐｒｏｆｉｌｅ） Ｌｅｖｅｌ ０、ビットレートは６４ｋｂｐｓ（キロビット／秒）、画面解像度はＱＣＩＦ、フレームレートは１５ｆｐｓ（フレーム／秒）とする。

さらに、呼制御部３５１は、第２の端末１９０との間で、例えばＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）及びＳＤＰ（Ｓｅｓｓｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ Ｐｒｏｔｏｃｏｌ）を用いて、呼制御情報（たとえば第２の端末１９０の受信ＩＰアドレスなど）及び能力情報をやりとりする（図５の破線で示す信号）。ここでは能力情報は、例えば、ビデオコーデックとしてＨ．２６４ ＢＰ（Ｂａｓｅｌｉｎｅ Ｐｒｏｆｉｌｅ）を搭載しており、ＢＰプロファイルで、レベルは１．２まで収容可能であるとする。これは最大ビットレートが３８４ｋｂｐｓ、画面解像度がＣＩＦ、フレームレートが１５ｆｐｓであることを意味する。呼制御部３５１は、これらの情報を変換部１６０に伝える。

パケット受信部２５５は、呼制御部３５１から第１の端末１２０の能力情報を受信する。パケット受信部２５５は、さらに、第１の端末１２０から、モバイルパケットネットワーク１３０を通してビデオパケットを受信し、該パケットのペイロード部分に格納されているビデオストリームを読み出して、変換部１６０の復号部１６１に出力する。

変換部１６０は、呼制御部３５１から、第１の端末１２０に関する能力情報と第２の端末１９０に関する能力情報の両者を受信し、前者を復号部１６１に供給し、後者を超解像度変換部１６３及び符号化部１６４に供給する。なお、変換部１６０の動作自体は、図２と同じなので、説明を省略する。

パケット送出部１５９は、呼制御部３５１から、送出先の第２の端末に関するＩＰアドレスなどを受信し、さらに変換部１６０から変換後のビデオストリームを入力する。パケット送出部１５９の動作自体は図２と同じなので、説明を省略する。本実施例におけるゲートウェイ装置における解像度変換の処理手順は、第１の実施例で参照した図８の流れ図において、ステップＳ１において、パケット受信処理となる点が相違するだけであり、他は同一であるため説明は省略する。

図６は、第２の端末から第１の端末方向の場合のゲートウェイ装置の構成を示す。図６において、図３と同じ番号を付した構成要素は図３と同一の動作を行なうので、説明を省略する。

図６において、呼制御部４５１は、第２の端末１９０からＳＩＰによるセッション制御信号を受信し、ＳＤＰ（Ｓｅｓｓｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ Ｐｒｏｔｏｃｏｌ）による能力情報を受信する（図６の呼制御部４５１に入力される破線）。呼制御部４５１は、これらの情報をパケット受信部１７２及びパケット送出部２７５に出力するとともに、第１の端末１２０に送出する（図６の呼制御部４５１から出力される破線）。

パケット送出部２７５は、呼制御部４５１から第１の端末１２０の受信ＩＰアドレスなどを入力し、パケット受信部１７２からビデオＲＴＰパケットを入力し、第１のネットワーク１３０に向けて送出する。

図７は、モバイルパケットネットワークに接続され、第２の端末１９０から第１の端末１２０方向の通信の場合の第１の端末１２０の構成を示す。図７において、図４と同一の番号を付した構成要素は図４と同一の動作をするので、説明は省略する。

図７において、呼制御部３０１は、ゲートウェイ装置１５０から、ＳＩＰ信号によるセッション制御信号を受信する。また、ＳＤＰ（Ｓｅｓｓｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ Ｐｒｏｔｏｃｏｌ）によるビデオ信号の能力情報を受信する（図７の呼制御部３０１に入力される破線）。呼制御部３０１は、これらの情報を、動画復号部３０３、音声復号部３０２、動画パケット受信部２９０と音声パケット受信部２８０に出力する。ここで能力情報は、例えば、ビデオコーデックはＭＰＥＧ−４ ＳＰ（Ｓｉｍｐｌｅ Ｐｒｏｆｉｌｅ） Ｌｅｖｅｌ ０、ビットレートは６４ｋｂｐｓ、画面解像度はＱＣＩＦ、フレームレートは１５ｆｐｓ、音声コーデックはＡＭＲ（Ａｄａｐｔｉｖｅ Ｍｕｌｔｉ−Ｒａｔｅ）とする。

動画パケット受信部２９０は、呼制御部３０１からビデオ信号に関する能力情報を入力し、モバイルネットワーク１３０からビデオＲＴＰパケットを受信し、ＲＴＰパケットのペイロード部に格納されているビデオストリームを読み出して動画復号部３０３に出力する。

動画復号部３０３は、呼制御部３０１からビデオ信号に関する能力情報を入力し、動画パケット受信部２９０からビデオストリームを入力し、能力情報に従い、ビデオ信号を復号して出力する。本実施例では、例えば、圧縮符号化方式は、ＭＰＥＧ−４ ＳＰ＠Ｌ０、画面解像度はＱＣＩＦ、ビットレートは６４ｋｂｐｓ、フレームレートは１５ｆｐｓとする。

音声パケット受信部２８０は、モバイルネットワーク１３０から音声ＲＴＰパケットを受信し、ＲＴＰパケットのペイロード部に格納されている音声ストリームを読み出して出力する。

音声復号部３０２は、呼制御部３０１から能力情報として音声コーデック情報を入力し、音声パケット受信部２８０から音声ストリームを入力し、音声を復号して出力する。ここで、音声コーデックは、例えばＡＭＲ音声コーデックとする。

本発明の第２の実施例の作用効果を説明する。

第２の実施例によれば、第２の端末から第１の端末方向への通信において、ゲートウェイから受信した動画又は静止画信号を第１の端末で復号した上で解像度及び画像品質を拡張する変換を施した上で出力・表示することにより、第１の端末で高画質の画像を享受することができる。

以上説明したすべての実施の形態では、Ｃ−Ｐｌａｎｅ（Ｃｏｎｔｒｏｌ Ｐｌａｎｅ）処理である呼制御部と、Ｕ−Ｐｌａｎｅ（Ｕｓｅｒ Ｐｌａｎｅ）処理である、Ｈ．２２３多重化分離部、パケット受信部、変換部、パケット送出部などを全てサーバ装置に配置したが、Ｃ−Ｐｌａｎｅ処理とＵ−Ｐｌａｎｅ処理とを各々別々の装置に分離する構成をとることもできる。この構成によれば、Ｃ−ＰｌａｎｅとＵ−Ｐｌａｎｅを独立に、スケーラビリティをもたすことができる。

また、上記実施の形態では、ビデオ（動画）信号を対象にしたが、静止画信号に対しても上記と同様の構成をとることができる。

上記した本実施例をまとめると以下の構成とされる。

［１］本実施例の通信システムは、第１のネットワークと、前記第１のネットワークに接続された第１の端末と、第２のネットワークと、前記第２のネットワークに接続された第２の端末と、前記第１、第２のネットワークに接続されたゲートウェイ装置と、を備えた通信システムであって、
前記ゲートウェイ装置は、画像信号の解像度及び画質を拡張する変換を施す変換部を備え、前記第１の端末から前記第１のネットワークに送出された動画又は静止画を含む画像信号を受信し、前記受信した画像信号に対して前記変換部にて解像度及び画質を拡張する変換を施し、前記変換後の画像信号を前記第２のネットワークに接続された前記第２の端末に対して送出し、
さらに、前記ゲートウェイ装置は、前記第２の端末から前記第２のネットワークに送出された動画又は静止画を含む画像信号を受信し、前記受信した画像信号を前記第１のネットワークに出力し、
前記第１の端末は、前記ゲートウェイ装置から前記第１のネットワークに出力された画像信号を受信し、受信した画像信号を復号した上で、解像度及び画像品質を拡張する変換を施す変換部を備えている。

［２］ 本実施例の通信システムは、上記［１］において、
前記ゲートウェイ装置は、
前記第１の端末から前記第１のネットワークに送出された動画又は静止画を含む画像信号を受信する受信部と、
前記変換部で変換後の画像信号を、前記第２のネットワークに接続された前記第２の端末に対して送出する送出部と、
前記第２の端末から前記第２のネットワークを介して動画又は静止画を含む画像信号を受信する第２の受信部と、
前記受信した画像信号を前記第１のネットワークに接続された前記第１の端末に対して送出する第２の送出部と、
を備えている。

［３］ 本実施例の通信システムは、上記［２］において、
前記ゲートウェイ装置の前記変換部は、
前記受信部で受信した画像信号に対し、前記第１の端末に関する能力情報に対応した方式で復号する復号部と、
前記第２の端末に関する能力情報に基づき、前記復号された画像信号の解像度を変換し画質を改善する解像度変換部と、
前記解像度変換部で変換された画像信号を入力し前記第２の端末に関する能力情報に対応した方式で符号化する符号化部と、
を備えている。

［４］ 本実施例の通信システムは、上記［１］乃至［３］のいずれかにおいて、
前記第１の端末の前記変換部は、
前記受信した画像信号を復号する復号部と、
前記復号された画像信号の解像度を変換し画質を改善する解像度変換部と、
を備え、さらに前記変換された画像信号を表示する表示部を備えている。

［５］ 本実施例の通信システムは、上記［３］又は［４］のいずれかにおいて、
前記解像度変換部は、前記復号部で復号された動きベクトルを基に、過去の参照画像に対して動きベクトルの再探索を行い、再探索された動きベクトルを前記参照画像に適用した画像を用いて、前記画像信号の解像度の変換を行う。

［６］ 本実施例の通信システムは、上記［１］乃至［５］のいずれかにおいて、
前記第１のネットワークがモバイル回線交換ネットワーク又はモバイルパケットネットワークであり、前記第２のネットワークがパケットネットワーク又は次世代ネットワーク（ＮＧＮ：Ｎｅｘｔ Ｇｅｎｅｒａｔｉｏｎ Ｎｅｔｗｏｒｋ）である。

［７］ 本実施例の通信システムは、上記［１］乃至［５］のいずれかにおいて、
前記第１のネットワークがモバイル回線交換ネットワーク又はモバイルパケットネットワークであり、前記第２のネットワークが３．９世代又は４世代のモバイルパケットネットワークである。

［８］ 本実施例の通信方法は、
ゲートウェイは、第１の端末から第１のネットワークを介して送信された動画又は静止画を含む画像信号を受信し、前記受信した画像信号に対して解像度及び画質を拡張する変換を施し、前記変換後の画像信号を第２のネットワークを介して第２の端末に送信し、
前記ゲートウェイは、前記第２の端末から前記第２のネットワークを介して送信された動画又は静止画を含む画像信号を受信し、前記受信した画像信号を前記第１のネットワークに出力し、
前記第１の端末は、前記ゲートウェイから前記第１のネットワークに出力された画像信号を受信し復号した上で解像度及び画像品質を拡張する変換を施す。

［９］ 本実施例の通信方法は、上記［８］において、
前記ゲートウェイは、前記受信した画像信号に対し、前記第１の端末に関する能力情報に対応した方式で復号し、
前記第２の端末に関する能力情報に基づき、前記復号された画像信号の解像度を変換し画質を改善する解像度変換を行い、
前記変換された画像信号を、前記第２の端末に関する能力情報に対応した方式で符号化する。

［１０］ 本実施例の通信方法は、上記［８］又は［９］において、
前記第１の端末において、
前記受信した画像信号を復号し、
前記復号された画像信号の解像度を変換し画質を改善する解像度変換を行い、
前記変換された画像信号を表示する。

［１１］ 本実施例の通信方法は、上記［８］〜［１０］のいずれかにおいて、
前記第１のネットワークがモバイル回線交換ネットワーク又はモバイルパケットネットワークであり、前記第２のネットワークがパケットネットワーク又は次世代ネットワーク（ＮＧＮ：Ｎｅｘｔ Ｇｅｎｅｒａｔｉｏｎ Ｎｅｔｗｏｒｋ）である。

［１２］ 本実施例の通信方法は、上記［８］〜［１０］のいずれかにおいて、
前記第１のネットワークがモバイル回線交換ネットワーク又はモバイルパケットネットワークであり、前記第２のネットワークが３．９世代又は４世代のモバイルパケットネットワークである。

［１３］ 本実施例のゲートウェイ装置は、
第１のネットワークに接続された第１の端末と、第２のネットワークに接続された第２の端末と、に接続されるゲートウェイ装置であって、
前記第１の端末から送信された動画又は静止画を含む画像信号を前記第１のネットワークを介して受信する第１の受信部と、
前記受信した画像信号に対して解像度及び画質を拡張する変換を施す変換部と、
前記変換後の画像信号を前記第２のネットワークに接続された第２の端末に対して送出する第１の送出部と、
前記第２の端末から送信された動画又は静止画を含む画像信号を前記第２のネットワークを介して受信する第２の受信部と、
前記受信した画像信号を前記第１のネットワークに接続された前記第１の端末に対して送出する第２の送出部と、
を備える。

［１４］ 本実施例のゲートウェイ装置は、上記［１３］において、
前記変換部は、前記受信部で受信した画像信号に対し、前記第１の端末に関する能力情報に対応した方式で復号する復号部と、
前記第２の端末に関する能力情報に基づき、前記復号された画像信号の解像度を変換し画質を改善する解像度変換部と、
前記解像度変換部で変換された画像信号を入力し前記第２の端末に関する能力情報に対応した方式で符号化する符号化部と、を備えている。

［１５］ 本実施例のゲートウェイ装置は、上記［１３］又は［１４］において、
前記解像度変換部は、前記復号部で復号された動きベクトルを基に、過去の参照画像に対して動きベクトルの再探索を行い、再探索された動きベクトルを前記参照画像に適用した画像を用いて、前記画像信号の解像度の変換を行う。

［１６］ 本実施例のプログラムは、
第１のネットワークに接続された第１の端末と、第２のネットワークに接続された第２の端末と、に接続されるゲートウェイ装置を構成するコンピュータに、
前記第１の端末からの動画又は静止画を含む画像信号を前記第１のネットワークを介して受信する処理と、
前記受信した画像信号に対して、解像度及び画質を拡張する変換を施す変換処理と、
前記変換後の画像信号を、前記第２のネットワークに接続された第２の端末に対して送出する処理と、
前記第２の端末からの動画又は静止画を含む画像信号を前記第２のネットワークを介して受信する処理と、
前記受信した画像信号を、前記第１のネットワークに接続された前記第１の端末に対して送出する処理と、を実行させるプログラムを含む。

［１７］ 本実施例のプログラムは、上記［１６］において、
前記変換処理は、前記受信した画像信号に対し、前記第１の端末に関する能力情報に対応した方式で復号し、
前記第２の端末に関する能力情報に基づき、前記復号された画像信号の解像度を変換し画質を改善する解像度変換を施し、
前記変換された画像信号を入力し前記第２の端末に関する能力情報に対応した方式で符号化する。

［１８］ 本実施例の端末は、
第１のネットワークを介してゲートウェイ装置に動画又は静止画を含む画像信号を送信し、第２のネットワークを介して前記ゲートウェイ装置に送信された動画又は静止画を含む画像信号を受信する端末であって、
前記第２のネットワークに接続された第２の端末から前記ゲートウェイ装置を介して動画又は静止画を含む画像信号を受信する受信部と、
前記受信した画像信号を復号する復号部と、
前記復号された画像信号の解像度を変換し画質を改善する解像度変換を施す変換部と、
前記変換された信号を表示する表示部と、
を備えている。

［１９］ 本実施例のプログラムは、
第１のネットワークを介してゲートウェイ装置に動画又は静止画を含む画像信号を送信し、前記第２のネットワークを介して前記ゲートウェイ装置に送信された動画又は静止画を含む画像信号を受信する端末を構成するコンピュータに、
前記第２のネットワークに接続された第２の端末から前記ゲートウェイ装置を介して動画又は静止画を含む画像信号を受信する受信処理と、
前記受信した画像信号を復号する復号処理と、
前記復号された画像信号の解像度を変換し画質を改善する解像度変換を施す変換処理と、
前記変換された信号を表示する表示処理と、
を実行させるプログラムを含む。

なお、上記の特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。

１２０ 第１の端末
１３０ 第１のネットワーク
１５０ ゲートウェイ装置
１５１、２５１、３５１、４５１ 呼制御部
１５５、２００ 多重分離部
１５９、２７５ パケット送出部
１６０ 変換部
１６１ 復号部
１６２ フレームメモリ
１６３ 超解像度変換部
１６４ 符号化部
１７０ 第２のネットワーク
１７２、２５５ パケット受信部
１７５ 多重部
１９０ 第２の端末
２０１、３０１ 呼制御部
２０２、３０２ 音声復号部
２０３、３０３ 動画復号部
２０４ 超解像度変換部
２０５ 表示部
２８０ 音声パケット受信部
２９０ 動画パケット受信部

Claims (7)

1. 第１のネットワークと、前記第１のネットワークに接続された第１の端末と、第２のネットワークと、前記第２のネットワークに接続された第２の端末と、前記第１、第２のネットワークに接続されたゲートウェイ装置と、を備えた通信システムであって、
   前記ゲートウェイ装置は、
   前記第１の端末から前記第１のネットワークに送出された動画又は静止画を含む画像信号を受信する第１の受信部と、
   前記第１の受信部で受信した画像信号に対して解像度及び画質を拡張する変換を施す変換部と、
   前記変換部で変換後の画像信号を前記第２のネットワークに接続された前記第２の端末に対して送出する第１の送出部と、
   前記第２の端末から前記第２のネットワークに送出された動画又は静止画を含む画像信号を受信する第２の受信部と、
   前記第２の受信部で受信した画像信号を前記第１のネットワークに接続された前記第１の端末に対して送出する第２の送出部と、
   を備え、
   前記第１の端末は、
   画像信号の解像度及び画像品質を拡張する変換を施す変換部を備え、
   前記ゲートウェイ装置から前記第１のネットワークに出力された画像信号を受信し、前記受信した画像信号を復号した上で、前記第１の端末の前記変換部で、前記復号された画像信号の解像度及び画像品質を拡張する変換を施し、
   前記ゲートウェイ装置において、
   前記変換部は、
   前記第１の受信部で受信した画像信号に対し、前記第１の端末に関する能力情報に対応した方式で復号する復号部と、
   前記第２の端末に関する能力情報に基づき、前記復号された画像信号の解像度を変換し画質を改善する解像度変換部と、
   前記解像度変換部で変換された画像信号を入力し前記第２の端末に関する能力情報に対応した方式で符号化する符号化部と、
   を備えている、ことを特徴とする通信システム。
2. 前記第１の端末は、
   前記ゲートウェイ装置から前記第１のネットワークに出力された画像信号を受信する受信部と、
   前記受信した画像信号を復号する復号部と、
   前記第１の端末の前記変換部をなし、前記復号された画像信号の解像度を変換し画質を改善する解像度変換部と、
   前記変換された画像信号を表示する表示部と、
   を備えている、ことを特徴とする請求項１に記載の通信システム。
3. 前記解像度変換部は、前記復号部で復号された動きベクトルを基に、過去の参照画像に対して動きベクトルの再探索を行い、再探索された動きベクトルを前記参照画像に適用した画像を用いて、前記画像信号の解像度の変換を行う、ことを特徴とする請求項１又は２記載の通信システム。
4. ゲートウェイは、第１の端末から第１のネットワークを介して送信された動画又は静止画を含む画像信号を受信し、
   前記受信した画像信号に対して解像度及び画質を拡張する変換を施し、前記変換後の画像信号を第２のネットワークを介して第２の端末に送信し、
   前記ゲートウェイは、前記第２の端末から前記第２のネットワークを介して送信された動画又は静止画を含む画像信号を受信し、前記受信した画像信号を前記第１のネットワークに出力し、
   前記第１の端末は、前記ゲートウェイから前記第１のネットワークに出力された画像信号を受信し復号した上で解像度及び画像品質を拡張する変換を施し、
   前記ゲートウェイにおいて、
   前記第１の端末から受信した画像信号に対し、前記第１の端末に関する能力情報に対応した方式で復号し、
   前記第２の端末に関する能力情報に基づき、前記復号された画像信号の解像度を変換し画質を改善し、
   前記解像度は変換された画像信号を入力し前記第２の端末に関する能力情報に対応した方式で符号化する、ことを特徴とする通信方法。
5. 第１のネットワークに接続された第１の端末と、第２のネットワークに接続された第２の端末と、に接続されるゲートウェイ装置であって、
   前記第１の端末から送信された動画又は静止画を含む画像信号を前記第１のネットワークを介して受信する第１の受信部と、
   前記受信した画像信号に対して解像度及び画質を拡張する変換を施す変換部と、
   前記変換後の画像信号を前記第２のネットワークに接続された第２の端末に対して送出する第１の送出部と、
   前記第２の端末から送信された動画又は静止画を含む画像信号を前記第２のネットワークを介して受信する第２の受信部と、
   前記受信した画像信号を前記第１のネットワークに接続された前記第１の端末に対して送出する第２の送出部と、
   を備え、
   前記変換部は、前記受信部で受信した画像信号に対し、前記第１の端末に関する能力情報に対応した方式で復号する復号部と、
   前記第２の端末に関する能力情報に基づき、前記復号された画像信号の解像度を変換し画質を改善する解像度変換部と、
   前記解像度変換部で変換された画像信号を入力し前記第２の端末に関する能力情報に対応した方式で符号化する符号化部と、
   を備えている、ことを特徴とするゲートウェイ装置。
6. 前記解像度変換部は、前記復号部で復号された動きベクトルを基に、過去の参照画像に対して動きベクトルの再探索を行い、再探索された動きベクトルを前記参照画像に適用した画像を用いて、前記画像信号の解像度の変換を行う、ことを特徴とする請求項５記載のゲートウェイ装置。
7. 第１のネットワークを介して、請求項５又は６記載のゲートウェイ装置に動画又は静止画を含む画像信号を送信し、第２のネットワークを介して前記ゲートウェイ装置に送信された動画又は静止画を含む画像信号を受信する端末であって、
   前記第２のネットワークに接続された第２の端末から前記ゲートウェイ装置を介して動画又は静止画を含む画像信号を受信する受信部と、
   前記受信した画像信号を復号する復号部と、
   前記復号された画像信号の解像度を変換し画質を改善する解像度変換を施す変換部と、
   前記変換された信号を表示する表示部と、
   を備えている、ことを特徴とする端末。

Images