JP5516408B2 - ゲートウェイ装置と方法とシステム - Google Patents

ゲートウェイ装置と方法とシステム Download PDF

Info

Publication number
JP5516408B2
JP5516408B2 JP2010530871A JP2010530871A JP5516408B2 JP 5516408 B2 JP5516408 B2 JP 5516408B2 JP 2010530871 A JP2010530871 A JP 2010530871A JP 2010530871 A JP2010530871 A JP 2010530871A JP 5516408 B2 JP5516408 B2 JP 5516408B2
Authority
JP
Japan
Prior art keywords
network
image
terminal
image signal
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010530871A
Other languages
English (en)
Other versions
JPWO2010035787A1 (ja
Inventor
一範 小澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2010530871A priority Critical patent/JP5516408B2/ja
Publication of JPWO2010035787A1 publication Critical patent/JPWO2010035787A1/ja
Application granted granted Critical
Publication of JP5516408B2 publication Critical patent/JP5516408B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309Transmission or handling of upstream communications
    • H04N7/17318Direct or substantially direct transmission and handling of requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10Architectures or entities
    • H04L65/102Gateways
    • H04L65/1023Media gateways
    • H04L65/103Media gateways in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/756Media network packet handling adapting media to device capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/765Media network packet handling intermediate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

(関連出願についての記載)
本発明は、日本国特許出願:特願2008−248151号(2008年 9月26日出願)の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、第1のネットワークに接続された第1の端末から画像信号を受信し、第2のネットワークに接続された第2の端末に送出するゲートウェイ装置に関する。
第1のネットワークが例えばモバイルネットワークで、第2のネットワークが例えばパケットネットワークまたは次世代ネットワーク(NGN:Next Generation Network)というように、異なるネットワーク間をつなげて、それぞれのネットワークに接続される端末同士で相互に動画や静止画をやりとりするサーヒスが始まっており、これらのサービスにはゲートウェイ装置が使用されている。
端末間で動画または静止画を用いた通信を行う場合、動画信号に対しては、低ビットレートで効率良く伝送するために端末側で圧縮符号化を行う。これらの方式としては、
ITU−T(International Telecommunication Union for Telecommunication Standardization sector)勧告H.263や、ISO/IEC(International Organization for Standardization /International Electro technical Commission)で国際標準化されているMPEG−4(Moving Picture Experts Group Phase 4)が知られている。また、ITU−TとISO/IECで国際標準化されたH.264/MPEG−4 AVC(Advanced Video Coding)によれば、前記動画像圧縮符号化方式よりもより効率良く圧縮することができる。
動画像の変換を行うゲートウェイとして、例えば特許文献1には、サーバからの動画像データを送信すべき端末の特性から導出された符号化パラメータ(符号化方式、フレームサイズ等)を用いて変換するゲートウェイが開示されている。また、時間解像度の拡大については、特許文献2に、低解像度の動画像を時間軸方向のサンプル数(フレームレート)をアップサンプリングし、不要な高域成分を除去し、非線形予測により時間軸方向に高域予測を行ない、高域予測が正しい場合、時間解像度の拡大を行う構成が開示されている。なお、以下の説明からも明らかとされるように、本発明は、これら特許文献に記載の発明とは全く相違している。
特開2001−313937号公報 特開2007−74307号公報
上記特許文献1及び2の全開示内容はその引用をもって本書に繰込み記載する。
以下に本発明による分析を与える。
従来のサービス及び装置によれば、第2のネットワークの特に下り方向が、第1のネットワークの特に上り方向に比べ、帯域幅が数倍以上に広く、第2の端末がより高精細な画像を扱える能力がある場合が多い。そのような場合であっても、第1のネットワークに接続される端末から送出された、解像度および画質が十分でない動画または静止画信号を、ゲートウェイ装置でそのまま第2のネットワークに送出しているため、第2のネットワークに接続される第2の端末でそのような動画や静止画を表示させると、解像度や画質が十分でない。このために、このようなサ−ビス自体の加入者は増えていき難い。
本発明の目的は、第1のネットワークに接続される第1の端末から受信した画像信号に対して変換を施した上で第2のネットワークに接続される第2の端末に送出し第2の端末に十分な解像度や画質を与えることができるゲートウェイ装置、方法、システム、プログラムを提供することにある。
本書で開示される発明は、課題を解決するため概略以下の構成とされる。
本発明の1つの側面において、第1のネットワークに接続された第1の端末から、動画又は静止画を含む画像信号を受信する受信部と、前記受信した画像信号に対して、解像度及び画質を拡張する変換を施す変換部と、第2のネットワークに接続された第2の端末に対して、前記変換後の画像信号を送出する送出部と、を備えるゲートウェイ装置が提供される。
本発明の他の側面において、第1のネットワークに接続された第1の端末から、動画又は静止画を含む画像信号を受信し、
前記受信した画像信号に対して、解像度及び画質を拡張する変換を施し、
第2のネットワークに接続された第2の端末に対して、前記変換後の画像信号を送出する、ゲートウェイ方法が提供される。
本発明の他の側面において、第1のネットワークに接続された第1の端末から、動画又は静止画を含む画像信号を受信する受信処理と、前記受信した画像信号に対して、解像度及び画質を拡張する変換を施す変換処理と、
第2のネットワークに接続された第2の端末に対して、前記変換後の画像信号を送出する送出処理と、
をゲートウェイ装置を構成するコンピュータに実行させるプログラムが提供される。
本発明の他の側面において、第1のネットワークに接続された第1の端末と、第2のネットワークに接続された第2の端末と、ゲートウェイ装置と、を備え、前記ゲートウェイ装置は、前記第1の端末から動画又は静止画を含む画像信号を受信し、前記受信した画像信号に対して、解像度及び画質を拡張する変換を施し、
前記第2の端末に対して、前記変換後の画像信号を送出する、ネットワークシステムが提供される。
本発明によれば、第1のネットワークに接続される第1の端末(例えば携帯電話)から受信した画像信号に対して適宜転換を施した上で、第2のネットワークに接続される第2の端末に送出し、第2の端末に十分な解像度や画質を与えることができる。
本発明の一実施例のシステム構成を示す図である。 本発明に係るゲートウェイ装置の第1の実施例の構成を示す図である。 本発明に係るゲートウェイ装置の第2の実施例の構成を示す図である。 本発明に係るゲートウェイ装置の処理手順の一例を示す図である。 本発明に係るゲートウェイ装置の実施例の変形例を示す図である。
120 第1の端末
130 モバイルネットワーク
150 ゲートウェイ装置
151、251 呼制御部
155 多重分離部
159 パケット送出部
160 変換部
161 復号部
162 フレームメモリ
163 超解像度変換部
164 符号化部
170 パケットネットワーク
190 第2の端末
255 パケット受信部
本発明の実施の形態について説明する。本発明の1つの形態によれば、第1のネットワークに接続された第1の端末から、動画または静止画信号を含むストリームまたはパケットを受信する受信部と、前記受信した動画または静止画信号に対し解像度および画質を拡張する変換を施す変換部と、前記変換後の信号を第1のネットワークと異なる第2のネットワークに接続された第2の端末に送出する送出部とを備えるゲートウェイ装置が提供される。
本発明によれば、第1のネットワークがモバイル回線交換ネットワークであり、第2のネットワークがパケットネットワークまたは次世代ネットワーク(NGN)であるゲートウェイ装置が提供される。
本発明によれば、第1のネットワークがモバイルパケットネットワークであり、第2のネットワークがパケットネットワークまたは次世代ネットワーク(NGN)であるゲートウェイ装置が提供される。以下実施例に即して説明する。
以下の実施例では、ビデオ(動画)信号を使う場合の構成例を説明する。図1は、本発明によるゲートウェイ装置と第1のネットワーク、第2のネットワーク、第1の端末、第2の端末との接続形態の例を示している。
図1において、120は第1の端末の例を示し、ここでは携帯端末としている。130は第1のネットワークの例を示しており、ここではモバイルネットワークとしている。ゲートウェイ装置150は、第1のネットワークから受信したビデオストリームまたはビデオパケットに対し、解像度及び画質を拡張する変換を施した上で、変換後の動画ストリームまたはパケットを、第2のネットワーク170を通して第2の端末190に送出する。ここで、第2のネットワークには、例えば、固定網のパケットネットワークや次世代ネットワーク(NGN:Next Generation Network)などを適用することができる。
本実施例において、モバイルネットワーク130が、モバイル回線交換ネットワークの場合と、モバイルパケットネットワークの場合の両者に適用することができるが、どちらであるかにより、ゲートウェイ装置150の構成が異なってくる。以下では、これらの各々の場合について、ゲートウェイ装置150の構成を、図2および図3にそれぞれ示す。
図2は、モバイルネットワーク130がモバイル回線交換ネットワークの場合の、ゲートウェイ装置150の要部構成の一例を示す図である。図2に示すように、ゲートウェイ装置150は、多重分離部155、呼制御部151、変換部160、パケット送出部159を備えている。
図1及び図2を参照して、携帯端末120からモバイル回線交換ネットワーク130を通してゲートウェイ装置150に接続されている例について説明する。
携帯端末120は、3G324Mプロトコル(3G携帯電話網とIP網の呼接続制御ププロトコル)を実装しているとものする。なお、3G324Mプロトコルの詳細は、例えば、3GPP TS26.110規格やTR26.911規格を参照することができる。
図2において、ゲートウェイ装置150の多重分離部155は、H.223多重化信号を受信し、H.245呼制御信号、ビデオ信号、音声信号を分離する。
多重分離部155は、分離後のH.245呼制御信号を呼制御部151に出力し、分離後のビデオ信号を、変換部160のなかの復号部161に出力する。ここで、H.223およびH.245の詳細は、それぞれ、ITU−T H.223規格およびITU−T H.245規格を参照することができる。
呼制御部151は、H.245呼制御信号を解析し、ビデオ信号の復号に必要な第1の端末(120)に関する能力情報を、変換部160の復号部161に出力する。
特に制限されないが、この例では、第1の端末の能力情報は例えば、ビデオコーデックは、MPEG−4 SP@L 0 (Simple Profile Level 0)、ビットレートは64kbps(キロビット/秒)、画面解像度はQCIF(Quadrature Common Intemediate Format)、フレームレートは15fps(フレーム/秒)とする。
呼制御部151は、さらに、パケットネットワーク170を通して接続される第2の端末190との間で、例えば、SIP(Session Initiation Protocol)及びSDP(Session Description Protocol)を用いて、呼制御情報(例えば第2の端末190の受信IPアドレスなど)及び能力情報(図2において呼制御部151からの破線で示す信号)をやりとりする。特に制限されないが、この例では、第2の端末の能力情報としては、例えば、ビデオコーデックとしてH.264 BP(Baseline Profile)を搭載しており、BPプロファイルで、レベルは1.2まで収容可能であるものとする。これは、最大ビットレートが384kbps、画面解像度がCIF(Common Intermediate Format)、フレームレートが15fpsであることを意味する。呼制御部151は、第2の端末に関するこれらの情報を変換部160に伝える。
変換部160は、復号部161、フレームメモリ162、超解像度変換部163、符号化部164を備えている。
復号部161は、呼制御部151から第1の端末に関する能力情報を受信し、例えば、MPEG−4 SPレベル0、ビットレート64kbps、画面解像度QCIF、フレームレート15fpsで復号する。復号部161は、復号したビデオ信号をフレーム毎に、一旦フレームメモリ162に格納する。
超解像度変換部163は、呼制御部151から第2の端末に関する能力情報を受信し、フレームメモリ162に格納されたビデオ信号を読み出し、解像度を拡大しながら画質を改善する処理を行う。
解像度に拡大として、
・変換対象の画像フレームに対し、参照画像として、複数枚の画像フレームを使用して画素数を増やしながら解像度を拡大する手法や、
・変換対象の画像フレーム内で異なる箇所の画素を用いて画素数を増やす手法、
が用いられる。超解像度変換部163では、これらの手法のうち、超解像度変換部163の処理に割り当てることのできる演算量とメモリ量の制約の中で最適な手法を選択する構成としてもよい。
超解像度変換部163において、変換対象フレームに対して、過去(時間的に前)の参照フレームを用いる場合、復号部161で復号されたマクロブロック毎の動きベクトルを入力し、該マクロブロックに含まれる画素に対して、前記動きベクトルを基に、動きベクトル探索処理(参照フレームの探索範囲内のマクロブロックのうち、変換対象フレームの当該マクロブロックとの差分が最も小さくなる位置を求める)を再実行することで、詳細な動きベクトルを求める(例えば半画素単位)。そして、再探索で求めた詳細な動きベクトルを過去の参照フレームの画素に適用し、前記詳細な動きベクトル分だけ移動させたフレームを用いて、変換対象フレームの画素を増やす構成をとることもできる。あるいは、復号部161からのマクロブロックの動きベクトルを使わずに、変換対象フレーム(現フレーム)と参照フレームから動きベクトルを探索する構成としてもよい。
また、超解像度変換部163においては、解像度拡大対象のフレームのみを使用する場合には、エッジ部分を検出し、エッジ近傍の画素を適用して画素を増やしたり、エッジ近傍の画素に補正を加えたり、エッジを検出して強調する、という処理を行うことで、解像度を高め、画質を改善する処理を行う。この処理は、動画及び/又は静止画に対して行われる。
超解像度変換部163においては、動き方向を推定することにより、時間方向のフレーム画像を補間し(前後フレームの間に1つフレームを挿入)、フレームレートを補間することで、例えばフレームレートを15fpsから30fpsに拡張する処理を行う。
符号化部164は、呼制御部151から第2の端末に関する能力情報を受信し、さらに超解像度変換部163からの出力信号を入力し、例えばH.264 BP Level 1.2符号化方式を用いて、ビットレート384kbps、画面解像度CIF、フレームレート15fpsで符号化する。
また、符号化部164において、動きベクトル探索の演算量を削減するために、復号部161から動きベクトル情報を入力し、入力した動きベクトル情報を基に(動きベクトルに対して解像度の拡大に対応した変換を施し)、超解像度変換部163で変換された画像信号に対して、該動きベクトルの近傍を探索して、新たに動きベクトルを求める構成としてもよい。
パケット送出部159は、呼制御部151から第2の端末190の受信IPアドレスを入力し、符号化部164からH.264による圧縮符号化ストリームを入力しRTPペイロードに含めてRTPパケットとして、前記受信IPアドレスあてに送出する。
なお、パケット送出部159から送出されたRTPパケットは、パケットネットワーク170を伝送され、第2の端末190で受信される。
本実施例のゲートウェイ装置における処理手順を図4を参照して以下に説明する。
ステップS1:多重分離部155は、第1の端末からH.223多重化信号を受信する。多重分離部155は、受信信号をH.245呼制御信号、ビデオ信号に分離し、分離後のH.245呼制御信号を呼制御部151に出力し、分離後のビデオ信号を、変換部160のなかの復号部161に出力する。
ステップS2:復号部161は、呼制御部151から第1の端末に関する能力情報にしたがって、ビデオ信号を復号する。
ステップS3:超解像度変換部163は、復号されたビデオ信号の解像度を拡大しながら、画質を改善する。
ステップS4:符号化部164は、呼制御部151から第2の端末に関する能力情報に基づき、超解像度変換部163からのビデオ信号を符号化する。
ステップS5:パケット送出部159は、符号化部164で符号化された信号をRTPペイロードに含めてRTPパケットとして送出する。
なお、上記したゲートウェイ装置におけるステップS1乃至S5は、ゲートウェイ装置を構成するコンピュータ上で実行されるプログラムによってその機能・処理を実現してもよいことは勿論である。以下の他の実施例も同様とされる。この場合、図5に示すように、ゲートウェイ装置を構成するコンピュータ(CPU)は、記憶装置からプログラムをメモリ(Memory)にロードして実行することで上記変換部の処理、パケット受信部、パケット送信部、呼制御部の処理を実現する。なお、プログラムを記憶する記憶装置はゲートウェイ装置とネットワーク接続する構成としてもよいことは勿論である。
以上の実施例において、ビデオの圧縮符号化方式は問わず、H.263、MPEG−4、H.264など、どのような圧縮符号化方式でも対応することができる。
本実施例の作用効果を説明する。
本実施例によれば、第1のネットワーク(例えばモバイルネットワーク)に接続される第1の端末(例えば携帯電話)から受信した動画または静止画信号に対し、ゲートウェイ装置で解像度および画像品質を拡張する変換を施した上で、前記変換後の動画または静止画信号をパケットネットワークに接続される第2の端末に送出することができるので、第2のネットワーク(例えばパケットネットワークまたはNGN)の下り方向の広帯域や第2の端末の高性能を生かしたサービスを提供することができ、高画質の画像を享受することができる。
図3は、本発明によるゲートウェイ装置150の第2の実施例の要部構成を示す図である。ここでは、モバイルネットワーク130が、モバイルパケットネットワークである場合の構成を示している。図3において、図2と同じ構成要素には、同一の参照番号が付しされている。図3において、図2と同一の参照符号の構成要素は図2と同一の動作を行なうので、重複を回避するため、適宜説明を省略する。
呼制御部251は、第1の端末120から、SIP信号によるセッション制御信号を受信する(呼制御部251に入力される破線で示す)。また、呼制御部251は、SDP(Session Description Protocol)による第1の端末120の能力情報を受信し(呼制御部251に入力される破線で示す)、変換部160に出力する。
特に制限されないが、第1の端末の能力情報は、例えば、ビデオコーデックはMPEG−4 SP(Simple Profile) Level 0、ビットレートは64kbps、画面解像度はQCIF、フレームレートは15fpsとする。
呼制御部251は、第2の端末190との間で、例えばSIP及びSDPを用いて、呼制御情報(例えば第2の端末190の受信IPアドレスなど)及び能力情報をやりとりする。ここでは、第2の端末の能力情報は、例えば、ビデオコーデックとしてH.264 BPを搭載しており、BPプロファイルで、レベルは1.2まで収容可能であるとする。これは最大ビットレートが384kbps、画面解像度がCIF、フレームレートが15fpsであることを意味する。これらの情報を変換部160に伝える。
パケット受信部255は、呼制御部251から第1の端末の能力情報を受信する。パケット受信部255は、さらに、第1の端末120から、モバイルパケットネットワーク130を通して、ビデオパケットを受信し、ペイロード部分に格納されているビデオストリームを読み出して、変換部160の復号部161に出力する。
変換部160は、呼制御部251から、第1の端末に関する能力情報と第2の端末に関する能力情報の両者を受信し、前者を復号部161に、後者を超解像度変換部163および符号化部164に出力する。なお、変換部160の動作自体は、図2の変換部160と同じであるため、その説明を省略する。
パケット送出部159は、呼制御部251から、送出先の第2の端末に関するIPアドレスなどを受信し、さらに変換部160から変換後のビデオストリームを入力する。パケット送出部159の動作自体は、図2のパケット送出部159と同じであるため、説明を省略する。
本実施例における処理手順は、図4に示した処理手順において、ステップS1でパケット受信をする以外、前記第1の実施例と同一であるため説明を省略する。
以上説明したすべての実施例では、C−Plane(Control−Plane)処理である呼制御部と、U−Plane(User−Plane)処理である、H.223多重分離部、パケット受信部、変換部、パケット送出部などを全てゲートウェイ装置に配置したが、C−Plane処理とU−Plane処理とを各々別々の装置に分離する構成をとることもできる。この構成によれば、C−PlaneとU−Planeを独立に、スケーラビリティをもたすことができる。
また、上記実施例では、ビデオ(動画)信号を対象にしたが、静止画信号に対しても上記と同様の構成をとることができる。
上記に開示された本実施例の全部又は一部は、制限されるものでないが、以下の通りである
(付記1) 第1のネットワークに接続された第1の端末から、動画又は静止画を含む画像信号を受信する受信部と、前記受信した画像信号に対して、解像度及び画質を拡張する変換を施す変換部と、第2のネットワークに接続された第2の端末に対して、前記変換後の画像信号を送出する送出部と、を備えるゲートウェイ装置
(付記2) 前記変換部は、前記受信部で受信した画像信号に対し、前記第1の端末に関する能力情報に対応した方式で復号する復号部と、前記第2の端末に関する能力情報に基づき、前記復号された画像信号の解像度を変換し画質を改善する解像度変換部と、前記解像度変換部で変換された画像信号を入力し前記第2の端末に関する能力情報に対応した方式で符号化する符号化部と、を備えている付記1のゲートウェイ装置
(付記3) 前記解像度変換部は、前記復号部で復号された動きベクトルを基に、過去の参照画像に対して動きベクトルの再探索を行い、再探索された動きベクトルを前記参照画像に適用した画像を用いて、前記画像信号の解像度の変換を行う付記2のゲートウェイ装置
(付記4) 前記第1のネットワークがモバイル回線交換ネットワークであり、前記第2のネットワークがパケットネットワークまたは次世代ネットワーク(NGN:Next Generation Network)である付記1乃至3のいずれか一のゲートウェイ装置
(付記5) 前記第1のネットワークがモバイルパケットネットワークであり、前記第2のネットワークがパケットネットワークまたは次世代ネットワーク(NGN:Next Generation Network)である付記1乃至3のいずれか一のゲートウェイ装置
(付記6) 前記受信部は、前記第1の端末からの多重化信号を受信し、呼制御信号、ビデオ信号に分離し、分離した呼制御信号を呼制御部に与え、分離したビデオ信号を前記変換部に与える多重分離部、又は、動画又は静止画を含む画像信号を含むパケット又はストリームを前記第1の端末から受信するパケット受信部を備えている付記2又は3のゲートウェイ装置
(付記7) ゲートウェイが、第1のネットワークに接続された第1の端末から、動画又は静止画を含む画像信号を受信し、前記ゲートウェイが、前記受信した画像信号に対して、解像度及び画質を拡張する解像度変換を施し、前記ゲートウェイが、第2のネットワークに接続された第2の端末に対して、前記変換後の画像信号を送出するゲートウェイ方法
(付記8) 前記ゲートウェイが、前記受信した画像信号に対し、前記第1の端末に関する能力情報に対応した方式で復号し、前記第2の端末に関する能力情報に基づき、前記復号された画像信号の解像度を変換し画質を改善する解像度変換を施し、前記変換された画像信号を入力し前記第2の端末に関する能力情報に対応した方式で符号化する付記7のゲートウェイ方法
(付記9) 前記第1のネットワークがモバイル回線交換ネットワークであり、前記第2のネットワークがパケットネットワークまたは次世代ネットワーク(NGN:Next Generation Network)である付記7又は8のゲートウェイ方法
(付記10) 前記第1のネットワークがモバイルパケットネットワークであり、前記第2のネットワークがパケットネットワークまたは次世代ネットワーク(NGN:Next Generation Network)である付記7又は8のゲートウェイ方法
(付記11) 第1のネットワークに接続された第1の端末から、動画又は静止画を含む画像信号を受信する受信処理と、前記受信した画像信号に対して、解像度及び画質を拡張する変換を施す解像度変換処理と、第2のネットワークに接続された第2の端末に対して、前記変換後の画像信号を送出する送出処理と、をゲートウェイ装置を構成するコンピュータに実行させるプログラム。
(付記12) 前記解像度変換処理は、前記受信した画像信号に対し、前記第1の端末に関する能力情報に対応した方式で復号し、前記第2の端末に関する能力情報に基づき、前記復号された画像信号の解像度を変換し画質を改善する解像度変換を施し、前記変換された画像信号を入力し前記第2の端末に関する能力情報に対応した方式で符号化する付記11のプログラム
(付記13) 前記第1のネットワークがモバイル回線交換ネットワークであり、前記第2のネットワークがパケットネットワークまたは次世代ネットワーク(NGN:Next Generation Network)である付記11又は12のプログラム
(付記14) 前記第1のネットワークがモバイルパケットネットワークであり、前記第2のネットワークがパケットネットワークまたは次世代ネットワーク(NGN:Next Generation Network)である付記11又は12のプログラム
(付記15) 第1のネットワークに接続された第1の端末と、第2のネットワークに接続された第2の端末と、前記第1のネットワークと前記第2のネットワークとに接続されたゲートウェイ装置と、を備え、前記ゲートウェイ装置は、前記第1の端末から、動画又は静止画を含む画像信号を受信し、前記受信した画像信号に対して、解像度及び画質を拡張する変換を施し、前記第2の端末に対して、前記変換後の画像信号を送出するシステム
(付記16) 前記ゲートウェイ装置は、前記受信した画像信号に対し、前記第1の端末に関する能力情報に対応した方式で復号し、前記第2の端末に関する能力情報に基づき、前記復号された画像信号の解像度を変換し画質を改善する解像度変換を施し、前記変換された画像信号を入力し前記第2の端末に関する能力情報に対応した方式で符号化する付記15のシステム
(付記17) 前記第1のネットワークがモバイル回線交換ネットワークであり、前記第2のネットワークがパケットネットワークまたは次世代ネットワーク(NGN:Next Generation Network)である付記15又は16のシステム
(付記18) 前記第1のネットワークがモバイルパケットネットワークであり、前記第2のネットワークがパケットネットワークまたは次世代ネットワーク(NGN:Next Generation Network)である付記15のシステム
(付記19) 前記ゲートウェイ装置は、前記第1の端末からの多重化信号を受信し、呼制御信号、ビデオ信号に分離する多重分離部、又は、動画又は静止画を含む画像信号を含むパケット又はストリームを、前記第1の端末から受信するパケット受信部を備えている付記15又は16のシステム
なお、上記の特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。

Claims (6)

  1. 第1のネットワークに接続された第1の端末から、動画又は静止画を含む画像信号を受信する受信部と、
    前記受信した画像信号に対して、解像度及び画質を拡張する変換を施す変換部と、
    第2のネットワークに接続された第2の端末に対して、前記変換後の画像信号を送出する送出部と、
    を備え、
    前記変換部は、前記受信した画像信号に対し、前記第1の端末に関する能力情報に対応した方式で復号する復号部と、
    前記第2の端末に関する能力情報に基づき、前記復号された画像信号の解像度を変換し画質を改善する解像度変換部と、
    前記解像度変換部で変換された画像信号を入力し、前記第2の端末に関する能力情報に対応した方式で符号化する符号化部と、
    を備え、
    前記解像度変換部は、前記復号部で復号された動きベクトルを基に、過去の参照画像に対して動きベクトルの再探索を行い、再探索された動きベクトルを前記参照画像に適用した画像を用いて、前記画像信号の解像度の変換を行う、ことを特徴とするゲートウェイ装置。
  2. 前記第1のネットワークがモバイル回線交換ネットワークまたはモバイルパケットネットワークを含み、
    前記第2のネットワークがパケットネットワークまたは次世代ネットワーク(NGN:Next Generation Network)を含む、
    ことを特徴とする請求項1に記載のゲートウェイ装置。
  3. 前記受信部は、前記第1の端末からの多重化信号を受信し、呼制御信号、ビデオ信号に分離し、分離した呼制御信号を呼制御部に与え、分離したビデオ信号を前記変換部に与える多重分離部、又は、
    動画又は静止画を含む画像信号を含むパケット又はストリームを前記第1の端末から受信するパケット受信部を備えている、ことを特徴とする請求項又はに記載のゲートウェイ装置。
  4. 第1のネットワークと第2のネットワークに接続されるゲートウェイ装置によるゲートウェイ方法であって、
    前記ゲートウェイ装置の第1の受信部にて、第1のネットワークに接続された第1の端末から、動画又は静止画を含む画像信号を受信し、
    前記ゲートウェイ装置の変換部にて、前記受信した画像信号に対して、解像度及び画質を拡張する解像度変換を施し、
    前記ゲートウェイ装置の第1の送出部にて、第2のネットワークに接続された第2の端末に対して、前記変換後の画像信号を送出
    前記ゲートウェイ装置の前記変換部では、
    前記第1の端末から受信した画像信号に対し、前記第1の端末に関する能力情報に対応した方式で復号し、
    前記第2の端末に関する能力情報に基づき、前記復号された画像信号の解像度を変換し画質を改善する解像度変換を施し、
    前記変換された画像信号を入力し、前記第2の端末に関する能力情報に対応した方式で符号化し、
    前記ゲートウェイ装置の前記変換部では、前記解像度変換を行うにあたり、前記復号された動きベクトルを基に、過去の参照画像に対して動きベクトルの再探索を行い、再探索された動きベクトルを前記参照画像に適用した画像を用いて、前記画像信号の解像度の変換を行う、ことを特徴とするゲートウェイ方法。
  5. 第1のネットワークに接続された第1の端末と、
    第2のネットワークに接続された第2の端末と、
    前記第1のネットワークと前記第2のネットワークとに接続されたゲートウェイ装置と、
    を備え、
    前記ゲートウェイ装置は、前記第1の端末から、動画又は静止画を含む画像信号を受信し、
    前記受信した画像信号に対して、解像度及び画質を拡張する変換を施し、
    前記第2の端末に対して、前記変換後の画像信号を送出し、
    前記ゲートウェイ装置は、前記受信した画像信号に対し、前記第1の端末に関する能力情報に対応した方式で復号し、
    前記第2の端末に関する能力情報に基づき、前記復号された画像信号の解像度を変換し画質を改善する解像度変換を施し、
    前記変換された画像信号を入力し前記第2の端末に関する能力情報に対応した方式で符号化し、
    前記ゲートウェイ装置は、前記解像度変換を行うにあたり、前記復号された動きベクトルを基に、過去の参照画像に対して動きベクトルの再探索を行い、再探索された動きベクトルを前記参照画像に適用した画像を用いて、前記画像信号の解像度の変換を行う、ことを特徴とするネットワークシステム。
  6. 前記第1のネットワークがモバイル回線交換ネットワークまたはモバイルパケットネットワークであり、
    前記第2のネットワークがパケットネットワークまたは次世代ネットワーク(NGN:Next Generation Network)である、
    前記ゲートウェイ装置は、前記第1の端末からの多重化信号を前記モバイル回線交換ネットワークから受信し、呼制御信号、ビデオ信号に分離する多重分離部、又は、
    前記第1の端末からの動画又は静止画を含む画像信号を含むパケット又はストリームを、前記モバイルパケットネットワークから受信するパケット受信部を備えている、ことを特徴とする請求項に記載のネットワークシステム。
JP2010530871A 2008-09-26 2009-09-25 ゲートウェイ装置と方法とシステム Active JP5516408B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010530871A JP5516408B2 (ja) 2008-09-26 2009-09-25 ゲートウェイ装置と方法とシステム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008248151 2008-09-26
JP2008248151 2008-09-26
PCT/JP2009/066658 WO2010035787A1 (ja) 2008-09-26 2009-09-25 ゲートウェイ装置と方法とシステム並びにプログラム
JP2010530871A JP5516408B2 (ja) 2008-09-26 2009-09-25 ゲートウェイ装置と方法とシステム

Publications (2)

Publication Number Publication Date
JPWO2010035787A1 JPWO2010035787A1 (ja) 2012-02-23
JP5516408B2 true JP5516408B2 (ja) 2014-06-11

Family

ID=42059785

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010530871A Active JP5516408B2 (ja) 2008-09-26 2009-09-25 ゲートウェイ装置と方法とシステム

Country Status (4)

Country Link
US (1) US8891539B2 (ja)
JP (1) JP5516408B2 (ja)
CN (1) CN102160393A (ja)
WO (1) WO2010035787A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11401045B2 (en) 2011-08-29 2022-08-02 Aerovironment, Inc. Camera ball turret having high bandwidth data transmission to external image processor
US9288513B2 (en) 2011-08-29 2016-03-15 Aerovironment, Inc. System and method of high-resolution digital data image transmission
CN103167466B (zh) * 2013-02-22 2014-05-07 上海昭赫信息技术有限公司 一种实现移动网络与ngn网络对接的系统及方法
CN106256110B (zh) * 2014-04-30 2019-06-07 瑞典爱立信有限公司 通信系统中的住宅本地突破
CN104360847A (zh) * 2014-10-27 2015-02-18 元亨利包装科技(上海)有限公司 一种用于处理图像的方法与设备
JP7034814B2 (ja) * 2018-04-11 2022-03-14 株式会社Jr東日本アイステイションズ ファイル形式変換装置、ファイル形式変換システム、ファイル形式変換方法、及びファイル形式変換プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002271777A (ja) * 2001-03-12 2002-09-20 Sharp Corp 画像通信装置およびそれを用いた通信システム
WO2008032590A1 (en) * 2006-09-11 2008-03-20 Olympus Corporation Image distribution system, server, and client terminal

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7206016B2 (en) * 2000-05-01 2007-04-17 Polycom, Inc. Filtering artifacts from multi-threaded video
JP3852267B2 (ja) * 2000-05-01 2006-11-29 株式会社Kddi研究所 動画像変換を制御するシステム、そのサーバ、そのゲートウェイ及びその制御プログラムを記録した記録媒体
US7720023B2 (en) * 2002-05-07 2010-05-18 Nokia Corporation Telecommunication system and method for transmitting video data between a mobile terminal and internet
US20040252761A1 (en) * 2003-06-16 2004-12-16 Dilithium Networks Pty Limited (An Australian Corporation) Method and apparatus for handling video communication errors
US20080240255A1 (en) * 2004-01-23 2008-10-02 Kazuhiro Koyama Moving Picture Communication Device, Moving Picture Communication System, and Moving Picture Communication Method
US8908699B2 (en) * 2004-04-16 2014-12-09 Broadcom Corporation Providing automatic format conversion via an access gateway in a home
US7584244B2 (en) * 2004-06-04 2009-09-01 Nokia Corporation System, method and computer program product for providing content to a terminal
JP4373384B2 (ja) 2005-09-06 2009-11-25 日本電信電話株式会社 時間解像度の拡大方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体
US20100128715A1 (en) * 2005-10-06 2010-05-27 Nec Corporation Protocol Conversion System in Media Communication between a Packet-Switching Network and Circuit-Switiching Network
US8693538B2 (en) * 2006-03-03 2014-04-08 Vidyo, Inc. System and method for providing error resilience, random access and rate control in scalable video communications
US20080002770A1 (en) * 2006-06-30 2008-01-03 Nokia Corporation Methods, apparatus, and a computer program product for providing a fast inter mode decision for video encoding in resource constrained devices
US8487947B2 (en) * 2006-09-28 2013-07-16 Agere Systems Inc. Video processing architecture having reduced memory requirement
CN101779456A (zh) * 2007-08-08 2010-07-14 汤姆逊许可证公司 用于监视节目可用性的方法和装置
WO2010017842A1 (en) * 2008-08-14 2010-02-18 Telefonaktiebolaget Lm Ericsson (Publ) Sharing media in a communication network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002271777A (ja) * 2001-03-12 2002-09-20 Sharp Corp 画像通信装置およびそれを用いた通信システム
WO2008032590A1 (en) * 2006-09-11 2008-03-20 Olympus Corporation Image distribution system, server, and client terminal

Also Published As

Publication number Publication date
US20110170556A1 (en) 2011-07-14
CN102160393A (zh) 2011-08-17
WO2010035787A1 (ja) 2010-04-01
US8891539B2 (en) 2014-11-18
JPWO2010035787A1 (ja) 2012-02-23

Similar Documents

Publication Publication Date Title
US7653251B2 (en) Method, apparatus, system, and program for switching image coded data
JP4924605B2 (ja) バッファ制御方法、中継装置、通信システム
JP5780582B2 (ja) 配信システムと方法並びに変換装置
JP5516408B2 (ja) ゲートウェイ装置と方法とシステム
JP5419124B2 (ja) ゲートウェイ装置と通信方法とプログラム
US20080212682A1 (en) Reduced resolution video transcoding with greatly reduced complexity
US20120017249A1 (en) Delivery system, delivery method, conversion apparatus, and program
WO2010035777A1 (ja) 配信サーバ及び配信システムと方法並びにプログラム
JP4662085B2 (ja) 動画像蓄積システム、動画像蓄積方法および動画像蓄積プログラム
JP5516409B2 (ja) ゲートウェイ装置と方法とシステム並びに端末
WO2010041734A1 (ja) 端末、画像表示方法及びプログラム
WO2010035776A1 (ja) サーバ装置及び通信システムと通信方法とプログラム
JP5477475B2 (ja) ゲートウェイ装置、携帯端末、無線通信方法およびプログラム
JP2011101246A (ja) 通信システム、通信装置、通信方法およびプログラム
WO2014046239A1 (ja) 通信システムと方法とサーバ装置及び端末

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130716

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140304

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140317

R150 Certificate of patent or registration of utility model

Ref document number: 5516408

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250