JPWO2005039180A1 - メディア信号の送信方法と受信方法ならびに送受信方法及び装置 - Google Patents

メディア信号の送信方法と受信方法ならびに送受信方法及び装置 Download PDF

Info

Publication number
JPWO2005039180A1
JPWO2005039180A1 JP2005514725A JP2005514725A JPWO2005039180A1 JP WO2005039180 A1 JPWO2005039180 A1 JP WO2005039180A1 JP 2005514725 A JP2005514725 A JP 2005514725A JP 2005514725 A JP2005514725 A JP 2005514725A JP WO2005039180 A1 JPWO2005039180 A1 JP WO2005039180A1
Authority
JP
Japan
Prior art keywords
transmission path
stream
transmission
unit
control signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005514725A
Other languages
English (en)
Other versions
JP4903435B2 (ja
Inventor
一範 小澤
一範 小澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2005514725A priority Critical patent/JP4903435B2/ja
Publication of JPWO2005039180A1 publication Critical patent/JPWO2005039180A1/ja
Application granted granted Critical
Publication of JP4903435B2 publication Critical patent/JP4903435B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/26Flow control; Congestion control using explicit feedback to the source, e.g. choke packets
    • H04L47/263Rate modification at the source after receiving feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/30Flow control; Congestion control in combination with information about buffer occupancy at either end or at transit nodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W28/00Network traffic management; Network resource management
    • H04W28/02Traffic management, e.g. flow control or congestion control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W8/00Network data management
    • H04W8/02Processing of mobility data, e.g. registration information at HLR [Home Location Register] or VLR [Visitor Location Register]; Transfer of mobility data, e.g. between HLR, VLR or external networks
    • H04W8/04Registration at HLR or HSS [Home Subscriber Server]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

メディア信号の送・受信において、有線IPネットワークや無線ネットワークでの帯域の変動や、無線のハンドオーバなどで、データの損失によって発生するメディア信号の劣化を低減し、かつそのために必要となる処理量の増加を小さく抑える。 双方向のメディア送受信において、受信側は、ストリームをデコーダ112でデコードして得られたメディア信号を格納するバッファ111の蓄積量を監視し、バッファの蓄積量があらかじめ定められたしきい値をこえるかまたは下回った場合に、制御信号を伝送路に出力する制御部108を有し、送信側は、メディア信号をエンコードしてストリームを出力するが、伝送路から制御信号を入力した際に、エンコーダ104の圧縮レートを変化させる制御部102を有する。

Description

本発明は、メディア信号の送信方法と受信方法ならびに送受信方法及び装置に関し、特に、メディア信号(音声・画像など)の有線伝送路や無線伝送路で双方向に送信、受信に好適とされる、方法、装置、ならびにプログラムに関する。
近年、音声・動画像データを効率良く伝送する方法として、高能率圧縮による符号化データを伝送する方法が多く用いられている。
音声・動画像圧縮符号化情報を、パケット交換方式を利用したIP(Internet Protocol)ネットワークへ配信する方法が多数ある。
このような音声・動画像データの送・受信を、有線IPネットワークや、無線区間を含むIPネットワークを用いて行う場合、IPネットワークでの輻輳や、無線区間で無線誤りや損失が発生した際は、失われたデータの再送要求を行い、該当するパケットを送信側から再送する方法が一般的である。
なお、全通信帯域に占める音声帯域の割合を制御して画像の品質を向上させるテレビ会議端末装置として、画像符号化データバッファの使用容量に基づいて検知された画像符号化データのサイズと、音声符号化データバッファの使用容量に基づいて検知された音声データ符号化レートに基づいて、音声エンコーダにおける符号化レートを制御する構成が開示されている(例えば下記特許文献1参照)。また、受信バッファに蓄積されるデータ量を監視し、蓄積データ量と閾値との大小関係に基づき、受信クロック周波数を可変させるAV送受信システムが知られている(例えば下記特許文献2参照)。
特開2001−333401号公報(第4頁、第1図) 特開2002−165148号公報(第3−4頁、第4図)
しかしながら、音声・画像の通信(例えばTV電話など)では、再送により時間遅延が発生することから、通常、再送を用いることができない。このため、パケットが損失した際に、受信側で品質が劣化する、という問題がある。
また、画像データ受信装置が無線エリア(セル)を越えて、隣接の無線エリアに移動する際に、ハンドオーバが発生するが、ハンドオーバ期間中は、データの受信が停止してしまうため、大量のデータの欠落が生じてしまう。これにより、受信装置の出力バッファが枯渇してしまい、動画像では、画面がとまる、フリーズするなどの問題が生じ、音声では音が途切れる、音声が無音になってしまう、などの問題が生じる。
そして、無線区間のハンドオーバだけでなく、有線IPネットワークで帯域が時間的に変動する場合にも、上記と同様の問題が発生している。
したがって、本発明の目的は、例えば動画・音声等のメディア信号の配信において、有線IPネットワーク及び無線区間を含むIPネットワークで、待機が時間的に変動する場合に、受信品質の劣化を最小限に抑えることを可能とする方法、装置、コンピュータプログラムを提供することである。
また、本発明の他の目的は、無線区間でハンドオーバが発生しても、受信品質の劣化を最小限に抑える方法、装置、コンピュータプログラムを提供することである。
前記目的を達成する本発明の1つのアスペクトに係る送信装置によれば、メディア信号を入力して符号化(エンコード)して得られたストリームを伝送路に出力するエンコーダ部と、伝送路から所定の制御信号を受信した際に、前記エンコーダ部の圧縮レートを変化させて前記ストリームを出力するように制御する制御部と、を備えている。
本発明の他のアスペクトに係る送信装置によれば、メディア信号を入力して符号化して得られたストリームを出力するエンコーダ部と、前記エンコーダ部で符号化されたストリームを入力し、伝送路から所定の制御信号を受信した際に、前記メディア信号が前記エンコーダ部で符号化された時間間隔と異なる時間間隔でストリームを前記伝送路に出力する制御を行う出力制御部と、を備えている。
本発明の1つのアスペクトに係る受信装置によれば、伝送路から受信したストリームを復号するデコーダ部と、前記デコーダ部で復号して得られたメディア信号を格納するバッファ部と、前記バッファ部の蓄積量を監視し、前記バッファ部の蓄積量が予め定められたしきい値を越えるか、又は下回った場合に、制御信号を前記伝送路に出力する制御部と、を備えている。
本発明の他のアスペクトに係る受信装置によれば、伝送路から受信したストリームを復号するデコーダ部と、前記伝送路の受信状況を監視する監視部と、前記受信状況が予め定められた状況になった場合に、前記監視部からの通知に基づき、制御信号を前記伝送路に出力する制御部と、を備えている。
本発明の1つのアスペクトに係る送受信装置によれば、ストリームを受信し復号するデコーダ部と、復号後のメディア信号を格納するバッファ部と、バッファ量を監視し、前記バッファ量が予め定められたしきい値を越えるか又は下回った場合に制御信号を伝送路に出力する第1の制御部と、メディア信号をエンコードしてストリームを出力するエンコーダ部と、伝送路から制御信号を入力した際にエンコーダのレートを変化させ出力する第2の制御部を備える。
また本発明の他のアスペクトに係る送受信装置によれば、ストリームを受信して復号(デコード)し復号後のメディア信号を格納するバッファ部と、バッファの量を監視し、前記バッファ量が予め定められたしきい値を越えるか、又は下回った場合に制御信号を伝送路に出力する第1の制御部と、メディア信号をエンコードしてストリームを出力し、伝送路から制御信号を入力したときは、入力信号がエンコードされた時間間隔と異なる時間間隔で前記ストリームを出力する第2の制御部を備える。
また、本発明の他のアスペクトに係る送受信装置によれば、ストリームを受信してデコードするデコーダ部と、受信状況を監視する監視部と、前記受信状況が予め定められた状況になった場合に制御信号を伝送路に出力する第1の制御部と、メディア信号をエンコードしストリームを出力するエンコーダ部と、伝送路から制御信号を入力した際は、入力信号がエンコードされた時間間隔と異なる時間間隔でストリームを出力する第2の制御部を備える。
本発明に係る送信方法によれば、メディア信号を入力して符号化して得られたストリームを伝送路に出力する方法において、前記伝送路から所定の制御信号を受信した際に、前記符号化処理の圧縮レートを変化させて前記ストリームを出力するように制御するか、あるいは、前記伝送路から所定の制御信号を受信したときは、前記メディア信号が符号化された時間間隔と異なる時間間隔で前記ストリームを前記伝送路に出力するように制御してもよい。
本発明に係る受信方法によれば、ストリームを受け取り該ストリームを復号し、前記復号して得られたメディア信号を蓄積するバッファ部の蓄積量を監視し、前記バッファ部の蓄積量が予め定められたしきい値を越えるか、又は下回った場合に、あるいは、受信状況の監視結果に基づき、制御信号を前記伝送路に出力する。
本発明によれば、動画像の無線での双方向通信において、画像受信装置側で無線区間でのハンドオーバが発生したり、無線ネットワークやIPネットワークでの輻輳やパケットロスなどにより、受信状況が時間的に変動しても、画質や音質の乱れを最小限に抑えることができる、という効果がある。
また、本発明によれば、上記の効果を得るため、送信側、受信側両方に加わる処理量を少なく抑えることができるという効果がある。
本発明の第1の実施の形態の画像データ配信装置(送信装置)の構成を示す図である。 本発明の第2の実施の形態の画像データ配信装置(送信装置)の構成を示す図である。 本発明の第3の実施の形態の画像データ配信システムの構成を示す図である。 本発明の第4の実施の形態の画像データ配信システムの構成を示す図である。 本発明の第5の実施の形態の画像データ配信システムの構成を示す図である。 本発明の第6の実施の形態の画像データ配信システムの構成を示す図である。
符号の説明
101、101A 画像データ配信装置(画像データ送信装置)
102 制御部
104 エンコーダ
106 伝送路
107、107A 画像データ受信装置
108 制御部
109 画像符号化データ受信部
110 無線状態判別部
111 符号化データバッファ
112 デコーダ
120 画像信号
121、122、123 制御信号
204 画像ストリーム出力制御部
本発明の実施の形態について説明する。本発明の一実施形態の送受信装置において、送信側は、画像及び/又は音声を含むメディア信号を入力として符号化(エンコード)して配信データを作成しストリームとして出力するエンコーダ(102)と、伝送路(106)から制御信号(121)を入力した際に、エンコーダ(102)の圧縮レートを変化させる制御部102と、を有する。
あるいは、本発明の他の実施形態において、送信側は、伝送路(106)から制御信号(121)を入力したときは、入力(ソース)がエンコードされた時間間隔と異なる時間間隔でストリームを出力するように制御する出力制御部(204)を備えた構成としてもよい。
本発明の一実施形態において、受信側は、ストリームをデコーダ(112)で復号(デコード)して得られたメディア信号を格納するバッファ部(111)の蓄積量を監視し、バッファ部の蓄積量が予め定められたしきい値を越えるか又は下回った場合に、制御信号(123)を伝送路に出力する制御部(108)を有する。
あるいは、本発明の他の実施形態において、受信側は、受信状況を監視し、監視結果に基づき、ハンドオーバ検出時等に、制御信号(123)を伝送路に出力するようにしてもよい。
本発明の一実施形態の送信方法について説明する。本発明の一実施形態の送信方法は以下のステップA1、A2を含む。
ステップA1:メディア信号を入力としエンコーダでエンコードし配信データを作成しストリームを出力する。
ステップA2:伝送路から所定の制御信号を受信した際に、前記エンコーダにおける圧縮レートを変化させてストリームを出力するように制御する。
本発明の他の実施形態の送信方法は以下のステップA11、A12を含む。
ステップA11:メディア信号を入力としエンコーダでエンコードし配信データを作成しストリームを出力する。
ステップA12:前記エンコーダでエンコード後のストリームを伝送路に出力する際に、伝送路から所定の制御信号を受信したときは、入力メディア信号が前記エンコーダによりエンコードされた時間間隔と異なる時間間隔で前記ストリームを出力するように、ストリームの出力の制御を行う。
本発明の一実施形態の受信方法は以下のステップB1、B2を含む。
ステップB1:伝送路に送信されたストリームを受け取り該ストリームをデコードする。
ステップB2:前記デコードして得られたメディア信号を蓄積するバッファの蓄積量を監視し、前記バッファの蓄積量が予め定められたしきい値を越えるか、又は下回った場合に、制御信号を伝送路に出力する。
本発明の他の実施形態の受信方法は以下のステップB11、B12を含む。
ステップB11:伝送路に送信されたストリームを受け取り該ストリームをデコードする。
ステップB12:伝送路の受信状況を監視し、前記受信状況が予め定められた状況になった場合に、前記監視部からの通知に基づき、制御信号を伝送路に出力する。
本発明の別の実施形態の送受信方法は、双方向のメディア送受信に用いて好適とされ、、送信側は、上記ステップA1、A2、又は、A11、A12を含み、受信側は、ステップB1、B2、又はステップB11、B12を含む。
上記各ステップA1、A2、A11、A12は、送信側のコンピュータ(又はプロセッサ)によるプログラムによって処理・機能を実現してもよい。
上記各ステップB1、B2、B11、B12は、送信側のコンピュータ(又はプロセッサ)によるプログラムによって処理・機能を実現してもよい。
本発明について更に詳細に説述するため、添付図面を参照して説明する。図1は、本発明の第1の実施例の構成を示す図である。画像及び/又は音声データは、無線物理層上にIP(Internet Protocol)が構築されている伝送路106を通じて、UDP/IPにより伝送されるものとする。図示されない画像データ受信装置は、例えば、無線IP網に接続されるクライアント端末であり、UDP(User Datagram Protocol)/IPを用いて画像符号化データを受信する。
図1を参照すると、画像データ配信(送信)装置101は、入力した画像信号を符号化するためのエンコーダ104と、制御部102とを備えている。エンコーダ104(「ストリーム・エンコーダ」ともいう)は、入力した画像信号120を予め定められたビットレートで符号化し、ストリームとして、伝送路106に出力する。入力される画像信号等は、ファイル、あるいは、ライブ配信の場合、カメラ等からのデータであってもよい。
制御部102は、伝送路106から制御信号121を入力した際は、画像データのビットレートを変更させるための制御信号122を、エンコーダ104に出力し、エンコーダ104は、制御信号122に従い、画像データの符号化ビットレート(圧縮レート)を変更(例えば、低いビットレートに変更)した上で、伝送路106に出力する。なお、本実施例において、図示されない画像データ受信装置は、画像符号化データの受信バッファが枯渇しそうになると、伝送路106に制御信号を送出する。伝送路106は、無線物理層上に、IP(Internet Protocol)が構築されているものとし、送信プロトコルは、UDP/IPを用いるものとする。制御信号としては、IETF(Internet Engineering Task Force)でRFC化されているRTCP(Real Time Transport Protocol)や、現在IETFで規格策定中のRTCPの拡張や、IETFでRFC(Request For Comments)化されているRTSP(Real Time Streaming Protocol)などを用いることができる。この点は、以下の各実施例についても同様である。
なお、図1では、説明の簡略化のために、送信装置(配信装置)と受信装置を分けて記載したが、送受信装置として、送信機能と受信機能の両者を1台に登載することも可能である。この場合は、本実施例に記載した、送信装置及び受信装置の両機能を、1台で実現することになることを付け加えておく。この点は、以下の実施例でも、同様である。
図2は、本発明の第2の実施例の構成を示す図である。図2を参照すると、本実施例の画像データ配信装置101Aは、図1の画像データ配信装置101の構成に、画像ストリーム出力制御部204が追加されている。エンコーダ104は入力した画像信号を予め定められたビットレートで符号化し、ストリームとして、伝送路106に出力する。制御部102は、伝送路106から制御信号121を入力した際は、制御信号122を画像ストリーム出力制御部204に出力する。
画像ストリーム出力制御部204は、制御部102から制御信号122を入力した際に、画像符号化データを、エンコーダ104において符号化が行なわれた時間間隔T、又は、クロックTと異なる時間間隔T’、又は異なるクロックT’で読み出して、伝送路106に出力する。
図3は、本発明の第3の実施例の構成を示す図である。図3を参照すると、画像データ配信装置101は、図1に示した画像データ配信装置101と同一構成とされる。
画像データ受信装置107は、画像符号化データ受信部109において伝送路106から画像符号化データを受信しバッファ部(記憶装置)111に一時的に蓄積し、伝送路106でのパケットゆらぎや、パケットの遅着を吸収した上で、デコーダ112へ出力する。なお、バッファ部111は、デコーダ112でデコードされたメディア信号を蓄積するバッファ(記憶部)を有する。
なお、説明を明瞭とするため、受信した画像符号化データを一時的に蓄積するバッファ部111は、画像符号化データ受信部109の外部に設けられているが、画像符号化データ受信部109内に、画像符号化データを一時的に蓄積するバッファを設ける構成としてもよいことは勿論である。この場合、画像符号化データ受信部109から、画像符号化データがデコーダ112に供給され、図3のバッファ部111は、デコーダ112でデコードされたメディア信号を蓄積するバッファのみを備える。デコーダ112でデコードされた画像信号は、不図示の表示装置等に表示される。
制御部108は、デコードされたメディア信号を蓄積するバッファの蓄積量を予め定められた時間間隔毎に計測し、デコードされたメディア信号を蓄積するバッファの蓄積量が枯渇しそうになると、伝送路106に制御信号123を送出する。制御部108は、デコードされたメディア信号を蓄積するバッファの蓄積量を予め定められた上側、下側等の閾値と大小を判定することで、バッファの枯渇状態を判定するようにしてもよい。なお、本実施例の変形例として、制御部108は、受信した画像符号化データを一時的に蓄積するバッファの蓄積量に基づき、制御信号123の出力を制御するようにしてもよい。
画像データ配信装置101の制御部102は、伝送路106を介して画像データ受信装置107から制御信号121を受信した場合は、エンコーダ104に制御信号122を出力し、エンコーダ104のビットレート(圧縮レート)を変更(例えば、低いビットレートに変更)した上で、伝送路106に出力する。本実施例においても、伝送路106は、無線物理層上にIP(Internet Protocol)が構築されているものとし、送信プロトコルはUDP/IPを用いるものとする。なお、画像データ配信装置101が受信する制御信号121は、画像データ受信装置107から送信される制御信号123と、同一の制御信号である。
図4は、本発明の第4の実施例の構成を示す図である。図4を参照すると、画像データ受信装置107の構成は、図3に示した画像データ受信装置107と同一構成とされる。図4の画像データ配信装置101Aは、図2に示した画像データ配信装置101Aと同一構成とされる。
画像データ受信装置107の制御部108は、符号化データバッファ部111のバッファ量を予め定められた時間間隔毎に計測し、符号化データバッファ部111が枯渇しそうになると、伝送路106に制御信号123を送出する。
画像データ配信装置101の制御部102は、伝送路106を介して画像データ受信装置107から制御信号121を受信した場合は、制御信号122を画像ストリーム出力制御部204に出力し、画像ストリーム出力制御部204は、画像符号化データを、エンコーダ104において符号化が行なわれた時間間隔T、又は、クロックTと異なる時間間隔T’又は、異なるクロックT’で読み出して、伝送路106に出力する。なお、図4において、画像データ配信装置101Aが受信する制御信号121は、画像符号化データ受信部107から送信される制御信号123と、同一の制御信号である。
図5は、本発明の第5の実施例の構成を示す図である。図5を参照すると、画像データ配信装置101は、図1に示した画像データ配信装置101と同一構成とされる。画像データ受信装置107Aは、図3の画像データ受信装置107に、無線状態判別部110が追加されている。
画像データ受信装置107Aの無線状態判別部110は、伝送路106の無線受信状態を監視し、受信状況が予め定められた状況になった場合に制御部108に伝え、制御部108から、伝送路106に対し、制御信号123を出力する。画像データ配信装置101の制御部102は、伝送路106を介して画像データ受信装置107Aから制御信号121(バッファが枯渇状態)を受信した場合は、エンコーダ104に制御信号122を出力し、エンコーダ104の符号化ビットレート(圧縮レート)を変更した上で、伝送路106に出力する。制御信号122を受けて、エンコーダ104は、例えば、低いビットレートに変更する。なお、図5において、画像データ配信装置101が受信する制御信号121は、画像データ受信装置107Aから送信される制御信号123と、同一の制御信号である。
図6は、本発明の第6の実施例の構成を示す図である。図6を参照すると、画像データ配信装置101Aは、図2に示した画像データ配信装置101Aと同一構成とされる。画像データ受信装置107Aは、図5の画像データ受信装置107Aと同一とされる。
画像データ受信装置107Aの無線状態判別部110は、伝送路106の無線受信状態を監視し、受信状況が予め定められた状況になった場合に制御部108に伝え、制御部108から、伝送路106に対し、制御信号123を出力する。画像データ配信装置101Aの制御部102は、伝送路106を介して画像データ受信装置107Aから制御信号121を受信した場合は、制御信号122を画像ストリーム出力制御部204に出力し、画像ストリーム出力制御部204は、画像符号化データを、エンコーダ104において符号化が行なわれた時間間隔T、又は、クロックTと異なる時間間隔T’、又は、異なるクロックT’で読み出して、伝送路106に出力する。図6において、画像データ配信装置101Aが受信する制御信号121は、画像データ受信装置107Aから送信される制御信号123と、同一の制御信号である。
なお、無線状態判別部110として、伝送路106の無線受信状態を監視し、無線状態が、現在の無線受信エリア(セル)から、隣接のセルへのハンドオーバを決定するハンドオーバになった場合に、制御部108に伝えるハンドオーバ判別部で構成してもよい。
以上本発明を上記実施例に即して説明したが、本発明は、上記実施例の構成にのみに限定されるものでなく、本発明の原理に準ずる各種変形、修正を含むことは勿論である。

Claims (29)

  1. メディア信号を入力して符号化して得られたストリームを伝送路に出力するエンコーダ部と、
    前記伝送路から制御信号を受信した際に、前記エンコーダ部の圧縮レートを変化させて前記ストリームを出力するように制御する制御部と、
    を備えたことを特徴とする送信装置。
  2. メディア信号を入力して符号化して得られたストリームを出力するエンコーダ部と、
    前記エンコーダ部から出力されたストリームを入力し、伝送路から制御信号を受信した際に、前記メディア信号が前記エンコーダ部で符号化された時間間隔と異なる時間間隔で前記ストリームを前記伝送路に出力する制御を行う出力制御部と、
    を備えたことを特徴とする送信装置。
  3. 伝送路から受信したストリームを復号するデコーダ部と、
    前記デコーダ部で復号して得られたメディア信号を格納するバッファ部と、
    前記バッファ部の蓄積量を監視し、該蓄積量が予め定められたしきい値を越えるか、または下回った場合に、制御信号を前記伝送路に出力する制御部と、
    を備えたことを特徴とする受信装置。
  4. 伝送路から受信したストリームを復号するデコーダ部と、
    前記伝送路の受信状況を監視する監視部と、
    前記受信状況が予め定められた状況になった場合、前記監視部からの通知に基づき、制御信号を前記伝送路に出力する制御部と、
    を備えたことを特徴とする受信装置。
  5. 前記監視部は、前記伝送路の無線状態が、現在の無線エリアから隣接エリアへのハンドオーバになった場合に、前記制御部に通知することを特徴とする請求項4記載の受信装置。
  6. 伝送路から受信したストリームを復号するデコーダ部と、
    前記デコーダ部で復号して得られたメディア信号を格納するバッファ部と、前記バッファ部の蓄積量を監視し、該蓄積量が予め定められたしきい値を越えるか、または下回った場合に、制御信号を前記伝送路に出力する第1の制御部と、
    メディア信号を入力して符号化して得られたストリームを前記伝送路に出力するエンコーダ部と、
    前記伝送路から制御信号を受信した際に、前記エンコーダ部の圧縮レートを変化させて前記ストリームを出力するように制御する第2の制御部と、
    を備えたことを特徴とする送受信装置。
  7. 伝送路から受信したストリームを復号するデコーダ部と、
    前記デコーダ部で復号して得られたメディア信号を格納するバッファ部と、
    前記バッファ部の蓄積量を監視し、該蓄積量が予め定められたしきい値を越えるか、または下回った場合に、制御信号を前記伝送路に出力する第1の制御部と、
    メディア信号を入力して符号化して得られたストリームを出力するエンコーダ部と、前記エンコーダ部から出力されたストリームを入力し、前記伝送路から制御信号を受信した際に、前記メディア信号が前記エンコーダ部で符号化された時間間隔と異なる時間間隔で該ストリームを前記伝送路に出力する制御を行う第2の制御部と、
    を備えたことを特徴とする送受信装置。
  8. 伝送路から受信したストリームを復号するデコーダ部と、
    前記伝送路の受信状況を監視する監視部と、前記受信状況が予め定められた状況になった場合、前記監視部からの通知に基づき、制御信号を前記伝送路に出力する第1の制御部と、
    メディア信号を入力して符号化して得られたストリームを前記伝送路に出力するエンコーダ部と、
    前記伝送路から制御信号を受信した際に、前記エンコーダ部の圧縮レートを変化させて前記ストリームを出力するように制御する第2の制御部と、
    を備えたことを特徴とする送受信装置。
  9. 伝送路から受信したストリームを復号するデコーダ部と、
    前記伝送路の受信状況を監視する監視部と、
    前記受信状況が予め定められた状況になった場合、前記監視部からの通知に基づき、制御信号を伝送路に出力する第1の制御部と、
    メディア信号を入力して符号化して得られたストリームを出力するエンコーダ部と、
    前記エンコーダ部から出力されたストリームを入力し、前記伝送路から制御信号を受信した際に、前記メディア信号が前記エンコーダ部で符号化された時間間隔と異なる時間間隔で該ストリームを前記伝送路に出力する制御を行う第2の制御部と、
    を備えたことを特徴とする送受信装置。
  10. 前記監視部は、前記伝送路の無線状態が、現在の無線エリアから隣接エリアへのハンドオーバになった場合に、前記第1の制御部に通知する、ことを特徴とする請求項8又は9記載の送受信装置。
  11. メディア信号を入力して符号化して得られたストリームを伝送路に出力するステップと、
    前記伝送路から所定の制御信号を受信した際に、前記符号化処理の圧縮レートを変化させて前記ストリームを出力するように制御するステップと、
    を含む、ことを特徴とする送信方法。
  12. メディア信号を入力して符号化して得られたストリームを出力するステップと、
    前記符号化して得られたストリームを伝送路に出力するにあたり、前記伝送路から所定の制御信号を受信した際に、前記メディア信号が符号化された時間間隔と異なる時間間隔でストリームを前記伝送路に出力するように、ストリームの出力制御を行うステップと、
    を含む、ことを特徴とする送信方法。
  13. 伝送路から受信したストリームを復号するステップと、
    前記復号して得られたメディア信号を蓄積するバッファ部の蓄積量を監視し、該蓄積量が予め定められたしきい値を越えるか、または下回った場合に、制御信号を前記伝送路に出力するステップと、
    を含む、ことを特徴とする受信方法。
  14. 伝送路から受信したストリームを復号するステップと、
    前記伝送路の受信状況を監視し、前記受信状況が予め定められた状況になった場合に、制御信号を前記伝送路に出力するステップと、
    を含む、ことを特徴とする受信方法。
  15. 前記伝送路の無線状態が、現在の無線エリアから、隣接のセルへのハンドオーバになった場合に、前記制御信号を前記伝送路に出力する、ことを特徴とする請求項14記載の受信方法。
  16. 伝送路から受信したストリームを復号するステップと、
    前記復号して得られたメディア信号を蓄積するバッファ部の蓄積量を監視し、該蓄積量が予め定められたしきい値を越えるか、または下回った場合に、制御信号を伝送路に出力するステップと、
    メディア信号を入力して符号化処理して得られたストリームを前記伝送路に出力するステップと、
    前記伝送路から制御信号を入力した際に、前記エンコーダ部の圧縮レートを変化させてストリームを出力するように制御するステップと、
    を有する、ことを特徴とする送受信方法。
  17. 伝送路から受信したストリームを復号するステップと、
    前記復号して得られたメディア信号を蓄積するバッファ部の蓄積量を監視し、該蓄積量が予め定められたしきい値を越えるか、または下回った場合に、制御信号を前記伝送路に出力するステップと、
    メディア信号を入力して符号化処理して得られたストリームを出力するステップと、
    前記伝送路から前記制御信号を受信した際に、前記前記メディア信号が符号化処理された時間間隔と異なる時間間隔で、該ストリームを前記伝送路に出力するように、ストリームの出力制御を行うステップと、
    を含む、ことを特徴とする送受信方法。
  18. 伝送路から受信したストリームを復号するステップと、
    前記伝送路の受信状況を監視し、前記受信状況が予め定められた状況になった場合、制御信号を前記伝送路に出力するステップと、
    メディア信号を符号化処理してストリームを出力するステップと、
    前記伝送路から前記制御信号を入力した際に、前記符号化処理の圧縮レートを変化させ出力するステップと、
    を含む、ことを特徴とする送受信方法。
  19. 伝送路から受信したストリームを復号するステップと、
    前記伝送路の受信状況を監視し、前記受信状況が予め定められた状況になった場合に、制御信号を前記伝送路に出力するステップと、
    メディア信号を入力して符号化して得られたストリームを出力するステップと、
    前記伝送路から前記制御信号を受信した際に、前記メディア信号が符号化処理された時間間隔と異なる時間間隔で該ストリームを前記伝送路に出力するように、ストリームの出力制御を行うステップと、
    を含む、ことを特徴とする送受信方法。
  20. 前記伝送路の無線状態が、現在の無線エリアから、隣接のセルへのハンドオーバになった場合に、前記制御信号を前記伝送路に出力する、ことを特徴とする請求項18又は19記載の送受信方法。
  21. 送信装置を構成するコンピュータに、
    メディア信号を入力して符号化して得られたストリームを伝送路に出力する処理と、
    伝送路から所定の制御信号を受信した際に、前記符号化処理の圧縮レートを変化させてストリームを出力するように制御する処理と、
    を実行させるためのプログラム。
  22. 送信装置を構成するコンピュータに、
    メディア信号を入力して符号化して得られたストリームを出力する処理と、
    前記符号化後のストリームを送信する際に、伝送路から所定の制御信号を受信した際に、前記メディア信号が前記符号化処理により符号化された時間間隔と異なる時間間隔でストリームを伝送路に出力するように、ストリームの出力制御を行う処理と、
    を実行させるためのプログラム。
  23. 送信装置から伝送路に送信されたストリームを受け取る受信装置を構成するコンピュータに、
    前記伝送路から受信したストリームを復号する処理と、
    復号後のメディア信号を蓄積するバッファ部の蓄積量を監視し、該蓄積量が予め定められたしきい値を越えるか、または下回った場合に、制御信号を前記伝送路に出力する処理と、
    を実行させるためのプログラム。
  24. 送信装置から伝送路に送信されたストリームを受け取る受信装置を構成するコンピュータに、
    前記伝送路から受信したストリームを復号する処理と、
    前記伝送路の受信状況を監視し、前記受信状況が予め定められた状況になった場合に、制御信号を前記伝送路に出力する処理と、
    を実行させるためのプログラム。
  25. 音声及び/又は画像を含む情報データを入力として符号化処理し配信用データを生成し該配信用データを、有線及び/又は無線の伝送路を介して配信する送信装置が、
    前記伝送路から所定の制御信号を受け取った際に、前記符号化処理の圧縮レートを可変させるか、又は、入力データが前記符号化処理により符号化された時間間隔と異なる時間間隔で、前記配信用データを出力するように出力の制御を行う手段と、
    を備えたこと、ことを特徴とする送信装置。
  26. 請求項25の送信装置から前記伝送路に配信された前記配信用データを受け取り復号する手段を備えた受信装置が、受信したデータを記憶する記憶装置の蓄積量の状態、又は、前記伝送路からの受信状態を監視し、監視結果に基づき、前記制御信号を前記伝送路を介して前記送信装置に送信する手段を備えたこと、ことを特徴とする受信装置。
  27. 請求項25記載の送信装置と、請求項26記載の受信装置を備えた送受信システム。
  28. 画像信号を入力して符号化して得られた画像符号化データを出力するエンコーダと、
    伝送路から制御信号を受信した際に、前記エンコーダ部の圧縮レートを変化させて前記画像符号化データを前記伝送路に出力する、又は、前記画像符号化データが前記エンコーダで符号化された時間間隔と異なる時間間隔で前記画像符号化データを前記伝送路に出力するように制御する制御部と、
    を備えたことを特徴とする画像データ送信装置。
  29. 伝送路から受信した画像符号化データを復号するデコーダと、
    前記デコーダで復号して得られた画像信号を格納するバッファと、
    前記バッファの蓄積量、又は、前記伝送路の受信状況の監視結果に基づき、制御信号を前記伝送路に出力する制御部と、を備えたことを特徴とする画像データ受信装置。
JP2005514725A 2003-10-16 2004-09-24 メディア信号の送信方法と受信方法ならびに送受信方法及び装置 Expired - Fee Related JP4903435B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005514725A JP4903435B2 (ja) 2003-10-16 2004-09-24 メディア信号の送信方法と受信方法ならびに送受信方法及び装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2003355978 2003-10-16
JP2003355978 2003-10-16
PCT/JP2004/013943 WO2005039180A1 (ja) 2003-10-16 2004-09-24 メディア信号の送信方法と受信方法ならびに送受信方法及び装置
JP2005514725A JP4903435B2 (ja) 2003-10-16 2004-09-24 メディア信号の送信方法と受信方法ならびに送受信方法及び装置

Publications (2)

Publication Number Publication Date
JPWO2005039180A1 true JPWO2005039180A1 (ja) 2007-11-22
JP4903435B2 JP4903435B2 (ja) 2012-03-28

Family

ID=34463184

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005514725A Expired - Fee Related JP4903435B2 (ja) 2003-10-16 2004-09-24 メディア信号の送信方法と受信方法ならびに送受信方法及び装置

Country Status (6)

Country Link
US (1) US20070127437A1 (ja)
EP (1) EP1679895A1 (ja)
JP (1) JP4903435B2 (ja)
KR (1) KR20060096044A (ja)
CN (1) CN1864409A (ja)
WO (1) WO2005039180A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6263503B1 (en) 1999-05-26 2001-07-17 Neal Margulis Method for effectively implementing a wireless television system
US8266657B2 (en) 2001-03-15 2012-09-11 Sling Media Inc. Method for effectively implementing a multi-room television system
WO2005122025A2 (en) 2004-06-07 2005-12-22 Sling Media, Inc. Personal media broadcasting system
US9998802B2 (en) 2004-06-07 2018-06-12 Sling Media LLC Systems and methods for creating variable length clips from a media stream
US7917932B2 (en) 2005-06-07 2011-03-29 Sling Media, Inc. Personal video recorder functionality for placeshifting systems
US7769756B2 (en) 2004-06-07 2010-08-03 Sling Media, Inc. Selection and presentation of context-relevant supplemental content and advertising
US7975062B2 (en) 2004-06-07 2011-07-05 Sling Media, Inc. Capturing and sharing media content
KR100886546B1 (ko) * 2007-04-23 2009-03-02 삼성전자주식회사 와이브로 시스템에서 영상 데이터 전송시 비디오 코덱의비트 레이트를 제어하는 계층간 최적화 방법
US8699808B2 (en) * 2007-10-15 2014-04-15 Chih-Ta Star Sung Method and apparatus of temporary image frame compression
JP4989417B2 (ja) 2007-10-26 2012-08-01 キヤノン株式会社 画像表示システム、画像表示装置及びその制御方法、コンピュータプログラム
US7752357B2 (en) * 2007-12-10 2010-07-06 Sony Corporation High-definition multimedia interface receiver/transmitter chipset
WO2010113671A1 (ja) * 2009-03-30 2010-10-07 日本電気株式会社 ネットワークカメラ装置、動作制御方法及びプログラム
US8848548B2 (en) * 2009-08-04 2014-09-30 Qualcomm Incorporated Internet radio broadcast using cellular
US8073995B2 (en) * 2009-10-19 2011-12-06 Research In Motion Limited Efficient low-latency buffer
WO2011099273A1 (ja) * 2010-02-15 2011-08-18 パナソニック株式会社 コンテンツ通信装置及びコンテンツ加工装置並びにコンテンツ通信システム
JP2012019270A (ja) * 2010-07-06 2012-01-26 Oki Networks Co Ltd コンテンツデータ受信再生装置、コンテンツデータ送受信システム及びコンテンツデータ送受信方法
JP2012129677A (ja) * 2010-12-14 2012-07-05 Sony Corp 受信装置及び方法、並びにプログラム
US20190190652A1 (en) * 2016-08-26 2019-06-20 Huawei Technologies Co., Ltd. Encoding Rate Adjustment Method and Terminal
JP2019020530A (ja) * 2017-07-13 2019-02-07 キヤノン株式会社 信号処理装置、制御方法、及びプログラム
CN107454282A (zh) * 2017-08-23 2017-12-08 惠州Tcl移动通信有限公司 移动终端及移动终端之间照片共享处理方法、及存储介质
CN111768790B (zh) * 2019-03-14 2023-11-21 百度在线网络技术(北京)有限公司 用于传输语音数据的方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07170290A (ja) * 1993-12-15 1995-07-04 Sony Corp 通信システム
JPH09298734A (ja) * 1996-04-30 1997-11-18 Matsushita Electric Ind Co Ltd ビデオオンデマンドシステム
JPH10229420A (ja) * 1997-02-17 1998-08-25 Matsushita Electric Ind Co Ltd 通信システム
JPH11205408A (ja) * 1998-01-12 1999-07-30 Sony Corp ディジタル信号伝送装置
JP2001285860A (ja) * 2000-03-31 2001-10-12 Matsushita Electric Ind Co Ltd 転送レート制御装置、復号装置、媒体及び情報集合体
JP2002084339A (ja) * 2000-07-06 2002-03-22 Matsushita Electric Ind Co Ltd ストリーミング方法およびそれを実行するシステム
JP2002354064A (ja) * 2001-05-29 2002-12-06 Sony Corp 送信装置、受信装置、及び送受信装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4501017A (en) * 1983-01-31 1985-02-19 Motorola, Inc. Switch controller for obtaining a plurality of functions from a single switch in a two-way transceiver and method therefor
JPS59201578A (ja) * 1983-04-28 1984-11-15 Ricoh Co Ltd ファクシミリの伝送制御方式
EP0589657B1 (en) * 1992-09-21 1999-05-12 Canon Kabushiki Kaisha Network system and terminal apparatus
US5960005A (en) * 1995-12-25 1999-09-28 Fujitsu Limited Method and device for two-way communication network
JP3529621B2 (ja) * 1997-05-12 2004-05-24 株式会社東芝 ルータ装置、データグラム転送方法及び通信システム
JPH11187367A (ja) * 1997-12-19 1999-07-09 Nec Corp 映像送信装置,映像受信装置及びこれらを用いた映像伝送システム
US20020080163A1 (en) * 1998-02-23 2002-06-27 Morey Dale D. Information retrieval system
JPH11275171A (ja) * 1998-03-20 1999-10-08 Toshiba Corp ソフトウエア無線機の伝送レート制御方法
JP3816689B2 (ja) * 1999-03-31 2006-08-30 株式会社東芝 情報配信装置、情報受信装置及び通信方法
US6330278B1 (en) * 1999-07-28 2001-12-11 Integrity Broadband Networks, Inc. Dynamic adaptive modulation negotiation for point-to-point terrestrial links
FI109639B (fi) * 1999-12-22 2002-09-13 Nokia Corp Menetelmä salausluvun välittämiseksi tiedonsiirtojärjestelmässä ja tiedonsiirtojärjestelmä
EP1117184A1 (en) * 2000-01-17 2001-07-18 Matsushita Electric Industrial Co., Ltd. Method and apparatus for a CDMA cellular radio transmission system
US7016970B2 (en) * 2000-07-06 2006-03-21 Matsushita Electric Industrial Co., Ltd. System for transmitting stream data from server to client based on buffer and transmission capacities and delay time of the client
JP2002165148A (ja) * 2000-11-29 2002-06-07 Sony Corp データ処理装置および方法、並びに記録媒体
US6952397B2 (en) * 2001-06-07 2005-10-04 Corrigent Systems Ltd. Communication in a bidirectional ring network with single-direction receiving
US7274661B2 (en) * 2001-09-17 2007-09-25 Altera Corporation Flow control method for quality streaming of audio/video/media over packet networks
US20050025187A1 (en) * 2003-07-31 2005-02-03 Li Yun Xin Signal processing of transmission packets

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07170290A (ja) * 1993-12-15 1995-07-04 Sony Corp 通信システム
JPH09298734A (ja) * 1996-04-30 1997-11-18 Matsushita Electric Ind Co Ltd ビデオオンデマンドシステム
JPH10229420A (ja) * 1997-02-17 1998-08-25 Matsushita Electric Ind Co Ltd 通信システム
JPH11205408A (ja) * 1998-01-12 1999-07-30 Sony Corp ディジタル信号伝送装置
JP2001285860A (ja) * 2000-03-31 2001-10-12 Matsushita Electric Ind Co Ltd 転送レート制御装置、復号装置、媒体及び情報集合体
JP2002084339A (ja) * 2000-07-06 2002-03-22 Matsushita Electric Ind Co Ltd ストリーミング方法およびそれを実行するシステム
JP2002354064A (ja) * 2001-05-29 2002-12-06 Sony Corp 送信装置、受信装置、及び送受信装置

Also Published As

Publication number Publication date
JP4903435B2 (ja) 2012-03-28
WO2005039180A1 (ja) 2005-04-28
US20070127437A1 (en) 2007-06-07
CN1864409A (zh) 2006-11-15
EP1679895A1 (en) 2006-07-12
KR20060096044A (ko) 2006-09-05

Similar Documents

Publication Publication Date Title
JP4903435B2 (ja) メディア信号の送信方法と受信方法ならびに送受信方法及び装置
JP4690280B2 (ja) メディアデータをストリーミングする方法、システム及びクライアント装置
US8711929B2 (en) Network-based dynamic encoding
JP4670902B2 (ja) 送信装置、送信方法および受信装置
US9585062B2 (en) System and method for implementation of dynamic encoding rates for mobile devices
JP4661373B2 (ja) 特定メディアデータの破棄を制御する送信装置及び送信プログラム
JP5191826B2 (ja) ストリーム通信装置、ストリーム通信方法及びストリーム通信システム
JP2005522102A (ja) データストリーミングシステムおよび方法
EP2627082A2 (en) Method for transmitting a scalable http stream for natural reproduction upon the occurrence of expression-switching during http streaming
EP1623553B1 (en) Data transmission over a network having initiallly undetermined transmission capacity
CN109862400B (zh) 一种流媒体传输方法、装置及其系统
JP2005322995A (ja) リアルタイム映像転送におけるバッファ制御方法、送信端末、受信端末、映像配信システム、およびプログラム
EP2308215B1 (en) Thinning of packet-switched video data
JP2005033556A (ja) データ送信装置、データ送信方法、データ受信装置、データ受信方法
JP4909590B2 (ja) メディア信号の受信装置、送信装置及び送受信システム
US10038734B2 (en) Telecommunication network manager
JP2005340922A (ja) リアルタイム遠隔コミュニケーションシステム及び通信品質制御装置
JP2009194454A (ja) 送信装置、データ送信方法及びプログラム
JP4861964B2 (ja) 通信端末装置及びコンピュータプログラム
JP6911922B2 (ja) データ配信装置、システム、方法およびプログラム
JP2007174035A (ja) 動画像通信装置および動画像通信方法
WO2007031924A2 (en) Video telephone system, video telephone terminal, and method for video telephoning
Ji VBR Video Streaming over Wireless Networks
JP2008010986A (ja) 無線映像監視装置及び無線映像監視方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090721

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100210

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100223

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20100507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111121

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120105

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150113

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees