JP3974318B2 - 受信再生装置及びその方法 - Google Patents

受信再生装置及びその方法 Download PDF

Info

Publication number
JP3974318B2
JP3974318B2 JP2000273592A JP2000273592A JP3974318B2 JP 3974318 B2 JP3974318 B2 JP 3974318B2 JP 2000273592 A JP2000273592 A JP 2000273592A JP 2000273592 A JP2000273592 A JP 2000273592A JP 3974318 B2 JP3974318 B2 JP 3974318B2
Authority
JP
Japan
Prior art keywords
moving image
image data
buffer memory
speed
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000273592A
Other languages
English (en)
Other versions
JP2002112199A (ja
Inventor
宏昭 久保
昌弘 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Priority to JP2000273592A priority Critical patent/JP3974318B2/ja
Priority to US09/948,285 priority patent/US7703122B2/en
Publication of JP2002112199A publication Critical patent/JP2002112199A/ja
Application granted granted Critical
Publication of JP3974318B2 publication Critical patent/JP3974318B2/ja
Priority to US12/762,310 priority patent/US8104067B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Communication Control (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、サーバから通信回線を介して送信される動画データを受信及び再生する受信再生装置及びその方法に関する。
【０００２】
【従来の技術】
図６(ａ)に動画配信システムの概要を示す。配信される動画データは、映像と音声のいずれか又は両方を含み、動画内に静止画が含まれることもある。配信側１０は、動画データをＭＰＥＧ(Motion Pictures Expert Group)２方式で圧縮するＭＰＥＧ２エンコーダ１２と、圧縮されたＭＰＥＧ２データを送信する送信器１４を含む。受信側２０は、ＭＰＥＧ２データを受信する受信器２２と、受信したＭＰＥＧ２データを圧縮前の状態に復元するＭＰＥＧ２デコーダ２４を含む。送信側１０と受信側２０は、通信回線１８で接続されている。
【０００３】
通信回線１８としては、例えばＡＴＭ(Asynchronous Transfer Mode)、イーサネット、トークン・リング、ＡＤＳＬ(Asymmetric Digital Subscriber Line)、通信衛星等を用いた通信回線がある。各通信回線で使用されるプロトコルにもよるが、ほとんどの通信回線はデータを確実に伝送するということを主目的としており、ある一定時間内にー定データ量を伝送することは目的としていない。常にデータ伝送速度が均一な通信回線は少ない。
【０００４】
これら通信回線では、常に一定の伝送速度が保たれている或いは常に一定の伝送遅延が生じているわけではなく、時刻によってデータ伝送速度が変動していることがほとんどである。このような通信回線を使用して画像及び音声を伝送した場合、例え長い時間単位で見たときに必要データの伝送が行えていたとしても、短い時間単位で見たときはデータ伝送速度が変動していることが多い。
【０００５】
受信器２２でのデータ受信速度がＭＰＥＧ２デコーダ２４のデータ再生速度よりも速い場合は、デコーダ２４側でデータがあふれてしまい、データ落ちが生じる。受信器２２でのデータ受信速度がＭＰＥＧ２デコーダ２４のデータ再生速度よりも遅い場合は、デコーダ２４側でデータが足りなくなり、再生が行えなくなる。このような場合、動画の表示画面にデジタル再生特有のノイズが生じたり、画像が停止したりするので、大変に見苦しくなる。動画再生が行えないも同然となる。
【０００６】
ー般に配信側１０では、データを送り出す際に、このようなデータ伝送の変動がなるべく小さくなるように対策を取っている。しかし、例えばルーター等により通信回線１８上で生じる変動については、配信側１０で検知することは困難であり、通信回線１８上の変動に対して対策を取ることはできない。受信側２０が配信側１０から受け取るデータ量は、ほとんどの場合、時間毎に変動している。
【０００７】
図７(ａ)に配信側１０の一構成例である配信サーバ３０を、図７(ｂ)に受信側２０の一構成例である受信再生装置４０を示す。図７(ａ),(ｂ)では、通信回線の例としてＡＤＳＬを使用している。ＡＤＳＬは電話回線を含む。図７(ａ)中のＡＴＭネットワーク２８は、配信サーバ３０内部のネットワークである。
【０００８】
配信サーバ３０は、複数の動画をＭＰＥＧ２データに変換及び送信する。動画データのＭＰＥＧ２データへの圧縮は、ＭＰＥＧ２エンコーダ３２により行われる。圧縮された複数のＭＰＥＧ２データは、ＭＰＥＧ２多重化部３４で１つのデータ(ＭＰＥＧ２−ＴＳ(Transport Stream))にまとめられる。ＭＰＥＧ２−ＴＳに含まれる各ＭＰＥＧ２データは、図６(ｂ)に示すように、複数のデータ(DATA0,DATA1,DATA2,DATA3,…)に分割されている。多重化時には、ＭＰＥＧ２エンコード時に生じた時間の変動も考慮した時刻情報(T0,T1,T2,T3,…)が各データ(DATA0,DATA1,DATA2,DATA3,…)に添付される。時刻情報は動画データの相対的な再生時間を示す情報であり、受信再生装置４０は、時刻情報を参照することで正しい再生時間で動画再生を行うことができる。
【０００９】
ＭＰＥＧ２−ＴＳは、ＡＴＭ変換部３６でパケットに分けられ、ＡＴＭネットワーク２８を介して、ＡＤＳＬ送信部３８に送られる。ＡＤＳＬ送信部３８は、電話回線を介して受信再生装置４０へデータを送信する。一般的に、電話回線の帯域の方がＡＴＭネットワーク２８の帯域よりも狭く、回線の品質も悪いため、データ伝送速度の変動はほとんど電話回線で生じると考えても良い。
【００１０】
受信再生装置４０では、配信サーバ３０から送信されたデータをＡＤＳＬ受信部４２で受信し、ＡＴＭ復調部４４でパケットからＭＰＥＧ２−ＴＳに復調する。復調されたＭＰＥＧ２−ＴＳは複数のＭＰＥＧ２データを含むので、ＭＰＥＧ２−ＴＳデマルチプレクサ４６によりいずれか１つのＭＰＥＧ２データが取り出される。取り出すＭＰＥＧ２データは、ＭＰＵ(Microprocessor Unit)５６が指示する。ＭＰＵ５６は、受信再生装置４０内の各部(４２,４４,４６,４８,５０,５２,５４)の制御を行う。取り出されたＭＰＥＧ２データは、バッファＡ(符号４８)を介してＭＰＥＧ２デコーダ５０に送られる。ＭＰＥＧ２デコーダ５０で復元された動画データは、ＮＴＳＣエンコーダ５２でＮＴＳＣ(National Television System Committee)信号に変換され、画像・音声出力装置に出力される。ＭＰＥＧ２デコーダ５０及びＮＴＳＣエンコーダ５２が再生手段として機能する。画像・音声出力装置としては、例えばスピーカ内臓のテレビ・モニタを用いることができる。
【００１１】
配信サーバ３０と受信再生装置４０内部で上述したデータ変換処理が行われるが、これらデータ変換処理等にかかる時間が常に一定であるというわけではない。配信サーバ３０内では、ＭＰＥＧ２データの多重化,ＡＴＭパケット変換,ＡＤＳＬ変換の各処理時間に変動が生じることがある。受信再生装置４０内では、ＡＤＳＬ復調,ＡＴＭパケット復調の各処理時間に変動が生じることがある。よって、電話回線上だけでなく配信サーバ３０内と受信再生装置４０内のデータ変換処理時間の変動もデータ伝送速度の変動の原因となる可能性がある。
【００１２】
しかし、多重化時に添付した時刻情報により、配信サーバ３０内の計時速度と受信再生装置４０内の計時速度を合わせ、配信サーバ内３０と受信再生装置内４０の再生速度を一致させることで、データ変換処理時間の変動を無効化できる。例えば、図６(ｂ)に示すように、分割されたＭＰＥＧ２データ(DATA0,DATA1,DATA2,DATA3,・・・)の各々に添付された時刻情報(T0,T1,T2,T3,・・・)により、図６(ｃ)に示す配信サーバ３０側が指定するデータ再生時間と、図６(ｄ)に示す受信再生装置４０側のデータ再生時間とを一致させることができる。Ｔｓ１,Ｔｓ２はそれぞれ配信サーバ３０側,受信再生装置４０側の再生開始時間であり、伝送による遅延があるのでＴｓ１＜Ｔｓ２である。Ｔｃ１,Ｔｃ２はそれぞれ配信サーバ３０側,受信再生装置４０側の時間単位であり、Ｔｃ１＝Ｔｃ２である。
【００１３】
図７(ｂ)の受信再生装置４０は、基準クロック生成部５４で時間単位Ｔｃ２を制御している。基準クロック生成部５４は、受信再生装置４０全体の基準クロックを生成する。例えば、基準クロックの１００クロック分を時間単位Ｔｃ２に設定すること等ができる。通常は、Ｔｃ２＝Ｔｃ１に設定されているが、基準クロック生成部５４は、バッファＡの使用容量の大小に基づいて、時間単位Ｔｃ２を増減させる。
【００１４】
バッファＡの使用容量が所定値を超えてオーバー・フローに近づくと、基準クロック生成部５４は時間単位Ｔｃ２を短くし、ＭＰＥＧ２デコーダ５０及びＮＴＳＣエンコーダ５２での再生速度を速める。再生速度が上がるので、バッファＡからＭＰＥＧ２デコーダ５０に送られる動画データは一時的に増加する。バッファＡから出力されるデータ量を増やすことでオーバー・フローの発生が起こりにくくなる。
【００１５】
バッファＡの使用容量が所定値より低下して記憶データが無い状態(アンダー・フロー)に近づくと、基準クロック生成部５４は時間単位Ｔｃ２を長くし、ＭＰＥＧ２デコーダ５０及びＮＴＳＣエンコーダ５２での再生速度を遅くする。再生速度が下がるので、バッファＡからＭＰＥＧ２デコーダ５０に送られる動画データは一時的に減少する。バッファＡから出力されるデータ量を減らすことでアンダー・フローの発生が起こりにくくなる。
【００１６】
時間単位Ｔｃ２の変更幅を大きくすれば、データ変換時間の変動はもちろん、より大きなデータ伝送速度の変動にも対応できる。しかし、時間単位Ｔｃ２の基となる基準クロックは、受信再生装置４０全体の基準クロックとして使用されているので、あまり大きく変更できない。例えば基準クロックは、ＮＴＳＣ出力の色基準信号の基本信号にもなっており、単位時間Ｔｃ２を大きく変更した場合には、画像・音声出力装置がこの変更に対応できず、色が出なくなったり、同期が取れなくなったりする。さらに、時間単位Ｔｃ２の変更は、再生速度を変えるので、変更幅は人間が再生速度の変化を認識しない程度に押さえる必要がある。
【００１７】
このように、データ伝送速度の変動に対する受信再生装置の対応には限界がある。ー般の受信再生装置では、±０.１％程度の変動に対しては対応できる。ところが、ー般の通信回線では、数％又は数１０％以上の変動が生じるので、通信回線で生じる変動に対応できない。回線上の変動を小さくすることは、通信回線を構成する装置を工夫する等したとしても困難である。特に電話回線等の公衆回線では、データ伝送速度を一定に保つことは難しい。このような通信回線を用いた動画配信では、映像及び音声を正しい時間で再生することは困難である。
【００１８】
【発明が解決しようとする課題】
本発明の目的は、通信回線で生じるデータ伝送速度の変動による動画データ再生への影響を減少させることにある。
【００１９】
【課題を解決するための手段】
本発明の受信再生装置は、通信回線を介して送信される動画データを受信する受信手段と、受信した動画データを再生する再生手段と、受信手段から再生手段へ送られる動画データを一時的に記憶し、再生処理に必要な動画データを再生手段へ供給する第１バッファ・メモリと、受信手段が受信した動画データを一時的に記憶する第２バッファ・メモリと、第２バッファ・メモリから所定速度で動画データを読み出して第１バッファ・メモリへ送る第２バッファ・メモリ制御手段とを含む。第２バッファ・メモリを設けることにより、第１バッファ・メモリに一定速度で動画データを入力できる。
【００２０】
本発明の受信再生方法は、受信した動画データを第２バッファ・メモリに記憶するステップと、第２バッファ・メモリから所定速度で動画データを読み出すステップと、第２バッファ・メモリから読み出された動画データを第１バッファ・メモリに記憶するステップと、第１バッファ・メモリから再生に必要な動画データを読み出すステップと、第１バッファ・メモリから読み出された動画データを再生するステップとを含む。
【００２１】
【発明の実施の形態】
次に、本発明に係る受信再生装置及び方法の実施の形態について、図面に基づいて詳しく説明する。動画配信サーバは、図７(ａ)に示した従来の配信サーバ３０と同じでよい。
【００２２】
図１に本発明に係る受信再生装置６０の一構成例を示す。受信再生装置６０は、ＡＤＳＬ受信部４２が受信した動画データを一時的に記憶し、記憶した動画データを所定速度でバッファＡ(符号４８)へ出力するバッファＢ(符号６２)を含む。バッファＢ以外のＡＤＳＬ受信部４２,ＡＴＭ復調部４４,ＭＰＥＧ２−ＴＳデマルチプレクサ４６,バッファＡ,ＭＰＥＧ２デコーダ５０,ＮＴＳＣエンコーダ５２,基準クロック生成部５４,ＭＰＵ５６は、従来(図７(ｂ))と同じ構成でよい。
【００２３】
バッファＢにはＭＰＥＧ２−ＴＳが入力される。ＭＰＥＧ２−ＴＳは、配信サーバ３０から電話回線を介して送信されるデータをＡＤＳＬ受信部４２で受信し、受信したデータをＡＴＭ復調部４４で復調して得られる。バッファＢからは一定速度でＭＰＥＧ２−ＴＳが出力される。出力されたＭＰＥＧ２−ＴＳは、ＭＰＥＧ２−ＴＳデマルチプレクサ４６に入力される。
【００２４】
ＭＰＥＧ２−ＴＳは複数のＭＰＥＧ２データを含むので、ＭＰＥＧ２−ＴＳデマルチプレクサ４６で所要のＭＰＥＧ２データを取り出す。取り出されたＭＰＥＧ２データは、バッファＡ(符号４８)に入力される。バッファＡは、ＭＰＥＧ２データを一時的に記憶し、再生処理に必要な動画データをＭＰＥＧ２デコーダ５０へ供給する。バッファＡから出力されたＭＰＥＧ２データはＭＰＥＧ２デコーダ５０で圧縮前の状態に復元され、ＮＴＳＣエンコーダ５２でＮＴＳＣ信号に変換される。ＭＰＥＧ２デコーダ５０及びＮＴＳＣエンコーダ５２で再生された動画は、画像・音声出力装置に出力される。
【００２５】
基準クロック生成部５４は、受信再生装置６０の各部の動作基準となる基準クロックを生成する。図１では、基準クロックを基にした時間単位Ｔｃ２がＭＰＥＧ２デコーダ５０,ＮＴＳＣエンコーダ５２に送られている。さらに、基準クロック生成部５４は、バッファＡの使用容量を監視している。受信再生装置６０の各部(４２,４４,４６,４８,５０,５２,５４,６２)は、ＭＰＵ５６で制御される。
【００２６】
バッファＢ(符号６２)は、図２に示すように、ＭＰＥＧ２−ＴＳが一時的に記憶されるバッファ・メモリ７０と、バッファ・メモリ７０から所定速度でデータを読み出すバッファ・メモリ制御手段(６４,６８,５６)を含む。バッファ・メモリ制御手段は、バッファ・メモリ７０の使用容量を監視する容量監視装置６４と、ＭＰＵ５６に指示された速度でバッファ・メモリ７０から動画データを読み出す読み出し制御装置６８とを含む。ＭＰＵ５６もバッファ・メモリ制御手段の一部として機能する。ＭＰＵ５６は、容量監視装置６４から送られるバッファ・メモリ７０の使用容量の大小に基づいて、バッファ・メモリ７０から出力する動画データの速度を指示する。
【００２７】
バッファＢの読み出し制御装置６８は、一定速度でデータを読み出す一定速度読み出しモードと、読み出し可能な任意の速度でデータを読み出す直接読み出しモードのどちらかのモードでデータを読み出す。このモードの切り換えは、読み出しモード切り換え装置６６で行う。読み出しモード切り換え装置６６へのモード切り換え指示は、容量監視装置６４又はＭＰＵ５６が行う。
【００２８】
ＭＰＵ５６は、バッファ・メモリ７０の使用容量の大小に基づいて、ＭＰＥＧ２デコーダ５０及びＮＴＳＣエンコーダ５２での再生処理速度を指示し、動画の再生速度を変更する。
【００２９】
次に、このような受信再生装置６０及び方法を用いた動画データの再生について、その作用を説明する。
【００３０】
配信サーバ３０から電話回線を介して送信されたデータは、ＡＤＳＬ受信部４２で受信され、ＡＴＭ復調部４４でＭＰＥＧ２−ＴＳに復調される。ＭＰＥＧ２−ＴＳは、バッファＢに送られ、一時的に記憶される。一時的に記憶されたＭＰＥＧ２−ＴＳは、ＭＰＵ５６が指示した一定の速度で読み出される。ＭＰＥＧ２−ＴＳデマルチプレクサ４６には、一定の速度でＭＰＥＧ２−ＴＳが入力される。
【００３１】
ＭＰＥＧ２−ＴＳデマルチプレクサ４６では、多重化された複数のＭＰＥＧ２データの中からＭＰＵ５６が指示するＭＰＥＧ２データを取り出す。取り出されたＭＰＥＧ２データは、バッファＡに記憶される。バッファＡからは、再生に必要な動画データが読み出され、ＭＰＥＧ２デコーダ５０に送られる。ＭＰＥＧ２デコーダ５０は、ＭＰＥＧ２データを圧縮前の状態に復元する。ＮＴＳＣエンコーダ５２は、復元された動画データをＮＴＳＣ信号に変換し、画像・音声出力装置へ出力する。
【００３２】
バッファＢからは、一定の速度でＭＰＥＧ２−ＴＳが出力されるので、バッファＡには、ほぼ一定速度でＭＰＥＧ２データが入力される。バッファＢからのＭＰＥＧ２−ＴＳの出力速度は、配信サーバ３０のＭＰＥＧ２−ＴＳ送信速度と等しくすることが好ましい。例えば、ＡＤＳＬ受信部４２が受信したＭＰＥＧ２−ＴＳの平均データ受信速度をＭＰＵ５６で求め、求めた速度を配信サーバ３０のＭＰＥＧ２−ＴＳ送信速度と見なすことができる。
【００３３】
バッファＢのデータ出力速度を一定にすることにより、バッファＡへのデータ入力速度をほぼ一定に保つことができる。バッファＢのデータ出力速度を配信サーバ３０のデータ送信速度に合わせることにより、バッファＡへのデータ入力速度を配信サーバ３０のデータ送信速度とほぼ同じにすることができる。バッファＢにより、通信回線で生じるデータ伝送速度の変動を補償できる。配信サーバ３０内部及び受信再生装置６０内部で生じる微少な再生時間の変動に関しては、従来と同様にバッファＡで補償できる。
【００３４】
バッファＢからのＭＰＥＧ２−ＴＳの読み出し速度は一定に保つことが好ましいが、バッファ・メモリ制御手段(６４,６８,５６)により、一時的に別の一定速度に変更されることもある。例えば、通信回線のデータ伝送速度の変動の状況によっては、バッファＢがオーバー・フロー又はアンダー・フローを起こす場合がある。
【００３５】
バッファＢの使用容量の大小に基づいたデータの読み出し速度制御手順を図３に示す。容量監視装置６４は、バッファ・メモリ７０の使用容量を監視し、所定時間毎にＭＰＵ５６へ現在の使用容量Ｍｔを知らせる(Ｓ１００)。ＭＰＵ５６は、現在のバッファ・メモリ７０の使用容量Ｍｔに基づいて、バッファ・メモリ７０からの動画データの読み出し速度を指示する。さらに、ＭＰＵ５６は、現在のバッファ・メモリ７０の使用容量Ｍｔに基づいて、動画データの再生速度も指示する。
【００３６】
現在の使用容量Ｍｔが、全記憶容量の例えば８０％の記憶容量Ｍｂよりも大きくなり、オーバー・フローに近づいている場合(Ｓ１０２)、ＭＰＵ５６は、バッファ・メモリ７０からＭＰＥＧ２−ＴＳを読み出す速度を上げるよう読み出し制御装置６８に指示する(Ｓ１０４)。さらに、ＭＰＵ５６は、ＭＰＥＧ２データの再生速度を上げるよう指示する(Ｓ１０６)。ＭＰＥＧ２データの再生速度は、基準クロック生成部５４の生成する基準クロックに基づく時間単位Ｔｃ２を短くすることで、上げることができる。
【００３７】
現在の使用容量Ｍｔが、全記憶容量の例えば２０％の記憶容量Ｍａよりも小さくなり、アンダー・フローに近づいている場合(Ｓ１０８)、ＭＰＵ５６は、バッファ・メモリ７０からＭＰＥＧ２−ＴＳを読み出す速度を下げるよう読み出し制御装置６８に指示する(Ｓ１１０)。さらに、ＭＰＵ５６は、ＭＰＥＧ２データの再生速度を下げるよう指示する(Ｓ１１２)。ＭＰＥＧ２データの再生速度は、基準クロック生成部５４の生成する基準クロックに基づく時間単位Ｔｃ２を長くすることで、下げることができる。
【００３８】
読み出し制御装置６８は、ＭＰＵ５６が指示した速度でバッファ・メモリ７０からＭＰＥＧ２−ＴＳを読み出す。ＭＰＥＧ２デコーダ５０及びＮＴＳＣエンコーダ５２は、ＭＰＵ５６が指示した再生速度でＭＰＥＧ２データを再生する。ＭＰＥＧ２デコーダ５０及びＮＴＳＣエンコーダ５２の再生速度は、従来と同様に視聴者が再生速度の変化を認識しない及び基準クロックの変動による表示画面ノイズが発生しない範囲内の速度である。バッファＢからのＭＰＥＧ２−ＴＳの読み出し速度も、バッファＡがオーバー・フロー又はアンダー・フローを起こさない範囲内の速度である。
【００３９】
ただし、上述した読み出し速度の変更だけではオーバー・フロー又はアンダー・フローを防ぎ切れない場合もある。例えば、バッファＢからのデータ読み出し速度を上げても、その後調べたメモリ使用容量Ｍｔ(Ｓ１１４)が増加する場合や、バッファＢからのデータ読み出し速度を下げても、その後調べたメモリ使用容量Ｍｔ(Ｓ１１４)が減少する場合は、オーバー・フロー又はアンダー・フローが生じる可能性が更に高くなる。このような修正処理が必要な状態になると(Ｓ１１６)、オーバー・フロー又はアンダー・フローが発生しても問題無いように修正処理(Ｓ１１８)を行う。
【００４０】
修正処理(Ｓ１１８)の一例を図４に示す。現在のバッファ使用容量Ｍｔが全記憶容量の例えば８０％の記憶容量Ｍｂを更に超えてオーバー・フローに近づいている場合(Ｓ１２０)、ＭＰＵ５６は読み出しモード切り換え装置６６に、直接読み出しモードへの切り換えを指示する。指示を受けた読み出しモード切り換え装置６６は、読み出し制御装置６８の読み出しモードを切り換える(Ｓ１２２)。さらに、ＭＰＥＧ２デコーダ５０に、動画再生フレームの一部のフレームを省きながら動画再生を行うよう指示し(Ｓ１２４)、動画再生速度を更に上げさせる。
【００４１】
現在のバッファ使用容量Ｍｔが、全記憶容量の例えば２０％の記憶容量Ｍａよりも更に小さくなり、アンダー・フローに近づいている場合(Ｓ１２６)、ＭＰＵ５６はＭＰＥＧ２デコーダ５０に新たなフレームの再生処理の中断を指示し(Ｓ１２８)、現在再生しているフレームを繰り返し再生するよう指示する(Ｓ１３０)。
【００４２】
バッファ・メモリ７０の使用容量を監視し、使用容量の大小に基づいてバッファ・メモリ７０からのデータ読み出し速度及びＭＰＥＧ２デコーダ５０の再生速度を調整することにより、バッファＢのオーバー・フロー又はアンダー・フローを防止することができる。
【００４３】
図示していないが、バッファ・メモリ７０の使用容量Ｍｔが正常(全記憶容量の２０％〜８０％)に戻った場合は、読み出し速度及び動画再生速度を元の状態に戻すといった修正が必要になる。現在のバッファ使用容量Ｍｔが正常に戻ると、ＭＰＵ５６は、読み出し制御装置６８に元の一定速度でデータを読み出すよう指示すると共に、ＭＰＥＧ２デコーダ５０及びＮＴＳＣエンコーダ５２の再生速度を元の状態に戻すよう指示する。このような修正処理もＳ１１６,Ｓ１１８で行う。
【００４４】
図３及び図４に示した処理をＭＰＵ５６に実行させるための命令やＭａ,Ｍｂ等の設定値は、受信再生装置６０内のＲＯＭ(Read Only Memory)やＰＲＯＭ(Programmable ROM)等の記憶手段(図示していない)に記憶されている。Ｍａ,Ｍｂは任意の値に設定することができる。
【００４５】
以上、本発明の一実施例について説明したが、本発明はその他の態様でも実施し得るものである。例えば、バッファＢの読み出し制御装置６８の読み出しモードの切り換えは、図５(ａ)に示すように、ＭＰＵで指示することができる。ＭＰＵで読み出し制御装置６８の読み出し速度及び読み出しモードを指示する。さらに、図５(ｂ)に示すように、ＭＰＵでバッファＢの使用容量の監視,データ読み出し速度及び読み出しモードの指示を行うこともできる。容量監視装置６４,読み出しモード切り換え装置６６,読み出し制御装置６８の各機能をＭＰＵで実行することもできる。
【００４６】
バッファＢは、ＡＤＳＬ受信部４２とバッファＡとの間の任意の位置に設けることができる。バッファＢから出力したデータの変換処理等の時間変動が動画再生処理に影響を与えないように、バッファＡに近い位置にバッファＢを設けることが好ましい。
【００４７】
図３では、バッファＢがオーバー・フロー又はアンダー・フローを起こしそうになると、バッファＢからのデータの読み出し速度及び動画再生速度を増減しているが、バッファＢからのデータの読み出し速度又は動画再生速度の一方だけを増減させてもよい。あるいは、バッファＢからのデータの読み出し速度又は動画再生速度のどちらか一方を増減させ、それで不十分な場合にもう一方も増減させることもできる。
【００４８】
図１では、再生手段としてＭＰＥＧ２デコーダ５０とＮＴＳＣエンコーダ５２を用いているが、ＭＰＥＧ２デコーダ５０は、配信サーバ３０から送信される動画フォーマートに応じて任意のデコーダを用いることができる。ＮＴＳＣエンコーダ５２も、画像・音声出力装置がサポートする出力形式に応じて任意のデコーダを用いることができる。
【００４９】
図１のＭＰＥＧ２−ＴＳデマルチプレクサ４６は、配信される動画データが多重化されていない場合は、省略することができる。ＡＤＳＬ受信部４２及びＡＴＭ復調部４４も、配信される動画データの通信プロトコルに応じて、任意の受信器及び復調器を用いることができる。
【００５０】
以上、本発明は特定の実施例について説明されたが、本発明はこれらに限定されるものではない。例えば、通信回線はＡＤＳＬに限定はされず、さらに無線有線を問わず、任意の通信回線を用いることができる。通信プロトコルも特に限定はされず、さらに映像以外の例えば音楽を配信することもできる。ストリーム自身に時間情報が含まれ、受信器側の計時時間と受信したストリームの時間情報とを参照して再生を行う任意のコンテンツの受信に本発明を用いることができる。その他、本発明はその趣旨を逸脱しない範囲で当業者の知識に基づき種々なる改良，修正，変形を加えた態様で実施できるものである。
【００５１】
【発明の効果】
本発明の受信再生装置は、受信した動画データを一時的に記憶し、記憶した動画データを所定速度で出力するバッファを備えることにより、動画再生手段へ一定速度の動画データを供給することができる。前記バッファのメモリ使用容量を監視する容量監視手段と、メモリ使用容量の大小に基づいてバッファから出力する動画データの読み出し速度及び動画再生速度を指示する速度指示手段により、バッファのメモリ使用容量の大小に基づいて、バッファからのデータ読み出し速度と動画再生手段の再生速度を調整することができる。
【００５２】
本発明の受信再生方法は、受信した動画データをバッファに一時的に記憶し、記憶された動画データを一定速度で再生手段へ出力することにより、通信回線で生じた伝送速度の変動の影響を無効化した一定速度の動画データを再生手段へ供給することができる。バッファのメモリ使用容量を調べ、メモリ使用容量の大小に基づいてバッファからの動画データの読み出し速度及び再生手段の動画再生速度を指示することにより、バッファのオーバー・フロー又はアンダー・フローを防止することができる。
【図面の簡単な説明】
【図１】本発明の受信再生装置の一構成例を示すブロック図である。
【図２】図１に示す受信再生装置のバッファＢの一構成例を示すブロック図である。
【図３】バッファＢからのデータの読み出し速度の調整手順の一例を示すフローチャート図である。
【図４】図３に示す修正処理手順の一例を示すフローチャート図である。
【図５】同図(ａ),(ｂ)は、受信再生装置のバッファＢの他の構成例を示すブロック図である。
【図６】同図(ａ)は動画配信システムの概略を示すブロック図であり、同図(ｂ)は分割された各ＭＰＥＧ２データに添付される時刻情報の概略を示す図であり、同図(ｃ)は配信側の動画再生の時間を示す図であり、同図(ｄ)は受信側の動画再生の時間を示す図である。
【図７】同図(ａ)は従来の配信サーバの一構成例を示すブロック図であり、同図(ｂ)は従来の受信再生装置の一構成例を示すブロック図である。
【符号の説明】
１０：配信側
１２,３２：ＭＰＥＧ２エンコーダ
１４：送信器
１８：通信回線
２０：受信側
２２：受信器
２４,５０：ＭＰＥＧ２デコーダ
２８：ＡＴＭネットワーク
３０：配信サーバ
３４：ＭＰＥＧ２多重化部
３６：ＡＴＭ変換部
３８：ＡＤＳＬ送信部
４０：受信再生装置(従来)
４２：ＡＤＳＬ受信部
４４：ＡＴＭ復調部
４６：ＭＰＥＧ２−ＴＳデマルチプレクサ
４８：バッファＡ(第１バッファ・メモリ)
５２：ＮＴＳＣエンコーダ
５４：基準クロック生成部
５６：ＭＰＵ
６０：受信再生装置
６２：バッファＢ
６４：容量監視装置
６６：読み出しモード切り換え装置
６８：読み出し制御装置
７０：バッファ・メモリ(第２バッファ・メモリ)

Claims (10)

  1. 配信サーバから通信回線を介して送信される動画データを受信する受信手段であって、前記動画データが多重化された複数の動画データを含む、前記受信手段と、
    前記受信手段が受信した動画データを一時的に記憶する第２バッファ・メモリであって、前記第２バッファ・メモリは前記通信回線で生じるデータ伝送速度の変動を補償し、及び前記第２バッファ・メモリは前記配信サーバのデータ送信速度に合わせて前記第２バッファ・メモリから一定の速度で動画データを読み出す第２バッファ・メモリ制御手段を含み、前記第２バッファ・メモリ制御手段は前記第２バッファ・メモリの使用容量を監視する容量監視手段と、前記第２バッファ・メモリの使用容量の大小に基づいて、前記第２バッファ・メモリから出力する動画データの読み出し速度を指示する速度指示手段と、前記配信サーバのデータ送信速度に合わせて前記第２バッファ・メモリから動画データを読み出す読み出し制御手段とを含む、前記第２バッファ・メモリと、
    前記第２バッファ・メモリから動画データを受け取り、該動画データの中から所要の動画データを取り出す手段と、
    前記取り出す手段からの動画データを一時的に記憶する第１バッファ・メモリと、
    前記第１バッファ・メモリから動画データを受け取り、該動画データを再生する再生手段と
    を含む受信再生装置。
  2. 前記第２バッファ・メモリ制御手段が、
    前記第２バッファ・メモリの使用容量の大小に基づいて、前記再生手段での動画データの再生速度を指示する手段をさらに含む、請求項１に記載の受信再生装置。
  3. 前記動画データが、ＭＰＥＧ２方式で圧縮された動画データを含む、請求項１又は２に記載の受信再生装置。
  4. 前記通信回線が、ＡＴＭ(Asynchronous Transfer Mode)、イーサネット、トークン・リング、ＡＤＳＬ(Asymmetric Digital Subscriber Line)、通信衛星又は無線通信である、請求項１〜３のいずれか一項に記載の受信再生装置。
  5. 通信回線を介して送信される動画データを受信し、受信した動画データを再生する方法であって、前記動画データは多重化された複数の動画データを含み、
    前記方法は、
    受信した動画データを第２バッファ・メモリに記憶するステップであって、前記第２バッファ・メモリは前記通信回線で生じるデータ伝送速度の変動を補償する、第２バッファ・メモリに記憶するステップと、
    前記第２バッファ・メモリから、前記配信サーバのデータ送信速度に合わせて一定の速度で動画データを読み出して、多重化された複数の動画データの中から所要の動画データを取り出すステップであって、前記一定の速度で動画データを読み出すステップは、前記第２バッファ・メモリの使用容量を調べるステップと、前記第２バッファ・メモリの使用容量の大小に基づいて、前記第２バッファ・メモリから出力する動画データの読み出し速度を指示するステップと、前記配信サーバのデータ送信速度に合わせて前記第２バッファ・メモリから動画データを読み出すステップとを含む、前記取り出すステップと、
    前記取り出された所要の動画データを第１バッファ・メモリに記憶するステップと、
    第１バッファ・メモリから再生に必要な動画データを読み出すステップと、
    第１バッファ・メモリから読み出された動画データを再生するステップと
    を含む、受信再生方法。
  6. 前記第２バッファ・メモリからの動画データの読み出し速度を指示するステップが、第２バッファ・メモリの使用容量が所定値以上になると第２バッファ・メモリからの動画データの読み出し速度を上げるよう指示し、第２バッファ・メモリの使用容量が所定値以下になると第２バッファ・メモリからの動画データの読み出し速度を下げるよう指示する、請求項５に記載の受信再生方法。
  7. 前記第２バッファ・メモリの使用容量の大小に基づいて、動画データの再生速度を指示するステップをさらに含む、請求項５又は請求項６に記載の受信再生方法。
  8. 前記動画データの再生速度を指示するステップが、第２バッファ・メモリの使用容量が所定値以上になると動画データの再生速度を上げるよう指示し、第２バッファ・メモリの使用容量が所定値以下になると動画データの再生速度を下げるよう指示する、請求項７に記載の受信再生方法。
  9. 前記動画データの再生速度を上げる指示が、動画再生フレーム内の一部フレームを省いた動画再生の指示を含み、
    前記動画データの再生速度を下げる指示が、新規フレームの再生の中断及び現在再生中のフレームの繰り返し再生の指示を含む、請求項８に記載の受信再生方法。
  10. 前記動画データが、ＭＰＥＧ２方式で圧縮された動画データを含み、
    前記動画データを再生するステップが、動画データを圧縮前の状態に復元するステップを含む、請求項５乃至請求項９のいずれか一項に記載の受信再生方法。
JP2000273592A 2000-09-08 2000-09-08 受信再生装置及びその方法 Expired - Fee Related JP3974318B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2000273592A JP3974318B2 (ja) 2000-09-08 2000-09-08 受信再生装置及びその方法
US09/948,285 US7703122B2 (en) 2000-09-08 2001-09-07 Method and apparatus for receiving and playing back data
US12/762,310 US8104067B2 (en) 2000-09-08 2010-04-17 Apparatus for receiving and playing back data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000273592A JP3974318B2 (ja) 2000-09-08 2000-09-08 受信再生装置及びその方法

Publications (2)

Publication Number Publication Date
JP2002112199A JP2002112199A (ja) 2002-04-12
JP3974318B2 true JP3974318B2 (ja) 2007-09-12

Family

ID=18759503

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000273592A Expired - Fee Related JP3974318B2 (ja) 2000-09-08 2000-09-08 受信再生装置及びその方法

Country Status (2)

Country Link
US (2) US7703122B2 (ja)
JP (1) JP3974318B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10360256B2 (en) 2016-03-18 2019-07-23 Olympus Corporation Microscope-image browsing system

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087768A (ja) * 2001-09-11 2003-03-20 Sony Corp 情報処理装置および方法、並びにプログラム
JP2006014177A (ja) * 2004-06-29 2006-01-12 Toshiba Corp 無線通信装置及び無線通信方法
JP2008033944A (ja) * 2007-08-10 2008-02-14 Omron Corp コンテンツ配信システム、コンテンツ配信サーバ、コンテンツ受信端末、コンテンツ配信方法、コンテンツ処理方法、および、プログラム
JP5271544B2 (ja) * 2008-01-11 2013-08-21 株式会社日立製作所 デジタル放送受信装置、および、デジタル放送受信方法
US20110023079A1 (en) * 2008-03-20 2011-01-27 Mark Alan Schultz System and method for processing priority transport stream data in real time in a multi-channel broadcast multimedia system
WO2010053465A1 (en) 2008-11-04 2010-05-14 Thomson Licensing System and method for a schedule shift function in a multi-channel broadcast multimedia system
CN102362312A (zh) * 2009-03-23 2012-02-22 松下电器产业株式会社 记录再生方法以及记录再生装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL165859C (nl) * 1975-04-25 1981-05-15 Philips Nv Station voor informatie-overdracht.
US5386212A (en) * 1992-11-19 1995-01-31 General Instrument Corporation Double buffer scheme for variable length decoder
US5613190A (en) * 1995-05-01 1997-03-18 Bell Atlantic Network Services, Inc. Customer premise wireless distribution of audio-video, control signals and voice
JP2907063B2 (ja) * 1995-05-24 1999-06-21 日本ビクター株式会社 総符号量制御を行なう動画像符号化装置
US5892535A (en) * 1996-05-08 1999-04-06 Digital Video Systems, Inc. Flexible, configurable, hierarchical system for distributing programming
JPH1023375A (ja) * 1996-07-04 1998-01-23 Matsushita Electric Ind Co Ltd 順次ディジタルビデオ復号化装置
JPH1198142A (ja) * 1997-07-25 1999-04-09 Fujitsu Ltd Ａｂｒ通信制御方法及びａｂｒ通信制御装置
US5958027A (en) * 1997-08-05 1999-09-28 Advanced Micro Devices, Inc. Method and system for optimizing the flow of isochronous data and clock rate information
US6549240B1 (en) * 1997-09-26 2003-04-15 Sarnoff Corporation Format and frame rate conversion for display of 24Hz source video
US6934759B2 (en) * 1999-05-26 2005-08-23 Enounce, Inc. Method and apparatus for user-time-alignment for broadcast works
SE517156C2 (sv) * 1999-12-28 2002-04-23 Global Ip Sound Ab System för överföring av ljud över paketförmedlade nät
US7096481B1 (en) * 2000-01-04 2006-08-22 Emc Corporation Preparation of metadata for splicing of encoded MPEG video and audio

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10360256B2 (en) 2016-03-18 2019-07-23 Olympus Corporation Microscope-image browsing system

Also Published As

Publication number Publication date
US20100257575A1 (en) 2010-10-07
US7703122B2 (en) 2010-04-20
US20020075404A1 (en) 2002-06-20
US8104067B2 (en) 2012-01-24
JP2002112199A (ja) 2002-04-12

Similar Documents

Publication Publication Date Title
EP1338131B1 (en) Transmitting and receiving real-time data
JP3801984B2 (ja) 帯域幅スケーラを含むマルチキャスト伝送システム
US8104067B2 (en) Apparatus for receiving and playing back data
EP2506570B1 (en) Method and system for playing video information, and video information content
EP2308203B1 (en) DYNAMIC QoS IN A NETWORK DISTRIBUTING STREAMED CONTENT
JP4224139B2 (ja) Ｍｐｅｇストリームのシームレス結合のためのビデオバッファ
JP2001111972A (ja) データ送出装置
US11445241B2 (en) Information processing apparatus and information processing method
JP2000031964A (ja) ストリーム配信システム
KR20070059053A (ko) 전송 에러 복구가 있는 가정용 망 시스템
KR20050049428A (ko) 콘텐츠를 기록하기 위해 사용되는 기록매체의 저장공간을절약하기 위한 방송 기록시스템, 기록장치, 방송장치 및프로그램
US20020015442A1 (en) Digital transmitter-receiver
EP0826289B1 (en) Data multiplexing apparatus
KR20080032088A (ko) 실시간 콘텐츠 분배의 클라이언트 입력 버퍼의 충전율 추정 장치 및 방법
US7187697B1 (en) Method and system for delivering MPEG video over bursty communication channels
JP3132482B2 (ja) 画像データ転送における転送レート制御方式及び方法
JP2002535934A (ja) リファレンス信号情報を規定時間間隔で配信する方法および装置
JP2003512788A (ja) デジタル媒体広告を統計多重ストリームに挿入する方法および装置
JP5231516B2 (ja) 映像配信サーバ、映像配信システム、及び、映像配信方法
JPH10257452A (ja) デジタルデータ多重化方法及び装置とデータ供給システム
US20050265369A1 (en) Network receiving apparatus and network transmitting apparatus
KR100601603B1 (ko) Ｍｐｅｇ 데이터 재생량 표시 방법 및 그 장치
JP4212404B2 (ja) ストリーム受信機のシステムクロック制御装置及びシステムクロック制御方法
KR20020022147A (ko) 멀티미디어 오디오 복원용 디지털 티브이 및 이를 이용한멀티미디어 오디오 재생 방법
JPH1098716A (ja) 圧縮情報供給再生システム、情報供給装置及び情報再生装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20031216

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20031224

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040226

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20040226

RD12 Notification of acceptance of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7432

Effective date: 20040226

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20040227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040820

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20041116

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041116

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20041119

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20050408

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20070502

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20070607

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20070607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070614

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110622

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110622

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120622

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120622

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130622

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees