JP4287376B2 - ストリーミングメディア - Google Patents

ストリーミングメディア Download PDF

Info

Publication number
JP4287376B2
JP4287376B2 JP2004544332A JP2004544332A JP4287376B2 JP 4287376 B2 JP4287376 B2 JP 4287376B2 JP 2004544332 A JP2004544332 A JP 2004544332A JP 2004544332 A JP2004544332 A JP 2004544332A JP 4287376 B2 JP4287376 B2 JP 4287376B2
Authority
JP
Japan
Prior art keywords
bit rate
streaming
client device
media
streaming media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2004544332A
Other languages
English (en)
Other versions
JP2006503463A (ja
Inventor
ダニロ ディエゴ クルシオ,イゴール
ルンダン,ミーッカ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of JP2006503463A publication Critical patent/JP2006503463A/ja
Application granted granted Critical
Publication of JP4287376B2 publication Critical patent/JP4287376B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1083In-session procedures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W36/00Hand-off or reselection arrangements
    • H04W36/02Buffering or recovering information during reselection ; Modification of the traffic flow during hand-off
    • H04W36/023Buffering or recovering information during reselection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

本発明は、無線インターフェイス上におけるストリーミングサーバーからモバイルクライアント装置へのメディアのストリーミングに関するものである。
パケット交換ストリーミングサービス(Packet switched Streaming Service:PSS)は、現在、3GPP(3rd Generation Partnership Project)により、モバイル環境における標準化作業が行われている。図1には、メディアをストリーミングする(ストリーミングビデオ及び/又はオーディオ)能力を有する通信システムの一例が示されている。このシステムは、IP(Internet Protocol)ネットワーク104に接続されたストリーミングサーバー111を有している。このIPネットワーク104は、例えば、インターネットやサービスプロバイダ事業者のイントラネット(それらの事業者のドメインに属するイントラネットネットワーク)であってよい。IPネットワーク104は、Giインターフェイスを介してモバイル通信ネットワークのコアネットワーク103に接続されている。そして、このモバイル通信ネットワークは、コアネットワーク103に接続された無線アクセスネットワーク(Radio Access Network:RAN)102をも具備している。この無線アクセスネットワーク102は、無線インターフェイス上におけるモバイル通信ネットワークへのアクセスをモバイル通信装置101に対して提供する。このアクセスは、回線交換手段(回線交換による音声又はデータ通話)、又はパケット交換手段、或いは、これらの両方により、提供可能である。以下においては、無線インターフェイス上において通信するためのパケット交換手段の一例として、GPRS(General Packet Radio Service)を使用する。尚、GPRSに関連し、この「無線アクセスネットワーク(RAN)」という一般的な用語には、基地(トランシーバ)局(BS)と基地局コントローラ(BSC)を含んでいるものと見なされたい。
ストリーミングメディアにおいては、「動画(即ち、ビデオ)」又はサウンド(即ち、オーディオ)のシーケンス、或いはサウンドを伴う「動画」(即ち、マルチメディア)のシーケンスを、圧縮された形態で、ストリーミングサーバー111からモバイル通信装置101に送信する(尚、以下においては、このモバイル通信装置101をクライアント装置101と呼ぶ)。再生の前に、メディアファイルの全体がクライアントに到着していなければならない技法とは対照的に、このストリーミング法によれば、ストリーミングサーバー111からクライアント装置101にメディア(ビデオ及び/又はオーディオ)を継続的に送信しつつ、クライアントにメディアが到着次第、メディアを逐次再生することができる。
しかしながら、この図1に示されているシステムなどのセルラーモバイル通信システムにおいてメディアをストリーミングする際には、モバイル環境に固有の新しい問題が生じることになる。これらの問題は、そのほとんどがモバイルシステムの様々な制約に起因するものであり、これらの問題の1つが、図2に示されているセルの再選択(即ち、ハンドオーバー)状態において発生する。
図2において、無線アクセスネットワーク102の第1基地局BS1は、第1セル201のエリアにサービスしており、無線アクセスネットワーク102の第2基地局BS2は、第2セル202のエリアにサービスしている。セル再選択の前の段階においては、クライアント装置101は、第1基地局BS1のサービスを受けており、即ち、クライアント装置101は、第1基地局BS1との間にアクティブな無線リンクを具備している。この状況は、図2の左側に示されている。一方、セル再選択の後の段階においては、クライアント装置101は、第2基地局BS2のサービスを受けることになり、破線によって示されている第1基地局BS1との無線リンクは切断される。この状況が、図2の右側に示されている。
このセルの再選択(Cell Reselection:CR)は、時間的に、(a)プレCR期間、(b)CR期間、及び(c)ポストCR期間という3つの期間に分割することができる。
プレCR期間においては、第1セル内において受信される信号の品質が弱化し、クライアント装置101は、セル再選択のシグナリングを開始する。この期間中は、クライアント装置101は、第1基地局BS1を介してストリーミングメディアを受信可能である。そして、CR期間中に、実際のセルの再選択が実行されることになる。この期間中においては、クライアント装置101は、ストリーミングメディアを受信することはできない。そして、クライアント装置101は、ポストCR期間において、第2基地局BS2を介し、再度、ストリーミングメディアを受信できるようになる。
このセルの再選択により、サービスの長い休止状態が発生することになる。例えば、GPRSを無線ベアラとして使用する場合には、セルの再選択(CR期間)は、最大30〜40秒を所要することになり、これは、進行中のストリーミングセッションに影響を与える。例えば、ストリーミングメディアを搬送するパケットの一部が消失したり、クライアント装置101において、メディアの再生がフリーズしたりすることになるのである。このフリーズは、ストリーミングメディアがビデオストリームから構成されている場合には、クライアント装置のディスプレイ上に静止画が表示され、ストリーミングメディアの受信と再生が再び可能になる時点まで、これが一定の期間にわたって留まることを意味している。又、ストリーミングメディアがオーディオストリームから構成されている場合には、このフリーズは、CR期間が終了する時点まで、サウンドが再生されないことを(即ち、無音状態)を意味している。
従って、進行中のストリーミングセッションに対するセル再選択の影響を軽減する適切な手段に対するニーズが存在している。
本発明の第1の態様によれば、無線インターフェイス上においてストリーミングサーバーからモバイルクライアント装置にメディアをストリーミングする方法が提供され、この方法は、セル再選択のためにモバイルクライアント装置が受信できないストリーミングメディアを送信するように、ストリーミングサーバーに対して要求する段階を有している。
このストリーミングメディアを送信するようにストリーミングサーバーに対して要求する要求は、前述のセル再選択の前又は後において、モバイルクライアント装置からストリーミングサーバーに送信可能である。
尚、この要求は、セル再選択に起因して(セル再選択期間中に)モバイルクライアント装置が受信できない(又、できなかった)メディアのみの送信要求に限定されるものではない。一実施例においてはこの要求を、受信できなかったメディアコンテンツの部分の再送に加え、メディアコンテンツの残りの部分の送信を実際に要求しているものと解釈することができる。
又、この「メディア」という用語は、ビデオ又はオーディオ、又は静止画などのその他のメディア、或いは、これらの組み合わせ(即ち、マルチメディア)を意味するものと見なされたい。
好ましくは、再送要求は、セル再選択に応答して送信される。そして、この再送要求は、好ましくは、モバイルクライアント装置アプリケーションとストリーミングサーバーアプリケーション間において送信されるアプリケーションレイヤの要求である。
好適な実施例においては、再生の前に、クライアント装置において、ストリーミングメディアを一時的に保存するバッファなどの一時ストアの充填度を上昇させるべく、所定の期間にわたって高速送信するように、ストリーミングサーバーに対して要求する。好ましくは、これは、高ビットレートメディアストリームの送信から、低ビットレートメディアストリームの高速送信に切り替えるように、ストリーミングサーバーに対して要求することにより、実行する。そして、この高ビットレートストリーム又は低ビットレートストリームは、好ましくは、マルチレートコーデックによって提供する。
本発明の第2の態様によれば、無線インターフェイス上においてストリーミングサーバーからストリーミングメディアを受信するモバイルクライアント装置が提供され、このモバイルクライアント装置は、セル再選択のためにモバイルクライアント装置が受信できないストリーミングメディアを送信するように、ストリーミングサーバーに対して要求する手段を有している。
好ましくは、このモバイルクライアント装置は、無線インターフェイスにより、モバイル通信ネットワークに接続されている。そして、このモバイルクライアント装置は、好ましくは、携帯電話機から構成されている。
本発明の第3の態様によれば、無線インターフェイス上においてストリーミングメディアをモバイルクライアント装置に送信するストリーミングサーバーが提供され、このストリーミングサーバーは、セル再選択のためにモバイルクライアント装置が受信できないストリーミングメディアを送信するように、ストリーミングサーバーに対して要求する要求を受信する手段と、この受信した要求に応答して動作する手段と、を有している。
本発明の第4の態様によれば、ストリーミングサーバーとモバイルクライアント装置を有し、無線インターフェイス上において、ストリーミングサーバーからモバイルクライアント装置にメディアをストリーミングするシステムが提供され、このシステムは、セル再選択のためにモバイルクライアント装置が受信できないストリーミングメディアを送信するように、ストリーミングサーバーに対して要求する手段をモバイルクライアント装置に有し、更に、このシステムは、この要求を受信する手段と、この受信した要求に応答して動作する手段と、をストリーミングサーバーに有している。
本発明の第5の態様によれば、モバイルクライアント装置内において実行可能なコンピュータプログラムが提供され、このコンピュータプログラムは、セル再選択のためにモバイルクライアント装置が受信できないストリーミングメディアを送信するように、モバイルクライアント装置からストリーミングサーバーに対して要求させるプログラムコードを有している。
本発明の第6の態様によれば、ストリーミングサーバー内において実行可能なコンピュータプログラムが提供され、このコンピュータプログラムは、セル再選択のためにモバイルクライアント装置が受信できないストリーミングメディアを送信するようにストリーミングサーバーに対して要求する要求をストリーミングメディアに受信させるプログラムコードと、この受信した要求に応答して動作するプログラムコードと、を有している。
従属請求項には、本発明の好適な実施例について記載されている。そして、この本発明の特定の態様に関係する従属請求項に記載されている主題は、本発明のその他の態様にも適用可能である。
以下、一例として、添付の図面を参照し、本発明の実施例について説明する。
図1に示されているシステムは、本発明の好適な実施例においても使用することができる(これは、図2についても当てはまる)。即ち、このシステムは、IPネットワーク104に接続されたストリーミングサーバー111を有している。そして、このIPネットワーク104は、例えば、インターネットやサービスプロバイダ事業者のイントラネットであってよい。IPネットワーク104は、Giインターフェイスを介してモバイル通信ネットワークのコアネットワーク103に接続されている。このモバイル通信ネットワークは、コアネットワーク103に接続された無線アクセスネットワーク(RAN)102をも具備している。そして、この無線アクセスネットワーク102は、無線インターフェイス上におけるモバイル通信ネットワークへのアクセスをモバイル通信装置101に提供している。このアクセスは、回線交換手段(回線交換による音声又はデータ通話)、又はパケット交換手段、或いは、これらの両方により、提供可能である。そして、以下においては、無線インターフェイス上において通信するためのパケット交換手段の一例として、GPRS(General Packet Radio Service)を使用することとする。
本発明の好適な実施例について十分に理解できるように、次のような例を考えてみよう。
この例においては、モバイル通信装置101(この場合にも、これをクライアント装置101と呼ぶ)は、第1基地局BS1のサービスを受けている際に、既にストリーミングサーバー111とのストリーミングセッションを確立した状態にある。そして、この例においては(並びに、以下の説明においては)、主に、ビデオストリーミングセッションについて検討することとする。但し、この対応する検討内容は、オーディオストリーミングセッション及びマルチメディア(例:オーディオを伴うビデオ)ストリーミングセッションにも適用可能である。
ストリーミングセッションのセットアップの際には、RTSP(Real Time Streaming Protocol)プロトコルを使用する。そして、セッションが確立すれば、RTP(Real Time Transport Protocol)やその他のプロトコルにより、ストリーミング自体を実行可能である(即ち、メディアフローを送信することができる)。尚、確立されたセッションの変更が望ましい場合には、RTSPを使用し、これを再度実行することなる。
この確立したストリーミングセッションの開始時点においては、パケット(又は、フレーム)によって送信され、受信されたストリーミングメディア(メディフロー)は、クライアント装置のバッファ(以下、これをクライアントバッファと呼ぶ)内にバッファリングされる(即ち、一時的に保存される)。そして、このクライアント装置のバッファが満杯になると、バッファの一端からストリーミングメディアの再生(プレイバック)が開始され、これと同時に、このバッファは、受信されるストリーミングメディアにより、その他端において、継続的に充填される。この結果、このバッファは、システムの通常の動作においては、略満杯の状態に維持されることになる。
ここで、クライアント装置は、第1セル201から第2セル202へのセルの再選択を経験する(図2)。尚、この図2においては、無線アクセスネットワーク(RAN)102は、単一の雲の形状のみによって示されているが、これは、様々な無線アクセスネットワークから構成可能であることに留意されたい。即ち、これは、GPRS(GPRSのみの)RAN、3G(3rd Generation)RAN、又はこれらの組み合わせから構成することができる。従って、第1セル201(基地局BS1のサービスを受けているもの)と第2セル202(基地局BS2のサービスを受けているもの)は、例えば、GPRS RAN又は3G RANのセルであってよい。この結果、セルの再選択(ハンドオーバー)も、例えば、GPRS RANに属する基地局間、3G RANに属する基地局間、或いは、GPRS RANに属する基地局と3G RANに属する基地局間において、発生することになる。
クライアント装置101は、CR期間中においては、ストリーミングメディアを受信することはできない。従って、CR期間が始まると、バッファコンテンツが更に再生される一方で、連続的な充填が停止するため、クライアント装置のバッファに空きが発生し始めることになる。そして、クライアント装置バッファのサイズに応じて、(i)セルの再選択が所要する時間に比べて、クライアント装置バッファのほうが短い(単位:時間)(即ち、CR期間に比べて、満杯のクライアント装置バッファが空になるのに所要する時間のほうが短い)場合と、(ii)セルの再選択が所要する時間に比べて、クライアント装置バッファのほうが長い(単位:時間)(即ち、CR期間に比べて、満杯のクライアント装置が空になるのに所要する時間のほうが長い)場合という2つの異なるケースが存在し得る。
まず、第1のケースにおいては(図3)、バッファは、CR期間中に完全に空になってしまう。そして、バッファが空になるため、クライアント装置101にとっては、それ以上再生するメディアが存在していない。このため、クライアント装置101は、リバッファリングを始めることになる。このリバッファリングは、ポストCR期間に開始可能である。リバッファリングを開始するには、クライアント装置101は、RTSP PAUSE/PLAY法を使用することができる。この方法によれば、クライアント装置101は、まず、RTSP PAUSEメッセージをストリーミングサーバー111に対して送信する。このPAUSEメッセージにより、サーバー111は、メディアフローの送信を休止する。続いて、クライアント装置101は、最後に受信したフレームに続いてストリーミングメディアの再送を開始するように、ストリーミングサーバー111に対して要求するRTSP PLAYメッセージを送信する。このようにして、クライアントがストリーミングメディアの受信を再開すると、リバッファリングが始まることになる。そして、クライアント装置バッファが満杯になると、最後に受信したフレームに続いてストリーミングメディアの再生が再開されることになる。尚、この間においては、クライアント装置のディスプレイ上には、最後に受信したフレームが静止画として表示されている。従って、このケースの場合には、静止画が表示されるという欠点は有しているものの、CR期間中にクライアント装置が受信できないメディアフローが、CR期間の後に、サーバー111からクライアント装置101に再送されるため、パケットが実際に消失することはない。
一方、第2のケースにおいては(図4)、バッファのコンテンツ全体の再生がCR期間中には完了しない。従って、CR期間中には、バッファは、部分的に空になるのみである(即ち、CR期間が終了した時点で、バッファ内には、ストリーミングメディア(データ)がまだ存在している。そして、ポストCR期間においては(CR期間の後には)、CR期間の前にバッファ内に保存されていたストリーミングメディア(即ち、データ*)の再生が、バッファの一端において更に継続される一方で、CR期間の後に受信されるストリーミングメディア(即ち、データ**)により、他端が充填されることになる。なんの処置も施さなければ、データ*は、最終的には終了し、データ**の第1フレームから再生が継続されることになる。静止画が表示されることはない。しかしながら、データ**の第1フレームは、データ*の最後のフレームの直後に再生されるべきフレームではない。クライアント装置101は、CR期間中にストリーミングメディアを受信できなかったため、データ*の最後のフレームの次に表示するべきフレームを受信してはおらず、バッファリングされているメディア内には、時間的なギャップが存在している。この結果、クライアント装置101は、セルの再選択のために受信できなかったストリーミングメディアシーケンス(ビデオ)の表示をスキップすることになる。尚、同様のことは、オーディオストリームの場合にも発生する(即ち、受信できなかったサウンドの再生をクライアント装置101がスキップすることになる)。
図5には、この第2のケースが更に詳細に示されている。尚、この図5は、非常に単純なケースを示しているに過ぎないことに留意されたい。そして、この図5においては、時間は、左から右に経過するものと見なされたい。サーバーが送信するストリーミングメディアシーケンスは、ビデオフレームA〜Sによって構成されている。これらのフレームは、クライアント装置において受信され、再生の前にバッファリングされる。そして、バッファが満杯になった際に(即ち、バッファ内におけるフレームA〜Gの保存が完了した時点で)、メディアストリームの再生がフレームAから開始され、次いで、それらのフレーム(動画)がクライアント装置のディスプレイ上に表示されることになる。尚、この図5には、わかりやすくするために、フレームGに続くフレームのバッファリングは示されてはいない。
CR期間中には、サーバーからクライアント装置へのメディアフローは不可能である。従って、クライアント装置は、フレームL〜Oを受信することができない(CR期間が存在しなければ、このメディアフローは、クライアント装置において完全に受信される)。ここで、CR期間がバッファサイズよりも短い場合には、CR期間の前に最後に受信されたフレーム(フレームK)の表示の後には、CR期間の後に最初に受信されたフレーム(フレームP)の表示が続くことになり、ビデオフレームL〜Oは、まったく表示されない。同様のことは、オーディオストリームの場合にも発生する。即ち、ユーザーは、サウンドの休止と時間的なギャップを聞くことになる。
フレームには、イントラフレームとインターフレームという2つのタイプが存在する。イントラフレームには、画像の必要な情報がすべて含まれているが、インターフレームに含まれているのは、先行する画像と比べた場合の変化(又は、予想される変化)のみである。この先行画像は、イントラフレーム又はインターフレームかもしれない。従って、フレームPがイントラフレームであれば、表示画像は、フレームKからフレームPに時間の経過方向に飛ぶだけであり、この場合には、ユーザーにとっては、フレームL〜Oが表示されないということに過ぎない。しかしながら、フレームPがインターフレームである場合には、次のイントラフレームが受信及び再生されるまで、表示画像(動画)に大きな歪が発生することになろう。
図6に示されている本発明の好適な実施例においては、この第2のケースに関係する前述の問題に焦点を絞っている。この実施例においては、バッファが、CR期間の持続時間よりも長くなっている。従って、バッファは、CR期間中に完全に空にはならず、部分的に空になるのみである。尚、この図6は、非常に単純なケースを示しているに過ぎないことに留意されたい。又、この図6においては、時間は、左から右に経過するものと見なされたい。サーバーが送信するストリーミングメディアシーケンスは、フレームA〜Sによって構成されている。そして、これらのフレームは、クライアント装置において受信され、再生の前にバッファリングされる。そして、バッファが満杯になった際に、メディアの再生がフレームAから始まり、次いで、これらのフレーム(動画)がクライアント装置のディスプレイ上において表示されることになる。尚、この図6には、わかりやすくするために、フレームGに続くフレームのバッファリングは示されてはいない。CR期間中には、サーバーからクライアント装置へのメディアフローは不可能である。従って、クライアント装置は、フレームL〜Oを受信することができない(CR期間が存在しない場合には、このメディアフローは、クライアント装置において完全に受信されることになる)。
CR期間が終了した際に、クライアント装置は、CR期間の前に(即ち、プレCR期間中に)自身が受信した最後のフレームがなんであったかを正確に認知している。この実施例の場合には、それは、フレームKである。従って、クライアント装置は、CR期間が終了した直後に、この最後に受信したフレームに続いてストリーミングメディアの再送を開始するようにストリーミングサーバーに対して要求する。そして、この要求を受信すると、ストリーミングサーバーは、メディアフローの再送を開始する。送信するべき第1のフレームは、この実施例の場合には、フレームLである。尚、CR期間の後に、且つ再送が始まる前に、送信及び受信されるフレームは、クライアント装置によって無視される(これらは、恐らく、フレームPから始まるいくつかのフレームであろう)。そして、CR期間の前にバッファ内に保存されている(フレームA〜Kからなる)ストリーミングメディアが終了すると、CR期間の後に受信された再送ストリーミングメディアの第1フレーム(フレームL)によって再生が継続されることになる。従って、表示ビデオ画像の不連続性は、ユーザーには表示されない。尚、この図6には、その他の方式によってはクライアント装置において受信されない再送ビデオフレームL〜Oが太字で示されている。又、オーディオストリームの場合にも、同様に、クライアント装置において受信が停止した時点からオーディオストリームの再送を開始するように、ストリーミングサーバーに対して要求する。そして、この結果、再生の不連続性は表れない。
実際には、この再送要求は、RTSP PAUSE/PLAY法によって実行可能である。この方法によれば、クライアント装置は、CR期間が終了した後に、まず、RTSP PAUSEメッセージをストリーミングサーバーに対して送信する。このPAUSEメッセージにより、サーバーは、メディアフローの送信を休止する。但し、クライアント装置おいて受信されているストリーミングメディアの再生は、バッファが空にならない限り(この場合には、これは発生しないはずである)、休止されることはない。続いて、クライアント装置は、RTSP PLAYメッセージをストリーミングサーバー111に対して送信する。このPLAYメッセージには、再送の開始点に関する情報が含まれている。CR期間の終了時点において、クライアント装置は、最後に受信したフレームの時刻を認知している。クライアント装置は、これに基づいて、PLAYメッセージを送信する前に、この開始点を判定する。そして、このPLAYメッセージにより、サーバーは、再送を開始する。
PAUSEメッセージの一例は、次のとおりである。
PAUSE rtsp://example.com/foo RTSP/1.0
CSeq:6
Session:354832
このPAUSEメッセージは、変化の到来についてサーバーに通知するものである。一方、これに続いて送信されるPLAYメッセージの一例は、次のとおりである。
PLAY rtsp://example.com/foo RTST/1.0
CSeq:7
Session:354832
Range:npt=28.00−
「Range」というメッセージフィールドが、再送の開始点を示している。この例の場合には、開始点は、ストリーミングメディアシーケンスの開始から28秒のところに位置している。図6に示されている実施例との関係においては、この時点は、ちょうど、ストリーミングメディアシーケンス内のフレームLの時点に相当しよう。
先程説明した実施例においては、CR期間中に失われたフレーム(パケット)が、サーバーからクライアント装置に対して再送される。又、バッファサイズがCR期間の持続時間よりも長いため、表示されるビデオ画像の中断は発生せず、ユーザーの経験は極大化されることになる。
しかしながら、バッファの充填度が変化しない通常のストリーミングの場合には、充填されるのと同一のレートでバッファが空になるため(再生されるため)、この結果、更なる問題が生じることになる。即ち、先程説明した実施例の場合には、セルの再選択の後に、クライアント装置バッファは、前述の理由により、以前の状態よりも更に空になった状態で維持されることになる。従って、例えば、近い将来に新たにセルの再選択が実行された場合には、この更に空になったバッファに起因し、前述の第1のケース(即ち、セルの再選択が所要する時間に比べて、クライアント装置のバッファが短いケース)に関連して説明したものと同一の不都合が発生することになってしまうのである。
本発明の好適な一実施例においては、この問題に焦点を絞っている。即ち、この実施例においては、表示されるビデオ画像(同様に、再生されるサウンド)の滑らかな動作を確保するべく、CR期間の後に、一定の期間にわたって、空になる(再生される)レートに比べて、高いレートで、クライアントバッファを充填している(この期間を充填期間と呼ぶことができよう)。そして、この充填期間が終了すると、バッファは、再度、満杯状態になっており、この時点で、空になるのと同一のレートでバッファを充填する通常のストリーミングを再開するのである。
尚、通常は、バッファの充填度を上昇させるには、再生の休止を必要とすることに留意されたい。本実施例においては、再生中に再生レートよりも高いレートによってバッファを充填するという巧妙なバッファ管理により、再生を休止させることなしに、バッファの充填度を上昇させることができる。
再生を休止させることなしに、バッファの充填度を上昇させるべく、この実施例においては、クライアント装置は、低ビットレートのストリーミングメディアシーケンスに切り替えると共に、実際の送信においては、以前と同一の伝送ビットレート(以下においては、これをオリジナルの伝送ビットレートと呼ぶ)を使用するように、サーバーに対して要求する。そして、オリジナルの伝送ビットレートに到達するべく、クライアント装置は、加速係数によって低ビットレートシーケンスの伝送を加速するように、サーバーに対して要求する。この伝送ビットレートの加速により、データのバッファからの読み出し量をバッファへの書き込み量が上回ることになる。そして、この結果、所望どおりに、バッファの充填度が上昇する。
換言すれば、第1ビットレートにおいてエンコードされたオリジナルのシーケンスの送信から、第1ビットレートよりも低い第2ビットレートにおいてエンコードされた新しい対応するシーケンスの送信に切り替えると共に、オリジナルの伝送ビットレート(帯域幅)に到達するべく、新しいシーケンスの伝送ビットレートを上昇させるように、サーバーに対して要求するのである。尚、メディアストリームをエンコード(及びデコード)するビットレートは、伝送ビットレートとは別の概念であることに留意されたい。メディアストリームをエンコードしたビットレートは、その画像の品質に影響を与える。メディアストリームを高ビットレートにおいてエンコードした場合には、これは、低ビットレートにおけるエンコードと比べて、多くのビットがエンコードに使用されていることを意味している。通常は、これにより、優れた画像品質を結果的に得ることができる。一方、伝送ビットレートとは、メディアストリームが実際に送信されるビットレートのことであり、これは、利用可能な帯域幅によって左右されることになる。
この低ビットレートシーケンスの送信への切り替えと伝送ビットレートの加速の要求は、RTSP PAUSE/PLAY法を使用して伝達可能である。即ち、ポストCR期間において、クライアント装置バッファの充填を所望する場合には、クライアント装置は、まず、先程の説明において既に提示済みのものに対応するPAUSEメッセージをサーバーに対して送信し、変化の到来について通知する。そして、これに続いて、クライアント装置は、PLAYメッセージを生成し、サーバーに送信することになる。
このPLAYメッセージの例は、次のとおりである。
PLAY rtsp://example.com/foo RTSP/1.0
CSeq:7
Session:354832
Range:npt=28.00−40.00
Bandwidth:20000
Speed:1.5
このメッセージには、クライアント装置及びストリーミングサーバーが理解する「Bandwidth」及び「Speed」という2つの任意選択のメッセージフィールドが含まれている。尚、これらのフィールドは、IETF(Internet Engineering Task Force)により、RFC2326規格「Real Time Streaming Protocol」において、任意選択フィールドとして既に規定済みである。
「Bandwidth」メッセージフィールドは、低ビットレートシーケンスの送信に変更するように、サーバーに対して通知するものであり(この場合には、このシーケンスのビットレートは、20kbpsである)、「Speed」メッセージフィールドは、加速係数により、送信を加速するようにサーバーに対して通知している(この場合には、加速係数は、1.5である)。そして、「Range」メッセージフィールドは、ストリーミングメディアシーケンス内の開始点及び停止点(単位:時間)について通知している(これらは、ストリーミングメディアシーケンスの開始点から算出されたものである)。
このPLAYメッセージは、当初、サーバーが、30kbpsのオリジナルの伝送ビットレートにおいて、30kbpsのビットレートのシーケンスを送信しており、バッファを充填するべく、サーバーが、好ましくは、20kbpsのビットレートの送信に切り替えると共に、加速係数1.5により、この送信を加速して、12秒の充填期間において(即ち、メディアシーケンスの28秒と40秒の時点間において)、30kbpsのオリジナルの伝送ビットレートに到達させる例の場合に好適なものである。
可能なビットレートオプションがクライアントに判明している場合には(これらについは、通常、セッションのセットアップの際に、例えば、RTSP DESCRIBEメッセージに対する「200 OK」応答などにより、サーバーからクライアントに伝達される)、クライアントは、次の式を使用して、オリジナルのビットレートに到達するのに必要な加速係数を算出することができる。
加速係数=オリジナルの伝送ビットレート/新しい伝送ビットレート
そして、バッファが満杯になった時点で、クライアント装置は、更なるRTSP PAUSE及びPLAYメッセージのペアをサーバーに対して送信する。このPLAYメッセージの例は、次のとおりである。
PLAY rtsp://example.com/foo RTSP/1.0
CSeq:67
Session:354832
Range:npt=40.00−
Bandwidth:30000
Speed:1.0
この模範的なメッセージは、オリジナルの伝送ビットレート30kbps(Speed:1.0)において(オリジナルの)30kbpsのビットレートのメディアシーケンス(Bandwidth:30000)の送信をメディアシーケンスの40秒の時点から(Range:npt=40.00−)開始するように、サーバーに対して要求している。
クライアント装置は、次の式を使用して、バッファ充填期間の長さを算出可能である。
充填期間=LowSeqTime/加速係数
ここで、LowSeqTimeは、次のとおりである。
LowSeqTime=(BufferSize−BufferData)・(オリジナルの伝送ビットレート)/(オリジナルの伝送ビットレート−新しい伝送ビットレート)
これらの式において、LowSeqTimeは、クライアント装置における低ビットレートシーケンスの再生時間の持続時間を示しており、BufferSizeは、バッファのサイズ(単位:秒)を示し、BufferDataは、バッファ内に残されているデータ(単位:秒)を示している。
図7に、このバッファの充填について示されている。尚、この図7は、非常に単純なケースを示しているに過ぎないことに留意されたい(例えば、遅延がすべて無視されている)。又、この図7においては、時間は、左から右に経過するものと見なされたい。CR期間が始まると、バッファが空になり始めることがわかる。そして、第1のPLAYメッセージを受信した際に、サーバーは、低ビットレート(これは、この場合には、20kbpsである)を具備するメディアシーケンスの送信に切り替え、加速係数(これは、この場合にも、1.5である)によって送信を加速する。尚、加速係数が1.5であるため、バッファを充填するには、空になる期間が継続した時間の2倍を所要することになる。例えば、空になる期間が25秒だけ継続した場合には、充填期間は、この加速係数の場合には、50秒となろう。そして、バッファが満杯になった時点で、第2のPLAYメッセージが送信され、サーバーは、高ビットレート(これは、この場合には、30kbpsである)を具備するオリジナルのメディアシーケンスの送信に切り替え、オリジナルの伝送ビットレートにおける送信を継続することになる。
以上においては、例えば、ビデオストリームが、通常、イントラフレームとインターフレームの両方から構成されており、イントラフレームは、画像の必要なすべての情報を含む「独立的なフレーム」であり、インターフレームは、先行する画像と比べた場合の変化(又は、予想される変化)のみを含んでいるものと説明している。そこで、本発明の以下の好適な実施例においては、この点に関連し、低ビットレートシーケンスからオリジナルのビットレートシーケンスへの切り替えのタイミングについて、更に詳しく説明することとする。
この実施例における目的は、可能な場合には常に、低ビットレートシーケンスからオリジナルのビットレートシーケンスへの切り替えが、オリジナルのビットレートシーケンスのイントラフレームの時点において(更に一般的に表現すれば、送信の切り替え先であるシーケンスのイントラフレームの時点において)発生するように、時間設定することにある。このようにすることにより、予測誤差及び/又はメディア(フレーム)フローのジャンプを回避することができる。図8に、この実施例が示されている。尚、この図8は、単純なケースを示しているに過ぎないことに留意されたい。又、この図8においては、時間は、左から右に経過するものと見なされたい。この実施例においては、オリジナルのビットレートシーケンスから低ビットレートシーケンスへの第1の切り替えは、第1のPAUSE/PLAYメッセージペアにより、28秒の時点において実施されている。
この図8に示されているように、オリジナルのビットレートシーケンスにおけるイントラフレームの位置は、低ビットレートシーケンスのものとは異なっている。しかしながら、バッファを完全に充填するのに必要な時間(即ち、充填期間)、オリジナルのシーケンスにおける2つの隣接するイントラフレームの時間距離(即ち、イントラフレームレート「IFrameTimeOriginal」、及びオリジナルビットレートシーケンスから低ビットレートシーケンスへの第1の切り替えが行われる時点(即ち、「SwitchTime」)に基づいて、オリジナルのビットレートシーケンスに戻るべく切り替わるのに好適な時点を算出することができる。尚、「IFrameTimeOriginal」パラメータは、低ビットレートシーケンスに切り替わる前に、クライアント装置において、オリジナルのビットレートシーケンスから算出可能である。そして、オリジナルのビットレートシーケンスに戻るべく切り替わるのに好適な時点の算出は、次の式を使用して実行可能である。
SeqChangeTime=IFrameTimeOriginal*[(Switchtime+充填期間)/IFrameTimeOriginal
この式において、「SeqChangeTime」は、オリジナルのビットレートシーケンスに戻るべく切り替わる時点を示しており、大括弧は、この大括弧内において算出された値の端数部分を切り捨てるFLOOR関数(又は、TRUNC関数)を示している。例えば、バッファを完全に充填するのに必要な時間(即ち、「充填期間」)が16秒であれば、第1の切り替えが行われる時点(即ち、「SwitchTime」)は、28秒であり、オリジナルのシーケンスにおける2つの隣接するイントラフレーム間の時間距離(即ち、「IFrameTimeOriginal」)は、5秒であり、オリジナルのビットレートシーケンスに戻るべく切り替わる時点は、40秒となる(SeqChangeTime=5*floor(28+16)/5)=40s)。従って、図8に示されているように、第2のPAUSE/PLAYメッセージペアは、40秒の時点において送信されることになり、この実施例においては、PLAYメッセージのメッセージフィールド「Range」内に配置される開始点と停止点は、それぞれ28秒及び40秒となる。
尚、イントラフレームレートに起因し、必ずしもすべてのケースにおいてバッファを完全に充填できないことに留意されたい。例えば、先程説明した例においては、バッファを完全に充填するには、更に4秒を所要することになろう。但し、これらの式によれば、バッファの充填期間に最も近接した適切なイントラフレームを取得することができる。
別の実施例においては、CR期間の前に最後に受信されたフレームの時点において、低ビットレートのメディアシーケンス内にイントラフレームが存在していない。従って、この実施例の場合には、開始点において、低ビットレートシーケンス内にイントラフレームが存在するように、後方に、必要なフレームの数(又は、時間)だけ、再送要求の開始点を調節している。尚、この場合には、連続的な再生を保証するべく、その開始点に続く期間に属するCR期間前の最後に受信されたフレームの組は、クライアント装置において無視されることになる。
本発明の別の実施例においては、先程説明した時間設定法を使用することなしに、2つの異なるビットレートシーケンス間における切り替えを実行している。この実施例においては、第1の切り替えポイント(高ビットレートシーケンスから低ビットレートシーケンスへの切り替え)を、最後に受信されたフレームによって直接的に判定し、第2の切り替えポイント(低ビットレートシーケンスから高ビットレートシーケンスへの切り替え)は、バッファを完全に充填するのに必要な時間(「充填期間」)により、直接的に判定している。従って、これらの切り替えポイントは、最終的に、イントラフレーム又はインターフレームの時点に位置することになる。そして、切り替えポイントがインターフレームの時点(例えば、Pフレーム)に最終的に位置した場合には、再生されるメディアに小さな予測誤差が生じることになるが、この実施例においては、バッファを完全に充填することが可能である。
切り替えを実行する更なる方法は、所謂「スイッチフレーム」を使用する方法である。異なるビットレートシーケンスにおける対応するフレーム間の「差」情報を含むフレームが存在している。この実施例においては、2つのシーケンス間におけるブリッジング及びスイッチングは、これらのフレームにより、この差情報を使用して実行される。
図9は、本発明の好適な実施例によるクライアント装置101を示している。このクライアント装置は、携帯無線電話ネットワークの移動局であってよい。クライアント装置101は、処理ユニットMCU、高周波部RF、及びユーザーインターフェイスUIを有している。高周波部RFとユーザーインターフェイスUIは、処理ユニットMCUに接続されている。ユーザーインターフェイスUIは、通常、ディスプレイ、1つ又は複数のスピーカ、及びキーボードを有しており(図示されてはいない)、ユーザーは、これらを利用して、装置101を使用することができる。
処理ユニットMCUは、プロセッサ(図示されてはいない)、メモリ210、及びコンピュータソフトウェアを有している。このソフトウェアは、メモリ210内に保存されている。前述のクライアント装置バッファ240も、このメモリ210内に含まれている。プロセッサは、ソフトウェアに従って、サーバー111から送信されるストリーミングメディアの受信や、高周波部RFを介したサーバー111への要求の送信、受信したストリーミングメディア(ビデオ及び/又はオーディオ)のバッファ240への書き込み及び読み取り、並びにユーザーインターフェイスUIのディスプレイ上における受信ストリーミングビデオの提示及び1つ又は複数のスピーカ上におけるオーディオの提示などのクライアント装置101の動作を制御する。バッファの適切なサイズ(単位:時間)は、例えば、最大(又は、平均)CR期間の1.5又は2倍であってよい。
ソフトウェアは、ストリーミングクライアントアプリケーション220(以下、これをクライアントソフトウェア220と呼ぶ)、RTPレイヤ、RTSPレイヤ、SDP(Session Description Protocol)レイヤ、TCPレイヤ(Transmission Control Protocol)、IPレイヤ、及びIPレイアの下に位置する下位プロトコルレイヤなどの必要なプロトコルレイヤを実装するためのプロトコルスタック230を有している。又、このソフトウェアは、クライアントソフトウェア220の一部として、受信したメディアを再生するメディアプレーヤをも有している。
プロセッサは、クライアントソフトウェア220に基づいて、前述のPAUSE及びPLAYメッセージを生成し、高周波部RFを介して、サーバー111に送信する。又、プロセッサは、クライアントソフトウェア220に基づいて、加速係数、バッファ充填期間、及び低ビットレートシーケンスからオリジナルのビットレートシーケンスに戻るべく切り替える適切な時点に関係する必要な計算をも実行する。
この再送要求(PLAYメッセージ)の生成及び送信とその他の適切な動作は、モバイルクライアント装置101内において発生するセル再選択イベントによってトリガされる。クライアントソフトウェア220は、プロトコルスタック230の下位レイヤによって提供されるAPI(Application Programming Interface)から非同期メッセージを受信することにより、このイベントを検出することができる。或いは、この代わりに(又は、これに加えて)、バッファのレベル(即ち、クライアント装置バッファ240の充填度)を監視することにより、このイベントを検出することも可能である。この場合には、バッファ240が特定量の時間Xにわたってデータを受信せず(このパラメータXは、実装に応じて、一定の値として定義可能であり、これは、セル再選択イベントが発生したことをクライアントソフトウェア220が理解するための閾値ある)、且つ、クライアント装置101が、特定の可変時間量Yの後に、後からデータの受信を開始した場合に(ここで、Y>Xであり、Yは、CR期間の実際の持続時間である)、クライアントは、先程説明した動作をトリガすることができる。
図10は、本発明の好適な実施例によるストリーミングサーバー111を示している。このストリーミングサーバー111は、処理ユニットCPU、第1メモリ310、IPネットワークインターフェイス350、及び第2メモリ360を有している。そして、第1メモリ310、IPネットワークインターフェイス350、及び第2メモリ360は、処理ユニットCPUに接続されている。
処理ユニットCPUは、第1メモリ310内に保存されているコンピュータソフトウェアに従って、クライアント装置101から受信した要求の処理や、第2メモリ(ディスク)360内に保存されている事前に記録されたメディアストリームのIPネットワークインターフェイス350を介したクライアント装置101への送信などのストリーミングサーバー111の動作を制御する。
ソフトウェアは、ストリーミングサーバーソフトウェアアプリケーション320(以下においては、これをサーバーソフトウェア320と呼ぶ)、RTPレイヤ、RTSPレイヤ、SDPレイヤ、TCPレイヤ、IPレイア、及び下位プロトコルレイヤなどの必要なプロトコルレイヤを実装するプロトコルスタック330を有している。
クライアント装置101から送信されたPAUSE及びPLAYメッセージは、IPネットワークインターフェイス350を介して受信される。そして、処理ユニットCPUのプロセッサ(図示されてはいない)が、サーバーソフトウェア320とプロトコルスタック330に従ってメッセージを処理し、適切な動作を実行する。
本発明は、進行中のストリーミングセッションに対するセル再選択の影響を軽減するための手段を提供している。尚、本発明の好適な実施例によれば、再送の要求(例:PLAYメッセージ)は、アプリケーションレイヤ上において(即ち、クライアントソフトウェアアプリケーション220とサーバーソフトウェアアプリケーション320間において)送信されることに留意されたい。尚、クライアント装置からストリーミングサーバーに対して、このアプリケーションレイヤの要求を転送する際には、TCP(Transmission Control Protocol)上におけるRTSP、又はその他の信頼性の高いプロトコル上におけるRTSPを使用することが好ましい。これにより、ストリーミングサーバーにおけるメッセージの受信を基本的に保証することができる。
尚、以上においては、セルの再選択は、2つの基地局間において実行されるものとして説明しているが、セルの再選択は、1つの同一の基地局の2つのセクター間において実行することも可能であることに留意されたい。又、実装に応じて、ストリーミングメディアの送信を休止させる別個のメッセージ(PAUSEメッセージ)が不要な場合も存在することに留意されたい。即ち、代替実施例においては、ストリーミングメディアの送信の停止とストリーミングメディアの再送の開始の両方を単一の適切なメッセージによって起動している。
又、バッファ充填の実施例に関連し、以上においては、サーバーが低ビットレートシーケンスの送信に切り替わる際に、オリジナルの伝送ビットレートが維持されるものとして説明している。しかしながら、本発明の代替実施例においては、バッファを更に高速で充填するべく、充填期間中に、オリジナルの伝送ビットレートを上回る伝送ビットレートを使用している。尚、この実施例においては、モバイルクライアント装置が大きな帯域幅を要求可能であると共に、無線アクセスネットワークにおいて大きな帯域幅が実際に利用可能であることを前提としている。
又、バッファ充填の実施例に関連し、「Bandwidth」RTSPフィールド以外の手段によっても、シーケンスの帯域幅情報をストリーミングサーバー111に送信することが可能である(例:クライアント装置101に既知のビットレートにおいてエンコードされた特定のシーケンスを要求する)。この場合には、「Bandwidth」フィールドは使用せず、実際の既知のシーケンスのビットレートに従って、「Speed」及び「Range」フィールドを再算出することになる。
バッファ充填期間中に、ネットワーク(無線インターフェイス)の帯域幅が変化することも考えられる。クライアント装置101が、ビットストリームの切り替えを伴う帯域幅適合機能をサポートしている場合には、クライアント装置101は、ストリーミングサーバー111に対して帯域幅適合メッセージを送信する前に、(RTSP PAUSEメッセージにより)バッファの充填を休止させる。そして、帯域幅適合操作が終了したら、クライアント装置は、バッファの充填を再開し、その新しいメディアストリームのビットレートとタイミング情報に従って、「Bandwidth」、「Speed」、及び「Range」の値を再算出可能である。
又、バッファ充填の実施例に関連し、代替実施例においては、第2のPAUSE/PLAYメッセージを送信することなしに、第1のPLAYメッセージ内に含まれている停止点情報に基づいて、オリジナルの伝送ビットレートのオリジナルメディアシーケンスの送信に戻るための切り替えをサーバーが自動的に実行していることにも留意されたい。
本発明の様々な実施例において言及した再送要求は、特定のケースにおいては、実際には送信要求であってよい。このような1つのケースも本発明の代替実施例として見なされる。この実施例においては、非常に近い将来にセルの再選択が発生することを事前に認知しているクライアント装置(101)が、セル再選択期間の開始前に(即ち、プレCR期間中に)、PAUSEメッセージをストリーミングサーバー(111)に対して送信する。このPAUSEメッセージの送信は、下位レイヤのAPIによってクライアントソフトウェア220に通知されるセル再選択起動イベントによってトリガされる。このPAUSEメッセージにより、ストリーミングサーバー111は、ストリーミングメディアの送信を停止する。そして、CR期間が終了すると、クライアント装置101は、PLAYメッセージを送信し、CR期間の前に送信が停止された時点において送信をストリーミングサーバーに開始させることになる。尚、この間においても、クライアント装置101におけるストリーミングメディアの再生は停止せず、クライアント装置バッファ240が、セル再選択が所要する時間よりも長く(単位:時間)選択されている場合には、バッファ240は、セル再選択の際に完全に空にはならず、ユーザーが再生のジャンプや中断を経験することもない。又、バッファ240の充填度を上昇させるべく、このPLAYメッセージに、高速送信の要求を含めることも可能である。
更に別の実施例においては、モバイルクライアント装置101は、CR期間の前に、ストリーミングメディアの送信を停止し、CR期間の後の適切な時点において送信を再開するようにストリーミングサーバー111に対して要求する適切なメッセージをストリーミングサーバー111に送信する。このメッセージの送信は、プレCR期間中において、下位レイヤのAPIによってクライアントソフトウェア220に通知されるセル再選択起動イベントによってトリガされる。セルの再選択が所要する大体の時間に関する知識を有しているモバイルクライアント装置101は、再度データを受信できるようになる適切な時点を推定する。そして、モバイルクライアント装置は、ストリーミングサーバー111が過剰に早期に送信を再開することを防止するべく、この情報をメッセージ内に挿入する。
このメッセージの例は、次のとおりである。
PLAY rtsp://example.com/foo RTSP/1.0
CSeq:7
Session:354832
Range:npt=28.00−40.00;time=19970123T153600Z
Bandwidth:20000
Speed:1.5
これは、「Time」というヘッダフィールドを具備するRTSP PLAYメッセージである。このフィールドの値により、ストリーミングメディアの「将来」の送信の開始点をスケジューリングしている。
図11には、(特に、バッファ充填の実施例に関連し)、次の3つの可能なメッセージ送信方法が示されている。
ケース1:第1のPAUSE及びPLAYメッセージは、CR期間の後に送信される。第2のPAUSE及びPLAYメッセージは、バッファ240が満杯になった際に送信される。
ケース2:第1のPAUSEメッセージは、CR期間の前に送信される。これに関連するPLAYメッセージは、CR期間の後に送信される。第2のPAUSE及びPLAYメッセージは、バッファ240が満杯になった際に送信される。
ケース3:第1のPAUSEメッセージは、CR期間の前に送信される。これに関連するPLAYメッセージは、PAUSEメッセージの後であり、且つCR期間の前に、送信される。第2のPAUSE及びPLAYメッセージは、バッファ240が満杯になった際に送信される。
第1のPLAYメッセージに、閉じた「Range」フィールドが含まれている場合には、第2のPAUSEメッセージの送信は不要である。
以上、本発明の特定の実装及び実施例について説明したが、本発明は、以上において提示した実施例の詳細事項(例:メッセージ名やメッセージフィールド名)に限定されるものではなく、本発明の特徴を逸脱することなしに、等価な手段を使用し、その他の実施例においても実装可能であることは、当業者に明らかである。従って、本発明の範囲を限定するものは、添付の特許請求項のみである。
メディアをストリーミングする能力を有する通信システムを示している。 図1の通信システム内におけるセル再選択の状況を示している。 セル再選択が所要する時間に比べて、クライアント装置のバッファが短いケースにおけるクライアント装置のバッファを示している。 セル再選択が所要する時間に比べて、クライアント装置のバッファが長いケースにおけるクライアント装置のバッファを示している。 図4の背景となっている状況を示す別の図である。 本発明の好適な実施例における好適な動作を示している。 本発明の好適な実施例を示している。 本発明の好適な実施例を示している。 本発明の好適な実施例によるクライアント装置を示している。 本発明の好適な実施例によるストリーミングサーバーを示している。 本発明の好適な実施例による3つのメッセージ送信方法を示している。

Claims (4)

  1. 無線インターフェイス上においてストリーミングサーバー(111)からモバイルクライアント装置(101)にメディアをストリーミングする方法であって、前記ストリーミングメディアは、再生の前に前記モバイルクライアント装置(101)において一時ストア(240)内に一時的に保存され、前記方法は、
    前記一時ストア(240)の充填度を上昇させるべく、セルの再選択のために前記モバイルクライアント装置(101)が受信できないストリーミングメディアを前記メディアの再生レートを上回るレートで送信するように、前記ストリーミングサーバー(111)に対して要求する段階を有し、
    前記要求する段階は、
    オリジナルのビットレートより低いビットレートでエンコードされた低ビットレートのストリーミングメディアの送信に切り替えるように要求することと、
    オリジナルの伝送ビットレートに到達するべく前記低ビットレートのストリーミングメディアの伝送を加速するように要求することと、を有する方法。
  2. 無線インターフェイス上においてストリーミングサーバー(111)からモバイルクライアント装置(101)にメディアをストリーミングする方法であって、前記ストリーミングメディアは、再生の前に前記モバイルクライアント装置(101)において一時ストア(240)内に一時的に保存され、前記方法は、
    前記一時ストア(240)の充填度を上昇させるべく、セルの再選択のために前記モバイルクライアント装置(101)が受信できないストリーミングメディアを前記メディアの再生レートを上回るレートで送信するように、前記ストリーミングサーバー(111)に対して要求する段階を有し、
    前記要求する段階は、
    オリジナルのビットレートより低いビットレートでエンコードされた低ビットレートのストリーミングメディアの送信に切り替えるように要求することと、
    オリジナルの伝送ビットレートを上回る伝送レートで前記低ビットレートのストリーミングメディアの伝送を加速するように要求することと、を有する方法。
  3. 前記要求する段階は、
    前記セルの再選択前に受信した最後のストリーミングメディアフレームの時刻に基づいて、前記低ビットレートのストリーミングメディアの送信を開始する開始点を指定することと、
    前記開始点に前記一時ストアの充填期間を加算して、前記低ビットレートのストリーミングメディアの送信を停止する停止点を指定することと、をさらに含む請求項又は記載の方法。
  4. 前記開始点は、前記開始点において前記低ビットレートのメディアストリーミングのイントラフレームが存在するように調節され、
    前記停止点は、前記停止点において前記オリジナルのビットレートのメディアストリーミングのイントラフレームが存在するように調節される、請求項記載の方法。
JP2004544332A 2002-10-14 2003-10-10 ストリーミングメディア Expired - Lifetime JP4287376B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FI20021820A FI116816B (fi) 2002-10-14 2002-10-14 Median suoratoisto
PCT/FI2003/000752 WO2004036824A1 (en) 2002-10-14 2003-10-10 Streaming media

Publications (2)

Publication Number Publication Date
JP2006503463A JP2006503463A (ja) 2006-01-26
JP4287376B2 true JP4287376B2 (ja) 2009-07-01

Family

ID=8564746

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004544332A Expired - Lifetime JP4287376B2 (ja) 2002-10-14 2003-10-10 ストリーミングメディア

Country Status (12)

Country Link
US (1) US7733830B2 (ja)
EP (1) EP1552644B1 (ja)
JP (1) JP4287376B2 (ja)
KR (1) KR100705432B1 (ja)
CN (1) CN1706146B (ja)
AU (1) AU2003278207A1 (ja)
BR (2) BRPI0315207B1 (ja)
CA (1) CA2500781A1 (ja)
FI (1) FI116816B (ja)
MY (1) MY143014A (ja)
TW (1) TWI248740B (ja)
WO (1) WO2004036824A1 (ja)

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US7068729B2 (en) 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US9240810B2 (en) 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
EP2348640B1 (en) 2002-10-05 2020-07-15 QUALCOMM Incorporated Systematic encoding of chain reaction codes
KR101170629B1 (ko) 2003-10-06 2012-08-02 디지털 파운튼, 인크. 단일 송신기 또는 다중 송신기를 갖는 통신 시스템의 에러 정정 다중-스테이지 코드 생성기 및 디코더
US7440430B1 (en) * 2004-03-30 2008-10-21 Cisco Technology, Inc. Jitter buffer management for mobile communication handoffs
US7818444B2 (en) 2004-04-30 2010-10-19 Move Networks, Inc. Apparatus, system, and method for multi-bitrate content streaming
US8868772B2 (en) 2004-04-30 2014-10-21 Echostar Technologies L.L.C. Apparatus, system, and method for adaptive-rate shifting of streaming content
EP1743431A4 (en) 2004-05-07 2007-05-02 Digital Fountain Inc SYSTEM FOR DOWNLOADING AND RECORDING AND CONTINUOUS READING OF FILES
JP4428161B2 (ja) * 2004-07-16 2010-03-10 ブラザー工業株式会社 接続状態制御装置、接続状態制御方法及び接続状態制御用プログラム
JP4389216B2 (ja) * 2004-11-15 2009-12-24 株式会社カシオ日立モバイルコミュニケーションズ 移動通信端末およびコンテンツ再生方法
US8218439B2 (en) * 2004-11-24 2012-07-10 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive buffering
US8089941B2 (en) * 2004-12-10 2012-01-03 Broadcom Corporation Mobile communication device and system supporting personal media recorder functionality
US8370514B2 (en) 2005-04-28 2013-02-05 DISH Digital L.L.C. System and method of minimizing network bandwidth retrieved from an external network
US8683066B2 (en) 2007-08-06 2014-03-25 DISH Digital L.L.C. Apparatus, system, and method for multi-bitrate content streaming
EP1911278A2 (en) * 2005-08-04 2008-04-16 Nds Limited Advanced digital tv system
US8908577B2 (en) * 2005-12-02 2014-12-09 Qualcomm Incorporated Solving IP buffering delays in mobile multimedia applications with translayer optimization
CN101686107B (zh) 2006-02-13 2014-08-13 数字方敦股份有限公司 使用可变fec开销和保护周期的流送和缓冲
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
WO2007134196A2 (en) 2006-05-10 2007-11-22 Digital Fountain, Inc. Code generator and decoder using hybrid codes
US8355720B2 (en) * 2006-05-12 2013-01-15 Motorola Mobility Llc Application and transport adaptation for a wireless communication prior to a reselection
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9386064B2 (en) 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
JP4722028B2 (ja) 2006-12-26 2011-07-13 富士通株式会社 データ転送システム、接近通知システム、およびデータ転送方法
US9979931B2 (en) * 2007-05-30 2018-05-22 Adobe Systems Incorporated Transmitting a digital media stream that is already being transmitted to a first device to a second device and inhibiting presenting transmission of frames included within a sequence of frames until after an initial frame and frames between the initial frame and a requested subsequent frame have been received by the second device
US8180029B2 (en) * 2007-06-28 2012-05-15 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
JP4919890B2 (ja) * 2007-07-11 2012-04-18 株式会社日立製作所 無線システム、基地局および移動局
US8813141B2 (en) 2007-08-08 2014-08-19 At&T Intellectual Properties I, L.P. System and method of providing video content
US9237101B2 (en) 2007-09-12 2016-01-12 Digital Fountain, Inc. Generating and communicating source identification information to enable reliable communications
US8090867B2 (en) * 2007-10-19 2012-01-03 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8706907B2 (en) * 2007-10-19 2014-04-22 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8321581B2 (en) * 2007-10-19 2012-11-27 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8380874B2 (en) * 2007-10-19 2013-02-19 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8682336B2 (en) * 2007-10-19 2014-03-25 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8699678B2 (en) * 2007-10-19 2014-04-15 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8145780B2 (en) * 2007-10-19 2012-03-27 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8391312B2 (en) * 2007-10-19 2013-03-05 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
US8111713B2 (en) 2007-10-19 2012-02-07 Voxer Ip Llc Telecommunication and multimedia management method and apparatus
JP5012907B2 (ja) * 2007-12-27 2012-08-29 富士通株式会社 通信方法、通信システムおよび基地局
JP2009194688A (ja) * 2008-02-15 2009-08-27 Seiko Epson Corp 画像転送装置、画像表示装置、画像表示システム、画像データの転送方法、画像表示方法、およびコンピュータプログラム
CN101540881B (zh) * 2008-03-19 2011-04-13 华为技术有限公司 实现流媒体定位播放的方法、装置及系统
US8565740B2 (en) * 2008-05-08 2013-10-22 Blackberry Limited System and method for providing streaming data to a mobile device
US9462029B2 (en) * 2008-08-29 2016-10-04 Red Hat, Inc. Invoking serialized data streams
KR20100073168A (ko) * 2008-12-22 2010-07-01 한국전자통신연구원 합성데이터 송/수신 장치 및 방법
TWI396443B (zh) * 2008-12-22 2013-05-11 Ind Tech Res Inst 應用於網路串流之影音控制回應及頻寬調適方法與使用該方法之伺服器
US9281847B2 (en) 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
US9137026B1 (en) * 2009-04-23 2015-09-15 Sprint Communications Company L.P. Seamless service transitions for dual-network mobile devices
JP2011041018A (ja) * 2009-08-11 2011-02-24 Sony Corp 情報処理装置、情報処理方法、プログラムおよび通信端末
US9288010B2 (en) 2009-08-19 2016-03-15 Qualcomm Incorporated Universal file delivery methods for providing unequal error protection and bundled file delivery services
US9917874B2 (en) * 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
CN101729858A (zh) * 2009-12-14 2010-06-09 中兴通讯股份有限公司 一种蓝牙媒体的播放控制方法及系统
US9819840B2 (en) 2010-01-11 2017-11-14 Bryan Nunes Audio device that extracts the audio of a multimedia stream and serves the audio on a network while the video is displayed
US9438360B2 (en) * 2010-01-11 2016-09-06 Signet Media, Inc. System and method for providing an audio component of a multimedia content displayed on an electronic display device to one or more wireless computing devices
CN102148806A (zh) * 2010-02-09 2011-08-10 华为技术有限公司 网络电视的时移处理方法和系统以及网络设备、终端
US9510029B2 (en) 2010-02-11 2016-11-29 Echostar Advanced Technologies L.L.C. Systems and methods to provide trick play during streaming playback
US8516063B2 (en) 2010-02-12 2013-08-20 Mary Anne Fletcher Mobile device streaming media application
US9485546B2 (en) 2010-06-29 2016-11-01 Qualcomm Incorporated Signaling video samples for trick mode video representations
US8918533B2 (en) 2010-07-13 2014-12-23 Qualcomm Incorporated Video switching for streaming video data
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US8806050B2 (en) 2010-08-10 2014-08-12 Qualcomm Incorporated Manifest file updates for network streaming of coded multimedia data
US9270299B2 (en) 2011-02-11 2016-02-23 Qualcomm Incorporated Encoding and decoding using elastic codes with flexible source block mapping
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
US9294226B2 (en) 2012-03-26 2016-03-22 Qualcomm Incorporated Universal object delivery and template-based file delivery
TWI469606B (zh) 2012-12-10 2015-01-11 Hon Hai Prec Ind Co Ltd 流媒體分享請求系統、流媒體提供系統及其方法
EP2750447A1 (en) * 2012-12-28 2014-07-02 Alcatel Lucent Neighboring cell selection for an user equipment using a content delivery service in a mobile network
US9883546B2 (en) 2015-09-04 2018-01-30 Apple Inc. Postponing a resending of a data service request
JP6772218B2 (ja) * 2018-06-29 2020-10-21 Line株式会社 プログラム、情報処理方法、端末
JP6906126B2 (ja) * 2018-06-29 2021-07-21 Line株式会社 プログラム、情報処理方法、端末
EP3831077A4 (en) * 2018-08-01 2022-05-04 iChannel.io Ltd. MANAGEMENT SYSTEM FOR A VARIETY OF PLAYBACK DEVICES TO PREVENT TRANSMISSION ERRORS
US11588876B2 (en) * 2020-06-16 2023-02-21 T-Mobile Usa, Inc. Device-side playback restrictions on high throughput networks
US20230101262A1 (en) * 2021-09-29 2023-03-30 At&T Intellectual Property I, L.P. Application-level network slicing for high quality of experience

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5864578A (en) * 1996-04-29 1999-01-26 Golden Bridge Technology, Inc. Matched filter-based handoff method and apparatus
FI109503B (fi) 1997-04-15 2002-08-15 Nokia Corp Pakettien menetyksen estäminen pakettipohjaisen tietoliikenneverkon handoverissa sekä handovermenetelmä
JP3337062B2 (ja) * 1997-11-21 2002-10-21 日本電気株式会社 無線データ転送方法及びそのシステム
JPH11187367A (ja) 1997-12-19 1999-07-09 Nec Corp 映像送信装置,映像受信装置及びこれらを用いた映像伝送システム
US8341662B1 (en) * 1999-09-30 2012-12-25 International Business Machine Corporation User-controlled selective overlay in a streaming media
AU1065601A (en) 1999-10-18 2001-04-30 Telefonaktiebolaget Lm Ericsson (Publ) Method and system for the wireless transmission of loss sensitive data
US6665726B1 (en) * 2000-01-06 2003-12-16 Akamai Technologies, Inc. Method and system for fault tolerant media streaming over the internet
US6360099B1 (en) * 2000-06-09 2002-03-19 Motorola, Inc. Reducing audio gaps during a communication network handoff
US7016970B2 (en) 2000-07-06 2006-03-21 Matsushita Electric Industrial Co., Ltd. System for transmitting stream data from server to client based on buffer and transmission capacities and delay time of the client
FI113323B (fi) * 2000-08-21 2004-03-31 Nokia Corp Datapakettinumeroiden synkronointi pakettivälitteisessä tiedonsiirrossa
JP2004515163A (ja) 2000-11-29 2004-05-20 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー リアルタイムデータの送信および受信
EP1261204A2 (en) 2001-03-29 2002-11-27 Matsushita Electric Industrial Co., Ltd. Method and apparatus for data reproduction
US7058035B2 (en) * 2001-06-29 2006-06-06 Qualcomm, Indorporated Communication system employing multiple handoff criteria
US7200402B2 (en) * 2001-07-03 2007-04-03 Hewlett-Packard Development Company, L.P. Method for handing off streaming media sessions between wireless base stations in a mobile streaming media system
US6954456B2 (en) * 2001-12-14 2005-10-11 At & T Corp. Method for content-aware redirection and content renaming
US20030114158A1 (en) * 2001-12-18 2003-06-19 Lauri Soderbacka Intersystem handover of a mobile terminal
US20040008688A1 (en) * 2002-07-11 2004-01-15 Hitachi, Ltd. Business method and apparatus for path configuration in networks

Also Published As

Publication number Publication date
JP2006503463A (ja) 2006-01-26
CA2500781A1 (en) 2004-04-29
EP1552644A1 (en) 2005-07-13
FI20021820A0 (fi) 2002-10-14
FI20021820A (fi) 2004-04-15
KR20050065592A (ko) 2005-06-29
US7733830B2 (en) 2010-06-08
MY143014A (en) 2011-02-14
US20040071088A1 (en) 2004-04-15
WO2004036824A1 (en) 2004-04-29
TW200406108A (en) 2004-04-16
EP1552644B1 (en) 2016-12-28
AU2003278207A1 (en) 2004-05-04
KR100705432B1 (ko) 2007-04-09
CN1706146B (zh) 2010-10-13
BRPI0315207B1 (pt) 2017-12-26
FI116816B (fi) 2006-02-28
CN1706146A (zh) 2005-12-07
TWI248740B (en) 2006-02-01
BR0315207A (pt) 2005-08-16

Similar Documents

Publication Publication Date Title
JP4287376B2 (ja) ストリーミングメディア
JP4819873B2 (ja) 可変ビットレート・データのデータパケット送信を制御する技術
TWI424747B (zh) 用以連結至網路以及再生從網路上之伺服器接收到之音頻/視頻串流的系統及方法
JP4927333B2 (ja) 帯域幅適応
KR101117901B1 (ko) 하드 핸드오프들 동안의 최소 서비스 품질(QoS) 통신 세션들의 유지
US9525874B2 (en) Transmitting apparatus and transmission method
EP1560374A1 (en) Real time communication adaptive control method
JP2010154547A (ja) パケット化データのビットレートの適合化とデータパケットの再送信との間の連携
EP1552655A1 (en) Bandwidth adaptation
WO2009119764A1 (ja) 無線通信装置
WO2006086691A2 (en) A network for providing a streaming service
JP5074575B2 (ja) 無線通信装置
KR101055169B1 (ko) 스트리밍 시스템의 트래픽 제어 방법 및 그 장치
US20070115815A1 (en) Receiver, transmitter and transmission/reception system for media signal
JP5128974B2 (ja) 無線通信装置
JP5053071B2 (ja) 無線通信装置
Lundan et al. Optimal 3GPP packet-switched streaming service (PSS) over GPRS networks
KR100401227B1 (ko) 멀티미디어 스트리밍 방법
JP2010130226A (ja) 無線通信装置
JP2009182653A (ja) 無線通信装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080226

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080523

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081028

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090224

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090326

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120403

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120403

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130403

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130403

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140403

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250