JP5483778B2 - 動的なモバイルアプリケーションサービス品質の監視および報告 - Google Patents

動的なモバイルアプリケーションサービス品質の監視および報告 Download PDF

Info

Publication number
JP5483778B2
JP5483778B2 JP2012544445A JP2012544445A JP5483778B2 JP 5483778 B2 JP5483778 B2 JP 5483778B2 JP 2012544445 A JP2012544445 A JP 2012544445A JP 2012544445 A JP2012544445 A JP 2012544445A JP 5483778 B2 JP5483778 B2 JP 5483778B2
Authority
JP
Japan
Prior art keywords
mobile
application
network
service
test data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012544445A
Other languages
English (en)
Other versions
JP2013513883A (ja
Inventor
デン ボガート,エティエンヌ アー.アッシュ.バン
ディト ファリッセ,アナンダ モッテ
Original Assignee
エンパイア テクノロジー ディベロップメント エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エンパイア テクノロジー ディベロップメント エルエルシー filed Critical エンパイア テクノロジー ディベロップメント エルエルシー
Publication of JP2013513883A publication Critical patent/JP2013513883A/ja
Application granted granted Critical
Publication of JP5483778B2 publication Critical patent/JP5483778B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/50Testing arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W28/00Network traffic management; Network resource management
    • H04W28/02Traffic management, e.g. flow control or congestion control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W8/00Network data management
    • H04W8/02Processing of mobility data, e.g. registration information at HLR [Home Location Register] or VLR [Visitor Location Register]; Transfer of mobility data, e.g. between HLR, VLR or external networks
    • H04W8/04Registration at HLR or HSS [Home Subscriber Server]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements
    • H04W24/06Testing, supervising or monitoring using simulated traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor

Description

本開示は、一般に、モバイル技術に関し、より詳細には、動的なモバイルアプリケーションサービス品質の監視および報告の方法およびシステムに関する。
本明細書では別途指摘がない限り、本セクションで説明される手法は、本出願の特許請求の範囲に対する先行技術ではなく、本セクションに包含されることによって、先行技術であると認められることはない。
コンピュータネットワーキングの分野では、ネットワークリソースを要求するネットワークアプリケーションのできるだけ多くにサービスするように、限られた量のネットワークリソースを割り当てるための様々な手法が存在する。例えば、ネットワークアプリケーションは、一定量のネットワークスループットを要求することの他に、通信セッションに関連するいかなる潜在的な遅延、ジッタ、パケット紛失、またはビット誤り確率も一定レベルを下回ることの保証を要求することもできる。しばしば、ネットワークアプリケーションが適切に機能するには、要求の少なくともいくつかが満たされる必要がある。言い換えると、ネットワークアプリケーション(例えばビデオストリーミングアプリケーション)のために高いビットレートが利用可能であっても、高いレベルのジッタまたはビット誤りを有するなど、提供されるサービス品質が貧弱である場合には、ネットワークアプリケーションは、適切に動作するのにまだ失敗することがある。そのようなネットワークアプリケーションに対して高いレベルの性能およびサービス品質を保証するには、関連する通信セッションの限られた側面を検査するだけでは、性能およびサービス品質に影響を及ぼす問題を検出するのに、またはそれに対処するのに十分ではないことがある。
本開示の一実施形態は、一般に、モバイルネットワークと結合されたモバイルデバイス上で動作するモバイルアプリケーションのサービス品質を決定するための方法に関することができる。1つの例示的な方法は、モバイルネットワークを介して通信するモバイルアプリケーションのネットワーク使用パターン(network usage pattern)をアプリケーションレイヤレベルにおいて監視することと、モバイルネットワークを介してテストデータを送信または受信することによって、モバイルアプリケーションのネットワーク使用パターンをエミュレートすることと、送信または受信されているテストデータを分析することによって、モバイルアプリケーションのサービス品質を決定することとを含むことができる。
本開示の別の実施形態は、一般に、モバイルネットワークと結合されたモバイルデバイス上で動作するモバイルアプリケーションのサービス品質を決定するための方法に関することができる。1つの例示的な方法は、ネットワーク伝送メカニズムを使用してモバイルネットワークからアプリケーションデータを受信するモバイルアプリケーションをエミュレートするための第1の要求をモバイルデバイスから受信することと、ネットワーク伝送メカニズムを使用して、モバイルデバイスに第1の1組のテストデータを送信することと、第1の1組のテストデータの送信に基づいたモバイルアプリケーションのサービス品質をモバイルデバイスから受信することとを含むことができる。
本開示のまた別の実施形態は、一般に、モバイルデバイス上で動作するモバイルアプリケーションのサービス品質を決定するように構成されたシステムに関することができる。1つの例示的なシステムは、モバイルネットワークと接続された監視システムと、モバイルデバイス上で動作する監視アプリケーションとを含むことができる。1つの例示的な監視アプリケーションは、モバイルネットワークを介して通信するモバイルアプリケーションのネットワーク使用パターンを監視するように構成することができ、ネットワーク使用パターンは、モバイルアプリケーションがアプリケーションデータをモバイルネットワークに送信しているか、それともモバイルネットワークから受信しているかを示し、監視アプリケーションは、監視システムから第1の1組のテストデータを受信することによって、アプリケーションデータを受信中のモバイルアプリケーションをエミュレートし、監視アプリケーションは、受信した第1の1組のテストデータを分析することによって、モバイルアプリケーションのサービス品質を決定する。
上記の要約は、例示的なものにすぎず、いささかも限定的であることは意図していない。上で説明した例示的な態様、実施形態、および特徴に加えて、さらなる態様、実施形態、および特徴も、図面および以下の詳細な説明を参照することによって明らかになる。
本開示の上記および他の特徴は、添付の図面と併せて理解される、以下の説明および添付の特許請求の範囲からより十分に明らかになる。これらの図面は、本開示に従ったいくつかの実施形態を示しているにすぎず、したがって、本開示の範囲を限定するものと見なされるべきではない。本開示は、添付の図面の使用を通じて、さらなる特定性と詳細さで説明される。
本開示の少なくともいくつかの実施形態に従って描かれている、モバイルアプリケーションのサービス品質を決定するために、モバイル監視アプリケーションとアプリケーションエクスペリエンス監視システムを実施できる、動作環境を示すブロック図である。 本開示の少なくともいくつかの実施形態に従って描かれている、モバイル監視アプリケーションとアプリケーションエクスペリエンス監視システムによって利用できる、ネットワーク通信プロトコルスタックを示す図、及びモバイルアプリケーションのサービス品質を決定するシナリオを示す図である。 本開示の少なくともいくつかの実施形態に従って描かれている、モバイル監視アプリケーションによってモバイルアプリケーションサービス品質を決定するためのプロセスを示すフロー図である。 本開示の少なくともいくつかの実施形態に従って描かれている、アプリケーションエクスペリエンス監視システムによってモバイルアプリケーションサービス品質を受信するためのプロセスを示すフロー図である。
本開示の一実施形態によれば、モバイルネットワークと結合されたモバイルデバイス上で動作するモバイルアプリケーションのサービス品質を決定するための方法は、モバイルネットワークを介して通信するモバイルアプリケーションのネットワーク使用パターンをアプリケーションレイヤレベルにおいて監視することと、モバイルネットワークを介してテストデータを送信または受信することによって、モバイルアプリケーションのネットワーク使用パターンをエミュレートすることと、送信または受信されているテストデータを分析することによって、モバイルアプリケーションのサービス品質を決定することとを含む。
本開示の別の実施形態によれば、モバイルネットワークと結合されたモバイルデバイス上で動作するモバイルアプリケーションのサービス品質を決定するための方法は、モバイルネットワークを介して通信するモバイルアプリケーションのネットワーク使用パターンを受信することであって、ネットワーク使用パターンは、モバイルアプリケーションがアプリケーションデータをモバイルネットワークに送信しているか、それともモバイルネットワークから受信しているかを示し、モバイルアプリケーションがモバイルネットワークからアプリケーションデータを受信していると判定されたときに、モバイルデバイスに第1の1組のテストデータを送信することによって、モバイルアプリケーションのネットワーク使用パターンをエミュレートすることと、第1の1組のテストデータに対応する第2の1組のテストデータをモバイルデバイスから受信することと、第1の1組のテストデータと第2の1組のテストデータを分析することによって、モバイルアプリケーションのサービス品質を決定することとを含む。
本開示のさらなる一実施形態によれば、モバイルデバイス上で動作するモバイルアプリケーションのサービス品質を決定するように構成されたシステムは、モバイルネットワークと接続された監視システムと、モバイルネットワークを介して通信するモバイルアプリケーションのネットワーク使用パターンを監視するためにモバイルデバイス上で動作する監視アプリケーションであって、ネットワーク使用パターンは、モバイルアプリケーションがアプリケーションデータをモバイルネットワークに送信しているか、それともモバイルネットワークから受信しているかを示し、監視アプリケーションは、監視システムから第1の1組のテストデータを受信することによって、アプリケーションデータを受信中のモバイルアプリケーションをエミュレートし、監視アプリケーションは、受信した第1の1組のテストデータを分析することによって、モバイルアプリケーションのサービス品質を決定する、監視アプリケーションとを含む。
以下の詳細な説明では、詳細な説明の一部を形成する添付の図面を参照する。図面では、同様の記号は一般に、同様の構成要素を識別するが、前後の脈絡から別の指示がなされる場合はこの限りではない。詳細な説明、図面、および特許請求の範囲において説明される例示的な実施形態は、限定的であることは意図されていない。本明細書で提示される主題の主旨または範囲から逸脱することなく、他の実施形態も利用することができ、他の変更も行うことができる。一般的なものとして本明細書で説明され、図に示された本開示の態様は、多種多様な異なる構成を取るように配置し、置き換え、組み合わせ、および設計することができ、それらのすべてが明示的に企図されており、本開示の一部をなすことは容易に理解されよう。
本開示は、とりわけ、動的なモバイルアプリケーションサービス品質の監視および報告に関する方法、装置、コンピュータプログラム、およびシステムに関する。本開示の全体にわたって、「サービス品質」または「QoS」という用語は、帯域幅、信号対雑音比、ビット誤り率、待ち時間、異なるネットワークセグメント(アクセスセグメント、メトロセグメント、コアセグメント)上でのパケット損失率、および他の性能測定値から見たネットワーク通信の品質の決定のことを広範に指すことができる。言い換えると、コンピューティングデバイス上で動作するアプリケーションのサービス品質は、そのようなアプリケーションに関連するネットワーク通信の品質に対応することができる。
例えば、モバイルアプリケーションは、通信データを送信するための広い帯域幅、高い信号対雑音比、低いビット誤り率、短い待ち時間、および/またはデータの送信もしくは受信についての低いパケット損失率が存在する場合は、高いサービス品質を有することができる。ボイスオーバIP(VoIP)、オンラインビデオ、またはオンラインゲームなど、多くのリアルタイムストリーミングマルチメディアアプリケーションは、アプリケーションが望ましいユーザエクスペリエンスを提供するために、一定レベルのサービス品質を保証できるネットワークを必要とすることがある。さらに、ネットワークアプリケーションの観点から特定のネットワーク通信のサービス品質を決定することによって、多くの実際のまたは潜在的なネットワーク問題を迅速に識別または予測することができ、ひいては、問題が解決された後には、ネットワークアプリケーションのより良いサービス品質をもたらすことができる。
本開示の少なくともいくつかの実施形態によれば、モバイルネットワークと結合されたモバイルデバイス上で動作するモバイルアプリケーションのサービス品質を決定するためのプロセスが提示される。プロセスは、モバイルネットワークを介して通信するモバイルアプリケーションのネットワーク使用パターンをアプリケーションレイヤレベルにおいて監視するために実施することができる。プロセスは、モバイルネットワークを介してテストデータを送信または受信することによって、モバイルアプリケーションのネットワーク使用パターンをエミュレートすることができる。プロセスは、送信または受信されているテストデータを分析することによって、モバイルアプリケーションのサービス品質を決定することができる。
本開示の少なくともいくつかの実施形態によれば、モバイルデバイスなどのネットワーク通信デバイスは、モバイルネットワークを介したネットワーク通信を必要とする様々なモバイルアプリケーションを含む。ネットワーク通信中にモバイルアプリケーションが経験しているサービス品質を正確に決定するため、モバイル監視アプリケーション(MMA)を、同じモバイルデバイス上にインストールして、動作させることができ、MMAは、同じモバイルネットワークを介してリモートのアプリケーションエクスペリエンス監視システム(AEMS)と通信することができる。MMAは、これらのモバイルアプリケーションのネットワーク使用パターンを監視することができ、同じまたは類似のネットワーク使用パターンを使用してAEMSと通信することによって、これらのモバイルアプリケーションをエミュレートすることができる。各モバイルアプリケーションについて、MMAは、モバイルアプリケーションが使用するのと同じネットワーキング伝送メカニズムを使用し、同じモバイルネットワークを介して、類似のタイプのデータ伝送を実行しているので、MMA−AEMS通信に基づいて決定されるサービス品質は、モバイルアプリケーションが同時に経験しているサービス品質と相関を有し、それを反映することができる。したがって、動作中のモバイルアプリケーションと同時にリアルタイムに生成されたサービス品質をさらに評価して、モバイルアプリケーションが遭遇する実際のまたは潜在的なネットワーク問題を識別することができ、そのような情報を提供するために、モバイルアプリケーションに依存する必要はない。
図1は、本開示の少なくともいくつかの実施形態による、モバイルアプリケーションのサービス品質を決定するために、モバイル監視アプリケーションとアプリケーションエクスペリエンス監視システムを実施できる、動作環境を示すブロック図である。図1では、モバイルデバイス110は、モバイルネットワーク120を介してモバイルアプリケーションサーバ150と通信するように構成することができる。モバイルネットワーク120は、電気通信(Telco)サービスプロバイダ130が提供し、管理することができる。モバイルデバイス110は、とりわけ、モバイルオペレーティングシステム111、1つまたは複数のモバイルアプリケーション112、およびモバイル監視アプリケーション(MMA)113など、複数のハードウェアコンポーネントまたはソフトウェアコンポーネントを含むことができる。
一つの実装では、MMA 113は、モバイルアプリケーション112を監視し、アプリケーションエクスペリエンス監視システムAEMS 140と対話するように構成することができる。AEMS 140は、とりわけ、サービス品質分析モジュール141と、1つまたは複数のコンピューティングプロセッサ142と、メモリ143とを含むことができる。MMA 113とAEMS 140は、同時に同じネットワーク伝送メカニズムを使用して同じモバイルネットワーク120を介してMMA 113とAEMS 140の間でテストデータを交換することによって、モバイルアプリケーション112とモバイルアプリケーションサーバ150の間のデータ通信をエミュレートするように構成することができる。テストデータを分析して、モバイルアプリケーション112とモバイルアプリケーションサーバ150の間のネットワーク通信のサービス品質を導出することができる。サービス品質情報はさらに、潜在的なネットワーク通信問題を報告または検出するために使用することができ、モバイルアプリケーション112の性能を改善することができる。
一つの実装では、モバイルデバイス110は、ネットワーク環境において他のアプリケーションおよび/またはデバイスと通信することが可能なコンピューティングデバイスとして構成することができる。モバイルデバイス110は、携帯情報端末(PDA)、セルフォン、およびスマートフォンなどの、しかしそれらに限定されない、モバイル、ハンドヘルド、および/またはポータブルコンピューティングデバイスとすることができる。モバイルデバイス110は、移動体通信用グローバルシステム(GSM(登録商標))、符号分割多元接続(CDMA)、および時分割多元接続(TDMA)などの、しかしそれらに限定されない、様々なモバイル電気通信規格をサポートすることができる。モバイルデバイス110は、有線通信または無線通信をサポートするように構成された、タブレットコンピュータ、ラップトップコンピュータ、およびネットブックとすることもできる。例えば、モバイルデバイス110は、Telcoサービスプロバイダ130によって提供される3Gモバイル電気通信サービスを利用する、3G通信アダプタを有するように構成された、ラップトップコンピュータとすることができる。
一つの実装では、モバイルデバイス110は、モバイルOSとしても知られることがある、モバイルオペレーティングシステム111を有するように構成することができる。モバイルOS 111は、モバイルデバイス110に機能を提供し、モバイルデバイス110のために通信規格をサポートする責任を負うことができる。モバイルOS 111の例は、Symbian(登録商標)、RIM Blackberry(登録商標)、Apple iPhone(登録商標)、Windows Mobile(登録商標)、およびGoogle Android(登録商標)を含むが、それらに限定されない。モバイルOS 111は、モバイルデバイス110が基づくことができる多数のハードウェアコンポーネントに係わりなく、1つまたは複数のモバイルアプリケーション112とモバイル監視アプリケーション113とに共通のプログラミングプラットフォームも提供する。
一つの実装では、モバイルデバイス110は、1つまたは複数のモバイルアプリケーション112も含むことができる。モバイルアプリケーション112は、モバイルデバイス110のソフトウェア機能およびハードウェア機能を利用して、電話、電子メール、テキストメッセージング、ウェブブラウジングなどの、しかしそれらに限定されない、ネットワーキング機能、ならびに/またはオーディオ/ビデオ再生、マルチメディアキャプチャリングおよび編集、ゲームなどの、しかしそれらに限定されない、非ネットワーク機能を実行することができる。動作中、モバイルアプリケーション112は、モバイルネットワーク120を介してモバイルアプリケーションサーバ150と通信することができる。
一つの実装では、ネットワーク120は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、インターネットなどのグローバルエリアネットワーク、ファイバチャネルファブリック、またはそのような相互接続の任意の組み合わせなどの、しかしそれらに限定されない、有線ネットワークとすることができる。ネットワーク120は、モバイルデバイスネットワーク(GSM(登録商標)、CDMA、TDMA、その他)、ワイヤレスローカルエリアネットワーク(WLAN)、およびワイヤレスメトロポリタンエリアネットワーク(WMAN)などの、しかしそれらに限定されない、無線ネットワークとすることもできる。HTTP要求/応答、ワイヤレスアプリケーションプロトコル(WAP)メッセージ、モバイル着信(MT)ショートメッセージサービス(SMS)メッセージ、モバイル発信(MO)SMSメッセージ、または任意のタイプのネットワークメッセージなどの、ネットワーク通信は、ネットワーク120に接続されたデバイスの間でサポートすることができる。
一つの実装では、Telcoプロバイダ130は、地理的エリア内での電話およびデータ通信などの電気通信サービスを提供することができ、同時に、コモンキャリア、ワイヤレスキャリア、ISP、および他のネットワーク事業者としてサービスすることができる。一つの実装では、モバイルデバイス110、モバイルアプリケーションサーバ150、およびAEMS 140はすべて、それらがモバイルネットワーク120を介して互いに通信できるようにする、Telcoサービスプロバイダ130によって提供されるサービスに利用登録することができる。
一つの実装では、モバイルアプリケーションサーバ150は、モバイルネットワーク120に直接的に接続されることができ、またはTelcoサービスプロバイダ130を経由し、モバイルネットワーク120を介して間接的にアクセスされることができる。モバイルアプリケーションサーバ150は、特定のタイプのモバイルアプリケーション112に、電話、電子メール、またはテキストメッセージングサービスを提供することができる。モバイルアプリケーションサーバ150は、1つまたは複数のモバイルデバイス110にリアルタイムオーディオ/ビデオストリーミングサービスを提供する、ストリーミングサーバとしても動作することができる。モバイルアプリケーション112のサービス品質は、モバイルネットワーク120のスループット、モバイルアプリケーションサーバ150の性能、およびモバイルアプリケーション112を動作させるように構成されたモバイルデバイス110の性能に依存することができる。いくつかの状況では、Telcoサービスプロバイダ130は、モバイルネットワーク120のサービス品質を決定することができるが、複数のモバイルデバイス110によって実行される特定のモバイルアプリケーション112のサービス品質、または単一のモバイルデバイス110によって実行される複数のモバイルアプリケーション112のサービス品質を区別または評価できないことがある。
一実施形態では、モバイルネットワーク120を介してモバイルアプリケーションサーバ150と通信するモバイルアプリケーション112のサービス品質は、MMA 113によって決定することができる。MMA 113は、特定のモバイルデバイス110においてサポートされるモバイルアプリケーション112のタイプを決定すること、モバイルアプリケーション112の初期化および実行を検出すること、モバイルアプリケーション112のネットワーク使用パターンを監視すること、ならびに/またはサービス品質インジケータを確認するためにモバイルアプリケーション112をエミュレートすることなどの機能を実行するように構成することができる。MMA 113についての詳細は、以下でさらに説明される。
一つの実装では、AEMS 140は、モバイルネットワーク120に接続されたサーバまたはルータとして構成することができ、1つまたは複数のモバイルデバイス110上で同時に動作する1つまたは複数のMMAアプリケーション113と通信することができる。AEMS 140内のQoSモジュール141は、MMA 113から要求を受信し、テストデータをMMA 113に送信/から受信し、および/またはMMA 113をサポートする同じモバイルデバイス110上で動作するモバイルアプリケーション112のリアルタイムのサービス品質を決定することができる。サービス品質結果は、ステータス報告、機能増強、および/またはデバッグ目的で、報告することができる。AEMS 140およびQoSモジュール141についての詳細は、以下でさらに説明される。
一つの実装では、AEMS 140内のコンピューティングプロセッサ142は、AEMS 140とさらにはQoS監視および報告を扱うQoSモジュール141の全般的動作をサポートするために、プログラム可能命令を実行するように構成することができる。コンピューティングプロセッサ142は、モバイルネットワーク120に送信されるデータ、またはモバイルネットワーク120から受信されたデータを記憶するために、メモリ143を利用することができる。ネットワーク通信アダプタ(例えば、イーサネット(登録商標)アダプタ、ワイヤレスアダプタ、ファイバチャネルアダプタ、またはGSM(登録商標)ワイヤレスモジュール)などの追加のコンポーネントも、モバイルデバイス110およびAEMS 140内において実装することができる。
一つの実装では、AEMS 140は、モバイルネットワーク120にアクセスする1つまたは複数のモバイルアプリケーション112に関して、モバイルネットワーク120の性能を詳細に分析するように構成することができる。代替として、AEMS 140は、モバイルアプリケーションサーバ150によってサポートされる1つまたは複数のモバイルアプリケーション112の性能を評価するために、モバイルアプリケーションサーバ150と統合することもできる。
図2Aは、本開示の少なくともいくつかの実施形態による、モバイル監視アプリケーションとアプリケーションエクスペリエンス監視システムによって利用できる、ネットワーク通信プロトコルスタックを示している。図2Aでは、モバイルデバイスプロトコルスタック210は、ネットワーク通信のために、モバイルアプリケーションまたはMMAによって利用することができ、ネットワークルーティングプロトコルスタック220は、ネットワークルーティングシステムによって利用することができ、アプリケーションサーバプロトコルスタック230は、ネットワークアプリケーションサーバまたはAEMSによって実施することができる。3つのスタック内の各レイヤは、特定のネットワーク通信目的に役立てることができる。スタック内の異なるレイヤは、トップダウン順に表示されており、より低レベルのレイヤほど、ネットワーク通信の物理的実装に近く、より高レベルのレイヤほど、アプリケーション機能に近い。
説明のため、モバイルデバイスのモバイルOS上で動作するモバイルアプリケーションは、ネットワーク通信メッセージをモバイルネットワークに送信し、モバイルネットワークから受信することができる。モバイルOSは、モバイルデバイスプロトコルスタック210に基づいて、ネットワーク通信メッセージを処理することができる。例えば、モバイルアプリケーションから発せられたメッセージは、ネットワークメッセージ215が送信される前に、モバイルデバイスプロトコルスタック210内のレイヤの各々によって符号化され、ネットワークメッセージ215をなすことができる。言い換えると、結果のネットワークメッセージ215は、レイヤの各々に関連する特定の情報を含むことができる。
構成された後、ネットワークメッセージ215は、1つまたは複数のデータパケットとしてルーティングすることができ、様々なネットワーク受信機、リピータ、ブリッジ、ルータを経由しながらモバイルネットワークを横断した後に、宛先に到着する。一般に、図1のTelcoサービスプロバイダ130によって実施されるネットワークルーティングアプリケーションなどのネットワークルーティングアプリケーションは、主として、データパケットをネットワーク送信元からネットワーク宛先に向かわせる責任を負うことができる。一つの実装では、ネットワークルーティングアプリケーションは、データパケットをルーティングする際に、ネットワークルーティングプロトコルスタック220の物理レイヤおよびアクセスレイヤに依存することができる。
ネットワークメッセージ225がサーバに到着した後、サーバのオペレーティングシステムは、アプリケーションサーバプロトコルスタック230に基づいてネットワークメッセージ225を復号し、モバイルアプリケーションから発せられたメッセージを抽出することができる。一つの実装では、アプリケーションサーバプロトコルスタック230のサーバアプリケーションレイヤと、モバイルデバイスプロトコルスタック210のモバイルアプリケーションレイヤは、モバイルアプリケーションとサーバアプリケーションが適切に通信できるように、互換性があるように構成することができる。
図2Aに示されるように、Telcoサービスプロバイダは、様々なプロトコルスタックについての(例えば物理レイヤとアクセスレイヤのレベルに限定された)限られた理解をもつことがあるので、特定のモバイルアプリケーションのためのアプリケーションレイヤレベルにおけるネットワーク通信に関連するサービス品質を評価するのに必要な情報をもたないことがある。
図2Bは、本開示の少なくともいくつかの実施形態による、モバイルアプリケーションのサービス品質を決定するシナリオを示している。図2Bでは、MMA 252は、モバイルアプリケーション251とともに、モバイルデバイス250上で動作することができ、AEMS 262は、モバイルネットワークと結合されるリモートサーバ260内で実施することができる。AEMS 262は、MMA 252と通信するように構成することができる。MMA 252は、モバイルネットワークを利用するモバイルアプリケーション251を検出し、監視するように設計することができる。モバイルアプリケーション251は、モバイルアプリケーションサービスプロバイダ261と通信することができる。モバイルアプリケーション251とモバイルアプリケーションサービスプロバイダ261は、MMA 252および/またはAEMS 262の存在に気づいてもよく、または気づかなくてもよい。
一つの実装では、ひとたび起動されると、MMA 252は、バックグラウンドプロセスとして動作することができ、モバイルデバイス250上で動作する1つまたは複数のモバイルアプリケーションを継続的に検出し、監視することができる。MMA 252は、モバイルアプリケーション251の存在およびタイプ、モバイルアプリケーション251の初期化および実行、ならびに/またはネットワーク通信セッション中のモバイルアプリケーション251に関連するネットワーク使用パターンに関して、しかしそれらに限定されずに、モバイルアプリケーション251を監視することができる。例えば、MMA 252は、インストールされたモバイルアプリケーションを、それが動作中かどうかに係わらず、アプリケーション名またはマルチパーパスインターネットメールエクステンション(MIME)タイプによって検出することができる。MIME情報は、画像、音声、ビデオ、およびコンピュータプログラムなどの、しかしそれらに限定されない、ファイルタイプに対応することができる。MMA 252は、動作中のモバイルアプリケーションの名前について、モバイルデバイス250のモバイルOSに問い合わせることもできる。MMA 252は、モバイルアプリケーション251に関連するネットワーク使用パターン(例えば、モバイルアプリケーションによってダウンロードされているストリーミングデータが大量であることを示すネットワーク使用パターン)に基づいて、モバイルアプリケーション251のタイプ(例えばビデオストリーミングアプリケーション)を決定することができる。
一つの実装では、MMA 252および/またはAEMS 262によって監視できるモバイルアプリケーション251のタイプは、VoIP(例えばSkype(登録商標))、オーディオ/ビデオストリーミング、MMS、GPSナビゲーション、ビデオ会議、ビデオアップローディング、電子メール受信、電子メール添付ファイル送信および/または受信、音楽ダウンロード/アップロード、オンラインゲーム、ならびにウェブブラウジングを含むが、それらに限定されない。これらのタイプのモバイルアプリケーションの場合、ネットワーク通信のサービス品質は、モバイルアプリケーションの機能およびユーザエクスペリエンスに大きな影響を及ぼすことがある。したがって、これらのモバイルアプリケーションを監視し、ネットワーク使用パターンを検出することによって、MMA 252は、類似のネットワーク使用パターンを利用して、これらのモバイルアプリケーションによって経験されるリアルタイムのサービス品質をエミュレートすることができる。さらに、MMA 252は、認識またはサポートされるすべての動作中のモバイルアプリケーションに対する監視機能およびエミュレーション機能を同時に実行することができ、個別的および/または総合的なサービス品質分析を提供することができる。
一つの実装では、モバイルアプリケーション251に関してMMA 252によって検出されたネットワーク使用パターンは、モバイルアプリケーション251がアプリケーションデータ241をリモートのモバイルアプリケーションサービスプロバイダ261に送信していることを示すことができる。そのようなネットワーク使用パターンをエミュレートするため、MMA 252は、モバイルアプリケーション251によるアプリケーションデータ241の送信と同時に、モバイルアプリケーション251によって送信されるアプリケーションデータ241のタイプと類似することもまたは類似しないこともある、事前定義された1組のテストデータ246を、AEMS 262に送信することができる。事前定義された1組のテストデータ246を受信すると、AEMS 262は、ネットワークスループットの他、信号対雑音比、ビット誤り率、待ち時間、およびパケット損失率などの伝送品質も測定するために、受信データを分析することができ、アプリケーションデータ241を送信中のモバイルアプリケーション251のサービス品質を反映するサービス品質を決定することができる。
一つの実装では、MMA 252は、モバイルアプリケーション251がリモートのモバイルアプリケーションサービスプロバイダ261からアプリケーションデータ242を受信/ダウンロードしていることを示す、ネットワーク使用パターンを検出することができる。そのようなネットワーク使用パターンをエミュレートするため、MMA 252は最初に、事前定義された1組のテストデータを返送するようAEMS 262に要求するネットワークメッセージを、AEMS 262に送信することができる。ネットワークメッセージは、MMA 252が監視しているモバイルアプリケーション251の名前またはタイプ、MMA 252によって検出されたネットワーク使用パターンのタイプの他、データ交換のために使用されるネットワーク伝送メカニズムを示すことができる。ネットワーク伝送メカニズムは、モバイルアプリケーション251がネットワーク通信のためにどのタイプのハードウェアおよび/またはソフトウェアを使用したかを示すことができる。この情報に基づいて、AEMS 262は、アプリケーションデータダウンローディング242をエミュレートするのに適した事前定義された1組のテストデータを選択し、モバイルアプリケーションサービスプロバイダ261が同じモバイルネットワークを介してアプリケーションデータ242を送信するのと同じネットワーク伝送メカニズムを使用して、事前定義された1組のテストデータを送信することができる。
一つの実装では、AEMS 262から事前定義された1組の監視データを受信すると、MMA 252は、上記のモバイルネットワーク通信中に導入されることがある誤りを検出するために、受信テストデータを評価することができる。MMA 252は、受信テストデータの内容についての知識を有する場合、受信テストデータを分析して、ビット誤り率、パケット損失率、または信号対雑音比を決定することが可能なことがある。例えば、242を介して送信されるアプリケーションデータがビデオストリームである場合、247を介して送信されるテストデータは、認識可能なテストビデオストリームとすることができ、MMA 252は、モバイルアプリケーション251によっておそらく経験され得るジッタまたは誤りを検出するために、テストビデオストリームを処理することができる。テストデータおよび検出された誤りに基づいて、これらのネットワーク性能測定値から、サービス品質値を導出することができる。その後、サービス品質値は、さらなる目的のために、AEMS 262に送信することができる。
一つの実装では、複数のタイプの事前定義されたテストデータをMMA 252に送信することができ、サービス品質インジケータを決定する際に、異なる監視アルゴリズムを適用して、テストデータを編集することができる。異なるモバイルアプリケーションは、異なる復号アルゴリズムまたはユーザ要件を有することがあるので、サービス品質インジケータの計算は、これらのモバイルアプリケーションに応じて異なることがある。加えて、MMA 252は、モバイルアプリケーションによく似た復号アルゴリズムまたは処理アルゴリズムを組み込むことによって、モバイルアプリケーション251をエミュレートすることもできる。そのような手法は、監視中およびエミュレーション中に、より多くの処理能力をモバイルデバイス250に要求することがある。
一つの実装では、MMA 252は、サービス品質分析目的で送信されたテストデータを記憶するために、1つまたは複数の監視キュー253を設定することができる。1つの監視キューは、特定のモバイルアプリケーションまたは特定のモバイルデバイスを監視するために構成することができる。異なるモバイルアプリケーションのための監視キュー253は、サービス品質の評価中に、まとめて分析することができる。例えば、あるモバイルアプリケーションが、サービス品質の低いネットワークサービスを経験している場合、MMA 252は、そのような問題がアプリケーションに特有であるのか、それともモバイルデバイスに特有であるのかを判定するために、他のモバイルアプリケーションの監視キュー253をチェックすることができる。代替として、AEMS 262は、データ伝送およびサービス品質の評価のために、その環境内に監視キュー253を維持することができる。それぞれのモバイルデバイス250上で動作する1つまたは複数のMMA 252と通信する場合、AEMS 262は、MMA 252の各々のための監視キューを開始することができ、それによって、各MMA 252が独立したモバイルアプリケーションのエミュレーションを行えるようにする。
一つの実装では、特定のモバイルアプリケーションが監視される場合、MMA 252および/またはAEMS 262は、迅速なサービス品質計算および決定のためにモバイルアプリケーションに特別に適合させたユーティリティ関数(utility function)を実施することができる。ユーティリティ関数は、入力パラメータとしてネットワーク性能測定値を受け入れ、サービス品質出力としてサービス品質値を生成するように実施することができる。例えば、ユーティリティ関数は、帯域幅、パケット損失率、遅延、ジッタ、およびビット誤り率などの、しかしそれらに限定されない、入力パラメータを受け入れることができる。ユーティリティ関数の出力は、上記の入力パラメータによって明示されるネットワーク制約下で、モバイルアプリケーションがどれだけ良好に機能するかを示す、サービス品質インジケータとすることができる。
一つの実装では、モバイルアプリケーション251がモバイルデバイス250上で使用されなくなった場合、MMA 252は、それに応じて監視動作およびエミュレート動作を停止することができる。さらに、AEMS 262サイドでのサービス品質の監視および分析を停止させるために、ネットワークメッセージをAEMS 262に送信することができる。代替として、MMA 252は、モバイルデバイス上に新たにインストールされたモバイルアプリケーションをサポートするために、ときどき更新されることができる。同様に、上記の手法は、AEMS 262によって、モバイルアプリケーション251との通信中のモバイルアプリケーションサービスプロバイダ261をエミュレートするように適合させることもできる。AEMS 262によって決定されるサービス品質は、同じく、モバイルアプリケーションサービスプロバイダ261によって経験されるサービス品質の正確なインジケータとすることができる。
したがって、MMA 252およびAEMS 262は、アプリケーションレイヤレベルにおいてモバイルアプリケーション251のネットワーク使用パターンをエミュレートすることができ、モバイルアプリケーション251およびそれぞれのモバイルアプリケーションサービスプロバイダ261と直接的に対話することなく、モバイルアプリケーション251のリアルタイムのサービス品質を決定できるようにすることができる。さらに、MMA 252は、モバイルアプリケーション251と同じネットワーク伝送メカニズムを利用することができる。例えば、モバイルアプリケーション251がWiFiアダプタを介してモバイルネットワークにアクセスする場合、MMA 252は、エミュレーション中に、同じWiFiアダプタにアクセスすることができる。そのような手法は、モバイルアプリケーション251によって送信されているリアルタイムのアプリケーションデータとよく類似した方法で、同時にテストデータを送信することができるので、有利である。このように、計算されたサービス品質値は、モバイルアプリケーション251によって経験されるモバイルネットワーク通信の品質を忠実に反映することができる。
図3は、本開示の少なくともいくつかの実施形態による、モバイル監視アプリケーションによってモバイルアプリケーションサービス品質を決定するための例示的なプロセス301のフロー図を示している。プロセス301は、ハードウェア(例えば、専用回路、専用ハードウェアロジック、プログラム可能ハードウェアロジックなど)、(処理デバイス上で実行できる命令などの)ソフトウェア、ファームウェア、またはそれらの組み合わせを含むことができる、処理ロジックによって実行することができる。一実施形態では、プロセス301のための機械実行可能命令は、メモリ内に記憶すること、プロセッサによって実行すること、および/または図1のモバイルデバイス110内で実施することができる。
プロセス301は、ブロック310「モバイルデバイス上にインストールされたモバイルアプリケーションを識別する」において開始することができる。ブロック310には、ブロック320「モバイルデバイス上で起動されているモバイルアプリケーションを検出する」が続くことができる。ブロック320には、ブロック330「モバイルネットワークを介して通信するモバイルアプリケーションのネットワーク使用パターンをアプリケーションレイヤレベルにおいて監視する」が続くことができる。ブロック330には、ブロック340「モバイルネットワークを介してテストデータを送信または受信することによって、モバイルアプリケーションのネットワーク使用パターンをエミュレートする」が続くことができる。ブロック340には、ブロック350「送信または受信されているテストデータを分析する」が続くことができる。ブロック350には、ブロック360「モバイルアプリケーションのサービス品質を決定する」が続くことができる。ブロックは逐次順で示されているが、これらのブロックは、並列で、および/または本明細書で説明された順序とは異なる順序で実行することもできる。また、様々なブロックは、所望の実装に基づいて、組み合わせてより少数のブロックにすること、さらなるブロックに分割すること、および/または除去することができる。
ブロック310において、MMAは、同じモバイルデバイス上にインストールされたモバイルアプリケーションを監視するために、モバイルデバイス上で動作していることができる。MMAは最初に、アプリケーション名、ファイルタイプ、またはネットワーク使用パターンなどに基づいて、モバイルデバイス上にインストールされたまたは動作しているモバイルアプリケーションを識別することができる。加えて、MMAは、新しいモバイルアプリケーションがインストールされているかどうか、または既存のモバイルアプリケーションがアップグレードもしくは除去されたかどうかを検出するために、モバイルデバイスのモバイルOSを継続的に監視することができる。ブロック320において、モバイルデバイス上でモバイルアプリケーションは起動されることができる。起動は、ユーザによって手動で、またはモバイルデバイスのモバイルOSによって自動的に実行することができる。一つの実装では、MMAは、実行中プロセスのリストをモバイルデバイスのオペレーティングシステムから継続的に引き出し、取り出すことによって、起動されたモバイルアプリケーションを検出することができる。MMAは、起動のインディケーションを求めて、あるモバイルアプリケーションのログファイルを継続的に引き出すこともできる。さらに、モバイルアプリケーションは、トリガを用いて実装することができ、その実行中ステータスについてMMAに通知するために、MMAにメッセージを送信することができる。MMAが起動されているモバイルアプリケーションを検出すると、プロセス301は、ブロック330に進む。
ブロック330において、MMAは、モバイルネットワークを介して通信するモバイルアプリケーションのネットワーク使用パターンをアプリケーションレイヤレベルにおいて監視することができる。ネットワーク使用パターンは、モバイルアプリケーションがモバイルネットワークを介してアプリケーションデータを送信しているか、それとも受信しているかを示す。ネットワーク使用パターンは、データ通信に含まれるアプリケーションデータのタイプおよび量も示すことができる。一つの実装では、MMAは、モバイルアプリケーションがネットワーク通信のために使用するポートをリッスンし、評価のために、これらのポートを通過したアプリケーションデータをサンプリングまたはコピーすることができる。代替として、MMAは、そのような情報をモバイルデバイスのモバイルOSに要求することができる。
ブロック340において、ブロック330において監視および検出されたネットワーク使用パターンに基づいて、MMAは、モバイルアプリケーションと類似のネットワーク使用パターンを使用し、同じネットワーク伝送メカニズムを用いて、モバイルネットワークを介してテストデータを送信または受信することによって、モバイルアプリケーションをエミュレートすることができる。例えば、モバイルアプリケーションが特定のタイプのアプリケーションデータのダウンローディングを実行しているとMMAが決定した場合、MMAは、そのタイプのアプリケーションデータに類似した事前定義された1組のテストデータを選択し、そのテストデータに対して類似のネットワークオペレーションを行う(このケースでは、事前定義されたテストデータをAEMSに要求し、同じまたは類似のネットワーク伝送メカニズムを使用して、AEMSからのテストデータのダウンローディングを実行する)ことができる。代替として、モバイルアプリケーションがモバイルネットワークを介してアプリケーションデータをアップロードしていることをMMAが検出した場合、MMAは、モバイルネットワークを介してAEMSと通信し、類似のタイプのテストデータをアップロードすることによって、ネットワーク使用パターンをエミュレートすることができる。
一つの実装では、MMAによって送信または受信されるテストデータは、モバイルアプリケーションによって要求されるリソースに加えて、さらなるネットワークリソースおよびモバイルデバイスリソースを必要とすることがあり、そのことが、ひいては、モバイルアプリケーションによって経験されるサービス品質に影響を及ぼすことがある。モバイルアプリケーションへの影響度を制限するため、MMAおよびAEMSは、データ通信のために、完全な1組のテストデータの代わりに、テストデータのサブサンプルを使用することができる。例えば、MEEG復号の場合、モバイルアプリケーションは、高品質ビデオを表示するために、大量のデータストリームを要求することがある。この場合、エミュレーション中に等量のテストデータを送信する代わりに、MMAは、利用可能な帯域幅の一部(例えば1%)を占有できるテストデータのサブサンプルを要求し、テストデータのサブサンプルの送信に基づいたサービス品質決定を行うことができる。
ブロック350において、MMAおよび/またはAEMSは、送信テストデータを分析することができる。MMAは、AEMSから送信され、MMAによって受信されたテストデータに対して、データ分析を実行することができる。同様に、AEMSは、MMAから送信され、AEMSによって受信されたテストデータを分析することができる。一実施形態では、AEMSは、最初にAEMSからMMAに送信され、その後、MMAからAEMSに返送されたデータを分析することができる。データ分析を実行することによって、データ伝送ビットレート、信号対雑音比、ビット誤り率、待ち時間、モバイルネットワークの異なるネットワークセグメント(例えば、アクセスセグメント、メトロセグメント、およびコアセグメント)にわたってのパケット損失率などのネットワーク性能測定値を決定することができる。これらのネットワーク性能測定値は、アプリケーションレイヤレベルから収集され、分析されるので、モバイルアプリケーションの観点から、ネットワーク通信経路のセグメントまたは部分ではなく、完全なネットワーク通信経路のサービス品質の良好な概観を提供するために使用することができる。
一実施形態では、モバイルアプリケーションのエミュレーションのために使用されるテストデータが、帯域幅使用を低減するためにサンプリングされる場合、MMAまたはAEMSは、乗算によってネットワーク性能測定値を「復元」することができる。送信されたテストデータは、サンプルレート(例えば1%)に基づいて減らされているので、テストデータの1組のサブサンプルにおいて検出された値の実際の数値も、同じレートによって比例的に減らされていることがある。したがって、サンプリングされたテストデータから収集されたネットワーク性能測定値の一部または全部に、サンプルレートに反比例するレートを乗じることによって、「復元された」値を使用して、完全な1組のテストデータから収集された場合の性能測定値を推定することができる。例えば、サンプルレートが1%である場合、完全な1組のテストデータにおける誤りの数は、サンプリングされたデータの組から検出された不良数にレートの逆数(1/サンプルレート、すなわち、1/1%=100)を乗じることによって、推定することができる。この例では、サンプリングされたテストデータを用いてエミュレートしている最中に、誤りが1分当たりのグリッチ(glitches)で測定される場合、モバイルアプリケーションは、テストデータの1組のサブサンプルにおいて検出された1分当たりのグリッチ全てについて、完全な1組のテストデータにおいては、1分当たり1×100=100グリッチを経験することがある。
一つの実装では、テストデータの特定のパターンを、AEMSからMMAに送信することができる。MMAによって受信されるテストデータの特定のパターンは、ネットワーク伝送問題またはネットワーク問題のせいで、元のテストデータのパターンとは異なることがある。その場合、受信テストデータは、データが所望の順序で送信されたことを保証するために、(例えば、再送を伴うTCPを使用する)保証された配送チャネル上でAEMSに返送することができる。後で送信されるテストデータは、MMAによって最初に受信されたテストデータのパターンを維持しており、元のテストデータのパターンと比較するために使用することができる。さらに、異なるネットワーク問題は異なる誤りパターンを生成し得るので、既存のまたは潜在的なネットワーク問題を検出するために、受信パターンを潜在的な誤りパターンと相関させることができる。
ブロック340において送信され、ブロック350において分析されたテストデータに基づいて、ブロック360において、MMAまたはAEMSによって、サービス品質インジケータを決定することができる。サービス品質は、MMAとAEMSの間のネットワーク通信に基づいて生成されたものではあるが、モバイルアプリケーションによって経験されるサービス品質を反映するために使用することができる。一実施形態では、サービス品質は、モバイルアプリケーションに関連するユーティリティ関数を使用して計算することができる。ブロック350において収集されたネットワーク性能測定値は、ユーティリティ関数の入力パラメータとして役立てることができ、ユーティリティ関数から出力された結果は、特定のモバイルアプリケーションのサービス品質と見なされ、さらなる処理のために、AEMSに配送することができる。
一実施形態では、1つまたは複数のMMAから収集されたサービス品質結果は、AEMSに送信し、データベース内に記憶することができる。収集された現在および履歴のサービス品質データは、ネットワーク性能報告を生成するために、さらに分析することができる。加えて、サービス品質データに基づいて、正確な履歴サービス品質の報告の支援を受けて、モバイルネットワークにアクセスするためのTelcoサービスプロバイダによって、競争力のある価格モデルを導出することができる。
図4は、本開示の少なくともいくつかの実施形態による、アプリケーションエクスペリエンス監視システムによってモバイルアプリケーションサービス品質を受信するための例示的なプロセス401のフロー図を示している。プロセス401は、ハードウェア(例えば、専用回路、専用ハードウェアロジック、プログラム可能ハードウェアロジックなど)、(処理デバイス上で実行できる命令などの)ソフトウェア、ファームウェア、またはそれらの組み合わせを含むことができる、処理ロジックによって実行することができる。一実施形態では、プロセス401のための機械実行可能命令は、図1のメモリ143内に記憶すること、図1のプロセッサ142によって実行すること、および/または図1のAEMS 140内で実施することができる。
プロセス401は、ブロック410「モバイルネットワークと結合されたモバイルデバイス上で動作するモバイルアプリケーションをエミュレートするための要求をモバイルデバイスから受信する」において開始することができる。ブロック410には、判定ブロック420「要求に基づいて、モバイルアプリケーションがアプリケーションデータをモバイルネットワークに送信しているか、それともモバイルネットワークから受信しているかを判定する」が続くことができる。ブロック420の判定に基づいて、ブロック420には、ブロック430「第1の1組のテストデータをモバイルデバイスに送信する」が続くことができる。ブロック430には、ブロック450「第1の1組のテストデータの前記送信に基づいたモバイルアプリケーションの第1のサービス品質をモバイルデバイスから受信する」が続くことができる。同様に、ブロック420の判定に基づいて、ブロック420には、ブロック440「第2の1組のテストデータをモバイルデバイスから受信する」が続くことができる。ブロック440には、ブロック460「第2の1組のテストデータの前記受信に基づいたモバイルアプリケーションの第2のサービス品質をモバイルデバイスから受信する」が続くことができる。ブロック450またはブロック460のどちらにも、ブロック470「複数のモバイルデバイスから、モバイルデバイスの各々の上で動作するモバイルアプリケーションの複数のサービス品質を受信する」が続くことができる。ブロック470には、ブロック480「複数のサービス品質に基づいて、複数のモバイルデバイス上で動作するモバイルアプリケーションの集約されたサービス品質を決定する」が続くことができる。ブロックは逐次順で示されているが、これらのブロックは、並列で、および/または本明細書で説明された順序とは異なる順序で実行することもできる。また、様々なブロックは、所望の実施に基づいて、組み合わせてより少数のブロックにすること、さらなるブロックに分割すること、および/または除去することができる。
ブロック410において、AEMSは、モバイルネットワークと結合されたモバイルデバイス上で動作するMMAから要求を受信することができる。要求は、モバイルアプリケーションが経験している可能性のあるサービス品質を決定するために、実際のネットワーク負荷状態の下で動作しているモバイルアプリケーションのエミュレーションを開始するようにMMAおよびAEMSをトリガすることができる。ブロック420において、ブロック410において受信された要求に基づいて、AEMSは、モバイルアプリケーションがモバイルネットワークを介してアプリケーションデータを送信しているか、それとも受信しているかを判定することができる。AEMSおよび/またはMMAは、データ交換オペレーション中にモバイルアプリケーションによって利用されるネットワーク伝送メカニズムのタイプも決定することができる。モバイルアプリケーションがアプリケーションデータを受信していると判定された場合、プロセス401は、ブロック430に進むことができ、ブロック430において、AEMSおよびMMAは、AEMSからモバイルデバイスに第1の1組のテストデータを送信することによって、モバイルアプリケーションのデータ受信動作をエミュレートすることができる。テストデータの送信は、モバイルアプリケーションによって使用されるのと同じネットワーク伝送メカニズムを利用して、モバイルアプリケーションがアプリケーションデータを受信するのと同時に実行することができる。
一つの実装では、ブロック430において、第1の1組のテストデータは、特定のタイプのモバイルアプリケーションに適合させた事前定義された1組のテストデータとすることができる。代替として、モバイルアプリケーションの受信プロセスをエミュレートするために、量が削減されたテストデータまたはサブサンプリングされた1組のデータを使用することができる。AEMSが第1の1組のテストデータを転送し終わると、MMAは、受信した第1の1組のテストデータから何らかの性能測定値を収集することができる。MMAがテストデータについての高度な知識を有する場合、MMAは、ビデオストリーム上での1分当たりのグリッチの数などの測定値を決定するために、追加的な高レベルのサービス品質分析を実行することができる。さらに、AEMSがテストデータの1組のサブサンプルを送信した場合、MMAは、テストデータの1組のサブサンプルから収集されたネットワーク性能測定値にサンプルレートの逆数を乗じることができる。その乗算結果をさらに使用して、サービス品質値を決定することができる。
言い換えると、サービス品質値は、AEMSからの第1の1組のテストデータの上記の受信に基づいて、MMAによって生成することができる。ブロック450において、MMAは、生成されたサービス品質値をAEMSに送信することができる。したがって、その観点からは、AEMSは、モバイルデバイスへの第1の1組のテストデータの上記の送信に基づいたモバイルアプリケーションの第1のサービス品質を、モバイルデバイスから受信することができる。そのようなサービス品質値は、モバイルネットワークを介してアプリケーションデータを受信している最中に経験されるモバイルアプリケーションのサービス品質を反映するために使用することができる。
一つの実装では、ブロック420における判定が、モバイルアプリケーションがモバイルネットワークにアプリケーションデータを送信していることを示す場合、プロセス401は、ブロック440に進むことができ、ブロック440において、MMAは、アプリケーションデータを送信中のモバイルアプリケーションと同じネットワーク伝送メカニズムを利用して、モバイルデバイスからAEMSに第2の1組のテストデータを送信することによって、モバイルアプリケーションをエミュレートすることができる。したがって、ブロック440において、AEMSは、モバイルデバイスから第2の1組のテストデータを受信することができる。第2の1組のテストデータの送信に基づいて、MMAは、サービス品質値を決定することができ、そのようなサービス品質値をAEMSに送信することができる。したがって、ブロック460において、AEMSは、第2の1組のテストデータの上記の受信に基づいたモバイルアプリケーションの第2のサービス品質を、モバイルデバイスから受信することができる。
一つの実装では、ブロック470において、AEMSは、異なるモバイルデバイスから、特定のモバイルアプリケーションに関する複数のサービス品質を受信することができ、各サービス品質は、対応するモバイルデバイス上で動作する特定のモバイルアプリケーションを監視およびエミュレートするMMAによって生成される。したがって、異なるモバイルデバイスから収集された複数のサービス品質値を、特定のモバイルアプリケーションに関して有意味に分析することができる。ブロック480において、複数のサービス品質値に基づいて、これらのモバイルデバイス上で同時に動作することができる、または一定の期間内に実行された特定のモバイルアプリケーションの集約されたサービス品質値を決定することができる。例えば、モバイルアプリケーションが、他のモバイルデバイスでは通常のまたは高いサービス品質を有するのに、モバイルデバイスのいくつかでは低いサービス品質値を受信している場合、潜在的なネットワーク問題は、モバイルデバイスまたはモバイルネットワークに関するものである可能性がある。対照的に、すべてのモバイルデバイスが、特定のモバイルアプリケーションに関して低いサービス品質を経験している場合、問題は、モバイルアプリケーションサーバまたはAEMSに関するものである可能性がある。したがって、集約されたサービス品質値を評価することによって、AEMSおよびMMAは、個々のサービス品質値の評価による方法では容易に検出できないネットワーク問題や、アプリケーションレイヤレベルのものではないサービス品質評価を識別できることがある。
システムの側面でのハードウェアの実装形態とソフトウェアの実装形態との間には、ほとんど相違が残されていない。ハードウェアまたはソフトウェアの使用は、一般に(いつもそうではないが、ある状況ではハードウェアとソフトウェアの間の選択が重要になり得るという点で)コスト対効果のトレードオフを表す設計上の選択である。本明細書に記載された、プロセスおよび/またはシステムおよび/または他の技術をもたらすことができる様々な達成手段があり(例えば、ハードウェア、ソフトウェア、および/またはファームウェア)、好ましい達成手段は、プロセスおよび/またはシステムおよび/または他の技術が導入される状況によって異なる。例えば、実装者が速度と正確性が最も重要であると決定すると、実装者は主にハードウェアおよび/またはファームウェアの構成を選択することができる。フレキシビリティが最も重要なら、実装者は主にソフトウェアの実装形態を選択することができる。または、さらに別の代替案として、実装者は、ハードウェア、ソフトウェア、および/またはファームウェアの何らかの組み合わせを選択することができる。
前述の詳細な説明では、ブロック図、フローチャート、および/または例の使用によって、装置および/またはプロセスの様々な実施形態を説明してきた。そのようなブロック図、フローチャート、および/または例が1つまたは複数の機能および/または動作を含む限りにおいて、そのようなブロック図、フローチャート、または例の中のそれぞれの機能および/または動作は、広範囲のハードウェア、ソフトウェア、ファームウェア、または実質上それらのすべての組み合わせにより、個別におよび/または集合的に実装可能であることが、当業者には理解されるであろう。ある実施形態では、本明細書に記載された主題のいくつかの部分は、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタルシグナルプロセッサ(DSP)、ARMプロセッサ、CPU、または他の集積化方式によって実装することができる。しかし、本明細書で開示された実施形態のいくつかの態様が、全体においてまたは一部において、1つまたは複数のコンピュータ上で動作する1つまたは複数のコンピュータプログラムとして(例えば、1つまたは複数のコンピュータシステム上で動作する1つまたは複数のプログラムとして)、1つまたは複数のプロセッサ上で動作する1つまたは複数のプログラムとして(例えば、1つまたは複数のマイクロプロセッサ上で動作する1つまたは複数のプログラムとして)、ファームウェアとして、あるいは実質上それらの任意の組み合わせとして、等価に集積回路に実装することができることを、当業者は認識するであろうし、電気回路の設計ならびに/またはソフトウェアおよび/もしくはファームウェアのコーディングが、本開示に照らして十分当業者の技能の範囲内であることを、当業者は認識するであろう。さらに、本明細書に記載された主題のメカニズムを様々な形式のプログラム製品として配布することができることを、当業者は理解するであろうし、本明細書に記載された主題の例示的な実施形態が、実際に配布を実行するために使用される信号伝達媒体の特定のタイプにかかわらず適用されることを、当業者は理解するであろう。信号伝達媒体の例には、フロッピー(登録商標)ディスク、ハードディスクドライブ、コンパクトディスク(CD)、デジタルビデオディスク(DVD)、デジタルテープ、コンピュータメモリ、フラッシュメモリ、などの記録可能なタイプの媒体、ならびに、デジタル通信媒体および/またはアナログ通信媒体(例えば、光ファイバケーブル、導波管、有線通信リンク、無線通信リンクなど)の通信タイプの媒体が含まれるが、それらには限定されない。
本明細書で説明したやり方で装置および/またはプロセスを記載し、その後そのように記載された装置および/またはプロセスを、データ処理システムに統合するためにエンジニアリング方式を使用することは、当技術分野で一般的であることを当業者は認識するであろう。すなわち、本明細書に記載された装置および/またはプロセスの少なくとも一部を、妥当な数の実験によってデータ処理システムに統合することができる。通常のデータ処理システムは、一般に、システムユニットハウジング、ビデオディスプレイ装置、揮発性メモリおよび不揮発性メモリなどのメモリ、マイクロプロセッサおよびデジタル信号プロセッサなどのプロセッサ、オペレーティングシステムなどの計算実体、ドライバ、グラフィカルユーザインタフェース、およびアプリケーションプログラムのうちの1つもしくは複数、タッチパッドもしくはスクリーンなどの1つもしくは複数の相互作用装置、ならびに/またはフィードバックループおよびコントロールモータを含むコントロールシステム(例えば、位置検知用および/もしくは速度検知用フィードバック、コンポーネントの移動用および/もしくは数量の調整用コントロールモータ)を含むことを、当業者は理解するであろう。通常のデータ処理システムは、データコンピューティング/通信システムおよび/またはネットワークコンピューティング/通信システムの中に通常見られるコンポーネントなどの、市販の適切なコンポーネントを利用して実装することができる。
本明細書に記載された主題は、様々なコンポーネントをしばしば例示しており、これらのコンポーネントは、他の様々なコンポーネントに包含されるか、または他の様々なコンポーネントに接続される。そのように図示されたアーキテクチャは、単に例示にすぎず、実際には、同じ機能を実現する多くの他のアーキテクチャが実装可能であることが理解されよう。概念的な意味で、同じ機能を実現するコンポーネントの任意の構成は、所望の機能が実現されるように効果的に「関連付け」される。したがって、特定の機能を実現するために組み合わされた、本明細書における任意の2つのコンポーネントは、アーキテクチャまたは中間のコンポーネントにかかわらず、所望の機能が実現されるように、お互いに「関連付け」されていると見ることができる。同様に、そのように関連付けされた任意の2つのコンポーネントは、所望の機能を実現するために、互いに「動作可能に接続」または「動作可能に結合」されていると見なすこともでき、そのように関連付け可能な任意の2つのコンポーネントは、所望の機能を実現するために、互いに「動作可能に結合できる」と見なすこともできる。動作可能に結合できる場合の具体例には、物理的にかみ合わせ可能な、および/もしくは物理的に相互作用するコンポーネント、ならびに/またはワイヤレスに相互作用可能な、および/もしくはワイヤレスに相互作用するコンポーネント、ならびに/または論理的に相互作用する、および/もしくは論理的に相互作用可能なコンポーネントが含まれるが、それらに限定されない。
本明細書における実質的にすべての複数形および/または単数形の用語の使用に対して、当業者は、状況および/または用途に適切なように、複数形から単数形に、および/または単数形から複数形に変換することができる。様々な単数形/複数形の置き換えは、理解しやすいように、本明細書で明確に説明することができる。
通常、本明細書において、特に添付の特許請求の範囲(例えば、添付の特許請求の範囲の本体部)において使用される用語は、全体を通じて「オープンな(open)」用語として意図されていることが、当業者には理解されよう(例えば、用語「含む(including)」は、「含むがそれに限定されない(including but not limited to)」と解釈されるべきであり、用語「有する(having)」は、「少なくとも有する(having at least)」と解釈されるべきであり、用語「含む(includes)」は、「含むがそれに限定されない(includes but is not limited to)」と解釈されるべきである、など)。導入される請求項で具体的な数の記載が意図される場合、そのような意図は、当該請求項において明示的に記載されることになり、そのような記載がない場合、そのような意図は存在しないことが、当業者にはさらに理解されよう。例えば、理解の一助として、添付の特許請求の範囲は、導入句「少なくとも1つの(at least one)」および「1つまたは複数の(one or more)」を使用して請求項の記載を導くことを含む場合がある。しかし、そのような句の使用は、同一の請求項が、導入句「1つまたは複数の」または「少なくとも1つの」および「a」または「an」などの不定冠詞を含む場合であっても、不定冠詞「a」または「an」による請求項の記載の導入が、そのように導入される請求項の記載を含む任意の特定の請求項を、単に1つのそのような記載を含む発明に限定する、ということを示唆していると解釈されるべきではない(例えば、「a」および/または「an」は、通常、「少なくとも1つの」または「1つまたは複数の」を意味すると解釈されるべきである)。同じことが、請求項の記載を導入するのに使用される定冠詞の使用にも当てはまる。また、導入される請求項の記載で具体的な数が明示的に記載されている場合でも、そのような記載は、通常、少なくとも記載された数を意味すると解釈されるべきであることが、当業者には理解されよう(例えば、他の修飾語なしでの「2つの記載(two recitations)」の単なる記載は、通常、少なくとも2つの記載、または2つ以上の記載を意味する)。さらに、「A、BおよびC、などの少なくとも1つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている(例えば、「A、B、およびCの少なくとも1つを有するシステム」は、Aのみ、Bのみ、Cのみ、AおよびBを共に、AおよびCを共に、BおよびCを共に、ならびに/またはA、B、およびCを共に、などを有するシステムを含むが、それに限定されない)。「A、B、またはC、などの少なくとも1つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている(例えば、「A、B、またはCの少なくとも1つを有するシステム」は、Aのみ、Bのみ、Cのみ、AおよびBを共に、AおよびCを共に、BおよびCを共に、ならびに/またはA、B、およびCを共に、などを有するシステムを含むが、それに限定されない)。2つ以上の代替用語を提示する事実上いかなる離接する語および/または句も、明細書、特許請求の範囲、または図面のどこにあっても、当該用語の一方(one of the terms)、当該用語のいずれか(either of the terms)、または両方の用語(both terms)を含む可能性を企図すると理解されるべきであることが、当業者にはさらに理解されよう。例えば、句「AまたはB」は、「A」または「B」あるいは「AおよびB」の可能性を含むことが理解されよう。
本明細書では様々な態様および実施形態が開示されたが、他の態様および実施形態も当業者には明らかであろう。本明細書で開示された様々な態様および実施形態は、説明を目的としたものであって、限定する意図はなく、真の範囲および主旨は、以下の特許請求の範囲によって示される。

Claims (20)

  1. モバイルネットワークと結合されたモバイルデバイス上で動作するモバイルアプリケーションのサービス品質を決定するための方法であって、
    前記モバイルネットワークを介してアプリケーションデータを送信中又は受信中の前記モバイルアプリケーションのネットワーク使用パターンをアプリケーションレイヤレベルにおいてリアルタイムに監視することと、
    前記モバイルネットワークを介してテストデータを送信または受信することによって、前記モバイルネットワークを介して前記アプリケーションデータを送信中又は受信中の前記モバイルアプリケーションの前記ネットワーク使用パターンをリアルタイムにエミュレートすることと、
    送信または受信されている前記テストデータを分析することによって、前記モバイルアプリケーションの前記サービス品質を決定することと、
    を含む方法。
  2. 前記モバイルデバイス上にインストールされた前記モバイルアプリケーションを識別することと、
    前記モバイルデバイス上で起動されている前記モバイルアプリケーションを検出することと、
    をさらに含む、請求項1に記載の方法。
  3. 前記モバイルアプリケーションの前記識別が、
    前記モバイルネットワークを介して通信する前記モバイルアプリケーションの前記ネットワーク使用パターンに基づいて、前記モバイルアプリケーションを識別すること、
    をさらに含む、請求項2に記載の方法。
  4. 前記ネットワーク使用パターンの前記監視が、
    前記モバイルアプリケーションが前記モバイルネットワークを介してアプリケーションデータを送信しているか、それとも受信しているかを検出すること、
    をさらに含む、請求項1に記載の方法。
  5. 前記ネットワーク使用パターンの前記エミュレートが、
    前記モバイルアプリケーションが前記アプリケーションデータを送信または受信しているときに、同時に前記モバイルネットワークを介して前記テストデータを送信または受信すること、
    をさらに含む、請求項4に記載の方法。
  6. 前記ネットワーク使用パターンの前記エミュレートが、
    前記モバイルアプリケーションが前記モバイルネットワークを介して前記アプリケーションデータを送信していると判定されたときに、同時に前記モバイルネットワークを介して前記テストデータを送信することと、
    前記モバイルアプリケーションが前記モバイルネットワークを介して前記アプリケーションデータを受信していると判定されたときに、同時に前記モバイルネットワークを介して前記テストデータを受信することと、
    をさらに含む、請求項4に記載の方法。
  7. 前記ネットワーク使用パターンの前記エミュレートが、
    事前定義された1組のデータを前記テストデータとしてロードすることと、
    前記モバイルアプリケーションのネットワーク伝送メカニズムを使用して、前記事前定義された1組のデータをリモートの監視システムに送信すること、またはリモートの監視システムから受信することと、
    をさらに含む、請求項1に記載の方法。
  8. 前記ネットワーク使用パターンの前記エミュレートが、
    前記モバイルネットワークを介して前記テストデータのサンプルを送信または受信することによって、前記ネットワーク使用パターンをエミュレートすることであって、前記テストデータの前記サンプルが、サンプルレートによって前記テストデータを減らすことによって生成される、エミュレートすること、
    をさらに含む、請求項1に記載の方法。
  9. 前記モバイルアプリケーションの前記サービス品質の前記決定が、
    前記テストデータの前記サンプルの前記送信または受信から収集されたネットワーク性能測定値を前記サンプルレートを用いて乗算すること、
    をさらに含む、請求項8に記載の方法。
  10. 前記モバイルアプリケーションの前記サービス品質の前記決定が、
    前記テストデータの前記送信または受信から複数のネットワーク性能測定値を収集することと、
    前記複数のネットワーク性能測定値に基づいて、前記モバイルアプリケーションの前記サービス品質を決定すること、
    をさらに含む、請求項1に記載の方法。
  11. 前記モバイルアプリケーションの前記サービス品質の前記決定が、
    送信および受信されている前記テストデータの前記テストデータの伝送パターンを評価することと、
    前記伝送パターンに基づいて、前記モバイルネットワーク内で発生したネットワーク問題を識別することと、
    をさらに含む、請求項1に記載の方法。
  12. 前記方法が、コンピューティングプロセッサによって実行されたときに、前記コンピューティングプロセッサに前記方法を実行させる1組の命令として機械可読媒体内に具現される、請求項1に記載の方法。
  13. モバイルネットワークと結合されたモバイルデバイス上で動作するモバイルアプリケーションのサービス品質を決定するための方法であって、
    ネットワーク伝送メカニズムを使用して前記モバイルネットワークからアプリケーションデータを受信中の前記モバイルアプリケーションをリアルタイムにエミュレートするための第1の要求を前記モバイルデバイスから受信することと、
    前記ネットワーク伝送メカニズムを使用して、前記モバイルデバイスに第1の1組のテストデータを送信することと、
    前記第1の1組のテストデータの前記送信に基づいた前記モバイルアプリケーションの前記サービス品質を前記モバイルデバイスから受信することと、
    を含む方法。
  14. 前記ネットワーク伝送メカニズムを使用して前記モバイルネットワークに前記アプリケーションデータを送信中の前記モバイルアプリケーションをリアルタイムにエミュレートするための第2の要求を前記モバイルデバイスから受信することと、
    前記ネットワーク伝送メカニズムを使用して、前記モバイルデバイスから第2の1組のテストデータを受信することと、
    前記第2の1組のテストデータの前記受信に基づいた前記モバイルアプリケーションの前記サービス品質を前記モバイルデバイスから受信することと、
    をさらに含む、請求項13に記載の方法。
  15. 複数のモバイルデバイスから、前記複数のモバイルデバイスの各々の上で動作する前記モバイルアプリケーションの複数のサービス品質を受信することと、
    前記複数のサービス品質に基づいて、前記複数のモバイルデバイス上で動作する前記モバイルアプリケーションの集約されたサービス品質を決定することと、
    をさらに含む、請求項14に記載の方法。
  16. 前記モバイルアプリケーションの前記サービス品質の前記決定が、
    前記モバイルアプリケーションに関連するユーティリティ関数を選択することと、
    前記第1の1組のテストデータの前記送信から複数のネットワーク性能測定値を収集することと、
    前記複数のネットワーク性能測定値を前記ユーティリティ関数に入力することによって、前記サービス品質を計算することと、
    をさらに含む、請求項13に記載の方法。
  17. モバイルデバイス上で動作するモバイルアプリケーションのサービス品質を決定するように構成されたシステムであって、
    モバイルネットワークと接続された監視システムと、
    前記モバイルネットワークを介してアプリケーションデータを送信中又は受信中の前記モバイルアプリケーションのネットワーク使用パターンをリアルタイムに監視するために前記モバイルデバイス上で動作する監視アプリケーションであって、前記ネットワーク使用パターンは、前記モバイルアプリケーションがアプリケーションデータを前記モバイルネットワークに送信しているか、それとも前記モバイルネットワークから受信しているかを示し、前記監視アプリケーションは、前記監視システムから第1の1組のテストデータを受信することによって、前記アプリケーションデータを受信中の前記モバイルアプリケーションをリアルタイムにエミュレートし、前記監視アプリケーションは、前記受信した第1の1組のテストデータを分析することによって、前記モバイルアプリケーションの前記サービス品質を決定する、監視アプリケーションと、
    を備えるシステム。
  18. 前記監視システムが、前記第1の1組のテストデータを前記監視アプリケーションに送信し、第2の1組のテストデータを前記監視アプリケーションから受信することによって、前記アプリケーションデータを受信中の前記モバイルアプリケーションをリアルタイムにエミュレートし、前記監視システムが、前記第1の1組のテストデータと前記第2の1組のテストデータを分析することによって、前記モバイルアプリケーションの前記サービス品質を決定する、請求項17に記載のシステム。
  19. 前記監視アプリケーションが、第3の1組のテストデータを前記監視システムに送信することによって、前記アプリケーションデータを送信中の前記モバイルアプリケーションをリアルタイムにエミュレートし、前記監視システムが、前記第3の1組のテストデータを分析することによって、前記モバイルアプリケーションの前記サービス品質を決定する、請求項17に記載のシステム。
  20. 前記監視アプリケーションおよび前記監視システムと結合された監視キューであって、前記監視キューが、前記第1の1組のデータを記憶し、前記第1の1組のデータを前記モバイルアプリケーションと関連付ける、監視キュー
    をさらに備える、請求項17に記載のシステム。
JP2012544445A 2009-12-24 2010-12-13 動的なモバイルアプリケーションサービス品質の監視および報告 Active JP5483778B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/647,256 2009-12-24
US12/647,256 US8578020B2 (en) 2009-12-24 2009-12-24 Dynamic mobile application quality-of-service monitoring and reporting
PCT/SG2010/000464 WO2011078793A1 (en) 2009-12-24 2010-12-13 Dynamic mobile application quality-of-service monitoring and reporting

Publications (2)

Publication Number Publication Date
JP2013513883A JP2013513883A (ja) 2013-04-22
JP5483778B2 true JP5483778B2 (ja) 2014-05-07

Family

ID=44188799

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012544445A Active JP5483778B2 (ja) 2009-12-24 2010-12-13 動的なモバイルアプリケーションサービス品質の監視および報告

Country Status (5)

Country Link
US (1) US8578020B2 (ja)
JP (1) JP5483778B2 (ja)
KR (1) KR101365260B1 (ja)
CN (1) CN102668619B (ja)
WO (1) WO2011078793A1 (ja)

Families Citing this family (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003058879A1 (en) 2002-01-08 2003-07-17 Seven Networks, Inc. Secure transport for mobile communication network
US8438633B1 (en) 2005-04-21 2013-05-07 Seven Networks, Inc. Flexible real-time inbox access
WO2006136660A1 (en) 2005-06-21 2006-12-28 Seven Networks International Oy Maintaining an ip connection in a mobile network
US8805425B2 (en) 2007-06-01 2014-08-12 Seven Networks, Inc. Integrated messaging
US9002828B2 (en) 2007-12-13 2015-04-07 Seven Networks, Inc. Predictive content delivery
US8862657B2 (en) 2008-01-25 2014-10-14 Seven Networks, Inc. Policy based content service
US20090193338A1 (en) 2008-01-28 2009-07-30 Trevor Fiatal Reducing network and battery consumption during content delivery and playback
US8909759B2 (en) 2008-10-10 2014-12-09 Seven Networks, Inc. Bandwidth measurement
US8644813B1 (en) 2009-12-02 2014-02-04 Sprint Communications Company L.P. Customer initiated mobile diagnostics service
US8849241B2 (en) * 2010-06-28 2014-09-30 Nokia Corporation Method and apparatus for providing energy-aware connection and code offloading
CA2806527A1 (en) 2010-07-26 2012-02-09 Seven Networks, Inc. Mobile network traffic coordination across multiple applications
US8838783B2 (en) 2010-07-26 2014-09-16 Seven Networks, Inc. Distributed caching for resource and mobile network traffic management
US8583091B1 (en) 2010-09-06 2013-11-12 Sprint Communications Company L.P. Dynamic loading, unloading, and caching of alternate complete interfaces
US9215548B2 (en) 2010-09-22 2015-12-15 Ncc Group Security Services, Inc. Methods and systems for rating privacy risk of applications for smart phones and other mobile platforms
US9729404B2 (en) * 2010-10-19 2017-08-08 Telefonaktieboalget Lm Ericsson (Publ) Quality of service monitoring device and method of monitoring quality of service
US8843153B2 (en) 2010-11-01 2014-09-23 Seven Networks, Inc. Mobile traffic categorization and policy for network use optimization while preserving user experience
WO2012060995A2 (en) 2010-11-01 2012-05-10 Michael Luna Distributed caching in a wireless network of content delivered for a mobile application over a long-held request
CN101977239B (zh) * 2010-11-11 2015-04-22 华为技术有限公司 一种制定策略的方法、策略服务器及网关
WO2012071384A2 (en) 2010-11-22 2012-05-31 Michael Luna Optimization of resource polling intervals to satisfy mobile device requests
WO2012084009A1 (en) * 2010-12-20 2012-06-28 Telefonaktiebolaget L M Ericsson (Publ) Method of and device for service monitoring and service monitoring management
EP2661697B1 (en) 2011-01-07 2018-11-21 Seven Networks, LLC System and method for reduction of mobile network traffic used for domain name system (dns) queries
US9123062B1 (en) 2011-02-18 2015-09-01 Sprint Communications Company L.P. Ad sponsored interface pack
US9043446B1 (en) 2011-03-10 2015-05-26 Sprint Communications Company L.P. Mirroring device interface components for content sharing
US20120271903A1 (en) 2011-04-19 2012-10-25 Michael Luna Shared resource and virtual resource management in a networked environment
WO2012149216A2 (en) 2011-04-27 2012-11-01 Seven Networks, Inc. Mobile device which offloads requests made by a mobile application to a remote entity for conservation of mobile device and network resources and methods therefor
GB2505585B (en) 2011-04-27 2015-08-12 Seven Networks Inc Detecting and preserving state for satisfying application requests in a distributed proxy and cache system
US9372733B2 (en) * 2011-08-30 2016-06-21 Open Text S.A. System and method for a distribution manager
US8874043B2 (en) * 2011-09-20 2014-10-28 Spirent Communications, Inc. System and method for determining quality of service of a mobile device
US9619810B1 (en) 2011-10-11 2017-04-11 Sprint Communications Company L.P. Zone architecture for dynamic targeted content creation
US8897144B2 (en) 2011-10-14 2014-11-25 T-Mobile Usa, Inc. Quality of user experience testing for video transmissions
CN103108320A (zh) * 2011-11-15 2013-05-15 网秦无限(北京)科技有限公司 一种监控移动设备的应用程序的方法和系统
US9100854B2 (en) 2011-12-06 2015-08-04 T-Mobile Usa, Inc. Quality of service application controller and user equipment application profiler
EP2789138B1 (en) 2011-12-06 2016-09-14 Seven Networks, LLC A mobile device and method to utilize the failover mechanisms for fault tolerance provided for mobile traffic management and network/device resource conservation
US8918503B2 (en) 2011-12-06 2014-12-23 Seven Networks, Inc. Optimization of mobile traffic directed to private networks and operator configurability thereof
WO2013086447A1 (en) 2011-12-07 2013-06-13 Seven Networks, Inc. Radio-awareness of mobile device for sending server-side control signals using a wireless network optimized transport protocol
GB2498064A (en) 2011-12-07 2013-07-03 Seven Networks Inc Distributed content caching mechanism using a network operator proxy
WO2013090212A1 (en) 2011-12-14 2013-06-20 Seven Networks, Inc. Mobile network reporting and usage analytics system and method using aggregation of data in a distributed traffic optimization system
GB2499089B (en) * 2011-12-14 2017-01-04 Seven Networks Llc Mobile network reporting and usage analytics system and method aggregated using a distributed traffic optimization system
US8588764B1 (en) * 2012-01-26 2013-11-19 Sprint Communications Company L.P. Wireless network edge guardian
EP2812805A4 (en) * 2012-02-07 2015-10-28 Hewlett Packard Development Co TESTING A MOBILE APPLICATION
KR101819791B1 (ko) 2012-03-08 2018-01-17 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 모바일 디바이스와 연관된 경험의 품질 측정
US9152541B1 (en) * 2012-03-22 2015-10-06 Amazon Technologies, Inc. Automated mobile application verification
GB2490390B (en) * 2012-03-29 2014-01-29 Renesas Mobile Corp Method, apparatus and computer program for latency measurement
US9596697B2 (en) * 2012-04-03 2017-03-14 T-Mobile Usa, Inc. Application controller for quality-of-service configuration of a telecommunication device radio
US8812695B2 (en) 2012-04-09 2014-08-19 Seven Networks, Inc. Method and system for management of a virtual network connection without heartbeat messages
CN103457783B (zh) * 2012-05-31 2017-04-12 国际商业机器公司 用于测试移动网络应用的方法和系统
US8843122B1 (en) 2012-06-29 2014-09-23 Sprint Communications Company L.P. Mobile phone controls preprocessor
WO2014011216A1 (en) 2012-07-13 2014-01-16 Seven Networks, Inc. Dynamic bandwidth adjustment for browsing or streaming activity in a wireless network based on prediction of user behavior when interacting with mobile applications
US9413839B2 (en) * 2012-07-31 2016-08-09 Sprint Communications Company L.P. Traffic management of third party applications
US9183412B2 (en) 2012-08-10 2015-11-10 Sprint Communications Company L.P. Systems and methods for provisioning and using multiple trusted security zones on an electronic device
US10162693B1 (en) 2012-10-18 2018-12-25 Sprint Communications Company L.P. Evaluation of mobile device state and performance metrics for diagnosis and troubleshooting of performance issues
US9442709B1 (en) 2012-10-24 2016-09-13 Sprint Communications Company L.P. Transition experience during loading and updating an interface and applications pack
US9386463B1 (en) 2012-11-19 2016-07-05 Sprint Communications Company L.P. Application risk analysis
US8874761B2 (en) * 2013-01-25 2014-10-28 Seven Networks, Inc. Signaling optimization in a wireless network for traffic utilizing proprietary and non-proprietary protocols
US8750123B1 (en) 2013-03-11 2014-06-10 Seven Networks, Inc. Mobile device equipped with mobile network congestion recognition to make intelligent decisions regarding connecting to an operator network
WO2014189224A1 (ko) * 2013-05-20 2014-11-27 주식회사 아이디어웨어 무선 네트워크 부하 저감을 위한 서버 장치, 그 동작 방법 및 기록매체
US9329976B1 (en) * 2013-06-24 2016-05-03 Amazon Technologies, Inc. Application development via a multi-unit device
US9065765B2 (en) 2013-07-22 2015-06-23 Seven Networks, Inc. Proxy server associated with a mobile carrier for enhancing mobile traffic management in a mobile network
WO2015052550A1 (en) * 2013-10-11 2015-04-16 Sony Corporation Output power control for wireless local area networks
CN103593288B (zh) * 2013-11-06 2017-04-05 东北师范大学 一种WS‑BPEL工作流分析感知QoS的测试方法
FR3014630B1 (fr) * 2013-12-09 2017-04-21 Oberthur Technologies Procede de test de qualite de service, module d'identite de souscripteur, terminal mobile et systeme correspondants
KR102298562B1 (ko) 2014-01-17 2021-09-06 에스케이플래닛 주식회사 애플리케이션 실행 품질 서비스 시스템 및 방법
US9513888B1 (en) 2014-01-30 2016-12-06 Sprint Communications Company L.P. Virtual preloads
GB2526774A (en) * 2014-04-04 2015-12-09 Regenersis Glenrothes Ltd A portable testing apparatus and method
DE102014006038A1 (de) 2014-04-25 2015-10-29 Unify Gmbh & Co. Kg Verfahren und Vorrichtung zur Übermittlung und Adaption von Daten, Computerprogramm, Softwareprodukt und Digitales Speichermedium
CN104113870B (zh) * 2014-07-29 2019-01-08 中国联合网络通信集团有限公司 网络测试方法和移动终端
GB201418003D0 (en) * 2014-10-10 2014-11-26 Truphone Ltd System architecture parachute box system HLD
US10241845B2 (en) 2015-02-27 2019-03-26 Entit Software Llc Application event tracing
US9838888B2 (en) 2015-02-27 2017-12-05 T-Mobile Usa, Inc. Network diagnostic applications
US10623280B2 (en) * 2015-03-20 2020-04-14 British Telecommunications Public Limited Company Diagnostic testing
US9483253B1 (en) 2015-04-30 2016-11-01 Sprint Communications Company L.P. Methods for customization of default applications on a mobile communication device
US10154053B2 (en) * 2015-06-04 2018-12-11 Cisco Technology, Inc. Method and apparatus for grouping features into bins with selected bin boundaries for use in anomaly detection
US10505819B2 (en) * 2015-06-04 2019-12-10 Cisco Technology, Inc. Method and apparatus for computing cell density based rareness for use in anomaly detection
US9641264B2 (en) 2015-09-25 2017-05-02 Root Wireless, Inc. Adaptive speed data collection
US10771372B2 (en) * 2016-06-16 2020-09-08 Oracle International Corporation Transmitting test traffic on a communication link
WO2018021950A1 (en) * 2016-07-26 2018-02-01 Telefonaktiebolaget Lm Ericsson (Publ) Device and method for controlling media streaming from a server to a client
US10097473B2 (en) * 2016-12-13 2018-10-09 Livio, Inc. Mobile device to vehicle output stream packet prioritization
CA3050163C (en) * 2017-01-17 2021-11-02 Tutela Technologies Ltd. System and method for interacting with and controlling testing of wireless device and/or wireless network performance on wireless electronic devices
US10200914B2 (en) 2017-01-20 2019-02-05 Microsoft Technology Licensing, Llc Responsive quality of service management
CN107395404B (zh) * 2017-07-07 2018-10-30 腾讯科技(深圳)有限公司 为网络应用提示网络环境、预测服务质量的方法和装置
KR102563790B1 (ko) * 2018-05-18 2023-08-07 삼성전자주식회사 어플리케이션의 데이터 전송에 기반하여 네트워크 연결을 수행하기 위한 전자 장치 및 그에 관한 방법
US11711709B2 (en) 2018-08-23 2023-07-25 Tracfone Wireless, Inc. System and process for using cellular connectivity analysis to determine optimal wireless equipment and service for a geographical area
WO2020086542A1 (en) * 2018-10-23 2020-04-30 Intel Corporation Technologies for performance data streaming
KR20210124488A (ko) * 2020-11-09 2021-10-14 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 샘플링 대상 결정 방법, 장치, 전자 설비 및 컴퓨터 판독 가능 저장 매체

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2077061C (en) * 1991-11-22 1998-04-21 Mark J. Baugher Scheduling system for distributed multimedia resources
US6044211A (en) * 1994-03-14 2000-03-28 C.A.E. Plus, Inc. Method for graphically representing a digital device as a behavioral description with data and control flow elements, and for converting the behavioral description to a structural description
SE521936C2 (sv) * 1996-06-26 2003-12-23 Telia Ab Metod för att effektivt använda bandbredd vid tillhandahållande av tjänster via ett digitalt cellulärt radiokommunikationssystem
US6446125B1 (en) * 1997-03-28 2002-09-03 Honeywell International Inc. Ripple scheduling for end-to-end global resource management
US6708189B1 (en) * 1997-09-30 2004-03-16 Desknet, Inc. Computer file transfer system
US6175569B1 (en) * 1997-11-07 2001-01-16 International Business Machines Corporation Extending asynchronous transfer mode ATM QoS across local area networks
US6480879B1 (en) * 1998-03-13 2002-11-12 Genuity Inc. Framework for providing quality of service requirements in a distributed object-oriented computer system
US6691148B1 (en) * 1998-03-13 2004-02-10 Verizon Corporate Services Group Inc. Framework for providing quality of service requirements in a distributed object-oriented computer system
US6629126B1 (en) * 1998-03-13 2003-09-30 Genuity Inc. Framework for providing quality of service requirements in a distributed object-oriented computer system
US6317438B1 (en) * 1998-04-14 2001-11-13 Harold Herman Trebes, Jr. System and method for providing peer-oriented control of telecommunications services
US6154778A (en) * 1998-05-19 2000-11-28 Hewlett-Packard Company Utility-based multi-category quality-of-service negotiation in distributed systems
US6985722B1 (en) * 1998-09-25 2006-01-10 Soma Networks, Inc. Telecommunication services
US6160804A (en) * 1998-11-13 2000-12-12 Lucent Technologies Inc. Mobility management for a multimedia mobile network
FI107770B (fi) * 1999-06-07 2001-09-28 Nokia Mobile Phones Ltd PDP-kontekstien hallinta matkaviestimessä
US6631122B1 (en) * 1999-06-11 2003-10-07 Nortel Networks Limited Method and system for wireless QOS agent for all-IP network
US6865609B1 (en) * 1999-08-17 2005-03-08 Sharewave, Inc. Multimedia extensions for wireless local area network
US6480898B1 (en) * 1999-09-10 2002-11-12 Array Telecom Corporation System, method, and computer program product for managing a carrier exchange network
US6728365B1 (en) * 1999-09-13 2004-04-27 Nortel Networks Limited Method and system for providing quality-of-service on packet-based wireless connections
FI20000316A (fi) 2000-02-14 2001-08-15 Nokia Networks Oy Informaatiovirran jäljittely
US20030046396A1 (en) * 2000-03-03 2003-03-06 Richter Roger K. Systems and methods for managing resource utilization in information management environments
JP3617406B2 (ja) * 2000-03-30 2005-02-02 日本電気株式会社 マルチドメインに対応した品質保証型通信サービス提供方式およびサービス提供方法並びにサービス仲介装置
JP3792985B2 (ja) * 2000-04-05 2006-07-05 キヤノン株式会社 ディレクトリサーバおよび周辺装置、その制御方法、並びに記録媒体
US6766368B1 (en) * 2000-05-23 2004-07-20 Verizon Laboratories Inc. System and method for providing an internet-based correlation service
US6941557B1 (en) * 2000-05-23 2005-09-06 Verizon Laboratories Inc. System and method for providing a global real-time advanced correlation environment architecture
DE60042965D1 (de) * 2000-05-24 2009-10-29 Sony Deutschland Gmbh Dienstqualitätsunterhandlung
US6742020B1 (en) * 2000-06-08 2004-05-25 Hewlett-Packard Development Company, L.P. System and method for managing data flow and measuring service in a storage network
EP1213895B1 (en) * 2000-12-08 2007-09-05 Sony Deutschland GmbH High-level interface for QoS-based mobile multimedia applications
US6816907B1 (en) * 2000-08-24 2004-11-09 International Business Machines Corporation System and method for providing differentiated services on the web
US6850495B1 (en) * 2000-08-31 2005-02-01 Verizon Communications Inc. Methods, apparatus and data structures for segmenting customers using at least a portion of a layer 2 address header or bits in the place of a layer 2 address header
US6993026B1 (en) * 2000-08-31 2006-01-31 Verizon Communications Inc. Methods, apparatus and data structures for preserving address and service level information in a virtual private network
US6807156B1 (en) 2000-11-07 2004-10-19 Telefonaktiebolaget Lm Ericsson (Publ) Scalable real-time quality of service monitoring and analysis of service dependent subscriber satisfaction in IP networks
US20020065922A1 (en) * 2000-11-30 2002-05-30 Vijnan Shastri Method and apparatus for selection and redirection of an existing client-server connection to an alternate data server hosted on a data packet network (DPN) based on performance comparisons
US7076695B2 (en) * 2001-07-20 2006-07-11 Opnet Technologies, Inc. System and methods for adaptive threshold determination for performance metrics
US7339891B2 (en) * 2002-01-09 2008-03-04 Mverify Corporation Method and system for evaluating wireless applications
ES2236370T3 (es) * 2002-01-23 2005-07-16 Sony International (Europe) Gmbh Metodo para permitir la negociacion de la calidad de servicio extremo a extremo por utilizacion del protocolo de negociacion extremo a extremo (e2enp).
US7596373B2 (en) * 2002-03-21 2009-09-29 Mcgregor Christopher M Method and system for quality of service (QoS) monitoring for wireless devices
JP2003283564A (ja) 2002-03-27 2003-10-03 Ntt Comware Corp Ipトラヒック発生装置ならびにその方法、およびトラヒック発生プログラムおよび記録媒体
US7346896B2 (en) * 2002-04-22 2008-03-18 Sun Microsystems, Inc. Slowing network connection for application optimization
EP1414211A1 (en) * 2002-10-23 2004-04-28 Sony International (Europe) GmbH Software architecture for capability and quality-of-service negotiations and session establishment for distributed multimedia applications
US7313533B2 (en) * 2003-07-11 2007-12-25 International Business Machines Corporation Systems and methods for monitoring and controlling business level service level agreements
FR2867344B1 (fr) * 2004-03-04 2006-06-02 Cit Alcatel Determination de parametres de qualite de service d'un reseau de depuis un terminal de radiocommunication
US20060034185A1 (en) 2004-07-08 2006-02-16 Patzschke Till I Systems and methods for monitoring and evaluating a connectivity device
ATE414387T1 (de) * 2004-12-30 2008-11-15 Telecom Italia Spa System zur überwachung der dienstqualität in einem kommunikationsnetz
AU2006255441A1 (en) * 2005-06-06 2006-12-14 Mobidia, Inc. System and method of scheduling delivery of packets
JP2007228217A (ja) 2006-02-23 2007-09-06 Nec Corp トラフィック判定装置、トラフィック判定方法、及びそのプログラム
EP2087650A2 (en) 2006-09-28 2009-08-12 QUALCOMM Incorporated Methods and apparatus for determining communication link quality
KR101426464B1 (ko) 2007-12-17 2014-08-06 삼성전자주식회사 이동통신장치에서 서비스 품질정보 파라메터를 추출하는방법 및 장치
US20090227251A1 (en) 2008-03-05 2009-09-10 Huawei Technologies Co., Inc. System and method for automatically monitoring and managing wireless network performance

Also Published As

Publication number Publication date
CN102668619A (zh) 2012-09-12
US8578020B2 (en) 2013-11-05
JP2013513883A (ja) 2013-04-22
CN102668619B (zh) 2015-04-08
KR20120093360A (ko) 2012-08-22
WO2011078793A1 (en) 2011-06-30
KR101365260B1 (ko) 2014-02-20
US20110161484A1 (en) 2011-06-30

Similar Documents

Publication Publication Date Title
JP5483778B2 (ja) 動的なモバイルアプリケーションサービス品質の監視および報告
US9629012B2 (en) Dynamic mobile application quality-of-service monitor
US11870673B2 (en) Intercepting and examining a packet header or trailer
US11082313B2 (en) Scalable end-to-end quality of service monitoring and diagnosis in software defined networks
US10237144B2 (en) Quality of user experience analysis
US10412550B2 (en) Remote driving of mobile device diagnostic applications
CN105493514B (zh) 对蜂窝网络的自适应监视
US9219689B2 (en) Source-driven switch probing with feedback request
US20070115832A1 (en) System and method for facilitating network performance analysis
US10819597B2 (en) Network device measurements employing white boxes
EP3304818B1 (en) Quality of user experience analysis using echo locate
US20130058221A1 (en) Analysis Of A Communication Event
JP7132297B2 (ja) 仮想ゲートウェイクラスタのグローバル障害に対する監視方法及び装置
US9282174B2 (en) Network connectivity measurement system and method
US20210218653A1 (en) Systems and methods for dynamically optimizing tcp flow in wan networks
US10110445B2 (en) Closed control loops for data centers
US10103950B2 (en) Hub filtering
US20200403892A1 (en) Systems and methods for analyzing performance silence packets
Wang et al. KPAT: A kernel and protocol analysis tool for embedded networking devices
US11736963B2 (en) Server farm solution for network performance testing
Spinola et al. Providing adaptive traffic routing based on user and network context
JP6203062B2 (ja) 通信ネットワーク監視装置、通信ネットワーク監視方法およびコンピュータプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130814

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140217

R150 Certificate of patent or registration of utility model

Ref document number: 5483778

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250