JP6690011B2 - ストリーミング分析法を用いてネットワーク問題の実効顧客影響度をリアルタイムで測定するためのシステム及び方法 - Google Patents

ストリーミング分析法を用いてネットワーク問題の実効顧客影響度をリアルタイムで測定するためのシステム及び方法 Download PDF

Info

Publication number
JP6690011B2
JP6690011B2 JP2018551160A JP2018551160A JP6690011B2 JP 6690011 B2 JP6690011 B2 JP 6690011B2 JP 2018551160 A JP2018551160 A JP 2018551160A JP 2018551160 A JP2018551160 A JP 2018551160A JP 6690011 B2 JP6690011 B2 JP 6690011B2
Authority
JP
Japan
Prior art keywords
data
case report
kpis
identifying
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2018551160A
Other languages
English (en)
Other versions
JP2019511787A (ja
Inventor
カルロ メダス
カルロ メダス
ダヴィデ モッタ
ダヴィデ モッタ
Original Assignee
アンリツ カンパニー
アンリツ カンパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アンリツ カンパニー, アンリツ カンパニー filed Critical アンリツ カンパニー
Publication of JP2019511787A publication Critical patent/JP2019511787A/ja
Application granted granted Critical
Publication of JP6690011B2 publication Critical patent/JP6690011B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/142Network analysis or design using statistical or mathematical methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0631Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0681Configuration of triggering conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0686Additional information in the notification, e.g. enhancement of specific meta-data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003Managing SLA; Interaction between SLA and QoS
    • H04L41/5009Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/04Processing captured monitoring data, e.g. for logfile generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823Errors, e.g. transmission errors
    • H04L43/0847Transmission error
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/12Network monitoring probes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003Managing SLA; Interaction between SLA and QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003Managing SLA; Interaction between SLA and QoS
    • H04L41/5009Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
    • H04L41/5012Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF] determining service availability, e.g. which services are available at a certain point in time
    • H04L41/5016Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF] determining service availability, e.g. which services are available at a certain point in time based on statistics of service availability, e.g. in percentage or over a given time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/508Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement
    • H04L41/509Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement wherein the managed service relates to media content delivery, e.g. audio, video or TV
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/04Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/11Identifying congestion
    • H04L47/115Identifying congestion using a dedicated packet

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Mathematical Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Physics & Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Telephonic Communication Services (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

〔優先権の主張〕
本出願は、2016年3月29日に出願された、Carlo Medas他による「ストリーミング分析法を用いてネットワーク問題の実効顧客影響度をリアルタイムで測定するためのシステム及び方法(SYSTEMS AND METHODS FOR MEASURING EFFECTIVE CUSTOMER IMPACT OF NETWORK PROBLEMS IN REAL−TIME USING STREAMING ANALYTICS)」という名称の米国仮特許出願第62/314,806号に対する優先権の利益を主張するものであり、この文献は引用により本明細書に組み入れられる。
本発明は、一般に電気通信ネットワークの問題に起因する潜在的な及び/又は実際の顧客影響度を測定するためのシステム及び方法に関する。
電気通信ネットワーク事業者は、適合性及び収益性の継続を確実にするために様々な課題に直面する。核となる収入は、オーバーザトップコンテンツ(OTT)プロバイダの爆発的なデータ使用及び深くビデオに根差したネットワーク使用によって脅かされている。加入者は、多様性、容量及び商品に関して常にそれ以上のサービスを求める。電気通信技術の複雑性も加速し続け、新たなハードウェア投資の必要性を招いている。飽和市場における加入者基盤の拡大は、技術革新及び優れた顧客体験によって促進される。
ロングタームエボリューション(LTE)無線規格、集中型異機種ネットワーク、次世代ネットワーク(NGN)及びネットワーク機能の仮想化(NFV)などの現在の最先端の電気通信技術は運用コストの削減に役立つものの、ネットワーク事業者が競争上の優位性を得るには、競争市場における顧客体験を理解することである。たとえネットワーク事業者がどのような技術を使用しているとしても、顧客満足度は、多様で断片的な顧客基盤に所望のレベルのサービスを提供する能力に依存し得る。顧客は、家庭内消費者から多国籍企業に至るまで、いつでもどこでもできるだけ最良の価格でサービスにアクセスしたいと望む。
サービス稼働時間は、ネットワーク事業者の収入に直結する。サービスが行われなければ、課金事象も存在し得ない。一方で、体感品質(QoE)も同様に重要となり得る。QoEは、そこまで直接的ではないが収入に関係する。QoEの低下は最終的に顧客離れにつながり、QoEが大きく悪化すればサービスの使用が妨げられる可能性もある。
システム及び方法を用いて電気通信(テレコム)ネットワーク内の問題を識別することができる。プローブ及びネットワーク要素を含む複数のソースからデータを取得する。リアルタイムストリーミング集約のための1又は2以上の重要業績評価指標(KPI)を識別する。識別された1又は2以上のKPIに関するストリーミングデータをリアルタイムで集約し、重複を除いた加入者(count−distinct subscribers)及びボリュームカウントの近似値と、識別されたKPI毎に集約した重複を除いた加入者の近似値とを計算する。
計算に基づいて、集約されたデータ内で見つかった1又は2以上のドリルオブジェクトを識別し、指数移動平均を用いて、識別された1又は2以上のドリルオブジェクトの各々のリアルタイム動向記録を生成して記憶する。リアルタイム動向記録に基づいてベースライン平均値を生成する。次に、ベースライン平均値と、集約されたリアルタイムストリーミングデータとに基づいて、エラーの増加を検出することができる。
次に、検出されたエラーの増加に寄与している各ドリルオブジェクトの偏差を分析し、偏差の詳細に基づいて完全な事例報告を生成する。完全な事例報告をユーザインターフェイス内に表示し、偏差に関連する1又は2以上のアラームを伝える。エラーの増加がもはや検出されなくなるまで、後続の1又は2以上のKPIの値をチェックすることによって完全な事例報告を更新する。その後、完全な事例報告を生成して更新した1又は2以上のKPIに関連するデータに対して再発検出及び自動事例相関を実行する。
実施形態によるシステム及び方法を適用できる例示的なネットワークアーキテクチャを示す図である。 実施形態による、システムが取得したデータを用いてシステムと共に使用される、問題を識別する方法のフローチャートである。 実施形態による、リアルタイムストリーミング集約のための重要業績評価指標(KPI)を識別するフローチャートである。 実施形態によるシステム及び方法によって生成される出力例である。 実施形態によるシステム及び方法によって生成される出力例である。 実施形態によるシステム及び方法によって生成される事例報告概要の例である。 実施形態によるシステム及び方法によって生成される事例報告分析の例である。
以下の説明は、本発明の様々な実施形態を実施するための現在考えられる最良の形態である。この説明は、限定的な意味で捉えるべきではなく、本発明の一般的原理を説明するために行うものにすぎない。本発明の範囲は、特許請求の範囲を参照して確認すべきである。以下の本発明の説明では、全体を通じて同じ数字又は参照番号を用いて同じ部品又は要素を参照する。また、参照番号の最初の桁は、これらの部品又は要素を最初に説明する図面を識別する。
以下の説明では、本発明を完全に説明できるように数多くの具体的な詳細を示す。しかしながら、当業者には、これらの具体的な詳細を伴わずとも本発明を実施できることが明らかであろう。場合によっては、本発明を曖昧にしないように周知の特徴については詳細に説明していない。
図1は、加入者に影響を与える問題を識別し、識別された問題の潜在的共通点を識別するために本発明のシステム及び方法の実施形態を適用できる例示的な電気通信ネットワークアーキテクチャ100を示す簡略図である。図示のように、このアーキテクチャは、3GPP LTE無線通信規格のコアネットワークアーキテクチャであるシステムアーキテクチャエボリューション(SAE)に基づく。しかしながら、本発明のシステム及び方法の実施形態は、次世代アーキテクチャを含む他のアーキテクチャに適用することもできる。
SAEアーキテクチャは、制御プレーントラフィックとユーザプレーントラフィックとが独立したパケットベースのネットワークアーキテクチャである。ユーザは、携帯電話機又はその他の無線装置などのユーザ装置(UE)102を介して進化型ノードB(eNodeB)110と呼ばれるSAEアーキテクチャの要素に接続することによってネットワークに接続することができる。eNodeBの例としては、GSM(登録商標)ネットワーク内のベーストランシーバ基地局(BTS)が挙げられる。eNodeBは、UEから受け取ったパケットを、SAEアーキテクチャの主要コンポーネントである進化型パケットコア(EPC)に提供する。UEは、Wi−Fiアクセスポイント112などの他の何らかのアクセスポイントを介してネットワークと相互作用することもできる。
EPCは複数の下位コンポーネントを含み、図1にはそのうちのいくつかを示す。モビリティ管理エンティティ(MME)120という下位コンポーネントは、UEのためのサービングゲートウェイ(SGW)122を選択する役割を担う。MMEは、ユーザ関連情報及び加入関連情報を含む中央データベースであるホーム加入者サーバ(HSS)124を介してユーザを認証する役割を担う。MMEは、再送を含むアイドルモードUEページング及びタグ付け手順の役割を担う主要制御ノードでもあり、LTEアクセスと2G/3Gアクセスとの間の移動性のための制御プレーン機能も提供する。
SGWは、eNodeB間のハンドオーバ中におけるユーザプレーンのためのモビリティアンカー、及びLTE技術と他の3GPP技術との間の移動性のためのアンカーとしても機能しながら、ユーザデータパケットのルーティング及び転送を行う。
パケットデータネットワークゲートウェイ(PGW)123、127は、UEのトラフィックの出口点及び入口点となることによって、UEから外部パケットデータネットワーク(PDN)130、132への接続性を提供する。PGWは、各ユーザのパケットフィルタリング及び課金サポートを行い、3GPP技術と非3GPP技術との間の移動性のためのアンカーとして機能することができる。
他の下位コンポーネントとしては、サービスデータフローの検出、ポリシーの施行及びフローベースの課金をサポートするポリシー及び課金ルール機能(PCRF)モジュール129、信頼できない非3GPPアクセス(例えば、Wi−Fiアクセスポイント)を介してEPCに接続されたUEとのデータ送信を請け負う進化型パケットデータゲートウェイ(ePDG)128、並びにコンピュータリソースへの知的アクセス制御、ポリシーの施行、使用量の監査、サービス請求書の発行に必要な情報の提供を行う認証、認可及びアカウンティング(AAA)モジュール126が挙げられる。
理解されるように、ネットワークのモジュール及び下位コンポーネントの各々は、障害及びその他の性能問題の潜在的ソースになり得る。ネットワークのサービス保証には、障害管理、根本的原因の分析、性能モニタ及び通知、トラフィックの動向及び輻輳制御を含む多くのタスクが必要である。これらのタスクは、提供サービスの顧客体験を高めるためにサービスの利用可能性及び知覚品質を改善することを目的とする。
ネットワーク性能に関するデータは、図1で上述したようなネットワーク要素、プローブ、センサ、ログファイルを含む様々なソース、さらにはソーシャルネットワークから抽出することができる。現在では、ANRITSU(登録商標)社から市販されているeoLiveなどのツールを用いて収集データから重要業績評価指標(KPI)を生成し、コンピュータインターフェイスを介してKPIをユーザに示して、インターフェイスと相互作用する個人にサービス顧客体験のリアルタイムビューを提供することができる。ネットワーク事業者は、このようなツールを用いたサービスの維持、タイムリーな対応、顧客又はネットワークによって生じた問題の解決、様々なサービス面の性能の追跡、報告、管理及び改善対策を行うことによってサービス性能を保証することができる。
eoLiveなどのツールは、問題を識別して分類することによってネットワーク問題を検出するように適合することができる。例えば、このようなツールは、問題を相互接続エラー、輻輳エラー、論理的エラー又は物理的エラーとして分類し、これらを正しい部門に受け渡して、平均修復時間(MTTR)、すなわちサービス停止又はサービス低下を引き起こし得るネットワーク問題を修復するのに必要な時間を全体的に短縮することができる。問題の解決に長い時間が掛かり過ぎると、そのサービスからの収益が損なわれ、長期的にはサービスが利用できなくなることによって顧客の不満を高めてしまう恐れがある。
しかしながら、現在収集され蓄積されているデータは、分析できるデータよりも量の増加が速い。現在の電気通信ネットワーク事業者にとって最大の課題の1つは、加入者のQoEを理解するためにこれらの莫大な量のデータを活用して管理、運用、マーケティング、エンジニアリング及び顧客ケアに利用できるようにすることである。大量の利用可能なデータプール内の問題を短期間で識別することは困難になり得る。
電気通信ネットワークにおけるビッグデータは、(しばしば1日に数十億件もの事象記録が生成される)大量のデータ、並びにこれらのデータの多様性(例えば、異なるインターフェイス、ネットワーク及びアプリケーション技術がモニタされること)を特徴とする。データ量が非常に多く、データの内容も複雑であるため、分析は困難でコストが掛かり、ネットワーク事業者がこれらのデータを用いて達成したいことと、ネットワーク事業者とその目的との間に存在するツール及び技術との間に苛立たしい実行ギャップが生じる。
収集データを分析するためのシステムを開発しようとするこれまでの試みでは、ソースデータを収集し、ソースデータを抽出し、抽出したデータを拡充し、拡充したデータをデータベースにロード(すなわち、抽出、変換及びロード(ETL))した後に、この情報を何らかの報告ツールの形で最上層に提示するという複雑で面倒な処理が必要であった。専門家であれば、この一連のツールを用いて洞察を得ると思われる。これにより、しばしばデータウェアハウスが非常に限られた数の機能にしか使用されず、しばしば組織内の限られた数の、すなわち報告ツールを理解してこれらのツールにアクセスできる最上層の限られた専門家集団によって代表されるユーザにしか役に立たなくなる。多くの場合、データは未使用のまま放置され、これによってサービス、コスト及び顧客維持を改善する機会が失われてしまう。
本発明によるシステム及び方法の実施形態は、データストリーム内への洞察を与えて顧客に影響を与える問題を識別するとともに、サービス提供の脅威及び機会に応答するために使用することができる。このような実施形態は、サービス、コスト及び顧客維持を改善するための機会を活用することができる。
実施形態によれば、本発明によるシステム及び方法は、連続情報抽出処理を適用してデータソースへの投資を最大化することにより、加入者のQoE及びネットワークのロバスト性を改善することができる。このような実施形態は、自社のネットワークによってもたらされる大量のデータを分析する必要があるネットワーク事業者にとって有用となり得る。例えば、運用管理者は、ネットワーク性能及び加入者体験に影響を与える重要な洞察から恩恵を受けることができ、戦術職員は、専門家の関与を伴わずに問題及び潜在的原因を識別する能力から恩恵を受けることができ、財務管理者は、従来のデータ分析法よりも素早く結果を提供できるストリーミング分析法を活用するリアルタイム分析から恩恵を受けることができる。
ある実施形態によれば、システム及び方法が、インフラ内の装置及びツール、並びにこのような装置及びツールから取得されたデータを処理するための、本明細書ではまとめて影響加入者及び根本原因分析(「SIRCA」)と呼ぶ手法を適用することができる。SIRCAを用いてデータを取得し、重要業績評価指標(KPI)を生成し、データサイエンス及び機械学習調査パターンを適用して目の前の進行中の問題及び障害の識別及び解決を改善することができる。
システム及び方法は、SIRCAを適用して、加入者に影響を与える問題の勃発を識別することを目的としてこれらの問題の共通点を識別しようと試みるリアルタイム分類を行うことができる。SIRCAは、問題の影響を受ける異なる加入者のリアルタイムストリーミング集約に依拠し、異常値検出を通じた自己学習閾値によって駆動されるアラームを提供する。SIRCAは、データ収集インフラに加えて、ネットワーク事業者の組織内の個人がアクセスできるインターフェイスを提供することもできる。1つの実施形態では、このインターフェイスを、例えばユーザの加入を利用できるソーシャルネットワークスタイルのユーザインターフェイス(UI)、及び投稿、ニュースフィード、コメントなどを表示できるウォールとすることができる。SIRCAは、リアルタイム動向分析、再発検出及びインターフェイス間事例相関を含む根本原因分析を提供することができる。
図2は、システム及び方法の実施形態による、システムが取得したデータ内の問題をSIRCAを用いて識別する方法のフローチャートである。この方法は、リアルタイムストリーミング集約のためのKPIを識別するステップ(ステップ200)を含む。識別されたKPIは、ストリーミングデータ記録の分析中に適用される。この方法は、オリジナルの記録を記憶する必要なく、ビッグデータストリーミング分析エンジン(例えば、Apache Storm事象プロセッサ)を利用して、メモリ内限定の集約及び分析によってリアルタイムデータ処理において完全な水平拡張性(full horizontal scalabilit)を提供することができる。オリジナルデータは記憶せず、むしろデータソースから読み取られている間にオンザフライで分析することができる。
図3は、ある実施形態による、リアルタイムストリーミング集約のためのKPIを識別するフローチャートである。KPIは、全ての正常値(successes)をフィルタ除去して誤った記録のみを処理する入力フィルタステップによって識別(又は規定)される(ステップ300)。次に、重複を除いた加入者数をカウントするフィールドを識別することによって集約式を生成する(ステップ302)。加入者数は、例えば線形補間又はHyperLogLogのような近似的な重複排除手法を利用して重複を除いたものである。次に、データ量(カウント)を識別することによってボリューム集約式を生成する(ステップ304)。次に、分布及び動向分析のためにKPIを下位分割するためのフィールドを識別することによって集約キーを生成する(ステップ306)。最後に、集約時間ウィンドウの期間(例えば、1分、15秒)を指定することによって集約粒度を決定する(ステップ308)。
再び図2を参照して、重複を除いた加入者及びボリュームカウントを概算する(ステップ202)。また、識別されたKPI毎に集約した重複を除いた加入者も概算する(ステップ204)。
ある実施形態によれば、データ記録は、拡張可能な有向非巡回グラフ(DAG)によってリアルタイムでメモリに集約される。必要時には、分散同期及びグループサービスソフトウェア(例えば、Apache ZooKeeper)を利用することによってパイプラインフィードバックを行うこともできる。その後、各時間ウィンドウの終了時に集約出力(すなわち、KPIデータ)を分析する。
メモリには、常にベースライン平均が分かるように、データ記録内で見つかった各ドリルオブジェクトのリアルタイム動向記録が保持される。関連するエラーの増加が見られる場合には、この増加に寄与した各単一のドリルオブジェクト(drill object)の偏差を分析することができる。リアルタイム動向分析は、指数移動平均(EMA)を用いて行われる。標準的な指数加重移動平均(EWMA)異常値検出を利用することにより、自己学習閾値が、各KPIの主要エラーカウントを分析する(ステップ206)。
現在値が許容範囲内にある場合(すなわち、閾値違反が存在しない場合(ステップ208))には、基準KPIデータ(すなわち、この時間枠内で問題を体験している重複を除いた加入者数)を後で使用できるようにKPI記憶コンポーネントに転送する(ステップ210)。SIRCAは、UIのために、さらには再発検出、自己相関及び長期動向分析などのデータサイエンス機能のために完全な時系列を使用する。UIは、誤りのある時間範囲を含むだけでなく、時間範囲内のKPI値の完全な時系列を示すチャートを表示することもできる。
或いは、現在値が異常値として識別された(すなわち、閾値違反である(ステップ208))場合には、ステートフル事例報告(stateful case−report)が開かれる。リアルタイム分析は、メモリに保持されている各ドリルオブジェクトのリアルタイム動向記録を利用して、最も寄与度の高いドリルオブジェクトの直近の状況を有するだけでなく、機能停止をもたらしたその個々の偏差の評価も行う(ステップ212)。ドリル影響スコアも計算される。影響スコアは、各ドリル次元が特定の問題において/対してどれほど影響したかについての(例えば、0〜5の範囲の)スカラー集約尺度(scalar summary measure)である。影響スコアは、機能停止時におけるドリルエラー偏差/全体的エラー偏差の重み付けされた動向の比率によって計算される。
完全な事例報告の詳細は、(以下のように構成されている場合には)バックエンド及びストレージコンポーネントに転送して記憶し、メインUIに表示してアラームとして伝えることができる(ステップ214)。その後、集約分析コンポーネントは、ステートフル事例報告を最新に保つように後続のKPIの値をチェックし続ける。異常値の検出によってエラーが報告される限り、事例報告を更新する(ステップ216)。異常値の検出がなくなると、事例報告を終了と見なし、終了に関する情報を記憶及びUIのために再びバックエンドに伝える(ステップ218)。
再発検出及び自動事例相関は、事例の閉鎖時に実行される分析タスクである。再発検出は、バックエンドKPI及び事例報告ストレージを利用して、この種の問題が過去24時間内に何度生じたか、その問題が毎日生じているか、その問題が毎週生じているか、といった質問に関する情報をユーザに提供する。
自動事例相関は、主要事例と同じ時間間隔中に利用可能な全てのSIRCA事例を分析し、最も関連性の高いドリルにおける共通のオブジェクトを探すことによって特定の事例と相関する事例を発見するために適用することができる。相関する事例報告は、UIに専用チャート又は表の形で表示して、そのシステム内で同時に発生した相関する問題の概要をユーザに示すことができる。
また、秒当たりの不具合(FPS)を報告して、事例報告分析専用のUIに動向を示すこともことができる。加入者当たりの平均試行未遂回数を以前の値と比較して、アクティブな加入者によって実行された再試行エラーの回数の増加又は減少が存在するかどうかを評価する。
本発明によるシステム及び方法の実施形態は、一定量のユーザに影響を与えている問題である負の事象群(event cloud)を探した後に、ソースデータにおける共通の「同時発生」特徴(‘co−occurrence’ features)を探そうと試みる。問題が生じているユーザの集団が検出されると、実施形態は、この事象における共通因子を自動的に識別しようと試みる。通常、このような分析は、ほどよく強力なビジネスインテリジェンスツールにおいて、約15分のスライシング及びダイシングに基づいて個人を取り込むことができる。この種の分析は、全てのデータソースに対して連続的に実行することができる。
ある実施形態によれば、UIは、各ユーザがソフトウェアへのログインに使用するプライベートアカウントを有するソーシャルネットワーク様のモバイル対応ウェブインターフェイスである。ユーザは、例えば特定のプロトコルに基づいて動作する各SIRCAインスタンス、又はあるチャンネルに属する加入者グループ(例えば、VIPグループ)から投稿及び通知を受け取ることに興味があるチャンネルをカスタマイズすることができる。
ある実施形態によれば、メインウィンドウは、事例報告に関する統計についてのニュースティッカー、毎月/毎週の長期にわたる事例報告概要、及び投稿リストのうちの1つ又は2つ以上を表示することができる。ユーザは、ウェブUIのメインウィンドウ内の投稿のような事例報告を受け取ることができる。各投稿は、いつ何が起きたか、何人の加入者が影響を受けているか/受けたか、及び違反期間を強調表示する時系列を視覚的に示すミニチャートを事例報告の概要テキストとして表示することができる。
各投稿は、ユーザが同じ事例報告に関するさらなる通知を受け取らないように却下することもできる。各投稿に星を与えて、誰が投稿に「星を与えたか」を他のユーザが確認できるようにすることもできる。各投稿にコメントを行い、全てのユーザが投稿にアクセスして他のユーザコメントを読めるようにすることもできる。さらに、投稿及びブロードキャスト機能を利用して、コメントを追加するだけでなく、たとえそのチャンネルに加入していなくても全てのユーザに投稿をブロードキャストすることもできる。
図4及び図5に、実施形態によるシステム及び方法によって生成される出力例を示す。このような出力は、ユーザがどのような問題が伝えられているかを素早く理解して、例えば投稿を気に入ってさらなる行動を起こしたいと望むかどうか、或いはそれを抑制したい(すなわち、スレッドのフォローを解除したい)と望むかどうかを可能にする、投稿上に表示されて人間が完全に解読できるものである。
図4には、ユーザのウォールに投稿された2つの結果を示す。最初の結果には、急増した1148人の個々の加入者がローミングエラーの影響を受けているMAP(ローミング)相互接続記録の問題が示されている。図5には、システム及び方法によって識別された共通の同時発生特徴、及びシステムが予想する根本原因を示す。考えられる原因毎の動向とその一覧とが表示される。ユーザは、投稿を観察することによって、問題の原因に何が関連している可能性が高いかを素早く知ることができる。
ある実施形態によれば、UIのメインウィンドウ内でSIRCA事例の概要を見ることができる。図6は、メインUIに表示される見つかった各事例の事例報告概要ビューの例である。ある実施形態では、専用「分析」ボタンを利用して、その事例に関する全ての詳細及び情報を見直して分析できる専用分析ページを開くことができる。図7は、単一の事例報告の完全な分析を提供する専用ページ/ビューをUIが示す事例報告分析の一例である。これらの詳細及び情報は、事例報告の内容及び情報と、ある期間にわたって影響を受けた加入者数の時系列を示す完全なチャートと、最も関連性の高いドリル分析結果を示す風船図又は円グラフ及び表と、再発分析結果及び相関する事例チャート及び表とを含むことができる。
さらに、電子メールアドレスにウェブリンクを送信することによって事例報告を共有することもできる。ユーザは、影響を受けた加入者の時系列を、カンマ区切り(CSV)ファイル形式などの分析用データ転送フォーマットにエクスポートすることもできる。また、外部データ発見ツール(例えば、Tableau)を開いて、引き続き問題のスライス&ダイス調査(slice−and−dice investigation)を行うこともできる。
いくつかの実施形態では、本発明が、本発明のいずれかの処理を実行するようにコンピュータをプログラムするために使用できる命令を記憶した記憶媒体又はコンピュータ可読媒体であるコンピュータプログラム製品を含む。記憶媒体は、以下に限定するわけではないが、フロッピーディスク、光学ディスク、DVD、CD−ROM、マイクロドライブ、及び光磁気ディスク、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、フラッシュメモリデバイス、磁気又は光学カード、(分子メモリICを含む)ナノシステム、或いは命令及び/又はデータを記憶するのに適したあらゆるタイプの媒体又は装置を含むあらゆるタイプのディスクを含むことができる。
上記の好ましい実施形態の説明は、当業者が本発明の実施形態を実施又は使用できるように行ったものである。好ましい実施形態を参照しながら本発明を具体的に図示し説明したが、当業者であれば、本発明の趣旨及び範囲から逸脱することなく、形態及び詳細を様々に変更することができると理解するであろう。
200 リアルタイムストリーミング集約のためのKPIを識別
202 近似的な重複を除いた加入者及びボリュームカウントを計算
204 識別されたKPI毎に集約した近似的な重複を除いた加入者を計算
206 指数加重移動平均異常値検出(EWMA)を用いて、自己学習閾値を適用して、影響を受けた加入者数の関連する増加を検出
208 閾値違反?
210 KPIをオフライン分析のために転送して記憶
212 関連するドリルにわたる問題の分布を計算し、各識別された関連するドリルに対する動向分析を計算
214 進行中の問題の全ての記述詳細+影響を受けた加入者の一定期間にわたる時系列と、各識別された関連するドリル次元の寄与及び動向分析とを視覚的に示すチャートを用いてステートフルアラームを生成又は更新
216 EMWA自己学習閾値を利用してアラームがオフになった時を検出し続ける
218 ステートフルアラームをオフにして、ユーザレポートに含まれる最終分析を実行

Claims (16)

  1. 電気通信(テレコム)ネットワーク内の問題を識別するためのシステムであって、
    前記テレコムネットワーク内に設置された、性能に関するデータを生成する複数のプローブと、
    前記テレコムネットワークに関する顧客入力を表すデータを1又は2以上のソーシャルネットワークから取り込むように適合されたデータマイニングツールと、
    拡張可能な有向非巡回グラフ(DAG)を介してリアルタイムでデータを集約するメモリと、
    命令を含む非一時的コンピュータ可読記憶媒体を含む分析ツールと、
    を備え、前記命令は、実行時に前記分析ツールに、
    リアルタイムストリーミング集約のための1又は2以上の重要業績評価指標(KPI)を識別するステップと、
    前記識別された1又は2以上のKPIに関するストリーミングデータをリアルタイムで集約するステップと、
    前記集約されたデータを用いて、重複を除いた加入者及びボリュームカウントの近似値を計算するステップと、
    前記集約されたデータを用いて、識別されたKPI毎に集約した重複を除いた加入者の近似値を計算するステップと、
    前記計算に基づいて、前記集約されたデータ内で見つかった1又は2以上のドリルオブジェクトを識別するステップと、
    指数移動平均を用いて、前記識別された1又は2以上のドリルオブジェクトの各々のリアルタイム動向記録を生成して記憶するステップと、
    前記リアルタイム動向記録に基づいてベースライン平均値を生成するステップと、
    前記ベースライン平均値と、集約されたリアルタイムストリーミングデータとに基づいて、エラーの増加を検出するステップと、
    前記検出されたエラーの増加に寄与している各ドリルオブジェクトの偏差を分析するステップと、
    前記偏差の詳細に基づいて、ユーザインターフェイス内に表示する完全な事例報告を生成するステップと、
    前記偏差に関連する1又は2以上のアラームを伝えるステップと、
    前記エラーの増加がもはや検出されなくなるまで、後続の前記1又は2以上のKPIの値をチェックすることによって前記完全な事例報告を更新するステップと、
    前記完全な事例報告を生成して更新した前記1又は2以上のKPIに関連するデータに対して再発検出及び自動事例相関を実行するステップと、
    を実行させることを特徴とするシステム。
  2. 前記エラーの増加は、指数加重移動平均異常値検出によって設定された自己学習閾値を介して検出され、
    前記自己学習閾値は、前記1又は2以上のKPIの各々の主要エラーカウントに照らして分析され、
    現在値が前記自己学習閾値を上回る場合、ステートフル事例報告が開かれるとともに、機能停止時におけるドリルエラー偏差及び/又は全体的エラー偏差の重み付けされた動向の比率に基づいて各ドリルオブジェクトの影響スコアが計算される、請求項1に記載のシステム。
  3. 前記リアルタイムストリーミング集約の1又は2以上の重要業績評価指標(KPI)を識別するステップは、
    正常な記録をフィルタ除去して誤りのある記録のみが処理されるようにするステップと、
    重複を除いた加入者数をカウントするフィールドを識別するステップと、
    データ量を識別するステップと、
    前記1又は2以上のKPIを分布及び動向分析のために下位分割するフィールドを識別するステップと、
    集約時間ウィンドウの期間を指定して集約粒度を決定するステップとを含む、請求項1に記載のシステム。
  4. ユーザがアクセスできるユーザインターフェイスと、
    前記完全な事例報告を投稿して、ユーザが前記ユーザインターフェイスを介して前記完全な事例報告にアクセスできるようにするステップと、
    をさらに含む、請求項1に記載のシステム。
  5. 前記完全な事例報告は、前記完全な事例報告に関連する事例報告タイプに加入したユーザがアクセスできるウォールに投稿される、請求項4に記載のシステム。
  6. 前記事例報告タイプへの非加入者であるユーザのウォールと、前記事例報告タイプへの加入者であるユーザのウォールとに前記完全な事例報告が投稿されるように前記完全な事例報告をプッシュ配信するツールをさらに備える、請求項5に記載のシステム。
  7. 電気通信(テレコム)ネットワーク内の問題を識別する方法であって、
    前記テレコムネットワーク内に設置された、性能に関するデータを生成する複数のプローブを使用するステップと、
    前記テレコムネットワークに関する顧客入力を表すデータを1又は2以上のソーシャルネットワークから取り込むように適合されたデータマイニングツールを使用するステップと、
    リアルタイムストリーミング集約のための1又は2以上の重要業績評価指標(KPI)を識別するステップと、
    前記識別された1又は2以上のKPIに関するストリーミングデータをリアルタイムで集約するステップと、
    前記集約されたデータを用いて、重複を除いた加入者及びボリュームカウントの近似値を計算するステップと、
    前記集約されたデータを用いて、識別されたKPI毎に集約した重複を除いた加入者の近似値を計算するステップと、
    前記計算に基づいて、前記集約されたデータ内で見つかった1又は2以上のドリルオブジェクトを識別するステップと、
    指数移動平均を用いて、前記識別された1又は2以上のドリルオブジェクトの各々のリアルタイム動向記録を生成して記憶するステップと、
    前記リアルタイム動向記録に基づいてベースライン平均値を生成するステップと、
    前記ベースライン平均値と、集約されたリアルタイムストリーミングデータとに基づいて、エラーの増加を検出するステップと、
    前記検出されたエラーの増加に寄与している各ドリルオブジェクトの偏差を分析するステップと、
    前記偏差の詳細に基づいて、ユーザインターフェイス内に表示する完全な事例報告を生成するステップと、
    前記偏差に関連する1又は2以上のアラームを伝えるステップと、
    前記エラーの増加がもはや検出されなくなるまで、後続の前記1又は2以上のKPIの値をチェックすることによって前記完全な事例報告を更新するステップと、
    前記完全な事例報告を生成して更新した前記1又は2以上のKPIに関連するデータに対して再発検出及び自動事例相関を実行するステップと、を含むことを特徴とする方法。
  8. 前記エラーの増加は、指数加重移動平均異常値検出によって設定された自己学習閾値を介して検出され、
    前記自己学習閾値は、前記1又は2以上のKPIの各々の主要エラーカウントに照らして分析され、
    現在値が前記自己学習閾値を上回る場合、ステートフル事例報告が開かれるとともに、機能停止時におけるドリルエラー偏差及び/又は全体的エラー偏差の重み付けされた動向の比率に基づいて各ドリルオブジェクトの影響スコアが計算される、請求項7に記載の方法。
  9. 前記リアルタイムストリーミング集約の1又は2以上の重要業績評価指標(KPI)を識別するステップは、
    正常な記録をフィルタ除去して誤りのある記録のみが処理されるようにするステップと、
    重複を除いた加入者数をカウントするフィールドを識別するステップと、
    データ量を識別するステップと、
    前記1又は2以上のKPIを分布及び動向分析のために下位分割するフィールドを識別するステップと、
    集約時間ウィンドウの期間を指定して集約粒度を決定するステップとを含む、請求項7に記載の方法。
  10. 前記完全な事例報告を投稿して、ユーザがユーザインターフェイスを介して前記完全な事例報告にアクセスできるようにするステップをさらに含む、請求項7に記載の方法。
  11. 前記完全な事例報告は、前記完全な事例報告に関連する事例報告タイプに加入したユーザがアクセスできるウォールに投稿される、請求項10に記載の方法。
  12. 電気通信(テレコム)ネットワーク内の問題を識別する命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記命令は、コンピュータによる実行時に該コンピュータに、
    前記テレコムネットワーク内に設置された、性能に関するデータを生成する複数のプローブを使用するステップと、
    前記テレコムネットワークに関する顧客入力を表すデータを1又は2以上のソーシャルネットワークから取り込むように適合されたデータマイニングツールを使用するステップと、
    リアルタイムストリーミング集約のための1又は2以上の重要業績評価指標(KPI)を識別するステップと、
    前記識別された1又は2以上のKPIに関するストリーミングデータをリアルタイムで集約するステップと、
    前記集約されたデータを用いて、重複を除いた加入者及びボリュームカウントの近似値を計算するステップと、
    前記集約されたデータを用いて、識別されたKPI毎に集約した重複を除いた加入者の近似値を計算するステップと、
    前記計算に基づいて、前記集約されたデータ内で見つかった1又は2以上のドリルオブジェクトを識別するステップと、
    指数移動平均を用いて、前記識別された1又は2以上のドリルオブジェクトの各々のリアルタイム動向記録を生成して記憶するステップと、
    前記リアルタイム動向記録に基づいてベースライン平均値を生成するステップと、
    前記ベースライン平均値と、集約されたリアルタイムストリーミングデータとに基づいて、エラーの増加を検出するステップと、
    前記検出されたエラーの増加に寄与している各ドリルオブジェクトの偏差を分析するステップと、
    前記偏差の詳細に基づいて、ユーザインターフェイス内に表示する完全な事例報告を生成するステップと、
    前記偏差に関連する1又は2以上のアラームを伝えるステップと、
    前記エラーの増加がもはや検出されなくなるまで、後続の前記1又は2以上のKPIの値をチェックすることによって前記完全な事例報告を更新するステップと、
    前記完全な事例報告を生成して更新した前記1又は2以上のKPIに関連するデータに対して再発検出及び自動事例相関を実行するステップと、
    を実行させることを特徴とする非一時的コンピュータ可読記憶媒体。
  13. コンピュータによる実行時に、該コンピュータに、
    前記エラーの増加は、指数加重移動平均異常値検出によって設定された自己学習閾値を介して検出され、
    前記自己学習閾値は、前記1又は2以上のKPIの各々の主要エラーカウントに照らして分析され、
    現在値が前記自己学習閾値を上回る場合、ステートフル事例報告が開かれるとともに、機能停止時におけるドリルエラー偏差及び/又は全体的エラー偏差の重み付けされた動向の比率に基づいて各ドリルオブジェクトの影響スコアが計算される、
    ステップをさらに実行させる命令を記憶した、請求項12に記載の非一時的コンピュータ可読記憶媒体。
  14. コンピュータによる実行時に、該コンピュータに、
    正常な記録をフィルタ除去して誤りのある記録のみが処理されるようにするステップと、
    重複を除いた加入者数をカウントするフィールドを識別するステップと、
    データ量を識別するステップと、
    前記1又は2以上のKPIを分布及び動向分析のために下位分割するフィールドを識別するステップと、
    集約時間ウィンドウの期間を指定して集約粒度を決定するステップと、
    をさらに実行させる命令をさらに記憶する、請求項12に記載の非一時的コンピュータ可読記憶媒体。
  15. コンピュータによる実行時に、該コンピュータに、前記完全な事例報告を投稿して、ユーザがユーザインターフェイスを介して前記完全な事例報告にアクセスできるようにするステップをさらに実行させる命令をさらに記憶する、請求項12に記載の非一時的コンピュータ可読記憶媒体。
  16. 前記完全な事例報告は、前記完全な事例報告に関連する事例報告タイプに加入したユーザがアクセスできるウォールに投稿される、請求項15に記載の非一時的コンピュータ可読記憶媒体。
JP2018551160A 2016-03-29 2017-03-24 ストリーミング分析法を用いてネットワーク問題の実効顧客影響度をリアルタイムで測定するためのシステム及び方法 Expired - Fee Related JP6690011B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662314806P 2016-03-29 2016-03-29
US62/314,806 2016-03-29
PCT/US2017/024158 WO2017172541A1 (en) 2016-03-29 2017-03-24 Systems and methods for measuring effective customer impact of network problems in real-time using streaming analytics

Publications (2)

Publication Number Publication Date
JP2019511787A JP2019511787A (ja) 2019-04-25
JP6690011B2 true JP6690011B2 (ja) 2020-04-28

Family

ID=59966352

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018551160A Expired - Fee Related JP6690011B2 (ja) 2016-03-29 2017-03-24 ストリーミング分析法を用いてネットワーク問題の実効顧客影響度をリアルタイムで測定するためのシステム及び方法

Country Status (5)

Country Link
US (1) US10686681B2 (ja)
EP (1) EP3436951B1 (ja)
JP (1) JP6690011B2 (ja)
CN (1) CN108780418A (ja)
WO (1) WO2017172541A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11368372B2 (en) * 2016-06-03 2022-06-21 Nutanix, Inc. Detection of outlier nodes in a cluster
US10530666B2 (en) 2016-10-28 2020-01-07 Carrier Corporation Method and system for managing performance indicators for addressing goals of enterprise facility operations management
US10567992B2 (en) * 2018-01-25 2020-02-18 Hewlett Packard Enterprise Development Lp Network device KPI monitors based on bitmaps
US10972588B2 (en) 2018-06-27 2021-04-06 T-Mobile Usa, Inc. Micro-level network node failover system
US10860712B2 (en) 2018-07-11 2020-12-08 Vmware, Inc. Entropy based security detection system
US10897389B2 (en) * 2018-09-14 2021-01-19 Cisco Technology, Inc. Threshold selection for KPI candidacy in root cause analysis of network issues
US11388040B2 (en) 2018-10-31 2022-07-12 EXFO Solutions SAS Automatic root cause diagnosis in networks
US11620180B2 (en) 2018-11-29 2023-04-04 Vmware, Inc. Holo-entropy adaptive boosting based anomaly detection
US11258655B2 (en) * 2018-12-06 2022-02-22 Vmware, Inc. Holo-entropy based alarm scoring approach
US11645293B2 (en) 2018-12-11 2023-05-09 EXFO Solutions SAS Anomaly detection in big data time series analysis
EP3748562A1 (en) 2019-05-08 2020-12-09 EXFO Solutions SAS Timeline visualization & investigation systems and methods for time lasting events
US11138163B2 (en) 2019-07-11 2021-10-05 EXFO Solutions SAS Automatic root cause diagnosis in networks based on hypothesis testing
ZA202100191B (en) 2020-01-20 2023-12-20 EXFO Solutions SAS Method and device for estimating a number of distinct subscribers of a telecommunication network impacted by network issues
US11416504B2 (en) 2020-02-12 2022-08-16 EXFO Solutions SAS Detection, characterization, and prediction of real-time events occurring approximately periodically
EP3866395B1 (en) 2020-02-12 2024-05-22 EXFO Solutions SAS Method and system for determining root-cause diagnosis of events occurring during the operation of a communication network
US11281564B2 (en) 2020-06-22 2022-03-22 HCL Technologies Italy S.p.A. Method and system for generating key performance indicators (KPIs) for software based on debugging information
US20220091873A1 (en) 2020-09-24 2022-03-24 Google Llc Systems and methods for cross media reporting by fast merging of data sources
US12052134B2 (en) 2021-02-02 2024-07-30 Exfo Inc. Identification of clusters of elements causing network performance degradation or outage
US11936542B2 (en) 2021-04-02 2024-03-19 Samsung Electronics Co., Ltd. Method of solving problem of network and apparatus for performing the same
CN113641628B (zh) * 2021-08-13 2023-06-16 中国联合网络通信集团有限公司 数据质量检测方法、装置、设备及存储介质
CN115333922B (zh) * 2022-10-13 2023-01-06 广州极能信息技术有限公司 运维支撑网告警数据挖掘方法、系统及存储介质

Family Cites Families (124)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5909192A (en) 1988-03-31 1999-06-01 Wiltron Company Method of displaying graphs with markers
US6049212A (en) 1995-07-20 2000-04-11 Wiltron Company Connector saving adapters and SWR bridge configuration allowing multiple connector types to be used with a single SWR bridge
US5742814A (en) * 1995-11-01 1998-04-21 Imec Vzw Background memory allocation for multi-dimensional signal processing
US5801525A (en) 1996-06-12 1998-09-01 Wiltron Company Frequency discriminating power sensor
US5812039A (en) 1997-02-18 1998-09-22 Oldfield; William Apparatus for providing a ground for circuits on carriers
US5977779A (en) 1997-10-24 1999-11-02 Anritsu Company Handheld vecor network analyzer (VNA) operating at a high frequency by mixing LO and RF signals having offset odd harmonics
US6509821B2 (en) 1998-02-20 2003-01-21 Anritsu Company Lumped element microwave inductor with windings around tapered poly-iron core
US6529844B1 (en) 1998-09-02 2003-03-04 Anritsu Company Vector network measurement system
US6714898B1 (en) 1998-09-02 2004-03-30 Anritsu Company Flexible noise figure measurement apparatus
US6316945B1 (en) 1998-09-02 2001-11-13 Anritsu Company Process for harmonic measurement accuracy enhancement
US6331769B1 (en) 1999-06-18 2001-12-18 Anritsu Company RMS power sensor with 84 dB dynamic range
US6291984B1 (en) 1999-06-18 2001-09-18 Anritsu Company Dual mode diode power sensor with square law and linear operating regions
US6504449B2 (en) 2000-02-07 2003-01-07 Anritsu Company Phase compensated switched attenuation pad
US6888342B2 (en) 2000-09-01 2005-05-03 Anritsu Company Spectrum analyzer and vector network analyzer combined into a single handheld unit
US20050266494A1 (en) * 2000-09-06 2005-12-01 Hodge Timothy A System and method for computer network ordering of biological testing
US6943563B2 (en) 2001-05-02 2005-09-13 Anritsu Company Probe tone S-parameter measurements
US6525631B1 (en) 2001-09-21 2003-02-25 Anritsu Company System and method for improved microstrip termination
US6665628B2 (en) 2002-01-15 2003-12-16 Anritsu Company Methods for embedding and de-embedding balanced networks
US6650123B2 (en) 2002-01-15 2003-11-18 Anritsu Company Methods for determining characteristics of interface devices used with vector network analyzers
US6496353B1 (en) 2002-01-30 2002-12-17 Anritsu Company Capacitive structure for use with coaxial transmission cables
US6700366B2 (en) 2002-02-05 2004-03-02 Anritsu Company Very fast swept spectrum analyzer
US6680679B2 (en) 2002-03-01 2004-01-20 Anritsu Company Method and apparatus for electrical conversion of non-return to zero encoded signal to return to zero encoded signal
US20040126840A1 (en) * 2002-12-23 2004-07-01 Affymetrix, Inc. Method, system and computer software for providing genomic ontological data
US6832170B2 (en) 2002-05-02 2004-12-14 Anritsu Company Methods for embedding and de-embedding using a circulator
US6670796B2 (en) 2002-05-24 2003-12-30 Anritsu Company Ultra fast and high efficiency inductive coil driver
US6766262B2 (en) 2002-05-29 2004-07-20 Anritsu Company Methods for determining corrected intermodulation distortion (IMD) product measurements for a device under test (DUT)
US6700531B2 (en) 2002-07-17 2004-03-02 Anritsu Company Integrated multiple-up/down conversion radar test system
US6917892B2 (en) 2002-09-16 2005-07-12 Anritsu Company Single port single connection VNA calibration apparatus
US6928373B2 (en) 2003-01-30 2005-08-09 Anritsu Company Flexible vector network analyzer measurements and calibrations
US7088111B2 (en) 2003-05-09 2006-08-08 Anritsu Company Enhanced isolation level between sampling channels in a vector network analyzer
US6839030B2 (en) 2003-05-15 2005-01-04 Anritsu Company Leaky wave microstrip antenna with a prescribable pattern
US6894581B2 (en) 2003-05-16 2005-05-17 Anritsu Company Monolithic nonlinear transmission lines and sampling circuits with reduced shock-wave-to-surface-wave coupling
US6882160B2 (en) 2003-06-12 2005-04-19 Anritsu Company Methods and computer program products for full N-port vector network analyzer calibrations
US7002517B2 (en) 2003-06-20 2006-02-21 Anritsu Company Fixed-frequency beam-steerable leaky-wave microstrip antenna
US20050287575A1 (en) * 2003-09-08 2005-12-29 Affymetrix, Inc. System and method for improved genotype calls using microarrays
US7108527B2 (en) 2003-11-12 2006-09-19 Anritsu Company Sex changeable adapter for coaxial connectors
US7284141B2 (en) 2004-02-05 2007-10-16 Anritsu Company Method of and apparatus for measuring jitter and generating an eye diagram of a high speed data signal
US7011529B2 (en) 2004-03-01 2006-03-14 Anritsu Company Hermetic glass bead assembly having high frequency compensation
US7016024B2 (en) 2004-05-18 2006-03-21 Net Test (New York) Inc. Accuracy automated optical time domain reflectometry optical return loss measurements using a “Smart” Test Fiber Module
US7307493B2 (en) 2004-10-29 2007-12-11 Anritsu Company Broadband 180° degree hybrid microwave planar transformer
US7068046B2 (en) 2004-11-18 2006-06-27 Anritsu Company Calibration techniques for simplified high-frequency multiport differential measurements
US7019510B1 (en) 2004-12-14 2006-03-28 Anritsu Company Portable ultra wide band handheld VNA
US7509107B2 (en) 2005-01-05 2009-03-24 Anritsu Company Method and apparatus for extending the lower frequency operation of a sampler based VNA
US20060156363A1 (en) * 2005-01-07 2006-07-13 Microsoft Corporation File storage for scalable media
US7173423B2 (en) 2005-05-06 2007-02-06 General Electric Company System and methods for testing operation of a radio frequency device
US7521939B2 (en) 2005-12-22 2009-04-21 Anritsu Company Circuits to increase VNA measurement bandwidth
US7126347B1 (en) 2005-12-30 2006-10-24 Anritsu Company Precision wideband 50 Ohm input and 50 Ohm output or 100 Ohm output differential reflection bridge
US7304469B1 (en) 2006-05-18 2007-12-04 Anritsu Company Adaptive method used to overcome channel to channel isolation
US7764141B2 (en) 2006-10-19 2010-07-27 Anritsu Company Interleaved non-linear transmission lines for simultaneous rise and fall time compression
US7683633B2 (en) 2006-10-19 2010-03-23 Anritsu Company Apparatus for extending the bandwidth of vector network analyzer receivers
US7511577B2 (en) 2006-10-20 2009-03-31 Anritsu Company DC coupled microwave amplifier with adjustable offsets
US7924024B2 (en) 2007-02-20 2011-04-12 Anritsu Company Automatic calibration techniques with improved accuracy and lower complexity for high frequency vector network analyzers
US7705582B2 (en) 2007-04-16 2010-04-27 Anritsu Company Broadband micro-machined thermal power sensor
US7545151B2 (en) 2007-04-20 2009-06-09 Anritsu Company Characterizing test fixtures
US8156167B2 (en) 2007-05-23 2012-04-10 Anritsu Company Analog pseudo random bit sequence generator
US7983668B2 (en) 2007-08-30 2011-07-19 Anritsu Company System and method for collecting, archiving, and accessing data on base transceiver station performance
US7683602B2 (en) 2007-09-17 2010-03-23 Anritsu Company Miniature RF calibrator utilizing multiple power levels
US7746052B2 (en) 2007-10-16 2010-06-29 Anritsu Company Apparatus for extending the bandwidth of a spectrum analyzer
US8159208B2 (en) 2007-12-20 2012-04-17 Anritsu Company Hand-held microwave spectrum analyzer with operation range from 9 KHz to over 20 GHz
US8145166B2 (en) 2007-12-20 2012-03-27 Anritsu Company Enhanced programmable automatic level control
US7957462B2 (en) 2007-12-21 2011-06-07 Anritsu Company Integrated compact eye pattern analyzer for next generation networks
US8538350B2 (en) 2008-03-31 2013-09-17 Nokia Corporation Antenna arrangement and test method
US8169993B2 (en) 2008-04-16 2012-05-01 Anritsu Company Method and apparatus to estimate wireless base station signal quality over the air
US8027390B2 (en) 2008-06-03 2011-09-27 Anritsu Company Method and system to extend a useable bandwidth of a signal generator
US8410786B1 (en) 2008-10-06 2013-04-02 Anritsu Company Passive intermodulation (PIM) distance to fault analyzer with selectable harmonic level
US8058880B2 (en) 2008-10-06 2011-11-15 Anritsu Company Calibrated two port passive intermodulation (PIM) distance to fault analyzer
US8294469B2 (en) 2008-10-06 2012-10-23 Anritsu Company Passive intermodulation (PIM) distance to fault analyzer with selectable harmonic level
US9571142B2 (en) 2008-10-24 2017-02-14 Anritsu Company Apparatus to detect interference in wireless signals
US8718586B2 (en) 2009-06-30 2014-05-06 Anritsu Company Apparatus for enhancing the dynamic range of shockline-based sampling receivers
US8306134B2 (en) 2009-07-17 2012-11-06 Anritsu Company Variable gain control for high speed receivers
US8185078B2 (en) 2009-10-22 2012-05-22 Anritsu Company Dynamic spur avoidance for high speed receivers
US8305115B2 (en) 2010-05-28 2012-11-06 Anritsu Company Elimination of fractional N boundary spurs in a signal synthesizer
US8417189B2 (en) 2010-06-10 2013-04-09 Anritsu Company Frequency-scalable shockline-based VNA
US8760148B1 (en) 2010-07-21 2014-06-24 Anritsu Company Pulse modulated PIM measurement instrument
US8278944B1 (en) 2010-07-30 2012-10-02 Anritsu Company Vector network analyzer having multiplexed reflectometers for improved directivity
US8498582B1 (en) 2010-08-26 2013-07-30 Anritsu Company Optimized multi frequency PIM tester topology
US9594370B1 (en) 2010-12-29 2017-03-14 Anritsu Company Portable user interface for test instrumentation
US8816672B1 (en) 2011-04-27 2014-08-26 Anritsu Company Systems and methods for accounting for residual passive intermodulation in passive intermodulation measuring instruments
US8629671B1 (en) 2011-05-20 2014-01-14 Anritsu Company Method and device for calibrating a passive intermodulation (PIM) measuring instrument
US8816673B1 (en) 2011-05-24 2014-08-26 Anritsu Company Frequency extension module for microwave and millimeter wave spectrum analyzers
EP3407543A1 (en) * 2011-07-22 2018-11-28 Empirix Inc. Method for voice-over-ip call leg correlation
US8493111B1 (en) 2011-07-27 2013-07-23 Anritsu Company Ultra high frequency resolution fractional N synthesizer
US8630591B1 (en) 2011-07-28 2014-01-14 Anritsu Company Calibration methods for RF receiver gain ranging systems
GB2498513A (en) * 2011-12-14 2013-07-24 Actix Ltd Mobile phone network management and optimisation
US8666322B1 (en) 2012-01-27 2014-03-04 Anritsu Company System and method for measuring and locating passive intermodulation (PIM) sources in a network and/or device
US9110101B2 (en) * 2012-02-17 2015-08-18 Vencore Labs, Inc. Method and system for packet acquisition, analysis and intrusion detection in field area networks
US9685717B2 (en) 2012-03-14 2017-06-20 R+D Sockets, Inc. Apparatus and method for a conductive elastomer on a coaxial cable or a microcable to improve signal integrity probing
US9153890B2 (en) 2012-04-18 2015-10-06 R+DCircuits, Inc. Singulated elastomer electrical contactor for high performance interconnect systems and method for the same
US8942109B2 (en) 2012-04-25 2015-01-27 Anritsu Company Impairment simulation for network communication to enable voice quality degradation estimation
US9287604B1 (en) 2012-06-15 2016-03-15 Anritsu Company Frequency-scalable transition for dissimilar media
US9696403B1 (en) 2012-06-21 2017-07-04 Anritsu Company Replaceable internal open-short-load (OSL) calibrator and power monitor
US9026851B2 (en) * 2012-09-05 2015-05-05 Wipro Limited System and method for intelligent troubleshooting of in-service customer experience issues in communication networks
US8903324B1 (en) 2012-09-24 2014-12-02 Anritsu Company Passive intermodulation (PIM) distance-to-fault analyzer and method to resolve distance-to-fault within a constrained receive band
US8903149B1 (en) 2013-01-18 2014-12-02 Anritsu Company System and method of communicating information about an object concealed by a scanned surface
US9103873B1 (en) 2013-03-01 2015-08-11 Anritsu Company Systems and methods for improved power control in millimeter wave transceivers
US9210598B1 (en) 2013-03-14 2015-12-08 Anritsu Company Systems and methods for measuring passive intermodulation (PIM) and return loss
US9753071B1 (en) 2013-03-15 2017-09-05 Anritsu Company System and method for improved resolution pulsed radio frequency (RF) measurements with phase coherence
US9606212B1 (en) 2013-03-15 2017-03-28 Anritsu Company Systems and methods for time/frequency indexed pulse calibrations for vector network analyzers
US8884664B1 (en) 2013-03-15 2014-11-11 Anritsu Company Systems and methods for generating low band frequency sine waves
US9331633B1 (en) 2013-03-15 2016-05-03 Anritsu Company System and method for eliminating intermodulation
US9176174B1 (en) 2013-03-15 2015-11-03 Anritsu Company Systems and methods for simultaneously measuring forward and reverse scattering parameters
US9366707B1 (en) 2013-08-02 2016-06-14 Anritsu Company Devices, systems, and methods for sychronizing a remote receiver to a master signal for measuring scattering parameters
US9733289B1 (en) 2013-08-02 2017-08-15 Anritsu Company Devices, systems, and methods for sychronizing a remote receiver to a master signal for measuring scattering parameters
US9588212B1 (en) 2013-09-10 2017-03-07 Anritsu Company Method of calibrating a measurement instrument for determining direction and distance to a source of passive intermodulation (PIM)
US9239371B1 (en) 2013-10-28 2016-01-19 Anritsu Company High power input protection for signal measurement devices
US20150149609A1 (en) * 2013-11-22 2015-05-28 Microsoft Corporation Performance monitoring to provide real or near real time remediation feedback
US20150248680A1 (en) * 2014-02-28 2015-09-03 Alcatel-Lucent Usa Inc. Multilayer dynamic model of customer experience
US20150248462A1 (en) * 2014-02-28 2015-09-03 Alcatel Lucent Dynamically improving streaming query performance based on collected measurement data
US10346785B2 (en) * 2014-05-27 2019-07-09 Genesys Telecommunications Laboratories, Inc. Multi-tenant based analytics for contact centers
US9337941B2 (en) 2014-06-20 2016-05-10 The United States Of America As Represented By The Secretary Of The Navy Antenna systems and methods for over-the-air transmitter signal measurement
US9560537B1 (en) 2014-10-17 2017-01-31 Anritsu Company Systems and methods for determining a location of a signal emitter based on signal power
US10517011B2 (en) * 2014-11-13 2019-12-24 Telefonaktiebolaget Lm Ericsson (Publ) Automated measurement and analysis of end-to-end performance of VoLTE service
US20160171414A1 (en) * 2014-12-11 2016-06-16 Saudi Arabian Oil Company Method for Creating an Intelligent Energy KPI System
US9455792B1 (en) 2015-01-21 2016-09-27 Anritsu Company System and method for measuring passive intermodulation (PIM) in a device under test (DUT)
US9534938B1 (en) * 2015-01-30 2017-01-03 Squadle, Inc. System and method for automatic measurement and recording
US20160294658A1 (en) * 2015-03-30 2016-10-06 Ca, Inc. Discovering and aggregating data from hubs
US9768892B1 (en) 2015-03-30 2017-09-19 Anritsu Company Pulse modulated passive intermodulation (PIM) measuring instrument with reduced noise floor
US9853867B2 (en) 2015-05-19 2017-12-26 Empirix, Inc. Method and apparatus to determine network quality
US9977068B1 (en) 2015-07-22 2018-05-22 Anritsu Company Frequency multiplexer for use with instruments for measuring passive intermodulation (PIM)
US10064317B1 (en) 2015-10-27 2018-08-28 Anritsu Company High isolation shield gasket and method of providing a high isolation shield gasket
US10003453B1 (en) 2015-11-13 2018-06-19 Anritsu Company Phase synchronization of measuring instruments using free space transmission
US9860054B1 (en) 2015-11-13 2018-01-02 Anritsu Company Real-time phase synchronization of a remote receiver with a measurement instrument
US9929930B2 (en) * 2016-01-19 2018-03-27 Netscout Systems Texas, Llc Reducing an amount of captured network traffic data to analyze
US10006952B1 (en) 2016-01-26 2018-06-26 Anritsu Company System and method for reducing the effects of spurs on measurements using averaging with specific null selection

Also Published As

Publication number Publication date
EP3436951A4 (en) 2019-11-20
EP3436951C0 (en) 2024-03-20
WO2017172541A1 (en) 2017-10-05
US20170295078A1 (en) 2017-10-12
CN108780418A (zh) 2018-11-09
US10686681B2 (en) 2020-06-16
JP2019511787A (ja) 2019-04-25
EP3436951B1 (en) 2024-03-20
EP3436951A1 (en) 2019-02-06

Similar Documents

Publication Publication Date Title
JP6690011B2 (ja) ストリーミング分析法を用いてネットワーク問題の実効顧客影響度をリアルタイムで測定するためのシステム及び方法
US10674388B2 (en) Wireless communication data analysis and reporting
US11018958B2 (en) Communication network quality of experience extrapolation and diagnosis
CN109005556B (zh) 一种基于用户话单的4g网络质量优化方法与系统
EP3197097B1 (en) Multi kpi correlation in wireless protocols
US10339456B2 (en) Machine learning-based troubleshooting of VoLTE calls
US9026851B2 (en) System and method for intelligent troubleshooting of in-service customer experience issues in communication networks
US10581664B1 (en) Predicting subscriber experience based on QoE
CN105930363B (zh) 一种基于html5网页的用户行为分析方法及装置
US10601639B2 (en) Multi cause correlation in wireless protocols
CN105721184B (zh) 一种网络链路质量的监控方法及装置
US20150195154A1 (en) Creating a Knowledge Base for Alarm Management in a Communications Network
CN103188119A (zh) 通信网络中关键性能指标的置信区间
CN102143507A (zh) 一种业务质量监测方法、系统、以及分析方法和系统
CN103686815A (zh) 基于话单关联分析实现用户体验故障分析的系统及方法
CN105306246B (zh) 一种自动应答网络类投诉的方法、装置和服务器
US10708155B2 (en) Systems and methods for managing network operations
EP2589181A1 (en) Method and apparatus for analysis of the operation of a communication system using events
CN103945219A (zh) 一种网络侧视频质量监测系统
CN102256297B (zh) 一种td-scdma无线通信网络服务用户感知数据采集方法
CN108271189A (zh) 一种业务质量监测方法和装置
US11716258B2 (en) Early warning system of handset-caused mobile network performance degredation
CN106817710A (zh) 一种网络问题的定位方法及装置
Rueda et al. Big data streaming analytics for qoe monitoring in mobile networks: A practical approach
EP3316141A1 (en) Method and system for determining performance of an application installed on mobile stations

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200309

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200408

R150 Certificate of patent or registration of utility model

Ref document number: 6690011

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees