JP4782607B2 - テレコミュニケーション・ネットワークの試験装置及び方法 - Google Patents

Description

本発明は、一般に、テレコミュニケーション・ネットワークの試験に関し、特に、ロード及びシステム試験を完了して試験結果である合格（成功）又は不合格（失敗）を表示する試験装置及び方法に関する。

各テレコミュニケーション・ネットワークの試験実行期間中に生じた従来の総ての関連情報は、プロトコルの形式でログ・ファイルに蓄積された。この情報から、試験の合格又は不合格が導かれた。この情報は、手作業で選別しなければならない。これには、特に試験実行中に問題が生じたときなどは、しばしば数時間というように非常に時間がかかった。現在は、使用する試験装置の非常に正確な知識がないと、ユーザは、問題又はエラーの原因を特定できない。その結果、各試験の合格又は不合格を判定するには、時間がかかると共に、知識が要求される。なお、かかる従来技術の１つは、特許文献１に記載されている。

特開２００２−３４４４４８公報

そこで、テレコミュニケーション・ネットワークに対して実行する各試験の結果を、従来よりも迅速で、且つ詳細な知識を必要とせずに判断できる装置及び方法が求められている。

本発明のテレコミュニケーション・ネットワークの試験装置は；複数の試験パラメータ用の事象の計数結果に応じた複数の品質規定を特定する手段と；試験実行期間中、複数の試験パラメータに関連した事象の数を求める手段と；この数から複数の統計を作成する手段と；複数の品質規定及び統計から、関連した統計と品質規定とを比較する比較手段と；この比較手段の比較結果から試験の合格又は不合格に関する表示を行う表示手段と；統計及び事象をグループ化するツリー構造を定義する手段とを具え；ツリー構造がユーザにより定義されて表示手段に表示され、ユーザが統計及び事象を選択でき、ツリー構造の各レベル毎に試験の合格又は不合格に関する表示が行われることを特徴とする。
また、本発明のテレコミュニケーション・ネットワークの試験方法は；複数の試験パラメータ用の事象の計数結果に応じた複数の品質規定を特定するステップと；試験実行期間中、複数の試験パラメータに関連した事象の数を求めるステップと；この数から複数の統計を作成するステップと；複数の試験パラメータ及び統計の間で、対応する統計と品質規定とを比較するステップと；この比較の結果から試験の合格又は不合格を示す表示を表示ユニットに行うステップと；統計及び事象をグループ化するツリー構造を定義するステップとを具え；ツリー構造がユーザにより定義されて表示ユニットに表示され、ユーザが統計及び事象を選択でき、ツリー構造の各レベル毎に試験の合格又は不合格に関する表示が行われることを特徴とする。

本発明の試験装置及び方法は、テレコミュニケーション・ネットワークに対する各試験結果を迅速に且つ試験装置の専門知識を必要せずに把握できる。

本発明では、試験を実行した際の合格又は不合格の判断にプロトコルは最早関与しないが、その代わりに、事前解析では、試験関連事象の結果に関連する統計を利用している。試験の実行による合格又は不合格を判断するために、自由に定義できる品質規定（quality rules）を用いる。これは、エラーの原因を特定するなどの拡張分析の基礎にすることが可能である。適切な統計を作成し、適切な品質規定を決定することにより、試験結果の分析を大幅に促進できるので、従来技術で行っていた試験の回数の数倍の試験を実行できる。その結果、テレコミュニケーション・ネットワークの品質を改善できるので、テレコミュニケーション・ネットワークの品質を向上できる。さらに、予め必要に応じて、一部の時間に、特定試験を実行できる。

本発明のその他の目的、利点及び新規な特徴は、添付図を参照した以下の説明から理解できよう。

図１は、本発明の第１実施例による試験結果分析の概略の表示を示す平面図である。ユーザ・インタフェース表示１０は、例えば、液晶表示器（ＬＣＤ）の表示であり、テレコミュニケーション・ネットワーク試験装置用のものである。試験装置は、テレコミュニケーション・ネットワークの試験に必要なハードウェア及びソフトウェアを具えており、ソフトウェアの下にマイクロプロセッサの制御により試験結果を表示器に表示している。このための各機能は、ソフトウェア及びマイクロプロセッサにより実現でき、各機能が対応する手段を構成する。以下、試験装置の表示を参照して、本発明の実施例を説明する。なお、クリック及びダブルクリックという用語を用いるが、一般のパーソナル・コンピュータにおけるマウスの操作と同様な動作を意味する。第１ウィンドウ１２がユーザに提供する情報は、実行した試験のアスペクト（態様）であり、より詳細なアスペクトが第２ウィンドウ１４に表示される。図示の如く、ユーザは、適切な項目をクリックすることにより、全体像（Overview）、固有性（Properties）及び試験結果（Test Results）の１つを選択できる。図示の状態は、試験結果（Test Results）を選択しており、この試験結果に関連して第１ウィンドウ１２の領域１６に更にアスペクトが示されている。ユーザは、概略（Summary）、問題（Problems）及び詳細（Details）から１つを選択して、第２ウィンドウ１４に表示する細部を決定できる。項目「Summary」に対応する細部が、この例では第２ウィンドウ１４に示される。第２ウィンドウ１４の上側領域１８には、名称（Name）、結果（Result）、時間の細部（開始（Started）及び終了（Finished））、エラー（Errors）の数により、実行された種々の試験事例が示される。ユーザにより定義された品質規定により、関連した試験事例の結果が、「Result」の下に「Succeeded」（合格又は成功）又は「Failed」（不合格又は失敗）として記される。ダブルクリックなどにより選択を行って、試験事例の更なる細部の１つを後述のように表示できる。

図２は、第１ウィンドウ１２の領域１６により選択された試験結果（Test Results）のエラー（問題（Problems））アスペクトのユーザ・インタフェース２５を示す。第１ウィンドウ１２内の残りの情報は、図１に対応するが、図面を明瞭にするために省略する。問題（Problems）ウィンドウ２６において、エラーが問題（Problems）領域２８に名称（Name）、形式（Type）及び頻度（Frequency）により表示される。図１のスクロール・バー１８と同様のスクロール・バー３０を用いることにより、ユーザは、エラーの総数にわたってスクロールできる。フィルタ（Filter）領域３２により、ユーザがエラー・フィルタを定義できるので、フィルタ条件に合うエラーのみが領域２８に示される。この例において、情報の名称（Name）、形式（Type）、頻度（Frequency）及びリンク（動作（Operation））をフィルタ情報に含ませることが可能である。問題（Problems）領域２８において、特定のエラーがクリックにより選択されると、そのエラーの細部が問題詳細（Problem Details）領域３４に示される。かかる細部は、例えば、エラーがいつ発生したか（When）、フレームワークにおけるどの統計か（Where）、その状況（前後関係）はなにか（Context）である。なお、用語「統計（statistic）」は、試験の実行期間中に実施された試験パラメータの事象の数（計数結果）である。この計数結果から、複数の統計を作る。ユーザは、事象の計数結果に応じて、複数の試験パラメータの品質規定を定義できる。統計及び関連の品質規定を比較することにより、対応する試験パラメータが試験に合格したか又は合格しなかったかを推測又は判断できる。重要なことは、複数の事象に関連した品質規定の未達成によってエラーを定義することではなく、単一の事象の未達成によりエラーを定義できるかもしれないということである。

「状況（Context）」（前後関係）は、ある統計及び／又は事象が互いに関連するかもしれないことをいう。関連性は、エラーをトリガする試験パラメータの事象と同時に記録される。また、関連性は、エラーをトリガするパラメータ事象の記録の前、後、又は前後の指定可能な期間内に記録でき、同じ試験パラメータ、又は、複数の試験パラメータ、特に総ての試験パラメータから特定可能に選択されたパラメータに関連する。さらに、関連性は、エラーをトリガする試験パラメータの事象と同じ回線、及び／又は、同じ通話又は同じネットワーク要素に属する試験パラメータ、特に、総ての試験パラメータに対する指定可能な選択である。

統計領域３６内の事象又は統計をダブルクリックすることにより、ユーザ・インタフェースが表示される。ここでは、対応する事象又は対応する統計が図形的又は表（テーブル）として示される。状況（Context）領域３８内の入力（エントリ）部分をダブルクリックすることにより、関連した事象及び／又は統計が他のユーザ・インタフェースに表示される。

図１の試験結果（Test Result）領域１６における第１ウィンドウ１２内の詳細（Details）入力をダブルクリックにより活性化すると生じるユーザ・インタフェース４０を図３に示す。試験結果の細部は、ユーザ・インタフェース４０の詳細（Detail）ウィンドウ４２内に表示される。領域４４において、この試験の細部がツリー構造によりグループ分けされてソートされるので、ユーザは、対応する入力をダブルクリックすることにより、より詳細な情報に枝分かれさせることができるし、マイナス符号をクリックすることにより、より高いレベルに進むことができる。スクロール・バー４６を用いることにより、領域４４内の他の部分の表示を行うことができる。領域４４内の入力をクリックすることにより、対応する細部を詳細（Details）領域４８に示す。これら細部は、試験事例の名称（Name）、結果（Result）、発生したエラーの数（Problems）、この試験事例に属する事象及び／又は統計（Statistics）の情報を含んだ表である。グラフ領域（Statistic Graphical View）５０において、時間経過に伴う統計の事象の原因が示される。

図１〜図３は、本発明の試験装置の第１実施例による表示を示したが、図４〜図８は、本発明の第２実施例による表示を示す。ここでは、図４が図１に対応し、図５及び図６が図２に対応し、図７が図３に対応する。

図４は、ユーザ・インタフェース５２を示し、領域５４にて分析（Analysis）が選択されている。領域５６において、現在の試験が１つの事例＃１（Test Case #1）であるという概要（Overview）が示されている。領域５８には、分析の細部を送出（Export）するか削除（Delete）する機能がある。最後に、領域６０には、ユーザが選択できる３つの入力がある。この例では、着色された（影のついた）背景で選択を示すが、ここでは、概略（Summary）が選択されている。他の２つの入力は、図５及び図６のユーザ・インタフェース（詳細：Detail）を導くか、図７のユーザ・インタフェース（不合格：Failures、即ち、エラー）を導く。ユーザ・インタフェース５２のウィンドウ６１には、分析結果の概略が表示される。上側の領域６２において、この試験事例に関連したツリー構造の最上位レベルの３つの要素が示されている。この内、２つの要素であるネットワーク・インタフェース（Network Interface）とノードＢ（Node-B）がＯＫと示され（好ましくは、緑色で示され）、これら要素が試験をパス（合格）したことを示す。また、残りの１つの要素であるシステム・コンポーネント（System Component）要素は、不合格（Failed）と示され（好ましくは、赤色で示され）、この要素にエラーが生じたという事実に対してユーザの注意を向ける。領域６２の表の第２列（Failures）は、エラーの数を示し、この表の第３列（Result）は、対応する要素の試験が合格（OK）か不合格（Failed）かの判断を示す。領域６４において、主なエラー（Main Failures）及びそれらの頻度（Frequency）が示される。ユーザは、コメントを入力できる。

図５は、図４のユーザ・インタフェース５２の領域６０において項目「Details」を選択した結果であるユーザ・インタフェース６６を示す。ライン６８の入力で示すように、「システム・コンポーネント（System Component）」要素の下の領域７０にツリー構造の要素を示す。ライン６８内の矢印７２をクリックすることにより、図４の領域６２から他の要素を選択できる。このレベルにおいても、どの要素の試験結果がエラーとなったかを好ましくは色で示す。この例では、エラーのシンボルにより、「ALCAP」入力に印が付けられている一方、他の４つの入力は、これらの試験がエラーなく完了したことを示している。領域７０の表は、エラーの数を示すと共に、特定の試験パラメータによる品質規定が定義可能であり定義された部分に、関連した下限及び／又は関連した上限の表示を行う。アイコン７６を選択することにより、図８を参照して後述するように、品質規定を定義できる。

図６は、エラーとしてマークが付けられた「ALCAP」入力に属するツリー構造の詳細を領域７８に示す。この例において、エラーとされるシンボルにより、入力「受信したＥＲＱメッセージの数（Number of received ERQ messages）」がマークされている。上限（Upper Limit）列の入力からわかるように、上限は、４０事象であり、この例では、４２事象が発生した。領域８０において、領域７８からの関連エラーの細部が示され、アイコン８２をクリックすることにより転送できる。

図７は、図４のユーザ・インタフェース５２の領域６０において、不合格（Failure）であるエラーが選択されたときの結果であるユーザ・インタフェース８４を示す。ユーザ・インタフェース８４の領域８６に、生じたエラーが名称（Name）及び関連した数（Count）で示される表が作成される。領域８８には、選択されたエラーの詳細が示される。この中の領域８６には、隣接して名称（Name）及び数（Count）が示される。また、領域９０には、発生、特に時間（Time）及び値（Value）のいくつかの情報が示される。さらに、領域９２には、発生時間及び関連した値の情報と共に、関連した事象及び／又は統計の情報が示される。領域９２内の入力をクリックすることにより、そこに見える入力の更なる細部の表示が示される。

最後に、図８は、図５のアイコン７６をクリックした後に生じるユーザ・インタフェース９４を示す。領域９６は、選択された統計又は選択された事象を示す。これは、例えば、リンク（Activation rejected by GGSN）を確立するために、ゲートウェイGPRS（General Packet Radio Service）サポート・ノード（Support Node）ＧＧＳＮを試みて失敗したというようなものである。アイコン１００の活性化（クリック）により下限（Lower Limit）を領域９８に示し、アイコン１０４をクリックした後に上限（Upper Limit）を領域１０２に示す。これら入力が完了した後に、アイコン１０６をクリックして、この入力をシステムに記録する。

よって、試験装置は、複数の試験パラメータの事象に関連した統計を提供する。ユーザは、品質規定、特に、しきい値を定義できる。これにより、関連した統計は、しきい値を超えたときにエラーとして定義される。統計と同様に、個別の事象も、これらが正しく実行されないとエラーとして定義できる。好適な実施例においては、２００以上の統計を記録できる。これは、１日当たり８０ギガバイトのデータ量に対応する。予め定義できる、又はユーザが定義できるツリー構造によって、統計をグループ化できる。ツリー構造の１つの要素は、その結果を含んでいる。この結果は、含まれる統計及び事象に基づいて、合格か不合格かの評価である。

試験装置には、いわゆる「掘り下げ方法」を導入している。これにより、ユーザは、好ましくは、概要（Summary）ユーザ・インタフェースで開始し、エラーの原因となる統計又は事象が見つかるまでツリー構造内で下位に向かってエラーを追跡できる。エラーの原因となる統計又は事象、特に、関連した統計又は事象、即ち、エラーの原因となる統計／事象の前後関係に立脚する統計又は事象の細部を表示する能力がある。

概要（Summary）には、試験の開始時点及び終了時点の如き特定の試験手順情報；試験を開始したユーザ；試験環境；関連試験事例が合格か又は不合格かに関する評価結果の概要；関連試験事例のエラーの指示；名称、形式、しきい値を超過した事象、即ち、正しく実行されなかった単一の事象、及び頻度によって示された主要エラーの概要がユーザ・インタフェースに示される。

エラー・ユーザ・インタフェースでは、エラーのリストが表示され、特定のエラーと、名称、形式、頻度などの更なるエラー情報をフィルタ処理できる機能がある。エラー・ユーザ・インタフェース領域では、名称、形式及び頻度から分離された選択エラーの詳細を表示できる。この詳細は、例えば、発生情報（いつ、どこで：これらの統計）や、エラーと共に生じる何かの前後関係（関連値を与える）の情報である。

分析の詳細に関する他のユーザ・インタフェースでは、ツリー構造により、表示すべき更なる細部の試験要素を選択できる。しかし、ツリー構造の各要素には、関連した結果、即ち、試験が合格で完了したか又は不合格で完了したかが示される。ユーザ・インタフェースの他の領域では、名称と、結果と、エラーの数と、エラー、統計、合格で完了したかを示す結果とから成るリストなどのツリー構造にて、選択された要素の細部を示す。これらは、ツリー構造の選択した要素まで下位に下がる。さらに、選択された統計をグラフにより、又は表の形式により示してもよい。

本発明の第１実施例による試験結果分析の概略の表示を示す平面図である。 本発明の第１実施例による試験結果分析の問題の表示を示す平面図である。 本発明の第１実施例による試験結果分析の詳細の表示を示す平面図である。 本発明の第２実施例による試験結果分析の概略の表示を示す平面図である。 本発明の第２実施例による試験結果分析の詳細の表示を示す平面図である。 本発明の第２実施例による拡張試験結果分析の詳細の表示を示す平面図である。 本発明の第２実施例による試験結果分析の不合格の表示を示す平面図である。 本発明の第２実施例による表示定義統計限界を示す平面図である。

符号の説明

１０ ユーザ・インタフェース表示
１２ 第１ウィンドウ
１４ 第２ウィンドウ
１６、２８，３２、３４、３６、３８、４４、４８、５４、５６、５８、６０、６２、６４、７０、７８、８０、８６、８８、９０、９２、９６、９８、１０２ 領域
１８ 上側領域
２５、４０、５２、６６、８４、９４ ユーザ・インタフェース
２６、４２、６１ ウィンドウ
３０、４６ スクロール・バー
５０ グラフ領域
６８ ライン
７２ 矢印
７６、８２、１００、１０４、１０６ アイコン

Claims (2)

1. 複数の試験パラメータ用の事象の計数結果に応じた複数の品質規定を特定する手段と、
   試験実行期間中、上記複数の試験パラメータに関連した事象の数を求める手段と、
   上記数から複数の統計を作成する手段と、
   上記複数の品質規定及び統計から、関連した上記統計と上記品質規定とを比較する比較手段と、
   該比較手段の比較結果から上記試験の合格又は不合格に関する表示を行う表示手段と、
   上記統計及び上記事象をグループ化するツリー構造を定義する手段とを具え、
   上記ツリー構造がユーザにより定義されて上記表示手段に表示され、上記ユーザが上記統計及び上記事象を選択でき、上記ツリー構造の各レベル毎に上記試験の合格又は不合格に関する表示が行われることを特徴とするテレコミュニケーション・ネットワークの試験装置。
   
2. 複数の試験パラメータ用の事象の計数結果に応じた複数の品質規定を特定するステップと、
   試験実行期間中、上記複数の試験パラメータに関連した事象の数を求めるステップと、
   上記数から複数の統計を作成するステップと、
   上記複数の試験パラメータ及び統計の間で、対応する上記統計と上記品質規定とを比較するステップと、
   この比較の結果から上記試験の合格又は不合格を示す表示を表示ユニットに行うステップと、
   上記統計及び上記事象をグループ化するツリー構造を定義するステップとを具え、
   上記ツリー構造がユーザにより定義されて上記表示ユニットに表示され、上記ユーザが上記統計及び上記事象を選択でき、上記ツリー構造の各レベル毎に上記試験の合格又は不合格に関する表示が行われることを特徴とするテレコミュニケーション・ネットワークの試験方法。

Images