JP4763751B2 - 通信機器検査方法、通信機器検査装置、プログラム、及び記録媒体 - Google Patents

Description

本発明は、通信機器が送受信するメッセージのログを解析することにより、通信機器の動作の正常性を判定するための技術に関するものであり、特に、同一の通信条件に基づき得られた複数のログを比較することにより通信機器の正常性等を判定するための技術に関するものである。

例えばSIP（session initiation protocol）等のプロトコルを用いて呼処理を行う通信機器の動作が予め定めた仕様に適合しているかどうかの検証を行うために、試験対象となる通信機器との間でメッセージの送受信を行い、受信したメッセージが所定のルールに適合しているかどうかを確認する技術が従来からある。

しかし、上記の技術のみでは、バージョンの異なる通信ソフトウェアを備えた２つの通信機器間での動作差分を検出したり、相互に接続する通信機器間での動作の相違を検出したりすることは容易ではない。

さて、２つの通信機器間での動作の相違を検出する技術として、特許文献１に記載された技術がある。特許文献１に記載された技術では、運用通信処理装置からの出力信号と、当該運用通信処理装置が受信する呼と同様の擬似呼を受信する別の通信処理装置である試験対象通信処理装置からの出力信号とを比較することにより、試験対象通信処理装置の動作が正常であるかどうかの判定を行っている。
特開２００４−６４６９５号公報

特許文献１に記載された技術では、運用通信処理装置からの出力信号と試験対象通信処理装置からの出力信号とが同一である場合は試験対象通信処理装置は正常であり、同一でない場合は異常であると判定している。

しかしながら、例えばSIPに基づく呼処理を行う通信機器等の場合、２つの通信機器間で対応するメッセージの内容（発信元電話番号等）が異なっていたとしても動作に異常がない場合がある。

このようなメッセージを送受信する通信機器に関しては、特許文献１に記載された技術を用いても適切に通信機器の正常性を判断することはできない。つまり、２つの通信機器における対応するメッセージ間で相違があることを特許文献１の技術を用いて表示したとしても、その相違が異常を示しているものかどうかをすぐに判断することはできない。

本発明は上記の点に鑑みてなされたものであり、同一の通信条件に基づき得られた複数のメッセージログを比較することにより通信機器の正常性を判定するための技術において、複数のログ間での異常に関係するものとして予め設定した相違のみを表示する技術を提供することを目的とする。

上記の課題を解決するために、本発明は、第１の試験対象通信機器が送受信したSIPメッセージのログである第１のログと、第２の試験対象通信機器が送受信したSIPメッセージのログである第２のログとを少なくとも含む複数のログを比較することにより通信機器の検査を行うための通信機器検査装置が実行する通信機器検査方法であって、SIPメッセージを構造化して得られる要素単位で定められる項目であって、前記第１のログと前記第２のログとの比較において比較の対象とする項目と、比較の対象としない項目である比較除外項目とを、前記通信機器検査装置が備える比較制御情報格納手段に格納する比較制御情報格納ステップと、前記第１のログ及び前記第２のログを収集するログ収集ステップと、を備え、前記ログ収集ステップは、前記通信機器検査装置が、予め定めたシナリオに基づき試験対象通信機器との間でSIPメッセージの送受信を行い、SIPメッセージのログを当該通信機器検査装置が備えるログ格納手段に格納するログ取得ステップと、前記通信機器検査装置が、試験対象通信機器から受信したSIPメッセージが、所定の仕様に基づき予め定めたルールに適合しているかどうかを判定し、判定結果をログとして前記ログ格納手段に格納する仕様適合性判定ステップと、を備え、前記通信機器検査方法は更に、前記第１のログと前記第２のログを、前記通信機器検査装置が備える前記ログ格納手段から読み出し、当該ログ格納手段から読み出したログである各SIPメッセージを構造化し、構造化により得られた要素と要素名とを対応付けて記憶手段に保存し、前記比較制御情報格納手段に格納された比較除外項目以外の各項目について、前記第１のログと前記第２のログ間で、前記記憶手段に保存された同じ要素名の要素同士での比較を行うログ比較ステップと、前記ログ比較ステップにより得られた比較結果に基づき、前記第１のログと前記第２のログ間での相違項目を含む表示情報を作成し、当該表示情報を、比較対象項目である対応する要素毎に表示する出力処理ステップと、を備え、前記ログ比較ステップは、前記通信機器検査装置が、前記第１のログ及び前記第２のログ間でのSIPメッセージシーケンスの比較を行うステップと、前記通信機器検査装置が、前記第１のログ及び前記第２のログ間での前記判定結果の比較を行うステップと、前記通信機器検査装置が、前記第１のログ及び前記第２のログ間でのSIPメッセージの内容の比較を行うステップと、を備え、前記出力処理ステップにおいて、前記通信機器検査装置は、前記第１のログと前記第２のログ間で両方の要素が同一の箇所、前記第１のログと前記第２のログのうちいずれか一方のログにのみ要素が存在する箇所、前記第１のログと前記第２のログ間で両方に存在する要素であって当該要素の内容が異なる箇所、及び、前記判定結果がNGである箇所を区別して表示することを特徴とする通信機器検査方法として構成される。

また、本発明は、第１の試験対象通信機器が送受信したSIPメッセージのログである第１のログと、第２の試験対象通信機器が送受信したSIPメッセージのログである第２のログとを少なくとも含む複数のログを比較することにより通信機器の検査を行うための通信機器検査装置であって、前記第１のログ及び前記第２のログを収集するログ収集手段と、前記第１のログと前記第２のログを格納するログ格納手段と、を備え、前記ログ収集手段は、予め定めたシナリオに基づき試験対象通信機器との間でSIPメッセージの送受信を行い、SIPメッセージのログを前記ログ格納手段に格納するログ取得手段と、前記試験対象通信機器から受信したSIPメッセージが、所定の仕様に基づき予め定めたルールに適合しているかどうかを判定し、判定結果をログとして前記ログ格納手段に格納する仕様適合性判定手段と、を備え、前記通信機器検査装置は更に、SIPメッセージを構造化して得られる要素単位で定められる項目であって、前記第１のログと前記第２のログとの比較において比較の対象とする項目と、比較の対象としない項目である比較除外項目とを格納する比較制御情報格納手段と、前記第１のログと前記第２のログを前記ログ格納手段から読み出し、当該ログ格納手段から読み出したログである各SIPメッセージを構造化し、構造化により得られた要素と要素名とを対応付けて記憶手段に保存し、前記比較制御情報格納手段に格納された比較除外項目以外の各項目について、前記第１のログと前記第２のログ間で、前記記憶手段に保存された同じ要素名の要素同士での比較を行うログ比較手段と、前記ログ比較手段により得られた比較結果に基づき、前記第１のログと前記第２のログ間での相違項目を含む表示情報を作成し、当該表示情報を、比較対象項目である対応する要素毎に表示する出力処理手段と、を備え、前記ログ比較手段は、前記第１のログ及び前記第２のログ間でのSIPメッセージシーケンスの比較を行う手段と、前記第１のログ及び前記第２のログ間での前記判定結果の比較を行う手段と、前記第１のログ及び前記第２のログ間でのSIPメッセージの内容の比較を行う手段と、を備え、前記出力処理手段は、前記第１のログと前記第２のログ間で両方の要素が同一の箇所、前記第１のログと前記第２のログのうちいずれか一方のログにのみ要素が存在する箇所、前記第１のログと前記第２のログ間で両方に存在する要素であって当該要素の内容が異なる箇所、及び、前記判定結果がNGである箇所を区別して表示することを特徴とする通信機器検査装置として構成してもよい。

また、本発明は、コンピュータを上記通信機器検査装置の各手段として機能させるためのプログラム、及び当該プログラムを記録したコンピュータ読み取り可能な記録媒体として構成することもできる。

本発明によれば、第１のログと第２のログとの比較において、比較の対象としない項目である比較除外項目を、通信機器検査装置が備える比較制御情報格納手段に格納し、当該比較除外項目以外の各項目について、第１のログと第２のログ間で比較を行い、その比較結果に基づき、第１のログと第２のログ間での相違項目を示す情報を含む表示情報を作成し出力することとしたので、複数のログ間での異常に関係する相違として予め設定したもののみを表示する技術を提供することができる。これにより、試験作業の効率を向上できる。

以下、図面を参照して本発明の実施の形態について説明する。なお、本実施の形態では、試験対象通信機器として、SIPに基づき呼制御を行う通信機器を用い、SIPのメッセージのログをログ比較の対象とするが、本発明はSIPに限らず他の通信プロトコルにおけるログにも適用できることは言うまでもない。

（構成及び動作の概要）
図１に、本発明の実施の形態における通信機器検査装置１の全体構成図を示す。図１に示すように、本実施の形態における通信機器検査装置１は、試験対象通信機器４との間で予め定めたシナリオ（通信条件と称することもできる）を用いてメッセージの送受信を行うことにより、メッセージに関するログを収集するログ収集部２と、ログ収集部２により同じシナリオを用いて得られた２つのログを比較し、比較結果を出力するログ比較部３を有する。なお、本実施形態におけるログ収集部２は、いわゆるコンフォーマンステスタ（仕様適合性検証装置）の機能を有する機能部である。
図１に示す通信機器検査装置１の動作概要を次に説明する。まず、ログ収集部２が、所定のシナリオに基づいて、試験対象通信機器４（以下、２つの試験対象通信機器を区別する場合には、試験対象通信機器A、試験対象通信機器Bと表記する)との間でメッセージの送受信を行う。ここでは、例えば、ログ収集部２は、上記シナリオに基づいて、試験対象通信機器Aが相手通信機器と実際のネットワークを介して通信を行う際にネットワーク（SIPサーバ）から試験対象通信機器Aに送出されるメッセージと同じ擬似的なメッセージを生成して、試験対象通信機器Aに送信する。

例えば呼接続時の通常の通信を行うシナリオを用いる場合、図２に示すように、ログ収集部２は、試験対象通信機器AからINVITEメッセージを受信したことに応じて、１８０メッセージ、２００メッセージを試験対象通信機器Aに送信する。そして、ログ収集部２は、試験対象通信機器AからACKメッセージを受信する。

このようにしてログ収集部２は、送信メッセージと受信メッセージとを含む情報をログとして格納する。更に、ログ収集部２は、受信したメッセージが、予め定めた仕様（標準規格の仕様やサービス独自の仕様等）に適合しているかどうかを、予め設定しておいたルール（以下、ジャッジルールと呼ぶ）を用いることにより検証する。つまり、受信したメッセージの内容が上記ルールに適合しているかどうかの判定を行う。

ログ収集部２は、このような判定結果も受信メッセージと対応付けてログとして格納する。本実施形態では、試験対象通信機器Aに対してあるシナリオに基づく上記のようなログ収集を行うとともに、別の試験対象通信機器Bに対しても上記と同じシナリオに基づくログ収集を行う。試験対象通信機器Bは、例えば、試験対象通信機器Aと相互に接続される対象となる別機種の通信機器、同一機種であるが試験対象通信機器Aで動作している通信ソフトウェアとは異なるバージョンの通信ソフトウェアを搭載した通信機器等である。なお、試験対象通信機器Bは、試験対象通信機器Aの通信ソフトウェアを変更した試験対象通信機器A自身である場合があるが、このような場合でも、試験対象通信機器Bは、試験対象通信機器Aとは別の機器であると表現するものとする。

そして、ログ比較部３は、試験対象通信機器Aに関するログと試験対象通信機器Bに関するログとをログ収集部２から取得し、これらを比較した結果を出力する。本実施の形態では、単に両者のログの内容に相違があった場合に相違があることを示す情報を表示するのではなく、ログの内容に相違があっても、その相違が異常を示すものでない場合には、それを表示しないこととする制御を行っている。その具体的な処理内容については後述する。

（通信機器検査装置の詳細構成）
次に、本実施の形態の通信機器検査装置１の構成を詳細に説明する。

図３は、ログ収集部２の機能構成を示す機能構成図である。図３に示すように、ログ収集部２は、データ通信部２１、ログ収集制御部２２、メッセージ検証部２３、入出力部２４、シナリオ格納部２５、ルール格納部２６、及びログ格納部２７を有する。

データ通信部２１は、試験対象通信機器４との間でメッセージの送受信を行うための機能部である。ログ収集制御部２２は、シナリオ格納部２５から特定のシナリオを取得し、そのシナリオに従って、試験対象通信機器４に対して何（メッセージの種類等）を送信すべきかを決定するとともに、その決定に基づき、ルール格納部２６に格納されたエンコードルールに基づいて具体的なメッセージを生成し、それをデータ通信部２１を介して試験対象通信機器４に送信する機能を有する。また、ログ収集制御部２２は、上記のようにして試験対象通信機器４に送信するメッセージ、試験対象通信機器４から受信するメッセージ、及び入出力部２４を介して入出力されるユーザとのダイアログ情報をログとしてログ格納部２７に格納する機能を有する。

メッセージ検証部２３は、ルール格納部２６に格納されているジャッジルールに基づき、ログ格納部２７に格納された受信メッセージが、予め定めた仕様に適合しているかどうかの判定を行い、判定結果（ジャッジ結果）をログとしてログ格納部２７に格納する機能を有する。入出力部２４は、例えば、あるシナリオに基づくログ収集を行っているときの試験対象通信機器４における操作内容（"端末から発信"等）を出力したり、試験対象通信機器４側での操作内容（"通話確認"等）を入力したりするための機能を有する。これらの操作内容等を表す情報をダイアログと呼ぶことにする。

シナリオ格納部２５は、各種のシナリオを格納する機能部であり、ルール格納部２６は、送信メッセージ生成のためのエンコードルール、及び受信メッセージの仕様適合性判定のためのジャッジルールを格納する機能部である。また、ログ格納部２７は、メッセージ（シーケンス情報を含む）及びダイアログのログと、ジャッジルールに基づくジャッジ結果のログを格納する機能部である。

図４に、ログ比較部３の機能構成図を示す。図４に示すように、ログ比較部３は、ログ取得部３１、ログ構造化部３２、シーケンス比較部３３、ジャッジ結果比較部３４、メッセージ比較部３５、シーケンス比較結果出力処理部３６、ジャッジ比較結果出力処理部３７、メッセージ比較結果出力処理部３８、構造化ログ格納部３９、メッセージ比較制御情報格納部４０、出力制御情報格納部４１を有している。

ログ取得部３１は、ログ収集部２から試験対象通信機器Aのログ（ログA）と、試験対象通信機器Bのログ（ログB)を取得する機能部である。ログ構造化部３２は、ログの構造化を行って、構造化後のログを構造化ログ格納部３９に格納するための機能部である。ログの構造化とは、例えば、あるメッセージにおいて開始行、ヘッダ部等を識別し、開始行におけるメソッド名の部分を識別する等して、メッセージの中の各部分と、その部分の意味（メソッド名であること等）とを対応付ける処理である。この構造化を行うことにより、２つのログ間での対応するメッセージを容易に識別することが可能となる。なお、ログ収集部２においてログの構造化が行われ、構造化されたログをログ取得部３１が取得する場合には、ログ比較部３におけるここでのログ構造化は不要である。

シーケンス比較部３３は、ログAとログBのそれぞれにおける各メッセージを比較することにより、ログ収集部２で用いられたシナリオにおけるメッセージ送受信（メッセージシーケンス）において、ログAとログB間でメッセージの送信順に違いがあるかどうか、メッセージに抜け等があるかどうか等を検出するための機能部である。

ジャッジ結果比較部３４は、ログAとログB間における対応する各受信メッセージのジャッジ結果の比較を行い、相違を検出する機能部である。メッセージ比較部３５は、メッセージ比較制御情報格納部４０に格納されたメッセージ比較制御情報に基づき、ログAとログB間における対応するメッセージの内容を比較し、相違を検出する機能部である。

シーケンス比較結果出力処理部３６は、出力制御情報格納部４１に格納されたシーケンス比較結果出力制御情報に基づき、シーケンス比較部３３により得られた比較結果を表示するための情報を作成し、それを出力する機能部である。ジャッジ比較結果出力処理部３７は、出力制御情報格納部４１に格納されたジャッジ比較結果出力制御情報に基づき、ジャッジ結果比較部３４により得られた比較結果を表示するための情報を作成し、それを出力するための機能部である。メッセージ比較結果出力処理部３８は、出力制御情報格納部４１に格納されたメッセージ比較結果出力制御情報に基づき、メッセージ比較部３５により得られた比較結果を表示するための情報を作成し、それを出力するための機能部である。

構造化ログ格納部３９は、ログ構造化部３２において構造化されたログを格納する機能部である。

メッセージ比較制御情報格納部４０は、メッセージ比較部４０における各対応メッセージの比較処理において、メッセージの中で比較の対象とする要素名と、比較の対象としない要素名を格納する機能部である。

出力制御情報格納部４１は、シーケンス比較結果出力処理部３６、ジャッジ比較結果出力処理部３７、メッセージ比較結果出力処理部３８のそれぞれが表示用の情報を作成する際に、比較の結果に応じてどのような情報（色等）を表示するかを指定する制御情報を保持している。

本実施形態における通信機器検査装置１は、各機能部の処理に対応するプログラムを、CPU、メモリ等の記憶装置を有するコンピュータに実行させることにより実現することができる。当該プログラムは、可搬メモリ等の記録媒体に記録し、そこからコンピュータにインストールすることもできるし、ネットワーク上のサーバからダウンロードする構成とすることもできる。

また、上記の通信機器検査装置１は、ログ収集部２を含まない構成とすることもできる。その場合、通信機器検査装置１は、ログ収集部２に相当する仕様適合性検証装置により収集されたログを、オフラインもしくはネットワークを介して受信し、ログ比較処理を行うことができる。

（通信機器検査装置１の動作）
次に、上述した構成を備える通信機器検査装置１の動作について説明する。最初に、図５に示すフローチャートを参照してログ収集部２の動作について説明する。

まず、ユーザによる特定のシナリオを指定した開始操作に基づき、ログ収集制御部２２が、シナリオ格納部２５から指定されたシナリオを読み出し、シナリオに従った処理を開始する（ステップ１）。

ステップ２において、ログ収集制御部２２は、例えばあるメッセージ（INVITEメッセージ等）を試験対象通信機器４から受信したことに応じて、当該受信メッセージに対して送信すべきメッセージの種類をシナリオに基づき決定し、ルール格納部２６に格納されているエンコードルールを参照して試験対象通信機器４に送信すべき具体的なメッセージを生成する。

ログ収集制御部２２は、ステップ２において生成した送信メッセージをログ格納部２７に格納する（ステップ３）。そして、ログ収集制御部２２は、例えば送信しようとしているメッセージの意味、確認要求等をダイアログとして入出力部２４を介して表示するとともに、ダイアログをログ格納部２７に格納する（ステップ４）。ログ収集制御部２２は、試験者からの入力を検出すると（ステップ５）、データ通信部２１を介して試験対象通信機器４に対してステップ２で生成したメッセージを送信する（ステップ６）。ログ収集制御部２２は、ステップ６で送信したメッセージに対するメッセージを試験対象通信機器４から受信し（ステップ７）、当該受信メッセージをログ格納部８に格納する（ステップ８）。

ステップ２〜８が、シナリオに従って繰り返し行われることによりダイアログとメッセージのログがログ格納部２７に格納される。なお、ダイアログの表示等に係るステップ４、５は行わなくてもよい。

また、ログ収集部２２が、例えば入出力部２４からジャッジルールに基づく受信メッセージの仕様適合性検証の指示を受けることにより、メッセージ検証部２３が、上記のようにして格納された受信メッセージに対し、ルール格納部２６に格納されたジャッジルールを用いて仕様適合性検証を行い、その結果を受信メッセージに対応付けてログ格納部２７に格納する。

図６に、あるメッセージに対するジャッジ結果の一部のデータ例を示す。図６（ａ）に示す例は、リクエストの開始行内のRequest-URIはTEL-URL形式であることというジャッジルールを用いた検証結果がOK、つまり、検証対象のメッセージにおけるURIへのアクセス手段を示すスキームが"tel"であったことを示している。図６（ａ）に示す例では、検証結果とともに、判断の理由となった情報（tel）がメッセージから抽出されて示されている。また、図６（ｂ）に示す例では、メッセージ内にAllowヘッダが存在することというジャッジルールに対して、検証結果がＮＧ、つまり、検証対象のメッセージ内にAllowヘッダが存在しなかったことを示している。

図７に、ログ格納部２７に格納されるデータの一例を示す。図７に示すように、ログ格納部２７には、ダイアログ及びメッセージの時間順序を示す連番と、ログとして記録されている情報が、ダイアログ、受信メッセージ、送信メッセージのどれであるかを示す情報と、ダイアログ又はメッセージの情報とが対応付けて格納される。また、受信メッセージについては、それに対応するジャッジ結果が格納される。なお、図７に示す例は一例に過ぎず、ログの格納方法としては様々なものがある。

続いて、図８に示すフローチャートに沿って、ログ比較部３の動作について説明する。以下で説明する動作の前提として、ログ収集部２２におけるログ格納部２７には、試験対象通信機器Aに対しあるシナリオを用いてログ収集を行った結果であるログAと、試験対象通信機器Bに対し同じシナリオを用いてログ収集を行った結果であるログBとが格納されているものとする。

まず、ログ比較部３におけるログ取得部３１が、ログ格納部２７からログAとログBを取得する（ステップ１１）。ログ取得部３１により取得されたログAとログBはログ構造化部３２に渡され、ログ構造化部３２が、ログ内のメッセージにおける開始行の中のメソッド名部分、ステータスコード部分の識別処理等を行う構造化処理を行い、構造化されたログAと、ログBを構造化ログ格納部３９に格納する（ステップ１２）。

その後、シーケンス比較／出力処理（ステップ２１、２２）、ジャッジ結果比較／出力処理（ステップ３１、３２）、メッセージ比較／出力処理（ステップ４１、４２）を行うが、これらの処理を行う順番はどのようなものでもよい。また、それぞれの比較処理を行ったのちに、まとめて出力を行うこととしてもよい。

最初に、シーケンス比較／出力処理について説明する。シーケンス比較／出力処理においては、シーケンス比較部３３が、構造化ログ格納部３９に格納されたログAとログBにおけるメッセージの種類を示す部分（例えば開始行）を順番（連番の順）に比較し、対応するメッセージが存在するか否かの判定処理を行う（ステップ２１）。例えば、図９（ａ）、（ｂ）に一例として示すように、ログAの最初のメッセージがINVITE受信であり、次のメッセージが１８０送信であり、ログBの最初のメッセージがINVITE受信であり、次のメッセージが１００送信であり、その次のメッセージが１８０送信である場合において、シーケンス比較部３３は、ログAの最初のINVITE送信に対応するログBのINVITE送信が存在し、ログAの１８０送信に対応するログBの１８０送信は存在するが、ログBの１００送信に対応するログAのメッセージは存在しないと判定する。

シーケンス比較部３３はこのような比較処理を行い、比較結果として、例えば図１０に示すような対応するメッセージの番号を記録したデータを記憶手段（構造化ログ格納部３９でもよい）に格納する。図１０では、ログＡの1番目のメッセージはログＢの１番目のメッセージに対応し、ログＢの２番目のメッセージに対応するメッセージはログＡに存在しないこと等が示されている。

続いて、シーケンス比較結果出力処理部３６は、上記のシーケンス比較処理により得られた比較結果及び出力制御情報格納部４１に格納されたシーケンス比較結果出力制御情報に基づき表示情報を作成し、それを外部のディスプレイに出力する（ステップ２２）。もしくは、ネットワークを介して表示情報を送信し、ネットワークに接続されたPC端末等の画面に表示することとしてもよい。

図１１に、表示情報により表示される画面の一例を示す。図１１に示す例では、メッセージの情報に加えて、ダイアログの情報が実際の試験の順番に沿って表示されるとともに、ログAとログB間での対応するメッセージの有無がわかりやすいように表示がなされている。具体的には、ログBの１００のように、ログBには存在するがログAには対応するメッセージ（シーケンス）が存在しない場合、ログAにおいて対応するメッセージがなかった部分を空行としてその背景を灰色で表示し、ログBのみに存在するメッセージの背景を青色で表示する。反対に、ログAに示されている２００のように、ログAにのみメッセージが存在し、ログBには対応するメッセージが存在しない場合には、ログAにのみ存在するメッセージの背景を、青色と異なる色、例えばピンク色で表示する。このような表示を行うことにより、両シーケンスにおいてどこに相違があるかを容易に識別することが可能となる。

なお、図１１では、色が塗られている部分は斜線等で示しているが、上記の色が塗られている。また、本例では、シーケンス比較結果出力制御情報によりどのような場合にどのような色を使用するかが指定されており、シーケンス比較結果出力処理部３６は、この情報を参照することにより上記の背景色等を決定している。従って、シーケンス比較結果出力制御情報の内容を変更することにより、表示色を変更できる。また、上述した各色は一例に過ぎない。

次に、ジャッジ結果比較／出力処理について説明する。ジャッジ結果比較／出力処理においては、ジャッジ結果比較部３４が、構造化ログ格納部３９に格納されたログAとログBにおける対応する各受信メッセージについてのジャッジ結果の比較を行う（ステップ３１）。対応するメッセージの識別については、シーケンス比較における結果（図１０）を用いることができる。

ジャッジ結果比較部３４は、あるメッセージのジャッジ結果の比較において、まず、一方のジャッジ結果のある項目（図６におけるRequest等の単位）に対応する項目が他方のジャッジ結果にも存在するかどうかを判定し、存在すれば、ジャッジ結果が同じがどうかを判定する。このような判定を行うことにより、ジャッジ結果比較部３４は、例えば図１２に示すような比較結果のデータをジャッジ結果比較対象のメッセージ毎に記憶手段（構造化ログ格納部３９でもよい）に記録する。図１２に示す例では、ジャッジの項目を番号で示している。

ただし、ジャッジ結果比較部３４による判定結果の比較において、SIPメッセージから引用した部分（ジャッジの正解値）は比較の対象としない。例えば、図６（ａ）の例における"tel"の部分等は比較の対象にしない。つまり、ジャッジ結果がともに正常なのであれば、もしこの値が相違したとして異常でないからである。また、ジャッジ結果が相違するのであれば、この値に関わらず、後述するようにログＡとログＢ間でのジャッジ結果が相違したことが示されるからである。なお、比較の対象としない部分としては、一例としてSIPメッセージから引用した部分を挙げたが、ジャッジ結果自身がOKであればログAとログB間でジャッジ結果の内容について相違があったとしても異常ではない部分であれば、どこの部分を比較の対象としない部分として採用してもよい。

続いて、ジャッジ比較結果出力処理部３８は、ジャッジ結果比較部３４による上記の比較結果と、出力制御情報格納部４１に格納されているジャッジ比較結果出力制御情報とに基づき、表示情報を生成し、それを出力する。図１３に、ジャッジ比較結果出力処理部３８により生成された表示情報に基づき表示される画面の一例を示す。

図１３に示す例では、判定結果が異なる"Allow"のジャッジ項目について背景が緑色で示されるとともに、ログＡでの判定結果がＮＧであったことを示すために、ルールの内容が赤字で示されている。また、ログＢに存在するが、ログAに存在しない項目（ログＢにおける2番目のAllow）については、ログAにおいて対応するジャッジ項目が存在しない部分を空行として背景を灰色で表示し、ログBにのみ存在する当該ジャッジ項目については背景を青色で表示している。また、ログAにおけるジャッジ項目"From"のように、ログBに対応するジャッジ項目が存在せずに、ログAにのみ存在する項目については、その背景を青色と異なるピンク色で表示する。また、上述したように、ジャッジ結果（OK、NG)に差分がない場合、SIPメッセージから引用した部分、もしくはジャッジの正解値が相違していたとしても差分を表示する処理は行わない。図１３では、Max-Forwardの項目のジャッジ結果はログA、ログBともにOKであるが、Max-Forward値（７０と６９）は異なっている。しかし、この相違は異常を示すものではないので、比較対象としておらず、相違を示す表示は行われていない。

上記のような表示を行うことにより、試験者は、異常に関係し得るジャッジ結果の差分のみを効率的に識別できるようになる。

次に、メッセージ比較／出力処理（図８におけるステップ４１、４２）について、図１４のフローチャートに沿って説明する。まず、メッセージ比較部３５が、例えばシーケンス比較処理の結果を用いて、構造化ログ格納部３９に格納されたログAとログBから処理対象とする対応するメッセージを取得する（ステップ５１）。そして、メッセージ比較部３５は、それぞれのメッセージの内容に関しての構造化を行う（ステップ５２）。

メッセージの内容の構造化の一例を図１５に示す。図１５に示す例は、メッセージ内のFromヘッダ内の情報の構造化の例を示している。図１５の例では、Fromヘッダ内の各情報が持つ意味を当該情報に対応付け、各要素（sip等）とその要素名（scheme等）を対応付けてメモリ等の記憶装置に保存する。ただし、メッセージ比較部３５にとって未知であり、どのように構造化してよいか不明なヘッダの内容については各情報を分解して意味づけせずに、情報をまとめて扱う。例えば図１６に示すように"New"というヘッダが未知であった場合、その内容はそのままの情報として扱う。続いて、メッセージ比較部３５は、対象メッセージに関し、ログAとログB間で各要素毎の比較処理を行う。

メッセージ比較部は、比較対象とする要素名を特定した後（ステップ５３）、その要素名が比較の対象になっているかどうかをメッセージ比較制御情報格納部４０に格納されているメッセージ比較制御情報を参照して判定する。図１７に、メッセージ比較制御情報格納部４０に格納される情報の一例を示す。図１７の例では、比較対象とする要素名に１が立てられ、比較対象でない要素名には０が立てられている。

ステップ５４において、メッセージ比較部３５は、図１７に示すようなメッセージ比較制御情報を参照することにより、特定した要素名が比較対象であるかどうか判定し、比較対象でなければ次の要素名に処理を移す。一方、ステップ５４において、処理対象の要素名が比較対象であると判定された場合、メッセージ比較部３５は、ログAとログB間において当該要素名の要素を比較し、比較結果（一致する、一致しない、一方にのみ存在する等）を比較対象の要素名に対応付けて記憶手段に記録しておく（ステップ５５）。なお、比較対象でなくても、要素名に対応する要素の有無を調べ、その結果を記録しておくこととしてもよい。

このような処理を、各対応メッセージに対して、構造化処理で分類された各要素毎に行う。なお、上記の例では、ヘッダ内の要素の比較について述べているが、ヘッダ名自身、メソッド名自身等も要素として比較対象の判定が行われ、比較対象であれば比較が行われる。つまり、本明細書では、メッセージ内で、比較対象となりうる部分として分解される情報を要素と称している。

比較処理が終了した後、メッセージ比較結果出力処理部３６が、比較結果に基づき表示情報を作成し、それを出力する。図１８に、あるメッセージについて、メッセージ比較結果出力処理部３６により作成された表示情報に基づき表示された画面の例を示す。

図１８に示す例では、比較対象の要素に関し、ログAにのみ存在する要素については文字がピンク色で示され、ログBのみに存在する要素については青色で示され、両方に存在する要素であるが、その値が異なるものについては緑色で示されている（図１８の設定例では、"７０"、"６９"、"UA1"、"UAS"等の文字が緑色で示される。）
一方、比較対象であって値が一致している要素、及び比較対象とされなかった要素については黒色で示されている。つまり、比較対象とされなかった要素については、たとえその値が異なっていたとしても異常ではないので、試験者に注意を喚起する必要はないことから、値が一致している要素と同様の表示色としている。図１８の例では、Call-ID、Content-Length、CSeqの各要素についてログAとログBとで内容が異なるが、相違することを示す色は付されていない。つまり、これらの要素は、試験の都度でその値が変わってしまう要素であり、通信機器固有の動作による差分ではないため、相違することを表示していない。

本実施の形態では、メッセージ比較の部分においてのみ比較制御情報を用いているが、シーケンス比較、ジャッジ結果比較においても比較制御情報を記憶手段に適宜設定し、その情報を参照することにより、比較対象としない情報を判断し、比較処理を行うこととしてもよい。なお、比較対象とするかしないかを判断する情報の単位（上述した要素等）を項目と呼ぶことにする。

以上説明したように、本発明に係る実施の形態の技術を用いることにより、試験の都度で値が変化するためにログ間で値が異なる項目を含む場合であっても、そのような相違を異常として表示しないようにすることができ、試験者は、ログ比較により効率的に通信機器の動作の正常性の判断を行うことが可能となる。

また、通信機器相互間接続で障害となる相互に接続する通信機器間での動作の相違を効率的に検出することが可能となる。これは、従来の仕様適合性検証技術のみでは実現できなかったものである。また、同一機種の通信ソフトウェア（ファームウェア）のバージョンアップによる動作差分を容易に検出でき、デグレード試験の実施が可能になる。これも、従来の仕様適合性検証技術では実現できなかったものである。更に、同一機種の通信機器の設定変更や故障時に、正常動作時との動作差分を検出することで、障害時の問題切り分けを実施することも可能である。

また、例えば、２つのログ間での対応するメッセージについて、ジャッジ結果がいずれも全てOKで、メッセージ比較が異なる場合、両者ともプロトコル規定に準拠しているが、通信機器のどちらか又は両方が、プロトコル規定の中で許容されている機器固有の動作を行っている可能性があることを把握できる。

また、本実施形態では試験対象通信機器Aと試験対象通信機器Bをログ比較の対象としたが、ログ比較の対象は２つの通信機器に限られるわけではなく、それより多くてもよい。ただし、３つ以上の通信機器間のログ比較であっても、本実施形態で説明したような２つのログ間での比較が行われることに変わりはない。つまり、例えば、３つの通信機器A、B、C間のログ比較の場合、AとB間での比較、BとC間での比較、CとA間での比較が行われることになる。

本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

本発明の実施の形態における通信機器検査装置１の全体構成図である。 動作概要を説明するために用いる図である。 ログ収集部２の機能構成図である。 ログ比較部３の機能構成図である。 ログ収集部２の動作を説明するためのフローチャートである。 ジャッジ結果の例を示す図である。 ログ格納部２７に格納されるデータの一例を示す図である。 ログ比較部３の動作を説明するためのフローチャートである。 シーケンス比較処理を説明するための図である。 シーケンス比較結果の一例を示す図である。 シーケンス比較結果の表示例を示す図である。 ジャッジ結果比較の結果の例を示す図である。 ジャッジ結果比較の結果の表示例を示す図である。 メッセージ比較処理を説明するためのフローチャートである。 メッセージの内容の構造化について説明するための図である。 メッセージの内容の構造化について説明するための図である。 メッセージ比較制御情報の一例を示す図である。 メッセージ比較結果の表示例を示す図である。

符号の説明

１ 通信機器検査装置
２ ログ収集部
３ ログ比較部
４、A、B 試験対象通信機器
２１ データ通信部
２２ ログ収集制御部
２３ メッセージ検証部
２４ 入出力部
２５ シナリオ格納部
２６ ルール格納部
２７ ログ格納部
３１ ログ取得部
３２ ログ構造化部
３３ シーケンス比較部
３４ ジャッジ結果比較部
３５ メッセージ比較部
３６ シーケンス比較結果出力処理部
３７ ジャッジ比較結果出力処理部
３８ メッセージ比較結果出力処理部
３９ 構造化ログ格納部
４０ メッセージ比較制御情報格納部
４１ 出力制御情報格納部

Claims (4)

1. 第１の試験対象通信機器が送受信したSIPメッセージのログである第１のログと、第２の試験対象通信機器が送受信したSIPメッセージのログである第２のログとを少なくとも含む複数のログを比較することにより通信機器の検査を行うための通信機器検査装置が実行する通信機器検査方法であって、
   SIPメッセージを構造化して得られる要素単位で定められる項目であって、前記第１のログと前記第２のログとの比較において比較の対象とする項目と、比較の対象としない項目である比較除外項目とを、前記通信機器検査装置が備える比較制御情報格納手段に格納する比較制御情報格納ステップと、
   前記第１のログ及び前記第２のログを収集するログ収集ステップと、を備え、
   前記ログ収集ステップは、
   前記通信機器検査装置が、予め定めたシナリオに基づき試験対象通信機器との間でSIPメッセージの送受信を行い、SIPメッセージのログを当該通信機器検査装置が備えるログ格納手段に格納するログ取得ステップと、
   前記通信機器検査装置が、試験対象通信機器から受信したSIPメッセージが、所定の仕様に基づき予め定めたルールに適合しているかどうかを判定し、判定結果をログとして前記ログ格納手段に格納する仕様適合性判定ステップと、を備え、
   前記通信機器検査方法は更に、
   前記第１のログと前記第２のログを、前記通信機器検査装置が備える前記ログ格納手段から読み出し、当該ログ格納手段から読み出したログである各SIPメッセージを構造化し、構造化により得られた要素と要素名とを対応付けて記憶手段に保存し、前記比較制御情報格納手段に格納された比較除外項目以外の各項目について、前記第１のログと前記第２のログ間で、前記記憶手段に保存された同じ要素名の要素同士での比較を行うログ比較ステップと、
   前記ログ比較ステップにより得られた比較結果に基づき、前記第１のログと前記第２のログ間での相違項目を含む表示情報を作成し、当該表示情報を、比較対象項目である対応する要素毎に表示する出力処理ステップと、を備え、
   前記ログ比較ステップは、
   前記通信機器検査装置が、前記第１のログ及び前記第２のログ間でのSIPメッセージシーケンスの比較を行うステップと、
   前記通信機器検査装置が、前記第１のログ及び前記第２のログ間での前記判定結果の比較を行うステップと、
   前記通信機器検査装置が、前記第１のログ及び前記第２のログ間でのSIPメッセージの内容の比較を行うステップと、を備え、
   前記出力処理ステップにおいて、前記通信機器検査装置は、前記第１のログと前記第２のログ間で両方の要素が同一の箇所、前記第１のログと前記第２のログのうちいずれか一方のログにのみ要素が存在する箇所、前記第１のログと前記第２のログ間で両方に存在する要素であって当該要素の内容が異なる箇所、及び、前記判定結果がNGである箇所を区別して表示する
   ことを特徴とする通信機器検査方法。
2. 第１の試験対象通信機器が送受信したSIPメッセージのログである第１のログと、第２の試験対象通信機器が送受信したSIPメッセージのログである第２のログとを少なくとも含む複数のログを比較することにより通信機器の検査を行うための通信機器検査装置であって、
   前記第１のログ及び前記第２のログを収集するログ収集手段と、
   前記第１のログと前記第２のログを格納するログ格納手段と、を備え、
   前記ログ収集手段は、
   予め定めたシナリオに基づき試験対象通信機器との間でSIPメッセージの送受信を行い、SIPメッセージのログを前記ログ格納手段に格納するログ取得手段と、
   前記試験対象通信機器から受信したSIPメッセージが、所定の仕様に基づき予め定めたルールに適合しているかどうかを判定し、判定結果をログとして前記ログ格納手段に格納する仕様適合性判定手段と、を備え、
   前記通信機器検査装置は更に、
   SIPメッセージを構造化して得られる要素単位で定められる項目であって、前記第１のログと前記第２のログとの比較において比較の対象とする項目と、比較の対象としない項目である比較除外項目とを格納する比較制御情報格納手段と、
   前記第１のログと前記第２のログを前記ログ格納手段から読み出し、当該ログ格納手段から読み出したログである各SIPメッセージを構造化し、構造化により得られた要素と要素名とを対応付けて記憶手段に保存し、前記比較制御情報格納手段に格納された比較除外項目以外の各項目について、前記第１のログと前記第２のログ間で、前記記憶手段に保存された同じ要素名の要素同士での比較を行うログ比較手段と、
   前記ログ比較手段により得られた比較結果に基づき、前記第１のログと前記第２のログ間での相違項目を含む表示情報を作成し、当該表示情報を、比較対象項目である対応する要素毎に表示する出力処理手段と、を備え、
   前記ログ比較手段は、
   前記第１のログ及び前記第２のログ間でのSIPメッセージシーケンスの比較を行う手段と、
   前記第１のログ及び前記第２のログ間での前記判定結果の比較を行う手段と、
   前記第１のログ及び前記第２のログ間でのSIPメッセージの内容の比較を行う手段と、を備え、
   前記出力処理手段は、前記第１のログと前記第２のログ間で両方の要素が同一の箇所、前記第１のログと前記第２のログのうちいずれか一方のログにのみ要素が存在する箇所、前記第１のログと前記第２のログ間で両方に存在する要素であって当該要素の内容が異なる箇所、及び、前記判定結果がNGである箇所を区別して表示する
   ことを特徴とする通信機器検査装置。
3. コンピュータを、請求項２に記載の通信機器検査装置の各手段として機能させるためのプログラム。
4. 請求項３に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images