JP6241225B2 - Test system and test method - Google Patents
Test system and test methodInfo
- Publication number
- JP6241225B2 JP6241225B2 JP2013244010A JP2013244010A JP6241225B2 JP 6241225 B2 JP6241225 B2 JP 6241225B2 JP 2013244010 A JP2013244010 A JP 2013244010A JP 2013244010 A JP2013244010 A JP 2013244010A JP 6241225 B2 JP6241225 B2 JP 6241225B2
- Authority
- JP
- Japan
- Prior art keywords
- terminal
- terminals
- request signal
- server
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Test And Diagnosis Of Digital Computers (AREA)
- Computer And Data Communications (AREA)
Description
本発明は、試験システム及び試験方法に関する。 The present invention relates to a test system and a test method.
サーバクライアント構成からなるシステムにおいて，複数のクライアント端末から受信した複数の処理を行うサーバは，異なるクライアント端末から同時に要求を受信した場合においても正常に処理を行う必要がある。そのため，このようなサーバクライアント構成からなるシステムの動作の正常性を保証するために，複数の要求を同時に受信した場合の動作についても十分な検証を行うことが求められる。 In a system having a server client configuration, a server that performs a plurality of processes received from a plurality of client terminals needs to perform processing normally even when requests are received from different client terminals at the same time. Therefore, in order to guarantee the normal operation of the system having such a server client configuration, it is required to sufficiently verify the operation when a plurality of requests are received simultaneously.
サーバクライアント構成からなるシステムの正常性の検証において，例えば，サーバに対して要求の送信が可能であるクライアント端末を多数台準備することで，サーバに対する要求の発生頻度を上げることが可能である。これにより，サーバが複数の要求を同時に受信する状況を発生させることが可能になる。そのため，評価部門等においてサーバクライアント構成からなるシステムの正常性の検証を行う場合においては，サーバに対するクライアント端末を可能な限り多く設置した形で検証が行われている。 In verifying the normality of a system having a server client configuration, for example, by preparing a large number of client terminals that can send requests to the server, it is possible to increase the frequency of requests to the server. This makes it possible to generate a situation where the server receives a plurality of requests simultaneously. For this reason, when verifying the normality of a system having a server client configuration in an evaluation department or the like, the verification is performed with as many client terminals as possible installed on the server.
しかしながら，クライアント端末の台数を増やすことによって要求の同時受信の頻度を上げることは可能であるが，正常性の検証が十分に可能な環境にするためにクライアント端末をどの程度用意する必要があるのかは，検証前の段階においては完全に予測することができない。また，検証を行うために十分であると考えられる数のクライアント端末を準備するためには，膨大な費用を要することになる。さらに，多くのクライアント端末を用意したとしても，それぞれの要求が同時にサーバに到達するようにクライアント端末側で制御を行うことは困難である。 However, although it is possible to increase the frequency of simultaneous reception of requests by increasing the number of client terminals, how many client terminals need to be prepared to create an environment where normality can be sufficiently verified Cannot be fully predicted at the stage prior to verification. Moreover, enormous costs are required to prepare a number of client terminals that are considered sufficient for verification. Furthermore, even if many client terminals are prepared, it is difficult to perform control on the client terminal side so that each request reaches the server at the same time.
一方，少ない台数（例えば２台）のクライアント端末であってもサーバに対する要求を同時に行うことによって，要求の同時受信を実現することが考えられる。しかし，サーバとクライアント端末間の物理的な伝送路が長いＷＡＮやＬＡＮから構成されるシステムの場合は，その伝送路内に様々な遅延要因が存在する。そのため，クライアント端末側でサーバに対する要求を同時に送信しても，伝送路において異なる遅延が発生するため，サーバ側に要求が同時に到着するようにクライアント端末側で制御を行うことは困難である。 On the other hand, it is conceivable that even a small number of client terminals (for example, two) can realize simultaneous reception of requests by simultaneously making requests to the server. However, in the case of a system composed of a WAN or LAN having a long physical transmission path between the server and the client terminal, various delay factors exist in the transmission path. For this reason, even if requests for the server are transmitted simultaneously on the client terminal side, different delays occur in the transmission path, so it is difficult to control the client terminal side so that the requests arrive at the server side simultaneously.
そこで、一つの実施の形態の目的は、サーバクライアント構成のシステムにおける要求の同時受信処理の検証を，少ない端末台数で行う試験システム及び試験方法を提供することにある。 Accordingly, an object of one embodiment is to provide a test system and a test method for performing verification of simultaneous request reception processing in a server client system with a small number of terminals.
実施の形態の一つの側面によれば，試験処理を実行するサーバと，前記サーバと通信ネットワークを介して接続する第１及び第２の端末と，
前記第１及び第２の端末の近傍に接続された指示装置と，
前記サーバの近傍に設けられ，前記通信ネットワークを介して前記第１及び第２の端末に接続する計測装置と，を有する試験システムにおいて，
前記指示装置は，前記第１及び第２の端末に計測用信号の送信を要求する第１要求信号を送信する処理部を有し，
前記第１及び第２の端末は，前記第１要求信号に応答して前記計測装置に前記計測用信号を送信する処理部を有し，
前記計測装置は，前記第１及び第２の端末から送信された前記計測用信号の到達の時間差を計測し，前記時間差を前記第１及び第２の端末とに送信する処理部を有し，
前記指示装置は，さらに，前記第１及び第２の端末に，前記サーバに試験処理を要求するための処理要求信号の送信を要求する第２要求信号を送信する処理部を有し，
前記第１及び第２の端末は，さらに，前記第２要求信号に応答して前記サーバに前記処理要求信号を送信する送信部とを有し，
前記第１または第２の端末のうち前記計測装置への前記計測用信号の到達が早い方の端末の前記送信部は，前記第２要求信号の受信から前記時間差の後に，前記処理要求信号を送信する。
According to one aspect of the embodiment, a server for executing a test process, first and second terminals connected to the server via a communication network,
An indicating device connected in the vicinity of the first and second terminals;
In a test system having a measuring device provided in the vicinity of the server and connected to the first and second terminals via the communication network,
The pointing device includes a processing unit that transmits a first request signal for requesting the first and second terminals to transmit a measurement signal,
The first and second terminals have a processing unit that transmits the measurement signal to the measurement device in response to the first request signal,
The measuring device includes a processing unit that measures a time difference of arrival of the measurement signals transmitted from the first and second terminals and transmits the time difference to the first and second terminals,
The pointing device further includes a processing unit that transmits a second request signal that requests the first and second terminals to transmit a processing request signal for requesting the server to perform a test process,
The first and second terminals further include a transmission unit that transmits the processing request signal to the server in response to the second request signal,
The transmission unit of the terminal having the earlier arrival of the measurement signal to the measurement device of the first or second terminal transmits the processing request signal after the time difference from the reception of the second request signal. Send.
サーバクライアント構成のシステムにおける要求の同時受信処理の検証を，少ない端末台数で行うことができる。 Verification of simultaneous request reception processing in a server-client system can be performed with a small number of terminals.
［試験システムの構成］
図１は，本実施の形態における試験システムの全体構成を示す図である。図１に示すように，データセンタ９内に試験対象サーバ５（またはサーバ５と呼ぶ）が設けられており，この試験対象サーバ５の近傍に遅延計測装置３（または計測装置３と呼ぶ）が設けられている。そして，遅延計測装置３及び試験対象サーバ５は，ハブ６，ルータ７，８及び通信ネットワークを介して，データセンタ９の外部に設けられている端末１，２（以下，それぞれ第１の端末１，第２の端末２とする）や開始指示装置４（または指示装置４と呼ぶ）と通信接続が可能になっている。すなわち，第１の端末１，第２の端末２及び開始指示装置４は，通信ネットワークを介して遅延計測装置３及び試験対象サーバ５と接続可能である。なお，図１において，第１の端末１，第２の端末２及び開始指示装置４から試験対象サーバ５に接続する場合には，遅延計測装置３を介して接続されるようになっているが，例えば，ルータ８と試験対象サーバ５とが直接通信接続されている構成であってもよい。また，第１の端末１，第２の端末２及び開始指示装置４は，互いに近傍（例えば、同一の建屋１０内）に配置されているものを想定しており，さらに，図１の例における遅延計測装置３とハブ６の間に，ルータ７，８以外のルータやスイッチ等がある構成であってもよい。
[Configuration of test system]
FIG. 1 is a diagram showing an overall configuration of a test system in the present embodiment. As shown in FIG. 1, a test target server 5 (or a server 5) is provided in the data center 9, and a delay measuring device 3 (or a measuring device 3) is provided in the vicinity of the
図２は，端末，遅延計測装置及び開始指示装置のハードウエア構成を示す図である。図２に示すように，第１の端末１，第２の端末２及び開始指示装置４は，遅延計測装置３及び試験対象サーバ５と通信ネットワークを介して接続可能である。なお，図２において，ハブ６，ルータ７及びルータ８は省略している。
FIG. 2 is a diagram illustrating a hardware configuration of the terminal, the delay measurement device, and the start instruction device. As shown in FIG. 2, the
第１の端末１及び第２の端末２は，プロセッサであるＣＰＵと，メモリと，外部インターフェース（Ｉ／Ｏユニット）と，図３において説明するソフトウエア１１０，１２０をそれぞれ格納する記憶媒体とを有し，それらがＢＵＳを介して接続されている。記憶媒体は，例えば，ソフトウエア１１０，１２０を読み出し可能なＨＤＤである。
The
また，遅延計測装置３及び開始指示装置４も，第１の端末１や第２の端末２と同様に，プロセッサであるＣＰＵと，メモリと，外部インターフェースＩＦと，図４及び図５において説明するソフトウエア等を格納する記憶媒体とを有し，それらがＢＵＳを介して接続されている。
Similarly to the
図３は，第１の端末及び第２の端末が有する機能の一例を示す図である。第１の端末１及び第２の端末２は，開始指示装置４から受信した第１の送信要求信号（または第１要求信号と呼ぶ）に応答して，第１の端末１及び第２の端末２から遅延計測装置３に送信された信号の到達時間差を計測するための計測用信号を送信する。さらに，第１の端末１及び第２の端末２は，開始指示装置４から受信した第２の送信要求信号（または第２要求信号と呼ぶ）に応答して，試験対象サーバ５に対して処理を要求する処理要求信号を送信する。この第１の端末１及び第２の端末２は，図示しないＣＰＵなどのハードウエアに加えて，ソフトウエア１１０，１２０をそれぞれ有する。
FIG. 3 is a diagram illustrating an example of functions of the first terminal and the second terminal. The
第１の端末１内のソフトウエア１１０は，例えば，第１の端末１が起動していること（または，試験対象サーバ５に対して処理要求信号を送信することが可能であること）を示す存在通知（または通知と呼ぶ）を，開始指示装置４に対して送信する存在通知送信部１１１を有する。また，第１の端末１内のソフトウエア１１０は，計測用信号の送信を要求する第１の送信要求信号を，開始指示装置４から受信する第１の要求受信部１１２と，第１の送信要求信号に応答して遅延計測装置３に対して計測用信号を送信する計測用信号送信部１１３（または処理部１１３と呼ぶ）と，遅延計測装置３から送信された到達時間差を受信する到達時間差受信部１１４とを有する。さらに，第１の端末１内のソフトウエア１１０は，試験対象サーバ５に対して処理を要求するための処理要求信号の送信を要求する第２の送信要求信号を，遅延計測装置３から受信する第２の要求受信部１１５と，第２の送信要求信号に応答して処理要求信号を送信する処理要求送信部１１６（または送信部１１６と呼ぶ）とを有する。なお，この処理要求送信部１１６は，その処理要求送信部１１６が第１の端末１または第２の端末２のうち遅延計測装置３への計測用信号の到達が遅い方の端末の処理要求送信部１１６である場合に，第２の送信要求信号の受信から到達時間差後に処理要求信号を送信する機能を有している。
The
第２の端末２内のソフトウエア２１０は，第１の端末１のソフトウエア１１０と同様に，例えば，存在通知送信部２１１と，第１の要求受信部２１２と，計測用信号送信部２１３（または処理部２１３と呼ぶ）と，到達時間差受信部２１４と，第２の要求受信部２１５と，処理要求送信部２１６（または送信部２１６と呼ぶ）とを有する。それぞれの機能は，存在通知送信部１１１と，第１の要求受信部１１２と，計測用信号送信部１１３と，到達時間差受信部１１４と，第２の要求受信部１１５と，処理要求送信部１１６とそれぞれ同じであるため，説明を省略する。
Similar to the
図４は，遅延計測装置が有する機能の一例を示す図である。遅延計測装置３は，第１の端末１及び第２の端末２から送信された計測用信号の到達時間差を計測するものである。この遅延計測装置３は，図示しないＣＰＵなどのハードウエアに加えて，ソフトウエア３１０とテーブル３２０とを有する。
FIG. 4 is a diagram illustrating an example of a function of the delay measurement device. The
遅延計測装置３内のソフトウエア３１０は，例えば，第１の端末１及び第２の端末２から送信された計測用信号を受信する計測用信号受信部３１１と，受信した計測用信号に応答し，受信した計測用信号の到達時間に基づいて到達時間差を算出する到達時間差算出部３１２と，算出した到達時間差を第１の端末１，第２の端末２及び開始指示装置４（またはその一部）に送信する到達時間差送信部３１３（または処理部３１３と呼ぶ）と，第１の端末１及び第２の端末２に対して到達時間差を送信した後に，開始指示装置４に対して第２の送信要求信号の送信を指示する処理要求開始指示部３１４とを有する。
The
遅延計測装置３内のテーブル３２０は，例えば，第１の端末１及び第２の端末２から受信した計測用信号の受信時刻と，計測用信号の送信元端末の情報とを管理する計測用信号受信管理テーブル３２１を有する。
The table 320 in the
図５は，開始指示装置が有する機能の一例を示す図である。開始指示装置４は，第１の端末１及び第２の端末２に対して，計測用信号の送信を要求するための第１の送信要求信号及び処理要求信号の送信を要求するための第２の送信要求信号を送信するものである。
FIG. 5 is a diagram illustrating an example of functions of the start instruction device. The
開始指示装置４内のソフトウエア４１０は，第１の端末１及び第２の端末２が起動していることを示す存在通知を受信し，さらに，例えば所定の時間内に存在通知を受信していない端末に対して起動状態の確認を行う存在通知受信部４１１と，第１の端末１及び第２の端末２に対して第１の送信要求信号を送信する第１の要求送信部４１２（または処理部４１２と呼ぶ）と，遅延計測装置３から送信された到達時間差を受信する到達時間差受信部４１３と，第１の端末１及び第２の端末２に対して第２の送信要求信号を送信する第２の要求送信部４１４（または処理部４１４と呼ぶ）とを有する。
The
［試験対象サーバに対する処理要求］
図６は，端末と試験対象サーバの関係を説明する図である。具体的に，第１の端末１及び第２の端末２から試験対象サーバ５に対して，それぞれ処理要求信号を同時に送信した場合の図である。また，図６において，横軸は時間軸である。
[Processing request to server under test]
FIG. 6 is a diagram illustrating the relationship between the terminal and the test target server. Specifically, it is a diagram in the case where processing request signals are simultaneously transmitted from the
第１の端末１及び第２の端末２から試験対象サーバ５までのそれぞれの伝送路は，物理的な伝送路が長いＬＡＮやＷＡＮから構成される場合がある。この場合，それぞれの伝送路には，経路の距離の差，伝送路の種類の差，伝送路帯域の差等の遅延要因が多く存在する。そのため，第１の端末１及び第２の端末２から試験対象サーバ５に対して信号を同時に送信しても，試験対象サーバ５への到達タイミングがばらついてしまい，試験対象サーバ５が処理要求信号を同時に受信して試験処理を実行した場合の検証を行うことが困難であった。
Each transmission path from the
図７は，端末と試験対象サーバの関係を説明する図である。具体的に，第１の端末１及び第２の端末２から送信した処理要求信号が，試験対象サーバ５に同時に到達するように，第１の端末１及び第２の端末２における送信タイミングを予め調整して送信した場合の図である。図６においては，第１の端末１及び第２の端末２から試験対象サーバ５に対して同時に処理要求信号を送信していた。これに対し，図７に示すように，第１の端末１及び第２の端末２から送信される処理要求信号の送信タイミングを調整（一方の端末からの処理要求信号の送信タイミングを他方の端末からの処理要求の送信タイミングよりも遅らせる）することによって，第１の端末１及び第２の端末２から送信された処理要求信号が，試験対象サーバ５に同時に到達させる確率を向上させる。
FIG. 7 is a diagram illustrating the relationship between the terminal and the test target server. Specifically, the transmission timings in the
ここで，第１の端末１から試験対象サーバ５への処理要求信号の信号到達時間と，第２の端末２から試験対象サーバ５への処理要求信号の信号到達時間との到達時間差を正確に算出し，第１の端末１からの送信時間と第２の端末２からの送信時間の差がこの到達時間差になるように，第１の端末１及び第２の端末２の送信タイミングを調整することが考えられる。しかし，第１の端末１及び第２の端末２が有している時計は別々のものであるため，到達時間差に基づいて処理要求信号の送信を行っても，このそれぞれが有している時計の時間のズレによって，処理要求信号が試験対象サーバ５に同時に到達する確率は高くはならない。
Here, the arrival time difference between the signal arrival time of the processing request signal from the
そこで，本実施の形態では，第１の端末１及び第２の端末２からの計測用信号の送信を，開始指示装置４から送信される送信要求信号に応答して送信して行うことにより到達時間差を計測する。また，第１の端末１及び第２の端末２からの処理要求信号の送信を，開始指示装置４から送信される送信要求信号に応答して送信することによって，第１の端末１及び第２の端末２から送信された処理要求信号が，試験対象サーバ５に同時に到達するように制御する。
Therefore, in the present embodiment, the transmission of the measurement signal from the
［第１の実施の形態］
最初に第１の実施の形態について説明する。図８は，第１の実施の形態における同時処理発生処理を説明するフローチャート図である。また，図９は，第１の実施の形態における同時処理発生処理を説明するシーケンスチャートである。さらに，図１０から図１４は，同時処理発生処理を説明する図である。図１０から図１４を参照しながら，図８の同時処理発生処理を説明するフローチャート図及び図９の同時処理発生処理を説明するシーケンスチャートについて説明する。なお，同時処理発生処理は，試験対象サーバ５に複数の要求を同時に到達させる処理のことである。また，図１０から図１４において，ルータ７，８及び通信ネットワークの記載を省略している。
[First Embodiment]
First, the first embodiment will be described. FIG. 8 is a flowchart for explaining the simultaneous processing generation processing in the first embodiment. FIG. 9 is a sequence chart for explaining the simultaneous processing generation processing in the first embodiment. Further, FIGS. 10 to 14 are diagrams for explaining the simultaneous processing generation processing. With reference to FIG. 10 to FIG. 14, a flowchart for explaining the simultaneous processing generation processing in FIG. 8 and a sequence chart for explaining the simultaneous processing generation processing in FIG. 9 will be described. The simultaneous process generation process is a process for causing the
［図８，図９のＳ１］
初めに，開始指示装置４の第１の要求送信部４１２は，第１の端末１及び第２の端末２に対して，到達時間差ＤＴを計測するための計測用信号の送信を要求する第１の送信要求信号を送信する（Ｓ１または第１処理工程）。なお，図９における存在通知（Ｓ１１）については，図１５において説明を行う。
[S1 in FIGS. 8 and 9]
First, the first
ここで，計測用信号は，時刻記録用のマーカーパケットであることが好ましい。マーカーパケットは，例えば，マーカーパケット識別用データが付与されたパケットであって，他のパケットと識別が可能であるパケットである。図２に示されるように，第１の端末１，第２の端末２及び開始指示装置４と，遅延計測装置３及び試験対象サーバ５間を接続する通信ネットワークは，必ずしも試験対象サーバ５の動作を検証するための専用線でない場合がある。すなわち，他の目的に係る外部からのパケット（以下，外乱パケットとする）が試験の内容とは非同期に，且つ大量に流れ込む通信ネットワークである可能性がある。そのため，試験に用いる信号（パケット）をマーカーパケットにすることにより，他の外乱パケットからこのマーカーパケットを識別することが可能になる。よって，このような通信ネットワークを用いる環境であっても試験を行うことが可能になる。
Here, the measurement signal is preferably a marker packet for time recording. The marker packet is, for example, a packet to which marker packet identification data is added and can be distinguished from other packets. As shown in FIG. 2, the communication network connecting the
図１０は，開始指示装置４が第１の端末１及び第２の端末２に対して，第１の送信要求信号を送信する際の状態を示している。ここで，開始指示装置４から第１の端末１までの伝送路及び開始指示装置４から第２の端末２までの伝送路は，個々の伝送路が有する遅延要因の違いによる影響（例えば，到達時間差を計測するたびに大幅に誤差が生じる等の影響）を小さくするために，可能な限り同じ機器及び同じ回線を経由することが好ましい。
FIG. 10 shows a state when the
具体的に，図１０の例においては，第１の端末１に到達する第１の送信要求信号は，開始指示装置４からハブ６を経由して第１の端末１に到達し，第２の端末２に到達する第１の送信要求信号は，開始指示装置４からハブ６を経由して第２の端末２に到達している。すなわち，第１の端末１に到達する第１の送信要求信号及び第２の端末２に到達する第１の送信要求信号は，開始指示装置４からハブ６までの経路については共有しているが，ハブ６から第１の端末１までの経路と，ハブ６から第２の端末２までの経路とが異なっている。そのため，ここでの遅延要因の違いによって，第１の端末１に対する第１の送信要求信号と，第２の端末２に対する第１の送信要求信号との信号送信時間に違いが生じる可能性がある。
Specifically, in the example of FIG. 10, the first transmission request signal reaching the
そこで，例えば，ハブ６から第１の端末１までの回線及びハブ６から第２の端末２までの回線を極力短くする等の調整を行うことにより，ハブ６から第１の端末１までの回線及びハブ６から第２の端末２までの回線が有する遅延要因の違いによる影響を小さくすることが可能になる。例えば，第１の端末１，第２の端末２，開始指示装置４及びハブ６を可能な限り近傍に配置することにより，各回線が有する遅延要因の違いによる影響を小さくすることが可能になる。なお，近傍とは，物理的にそれぞれの装置が設置されている位置が互いに近いことをいい，例えば，同じ建屋内に設置されていることをいう。または，互いに通信を行う際にルータを超えない範囲（同一ネットワーク内）にそれぞれの装置が位置していることをいう。
Therefore, for example, by adjusting the line from the
［図８，図９のＳ２］
次に，第１の端末１の計測用信号送信部１１３及び第２の端末２の計測用信号送信部２１３は，Ｓ１において開始指示装置４が送信した第１の送信要求信号の受信に応答して，遅延計測装置３に対して計測用信号を送信する（Ｓ２または第２処理工程）。第１の端末１及び第２の端末２は，開始指示装置４から第１の送信要求信号を受信したとき，時間間隔を空けることなく遅延計測装置３に対して計測用信号を送信する。
[S2 in FIGS. 8 and 9]
Next, the measurement
図１１は，第１の端末１及び第２の端末２が，遅延計測装置３に対して計測用信号をそれぞれ送信する際の状態を示している。遅延計測装置３は，第１の端末１から送信された計測用信号を受信した時刻Ｔ１と，第２の端末２から送信された計測用信号を受信した時刻Ｔ２とを計測することによって，遅延計測装置３が到達時間差ＤＴを算出することが可能である。なお，到達時間差ＤＴの詳細については，図８のＳ３において説明する。
FIG. 11 shows a state in which the
また，第１の端末１から遅延計測装置３までの伝送路及び第２の端末２から遅延計測装置３までの伝送路は，図１０の場合と同様に，可能な限り同じ機器及び同じ回線を経由することが好ましい。また，図１０の場合と同様に，第１の端末１からハブ６までの回線及び第２の端末２からハブ６までの回線を極力短くする等の調整を行うことが好ましい。
Also, the transmission line from the
ここで，第１の端末１及び第２の端末２は，開始指示装置４から送信された第１の送信要求信号に応答して計測用信号を送信しているため，第１の送信要求信号及び計測用信号は連続している１つの信号と考えることができる。この連続した信号は，第１の端末１を経由する信号及び第２の端末２を経由する信号ともに，開始指示装置４から送信され，遅延計測装置３において受信される。すなわち，この２つの連続した信号は，同一の装置（開始指示装置４）から送信され，同一の装置（遅延計測装置３）によって受信されるものと考えることができる。
Here, since the
この点において，例えば，第１の端末１と第２の端末２が計測用信号を送信する送信時間を予め定めておき，その送信時間に従って第１の端末１及び第２の端末２がそれぞれ計測用信号を送信した場合，第１の端末１と第２の端末２が有している時計は別々のものであるため，正確に到達時間差を計測することができない。これに対して，本実施の形態においては，同一の開始指示装置４から送信された第１の送信要求信号に応答して第１の端末１及び第２の端末２が計測用信号を送信することにより，それぞれの連続した信号の送信タイミングと受信タイミングを同じ装置の時計で計測することができる。そのため，２つの連続した信号の到達時間差を正確に求めることが可能になる。
In this regard, for example, a transmission time during which the
［図８，図９のＳ３］
図８，図９に戻り，遅延計測装置３の到達時間差送信部３１３は，第１の端末１及び第２の端末２から受信した計測用信号に応答して到達時間差ＤＴを算出する。その後，算出した到達時間差ＤＴを第１の端末１及び第２の端末２に送信する（Ｓ３または第３処理工程）。遅延計測装置３は，第１の端末１及び第２の端末２から受信した計測用信号の情報を管理する計測用信号受信管理テーブル３２１を有している。計測用信号受信管理テーブル３２１は，具体的には，計測用信号を受信した時刻（以下，受信時刻），送信元の端末を識別するための情報（ＩＰアドレス，マシン名等）を有している。また，計測用信号受信管理テーブル３２１は，試験を複数回行う場合には，試験が終わるごとに計測用信号受信管理テーブル３２１の内容をクリアするものであってもよく，または実施した試験ごとにテーブルを分けて情報を管理するものであってもよい。また，遅延計測装置３が，各端末から計測用信号を受信したことに応答して，その計測用信号の情報を計測用信号受信管理テーブル３２１に書き込むものであってよい。なお，Ｓ３において，算出した到達時間差ＤＴを開始指示装置４にも送信することにより，第１の端末１及び第２の端末２に到達時間差ＤＴを送信したことを開始指示装置４に通知するものであってもよい。
[S3 in FIGS. 8 and 9]
8 and 9, the arrival time
遅延計測装置３は，第１の端末１及び第２の端末２から計測用信号を受信した後，計測用信号受信管理テーブル３２１の受信時刻を参照して，到達時間差ＤＴを算出する。すなわち，次の式（１）によって到達時間差ＤＴを算出することができる。
到達時間差ＤＴ＝絶対値（遅延計測装置３が第１の端末１から送信された計測用信号を受信した受信時刻Ｔ１−遅延計測装置３が第２の端末２から送信された計測用信号を受信した受信時刻Ｔ２） （１）
また，Ｓ１において，開始指示装置４が，第１の端末１に対する第１の送信要求信号及び第２の端末２に対する第１の送信要求信号を同時に送信しない場合においても，到達時間差ＤＴを算出することが可能である。すなわち，開始指示装置４が，第１の端末１及び第２の端末２にそれぞれ第１の送信要求信号を送信した時間Ｔ１１，Ｔ１２と，遅延計測装置３が，第１の端末１及び第２の端末２からそれぞれ送信された計測用信号を受信した時間Ｔ１，Ｔ２とに基づいて，遅延計測装置３が到達時間差ＤＴを算出することが可能である。この場合，遅延計測装置３は，到達時間差ＤＴの計算を行う際に，開始指示装置４が第１の端末１及び第２の端末２に対してそれぞれ第１の送信要求信号を送信した時刻（以下，送信時刻）を受信している必要がある。すなわち，次の式（２）によって到達時間差ＤＴを算出することができる。
到達時間差ＤＴ＝絶対値（（遅延計測装置３が第１の端末１から送信された計測用信号を受信した受信時刻Ｔ１−開始指示装置４が第１の端末１に第１の送信要求信号を送信した送信時刻Ｔ１１）−（遅延計測装置３が第２の端末２から送信された計測用信号を受信した受信時刻Ｔ２−開始指示装置４が第２の端末２に第１の送信要求信号を送信した送信時刻Ｔ１２）） （２）
なお，上記式（２）の場合においては，開始指示装置４は，第１の端末１及び第２の端末２に対して第１の送信要求信号を送信した時刻Ｔ１，Ｔ２の情報を，遅延計測装置３に対して送信する時刻情報送信部（図示しない）を有し，遅延計測装置３は，開始指示装置４が送信した第１の送信要求信号を受信する時刻Ｔ１，Ｔ２の時刻情報受信部（図示しない）を有している必要がある。また，開始指示装置４が，第１の端末１及び第２の端末２に対して第１の送信要求信号を送信する時間差の間における回線の遅延状況の変化等によって，到達時間差ＤＴを正確に計測できなくなる可能性が考えられる。そのため，開始指示装置４が，第１の端末１及び第２の端末２に第１の送信要求信号を同時に送信して，遅延計測装置３が，到達時間差ＤＴを計測することが好ましい。
After receiving the measurement signal from the
Arrival time difference DT = absolute value (delay
In S1, the
Arrival time difference DT = absolute value ((delay
In the case of the above formula (2), the
遅延計測装置３は，上記式（１）または式（２）によって到達時間差ＤＴを算出した後，到達時間差ＤＴを第１の端末１及び第２の端末２に送信する。ここで，遅延計測装置３は，第１の端末１または第２の端末２のうち遅延計測装置３への計測用信号の到達が早い端末には，上記式（１）または式（２）によって算出した到達時間差ＤＴを送信し，第１の端末１または第２の端末２のうち遅延計測装置３への計測用信号の到達が遅い方の端末には，到達時間差ＤＴとして「０」を送信する。すなわち，詳細については図１４で説明するが，試験対象サーバ５に対して第１の端末１及び第２の端末２が処理要求信号を送信する際に，計測用信号の到達が早い端末が到達時間差ＤＴだけ待機することによって，第１の端末１が送信した処理要求信号及び第２の端末２が送信した処理要求信号が，試験対象サーバ５に同時に到達するようにすることができる。一方，計測用信号の到達が遅い方の端末はこれ以上待機する必要がないため，計測用信号の到達が遅い方の端末に対しては到達時間差ＤＴとして「０」を送信する。
The
図１２は，遅延計測装置３が第１の端末１及び第２の端末２に対して，到達時間差ＤＴをそれぞれ送信する際の状態を示している。この到達時間差ＤＴは，開始指示装置４が第１の端末１及び第２の端末２に対して第２の送信要求信号を送信するまでの間に送信を行う。
FIG. 12 shows a state when the
［図８，図９のＳ４］
図８，図９に戻り，開始指示装置４の第２の要求送信部４１４は，第１の端末１及び第２の端末２に対して試験対象サーバ５に対して処理を要求するための処理要求信号の送信を要求する第２の送信要求信号を同時に送信する（Ｓ４または第４処理工程）。開始指示装置４は，Ｓ３において，第１の端末１及び第２の端末２に対して遅延計測装置３が到達時間差を送信した後に，第１の端末１及び第２の端末２に対して第２の送信要求信号を送信する。ここで，遅延計測装置３が第１の端末１及び第２の端末２に対して到達時間差を送信したことに応答して，遅延計測装置３の処理要求開始指示部３１４が開始指示装置４に対して第２の送信要求信号の送信を指示するものであってよい。また，遅延計測装置３が第１の端末１及び第２の端末２に対して到達時間差を送信するタイミングで，開始指示装置４に対しても到達時間差を送信し，開始指示装置４はこの到達時間差の受信に応答して第２の送信要求信号の送信を行うものであってもよい。さらに，任意のタイミングでの人手によるコマンド入力等によって行われるものであってもよい。
[S4 in FIGS. 8 and 9]
Returning to FIG. 8 and FIG. 9, the second
図１３は，開始指示装置４が第１の端末１及び第２の端末２に対して，第２の送信要求信号を送信する際の状態を示している。なお，詳細については図１４で説明するが，この第２の送信要求信号は，第１の端末１が送信した処理要求信号及び第２の端末２が送信した処理要求信号が試験対象サーバ５に同時に到達するように，第１の端末１及び第２の端末２に対して同時に送信する必要がある。
FIG. 13 shows a state when the
［図８，図９のＳ５〜Ｓ８］
図８，図９に戻り，第１の端末１が，第１の端末１または第２の端末２のうち遅延計測装置３への計測用信号の到達が遅い方の端末である場合（Ｓ５のＹＥＳ），第２の端末２は，第２の送信要求信号を受信してから到達時間差が経過するまで待機する（Ｓ６または送信工程）。この場合，第１の端末１は，到達時間差は「０」であるため待機はしない。
[S5 to S8 in FIGS. 8 and 9]
Returning to FIG. 8 and FIG. 9, when the
一方，第２の端末２が，第１の端末１または第２の端末２のうち遅延計測装置３への計測用信号の到達が遅い方の端末である場合（Ｓ５のＮＯ），第１の端末１は，第２の送信要求信号を受信してから到達時間差が経過するまで待機する（Ｓ８）。この場合においても，第２の端末２は，到達時間差は「０」であるため待機はしない。
On the other hand, when the
そして，計測用信号の到達が早い端末は，到達時間差が経過したときに試験対象サーバ５に対して処理要求信号を送信し，計測用信号の到達が遅い方の端末は，開始指示装置４から第２の送信要求信号を受信したときに時間間隔を空けずに試験対象サーバ５に対して処理要求信号を送信する（Ｓ７）。
Then, the terminal with the fast arrival of the measurement signal transmits a processing request signal to the
図１４は，第１の端末１及び第２の端末２が試験対象サーバ５に対して，処理要求信号を送信する際の状態を示している。処理要求信号は，試験対象サーバ５に対してある処理の実行を要求する信号である。なお，図１４の例においては，第１の端末１が計測用信号の到達が遅い方の端末である場合（第２の端末２が到達時間差だけ待機する場合）について説明する。
FIG. 14 shows a state when the
図１４の例において，開始指示装置４は，第１の端末１に対する第２の送信要求信号及び第２の端末２に対する第２の送信要求信号を同時に送信する（Ｓ４）。次に，第１の端末１は，開始指示装置４から送信された第２の送信要求信号を受信したときに，時間間隔を空けずに試験対象サーバ５に対して処理要求信号を送信する（Ｓ７）。一方，第２の端末２は，開始指示装置４から送信された第２の送信要求信号を受信した後，Ｓ３において受信した到達時間差が経過したときに，時間間隔を空けずに試験対象サーバ５に対して処理要求信号を送信する（Ｓ６，Ｓ７）。
In the example of FIG. 14, the
ここで，この到達時間差ＤＴは，第１の端末１が開始指示装置４から受信した第１の送信要求信号に応答して遅延計測装置３に送信した計測用信号を，遅延計測装置３が受信した受信時刻Ｔ１と，第２の端末２が開始指示装置４から受信した第１の送信要求信号に応答して遅延計測装置３に送信した計測用信号を，遅延計測装置３が受信した受信時刻Ｔ２との到達時間差である。すなわち，この到達時間差ＤＴは，同一の装置（開始指示装置４）から送信され，同一の装置（遅延計測装置３）によって受信される計測用信号によって算出されたものである。そのため，計測用信号の到達が遅い方の端末（図１４の例においては第２の端末２）が，第２の送信要求信号を受信したときに到達時間差ＤＴが経過するまで待機してから処理要求信号を送信することにより（Ｓ６，Ｓ７），第１の端末１から送信された処理要求信号及び第２の端末２から送信された処理要求信号を，試験対象サーバ５に同時に到達させる確率を向上させることができる。
Here, the arrival time difference DT is received by the
なお，遅延計測装置３は，計測用信号の到達が遅い方の端末に対しては到達時間差を送信せず，さらに，第１の端末１または第２の端末２は，遅延計測装置３から到達時間差を受信していない場合には，第２の送信要求信号を受信したときに時間間隔を空けずに試験対象サーバ５に対して処理要求信号を送信するものであってもよい。
Note that the
また，図８の同時処理発生処理（Ｓ１〜Ｓ８）を実行した結果，第１の端末１から送信された処理要求信号及び第２の端末２から送信された処理要求信号が，試験対象サーバ５に同時に到達しなかった場合（試験対象サーバ５に対して同時に処理要求を受信させることに失敗した場合），第１の端末１から送信された処理要求信号及び第２の端末２から送信された処理要求信号が試験対象サーバ５に同時に到達するまで，同時処理発生処理を繰り返し行うものであってもよい。または，第１の端末１から送信された処理要求信号及び第２の端末２から送信された処理要求信号が試験対象サーバ５に到達した時間の差が，試験対象サーバ５がこれらの処理要求信号を同時に受信したものと判断して処理を行う範囲内になるまで，同時処理発生処理を繰り返し行うものであってもよい。この結果，試験対象サーバ５は，第１の端末１及び第２の端末２からの処理要求信号を同時に受信したものとして処理を行う。これにより，試験対象サーバ５が同時に受信した処理要求信号を適切に処理できるか否かを検証することができる。
Further, as a result of executing the simultaneous processing generation processing (S1 to S8) of FIG. 8, the processing request signal transmitted from the
なお，遅延計測装置３が算出した到達時間差は，各端末が開始指示装置４から送信された第１の送信要求信号に応答して遅延計測装置３に対して送信した計測用信号に基づいて算出したものであるため，遅延計測装置３と試験対象サーバ５との間の伝送路については，到達時間差を算出する際においては考慮されていない。そのため，遅延計測装置３と試験対象サーバ５との間における遅延要因の発生を極力抑えるために，遅延計測装置３と試験対象サーバ５との間にはハブ等の機器を設けず，さらに，遅延計測装置３と試験対象サーバ５とは近傍に配置することが好ましい。なお，近傍とは，図１０で説明した内容と同様に，物理的にそれぞれの装置が設置されている位置が互いに近いことをいい，例えば，同じ建屋内に設置されていることをいう。または，互いに通信を行う際にルータを超えない範囲（同一ネットワーク内）にそれぞれの装置が位置していることをいう。
The arrival time difference calculated by the
［図９のＳ１１（存在通知）］
図１５は，第１の送信要求信号処理Ｓ１を説明するフローチャート図である。第１の送信要求信号処理Ｓ１において，開始指示装置４が第１の送信要求信号を送信する送信先である各端末が起動していない等の理由により，計測用信号または処理要求信号の送信ができない場合が考えられる。そのため，開始指示装置４が第１の端末１及び第２の端末２に対して第１の送信要求信号を送信する前に，各端末の正常起動確認を行うことが好ましい。以下，存在確認の処理内容について説明する。
[S11 in FIG. 9 (presence notification)]
FIG. 15 is a flowchart for explaining the first transmission request signal processing S1. In the first transmission request signal processing S1, the measurement signal or the processing request signal is transmitted because each terminal that is the transmission destination to which the
図９及び図１５に示すように，第１の端末１及び第２の端末２は，遅延計測装置３に対して存在通知の送信を行う（Ｓ１１）。この存在通知は，各端末から遅延計測装置３に対して所定の時間間隔ごとに送信するものが好ましい。また，この存在通知は，第１の送信要求信号と同様に，存在通知用のマーカーパケットを用いることにより，他のパケットとの識別を可能にする。開始指示装置４は，例えば所定の時間間隔ごとに全端末から存在通知を受信しているかの確認を行い，第１の送信要求信号を送信する予定の端末の中で，存在通知を受信していない端末がある場合には（Ｓ１２のＮＯ），その端末の起動状態を確認する（Ｓ１４）。この起動状態の確認は，例えば，起動状況を確認する端末に対してＰＩＮＧを送信する等によって行うものであってよい。一方，第１の送信要求信号を送信する予定の全端末から存在通知を受信した場合には（Ｓ１２のＹＥＳ），開始指示装置４が第１の端末１及び第２の端末２に対して第１の送信要求信号の送信を行う（Ｓ１３）。なお，この第１の送信要求信号の送信は，第１の送信要求信号を送信する予定の全端末から存在通知を受信したときに行ってもよいし，全端末からの存在通知の受信を確認した後に，人手によるコマンド入力等によって行われるものであってもよい。
As shown in FIGS. 9 and 15, the
［第２の実施の形態］
次に第２の実施の形態について説明する。図１６は，第２の実施の形態における同時処理発生処理を説明するフローチャート図である。また，図１７は，第２の実施の形態における同時処理発生処理を説明するシーケンスチャートである。さらに，図１８から図２０は，同時処理発生処理を説明する図である。図１８から図２０を参照しながら，図１６の同時処理発生処理を説明するフローチャート図及び図１７の同時処理発生処理を説明するシーケンスチャートについて説明する。なお，図１８から図２０において，ルータ７，８及び通信ネットワークの記載を省略している。
[Second Embodiment]
Next, a second embodiment will be described. FIG. 16 is a flowchart for explaining the simultaneous processing generation processing in the second embodiment. FIG. 17 is a sequence chart for explaining the simultaneous processing generation processing in the second embodiment. Further, FIGS. 18 to 20 are diagrams for explaining the simultaneous processing generation processing. With reference to FIG. 18 to FIG. 20, a flowchart for explaining the simultaneous processing generation processing of FIG. 16 and a sequence chart for explaining the simultaneous processing generation processing of FIG. In FIGS. 18 to 20, the
第１の実施の形態は，図８において説明したように，一方の端末において到達時間差ＤＴが経過するまで処理要求信号の送信を待機させることによって，試験対象サーバ５に処理要求信号が同時に到達するように制御を行った。これに対して，第２の実施の形態は，開始指示装置４が，計測用信号の到達が遅い方の端末に対して第２の送信要求信号を送信した後，到達時間差ＤＴが経過するまで待機してから計測用信号の到達が早い端末に対して第２の送信要求信号を送信する。これにより，試験対象サーバ５に処理要求が同時に到達するように制御を行う。
In the first embodiment, as described with reference to FIG. 8, the processing request signal reaches the
［図１６，図１７のＳ１０１，Ｓ１０２］
初めに，開始指示装置４の第１の要求送信部４１２は，第１の端末１及び第２の端末２に対して，到達時間差を計測するための計測用信号の送信を要求する第１の送信要求信号を送信する（Ｓ１０１）。次に，第１の端末１の計測用信号送信部１１３及び第２の端末２の計測用信号送信部２１３は，Ｓ１０１において開始指示装置４が送信した第１の送信要求信号の受信に応答して，遅延計測装置３に対して計測用信号を送信する（Ｓ１０２）。このＳ１０１及びＳ１０２は，第１の実施の形態におけるＳ１及びＳ２と同じである。また，図１５で説明したように，第１の送信要求信号を送信する前に，各端末から存在通知を受信し各端末の起動状態を確認するものであってよい（Ｓ１１）。
[S101 and S102 in FIGS. 16 and 17]
First, the first
［図１６，図１７のＳ１０３］
次に，遅延計測装置３の到達時間差送信部３１３は，第１の端末１及び第２の端末２から受信した計測用信号に応答して到達時間差ＤＴを算出する。その後，算出した到達時間差ＤＴを開始指示装置４に送信する（Ｓ１０３）。
[S103 in FIGS. 16 and 17]
Next, the arrival time
図１８は，遅延計測装置３が開始指示装置４に対して到達時間差ＤＴを送信する際の状態を示している。第２の実施の形態においては，開始指示装置４が，計測用信号の到達が遅い方の端末に対して第２の送信要求信号を送信した後，到達時間差が経過するまで待機してから計測用信号の到達が早い端末に対して第２の送信要求信号を送信する。そして，第１の端末１及び第２の端末２は，開始指示装置４から第２の送信要求信号を受信した際に，これに応答して（待機することなく）試験対象サーバ５に対して処理要求信号を送信する。よって，第２の実施の形態では，Ｓ１０３において，必ずしも第１の端末１及び第２の端末２に対して到達時間差を送信する必要はない。
FIG. 18 shows a state when the
［図１６，図１７のＳ１０４〜Ｓ１０９］
図１６，図１７に戻り，第１の端末１が，第１の端末１または第２の端末２のうち遅延計測装置３への計測用信号の到達が遅い端末である場合（Ｓ１０４のＹＥＳ），開始指示装置４は，計測用信号の到達が遅い方の端末である第１の端末１に処理要求信号の送信を要求する第２の送信要求信号を送信する（Ｓ１０５）。そして，第１の端末１に第２の送信要求信号を送信してから到達時間差ＤＴだけ遅らせてから（到達時間差ＤＴが経過するまで待機した後），第２の端末２に第２の送信要求信号を送信する（Ｓ１０６）。
[S104 to S109 in FIGS. 16 and 17]
Returning to FIGS. 16 and 17, when the
一方，第２の端末２が，第１の端末１または第２の端末２のうち遅延計測装置３への計測用信号の到達が遅い方の端末である場合（Ｓ１０４のＮＯ），開始指示装置４は，計測用信号の到達が遅い方の端末である第２の端末２に処理要求信号の送信を要求する第２の送信要求信号を送信する（Ｓ１０８）。そして，第２の端末２に第２の送信要求信号を送信してから到達時間差ＤＴだけ遅らせてから（到達時間差ＤＴが経過するまで待機した後），第１の端末１に第２の送信要求信号を送信する（Ｓ１０９）。
On the other hand, when the
図１９は，開始指示装置４が第１の端末１及び第２の端末２に対して，第２の送信要求信号を送信する際の状態を示している。図１９の例においては，第１の端末１が計測用信号の到達が遅い方の端末である場合（第２の端末２への送信要求信号の送信を到達時間差ＤＴだけ待機する場合）について説明する。開始指示装置４から計測用信号の到達が遅い方の端末に対する第２の送信要求信号の送信は，開始指示装置４が遅延計測装置３から受信した到達時間差に応答して行うものであってもよいし，任意のタイミングにおける人手によるコマンド入力等によって行われるものであってもよい。
FIG. 19 shows a state when the
図１６，図１７に戻り，第１の端末１及び第２の端末２は試験対象サーバ５に対して処理要求信号を送信する（Ｓ１０７）。図１６における処理要求信号は，図１４で説明した処理要求信号を同じである。
Returning to FIG. 16 and FIG. 17, the
図２０は，第１の端末１及び第２の端末２が試験対象サーバ５に対して，処理要求信号を送信する際の状態を表している。第２の実施の形態において，第１の端末１及び第２の端末２は，開始指示装置４から受信した第２の送信要求信号を受信したとき，時間間隔を空けずに（処理要求信号の送信を待機することなく）試験対象サーバ５に対して処理要求信号の送信を行う。
FIG. 20 illustrates a state when the
第２の実施の形態では，開始指示装置４が，計測用信号の到達が早い端末に対して第２の送信要求信号を送信した後，到達時間差が経過するまで待機してから計測用信号の到達が早い端末に対して第２の送信要求信号を送信することにより，第１の端末１から送信された処理要求信号及び第２の端末２から送信された処理要求信号を，試験対象サーバ５に同時に到達させる確率を向上させることができる。また，第２の実施の形態では，開始指示装置４のみが到達時間差が経過するまで待機するため，試験システム全体として運用が簡易になり，さらに信頼性を向上させることが可能になる。
In the second embodiment, after the
以上に実施の形態をまとめると，以下の付記のとおりである。 The embodiment is summarized as follows.
（付記１）
試験処理を実行するサーバと，前記サーバと通信ネットワークを介して接続する第１及び第２の端末と，
前記第１及び第２の端末の近傍に接続された指示装置と，
前記サーバの近傍に設けられ，前記通信ネットワークを介して前記第１及び第２の端末に接続する計測装置と，を有する試験システムにおいて，
前記指示装置は，前記第１及び第２の端末に計測用信号の送信を要求する第１要求信号を送信する処理部を有し，
前記第１及び第２の端末は，前記第１要求信号に応答して前記計測装置に前記計測用信号を送信する処理部を有し，
前記計測装置は，前記第１及び第２の端末から送信された前記計測用信号の到達の時間差を計測し，前記時間差を前記第１及び第２の端末とに送信する処理部を有し，
前記指示装置は，さらに，前記第１及び第２の端末に，前記サーバに試験処理を要求するための処理要求信号の送信を要求する第２要求信号を送信する処理部を有し，
前記第１及び第２の端末は，さらに，前記第２要求信号に応答して前記サーバに前記処理要求信号を送信する送信部とを有し，
前記第１または第２の端末のうち前記計測装置への前記計測用信号の到達が早い方の端末の前記送信部は，前記第２要求信号の受信から前記時間差の後に，前記処理要求信号を送信する，
試験システム。
(Appendix 1)
A server for executing a test process, first and second terminals connected to the server via a communication network,
An indicating device connected in the vicinity of the first and second terminals;
In a test system having a measuring device provided in the vicinity of the server and connected to the first and second terminals via the communication network,
The pointing device includes a processing unit that transmits a first request signal for requesting the first and second terminals to transmit a measurement signal,
The first and second terminals have a processing unit that transmits the measurement signal to the measurement device in response to the first request signal,
The measuring device includes a processing unit that measures a time difference of arrival of the measurement signals transmitted from the first and second terminals and transmits the time difference to the first and second terminals,
The pointing device further includes a processing unit that transmits a second request signal that requests the first and second terminals to transmit a processing request signal for requesting the server to perform a test process,
The first and second terminals further include a transmission unit that transmits the processing request signal to the server in response to the second request signal,
The transmission unit of the terminal having the earlier arrival of the measurement signal to the measurement device of the first or second terminal transmits the processing request signal after the time difference from the reception of the second request signal. Send,
Test system.
（付記２）
試験処理を実行するサーバと，前記サーバと通信ネットワークを介して接続する第１及び第２の端末と，
前記第１及び第２の端末の近傍に接続された指示装置と，
前記サーバの近傍に設けられ，前記通信ネットワークを介して前記第１及び第２の端末に接続する計測装置と，を有する試験システムにおいて，
前記指示装置は，前記第１及び第２の端末に計測用信号の送信を要求する第１要求信号を送信する処理部を有し，
前記第１及び第２の端末は，前記第１要求信号に応答して前記計測装置に前記計測用信号を送信する処理部を有し，
前記計測装置は，前記第１及び第２の端末から送信された前記計測用信号の到達の時間差を計測し，前記時間差を前記第１及び第２の端末とに送信する処理部を有し，
前記指示装置は，さらに，前記第１及び第２の端末に，前記サーバに試験処理を要求するための処理要求信号の送信を要求する第２要求信号を，前記第１または第２の端末のうち前記計測装置への前記計測用信号の到達が早い方の端末には前記時間差だけ遅れて送信する処理部を有し，
前記第１及び第２の端末は，さらに，前記第２要求信号に応答して前記サーバに前記処理要求信号を送信する処理部を有する，
試験システム。
(Appendix 2)
A server for executing a test process, first and second terminals connected to the server via a communication network,
An indicating device connected in the vicinity of the first and second terminals;
In a test system having a measuring device provided in the vicinity of the server and connected to the first and second terminals via the communication network,
The pointing device includes a processing unit that transmits a first request signal for requesting the first and second terminals to transmit a measurement signal,
The first and second terminals have a processing unit that transmits the measurement signal to the measurement device in response to the first request signal,
The measuring device includes a processing unit that measures a time difference of arrival of the measurement signals transmitted from the first and second terminals and transmits the time difference to the first and second terminals,
The instructing device further sends a second request signal for requesting the first and second terminals to transmit a processing request signal for requesting the server to perform a test process, on the first or second terminal. Among them, the terminal having the earlier arrival of the measurement signal to the measurement device has a processing unit that transmits the signal with a delay of the time difference,
The first and second terminals further include a processing unit that transmits the processing request signal to the server in response to the second request signal.
Test system.
（付記３）
付記１または付記２において，
前記指示装置は，前記第１要求信号の送信を，前記第１及び前記第２の端末に同時に行う試験システム。
(Appendix 3)
In
The test system, wherein the instruction device simultaneously transmits the first request signal to the first and second terminals.
（付記４）
付記１または付記２において，
前記指示装置は，前記計測用信号の送信を，前記サーバに対する信号の送信が可能であることを示す通知を送信した端末に行う試験システム。
(Appendix 4)
In
The test system, wherein the instruction device transmits the measurement signal to a terminal that has transmitted a notification indicating that a signal can be transmitted to the server.
（付記５）
付記１または付記２において，
前記計測装置は，前記サーバと同一ネットワーク内に配置される試験システム。
(Appendix 5)
In
The test apparatus is arranged in the same network as the server.
（付記６）
付記１または付記２において，
前記指示装置は，前記第１及び第２の端末と同一ネットワーク内に配置される試験システム。
(Appendix 6)
In
The indicating device is a test system arranged in the same network as the first and second terminals.
（付記７）
試験処理を実行するサーバと，前記サーバと通信ネットワークを介して接続する第１及び第２の端末と，前記第１及び第２の端末の近傍に接続された指示装置と，前記サーバの近傍に設けられ，前記通信ネットワークを介して前記第１及び第２の端末に接続する計測装置と，を有する試験システムにおける試験方法であって，
前記指示装置は，前記第１及び第２の端末に計測用信号の送信を要求する第１要求信号を送信する第１処理工程を有し，
前記第１及び第２の端末は，前記第１要求信号に応答して前記計測装置に前記計測用信号を送信する第２処理工程を有し，
前記計測装置は，前記第１及び第２の端末から送信された前記計測用信号の到達の時間差を計測し，前記時間差を前記第１及び第２の端末とに送信する第３処理工程を有し，
前記指示装置は，さらに，前記第１及び第２の端末に，前記サーバに試験処理を要求するための処理要求信号の送信を要求する第２要求信号を送信する第４処理工程を有し，
前記第１及び第２の端末は，さらに，前記第２要求信号に応答して前記サーバに前記処理要求信号を送信する送信工程とを有し，
前記第１または第２の端末のうち前記計測装置への前記計測用信号の到達が早い方の端末の前記送信工程は，前記第２要求信号の受信から前記時間差の後に，前記処理要求信号を送信する，
試験方法。
(Appendix 7)
A server for executing a test process; first and second terminals connected to the server via a communication network; an indicating device connected to the vicinity of the first and second terminals; and A test method provided in a test system having a measuring device connected to the first and second terminals via the communication network,
The pointing device includes a first processing step of transmitting a first request signal for requesting the first and second terminals to transmit a measurement signal;
The first and second terminals have a second processing step of transmitting the measurement signal to the measurement device in response to the first request signal,
The measuring device has a third processing step of measuring a time difference in arrival of the measurement signals transmitted from the first and second terminals and transmitting the time difference to the first and second terminals. And
The pointing device further includes a fourth processing step of transmitting a second request signal for requesting the server to transmit a processing request signal for requesting a test process to the first and second terminals,
The first and second terminals further include a transmission step of transmitting the processing request signal to the server in response to the second request signal,
The transmission step of the terminal having the earlier arrival of the measurement signal to the measurement device of the first or second terminal is configured to output the processing request signal after the time difference from the reception of the second request signal. Send,
Test method.
（付記８）
試験処理を実行するサーバと，前記サーバと通信ネットワークを介して接続する第１及び第２の端末と，前記第１及び第２の端末の近傍に接続された指示装置と，前記サーバの近傍に設けられ，前記通信ネットワークを介して前記第１及び第２の端末に接続する計測装置と，を有する試験システムにおける試験方法であって，
前記指示装置は，前記第１及び第２の端末に計測用信号の送信を要求する第１要求信号を送信する第１処理工程を有し，
前記第１及び第２の端末は，前記第１要求信号に応答して前記計測装置に前記計測用信号を送信する第２処理工程を有し，
前記計測装置は，前記第１及び第２の端末から送信された前記計測用信号の到達の時間を計測し，前記時間差を前記第１及び第２の端末とに送信する第３処理工程を有し，
前記指示装置は，さらに，前記第１及び第２の端末に，前記サーバに試験処理を要求するための処理要求信号の送信を要求する第２要求信号を，前記第１または第２の端末のうち前記計測装置への前記計測用信号の到達が早い方の端末には前記時間差だけ遅れて送信する第４処理工程を有し，
前記第１及び第２の端末は，さらに，前記第２の送信要求信号に応答して前記試験対象サーバに前記処理要求信号を送信する送信工程を有する，
試験方法。
(Appendix 8)
A server for executing a test process; first and second terminals connected to the server via a communication network; an indicating device connected to the vicinity of the first and second terminals; and A test method provided in a test system having a measuring device connected to the first and second terminals via the communication network,
The pointing device includes a first processing step of transmitting a first request signal for requesting the first and second terminals to transmit a measurement signal;
The first and second terminals have a second processing step of transmitting the measurement signal to the measurement device in response to the first request signal,
The measuring device has a third processing step of measuring the arrival time of the measurement signal transmitted from the first and second terminals and transmitting the time difference to the first and second terminals. And
The instructing device further sends a second request signal for requesting the first and second terminals to transmit a processing request signal for requesting the server to perform a test process, on the first or second terminal. A fourth processing step of transmitting to the terminal with the earlier arrival of the measurement signal to the measuring device delayed by the time difference,
The first and second terminals further include a transmission step of transmitting the processing request signal to the test target server in response to the second transmission request signal.
Test method.
（付記９）
付記７または付記８において，
前記第１及び第２の端末から送信された前記処理要求信号が前記サーバに同時に到達するまで，前記第１処理工程と，前記第２処理工程と，前記第３処理工程と，前記第４処理工程と，前記送信工程とを繰り返し行う試験方法。
(Appendix 9)
In Appendix 7 or
The first processing step, the second processing step, the third processing step, and the fourth processing until the processing request signals transmitted from the first and second terminals reach the server simultaneously. A test method in which a process and the transmission process are repeated.
（付記１０）
付記７または付記８において，
前記第１及び第２の端末から送信された前記処理要求信号が前記サーバに到達した時間の差が所定の閾値以内になるまで，前記第１処理工程と，前記第２処理工程と，前記第３処理工程と，前記第４処理工程と，前記送信工程を繰り返し行う試験方法。
(Appendix 10)
In Appendix 7 or
The first processing step, the second processing step, and the second processing step until the difference between the time when the processing request signals transmitted from the first and second terminals reach the server is within a predetermined threshold. A test method in which three processing steps, the fourth processing step, and the transmission step are repeated.
１ 第１の端末，２ 第２の端末，３ 遅延計測装置，
４ 開始指示装置，５ 試験対象サーバ
1 first terminal, 2 second terminal, 3 delay measuring device,
4 start instruction device, 5 server to be tested
Claims (9)
前記第１及び第２の端末の近傍に接続された指示装置と，
前記サーバの近傍に設けられ，前記通信ネットワークを介して前記第１及び第２の端末に接続する計測装置と，を有する試験システムにおいて，
前記指示装置は，前記第１及び第２の端末に計測用信号の送信を要求する第１要求信号を送信する処理部を有し，
前記第１及び第２の端末は，前記第１要求信号に応答して前記計測装置に前記計測用信号を送信する処理部を有し，
前記計測装置は，前記第１及び第２の端末から送信された前記計測用信号の到達の時間差を計測し，前記第１及び第２の端末のうちの前記計測用信号の到達が早い方の端末に，前記時間差を送信し，前記第１及び第２の端末のうちの前記計測用信号の到達が遅い方の端末に，前記計測用信号の到達が遅い方の端末であることを示す情報を送信する処理部を有し，
前記指示装置は，さらに，前記第１及び第２の端末に，前記サーバに試験処理を要求するための処理要求信号の送信を要求する第２要求信号を送信する処理部を有し，
前記第１及び第２の端末は，さらに，前記第２要求信号に応答して前記サーバに前記処理要求信号を送信する送信部を有し，
前記第１または第２の端末のうちの前記時間差を受信した端末の前記送信部は，前記第２要求信号の受信から前記時間差の後に，前記処理要求信号を送信し，前記第１または第２の端末のうちの前記計測用信号の到達が遅い方の端末であることを示す情報を受信した端末の前記送信部は，前記第２要求信号を受信した場合，直ちに前記処理要求信号を送信する，
試験システム。 A server for executing a test process, first and second terminals connected to the server via a communication network,
An indicating device connected in the vicinity of the first and second terminals;
In a test system having a measuring device provided in the vicinity of the server and connected to the first and second terminals via the communication network,
The pointing device includes a processing unit that transmits a first request signal for requesting the first and second terminals to transmit a measurement signal,
The first and second terminals have a processing unit that transmits the measurement signal to the measurement device in response to the first request signal,
The measuring device measures a time difference in arrival of the measurement signals transmitted from the first and second terminals, and the measurement signal of the first and second terminals arrives earlier. Information indicating that the time difference is transmitted to the terminal, and the terminal having the later arrival of the measurement signal is the terminal having the later arrival of the measurement signal among the first and second terminals. And a processing unit for transmitting
The pointing device further includes a processing unit that transmits a second request signal that requests the first and second terminals to transmit a processing request signal for requesting the server to perform a test process,
The first and second terminals further include a transmission unit that transmits the processing request signal to the server in response to the second request signal,
The transmission unit of the terminal that has received the time difference among the first or second terminals transmits the processing request signal after the time difference from the reception of the second request signal , and the first or second terminal When receiving the second request signal, the transmission unit of the terminal that has received the information indicating that the measurement signal arrives later among the terminals of the terminal immediately transmits the processing request signal ,
Test system.
前記第１及び第２の端末の近傍に接続された指示装置と，
前記サーバの近傍に設けられ，前記通信ネットワークを介して前記第１及び第２の端末に接続する計測装置と，を有する試験システムにおいて，
前記指示装置は，前記第１及び第２の端末に計測用信号の送信を要求する第１要求信号を送信する処理部を有し，
前記第１及び第２の端末は，前記第１要求信号に応答して前記計測装置に前記計測用信号を送信する処理部を有し，
前記計測装置は，前記第１及び第２の端末から送信された前記計測用信号の到達の時間差を計測し，前記時間差と前記第１及び第２の端末のうちの前記計測用信号の到達が早い方または遅い方の端末を示す情報とを含む情報とを前記指示装置に送信する処理部を有し，
前記指示装置は，さらに，前記第１及び第２の端末に，前記サーバに試験処理を要求するための処理要求信号の送信を要求する第２要求信号を，前記端末を示す情報によって特定された前記第１または第２の端末のうち前記計測装置への前記計測用信号の到達が早い方の端末には前記時間差だけ遅れて送信する処理部を有し，
前記第１及び第２の端末は，さらに，前記第２要求信号に応答して前記サーバに前記処理要求信号を送信する送信部を有する，
試験システム。 A server for executing a test process, first and second terminals connected to the server via a communication network,
An indicating device connected in the vicinity of the first and second terminals;
In a test system having a measuring device provided in the vicinity of the server and connected to the first and second terminals via the communication network,
The pointing device includes a processing unit that transmits a first request signal for requesting the first and second terminals to transmit a measurement signal,
The first and second terminals have a processing unit that transmits the measurement signal to the measurement device in response to the first request signal,
The measuring device measures a time difference of arrival of the measurement signal transmitted from the first and second terminals, and the time difference and arrival of the measurement signal of the first and second terminals are measured. A processing unit that transmits information including information indicating an earlier or later terminal to the pointing device ;
The indicating device further specifies a second request signal for requesting the first and second terminals to transmit a processing request signal for requesting the server to perform a test process by information indicating the terminal. A terminal that transmits the measurement signal to the measuring device earlier than the first or second terminal has a processing unit that transmits the time difference with a delay;
The first and second terminals further include a transmission unit that transmits the processing request signal to the server in response to the second request signal.
Test system.
前記指示装置は，前記第１要求信号の送信を，前記第１及び前記第２の端末に同時に行う試験システム。 In claim 1 or claim 2,
The test system, wherein the instruction device simultaneously transmits the first request signal to the first and second terminals.
前記指示装置は，前記計測用信号の送信を，前記サーバに対する信号の送信が可能であることを示す通知を送信した端末に行う試験システム。 In claim 1 or claim 2,
The test system, wherein the instruction device transmits the measurement signal to a terminal that has transmitted a notification indicating that a signal can be transmitted to the server.
前記計測装置は，前記サーバと同一ネットワーク内に配置される試験システム。 In claim 1 or claim 2,
The test apparatus is arranged in the same network as the server.
前記指示装置は，前記第１及び第２の端末と同一ネットワーク内に配置される試験システム。 In claim 1 or claim 2,
The indicating device is a test system arranged in the same network as the first and second terminals.
前記指示装置は，前記第１及び第２の端末に計測用信号の送信を要求する第１要求信号を送信する第１処理工程を有し，
前記第１及び第２の端末は，前記第１要求信号に応答して前記計測装置に前記計測用信号を送信する第２処理工程を有し，
前記計測装置は，前記第１及び第２の端末から送信された前記計測用信号の到達の時間差を計測し，前記第１及び第２の端末のうちの前記計測用信号の到達が早い方の端末に前記時間差を送信する第３処理工程を有し，
前記指示装置は，さらに，前記第１及び第２の端末に，前記サーバに試験処理を要求するための処理要求信号の送信を要求する第２要求信号を送信する第４処理工程を有し，
前記第１及び第２の端末は，さらに，前記第２要求信号に応答して前記サーバに前記処理要求信号を送信する送信工程を有し，
前記第１または第２の端末のうちの前記時間差を受信した端末の前記送信工程は，前記第２要求信号の受信から前記時間差の後に，前記処理要求信号を送信する，
試験方法。 A server for executing a test process; first and second terminals connected to the server via a communication network; an indicating device connected to the vicinity of the first and second terminals; and A test method provided in a test system having a measuring device connected to the first and second terminals via the communication network,
The pointing device includes a first processing step of transmitting a first request signal for requesting the first and second terminals to transmit a measurement signal;
The first and second terminals have a second processing step of transmitting the measurement signal to the measurement device in response to the first request signal,
The measuring device measures a time difference in arrival of the measurement signals transmitted from the first and second terminals, and the measurement signal of the first and second terminals arrives earlier. A third processing step of transmitting the time difference to the terminal ;
The pointing device further includes a fourth processing step of transmitting a second request signal for requesting the server to transmit a processing request signal for requesting a test process to the first and second terminals,
The first and second terminals further include a transmission step of transmitting the processing request signal to the server in response to the second request signal,
The transmission step of the terminal that has received the time difference among the first or second terminals transmits the processing request signal after the time difference from the reception of the second request signal.
Test method.
前記指示装置は，前記第１及び第２の端末に計測用信号の送信を要求する第１要求信号を送信する第１処理工程を有し，
前記第１及び第２の端末は，前記第１要求信号に応答して前記計測装置に前記計測用信号を送信する第２処理工程を有し，
前記計測装置は，前記第１及び第２の端末から送信された前記計測用信号の到達の時間を計測し，前記時間差と前記第１及び第２の端末のうちの前記計測用信号の到達が早い方または遅い方の端末を示す情報とを含む情報とを前記指示装置に送信する第３処理工程を有し，
前記指示装置は，さらに，前記第１及び第２の端末に，前記サーバに試験処理を要求するための処理要求信号の送信を要求する第２要求信号を，前記端末を示す情報によって特定された前記第１または第２の端末のうち前記計測装置への前記計測用信号の到達が早い方の端末には前記時間差だけ遅れて送信する第４処理工程を有し，
前記第１及び第２の端末は，さらに，前記第２の送信要求信号に応答して前記サーバに前記処理要求信号を送信する送信工程を有する，
試験方法。 A server for executing a test process; first and second terminals connected to the server via a communication network; an indicating device connected to the vicinity of the first and second terminals; and A test method provided in a test system having a measuring device connected to the first and second terminals via the communication network,
The pointing device includes a first processing step of transmitting a first request signal for requesting the first and second terminals to transmit a measurement signal;
The first and second terminals have a second processing step of transmitting the measurement signal to the measurement device in response to the first request signal,
The measuring device measures the arrival time of the measurement signal transmitted from the first and second terminals, and the time difference and the arrival of the measurement signal among the first and second terminals are measured. And a third processing step of transmitting information including information indicating an earlier or later terminal to the pointing device ,
The indicating device further specifies a second request signal for requesting the first and second terminals to transmit a processing request signal for requesting the server to perform a test process by information indicating the terminal. A fourth processing step of transmitting to the terminal with the earlier arrival of the measurement signal to the measuring device out of the first or second terminal by delaying the time difference;
The first and second terminals further include a transmission step of transmitting the processing request signal to the server in response to the second transmission request signal.
Test method.
前記第１及び第２の端末から送信された前記処理要求信号が前記サーバに同時に到達するまで，前記第１処理工程と，前記第２処理工程と，前記第３処理工程と，前記第４処理工程と，前記送信工程とを繰り返し行う試験方法。 In claim 7 or claim 8,
The first processing step, the second processing step, the third processing step, and the fourth processing until the processing request signals transmitted from the first and second terminals reach the server simultaneously. A test method in which a process and the transmission process are repeated.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013244010A JP6241225B2 (en) | 2013-11-26 | 2013-11-26 | Test system and test method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013244010A JP6241225B2 (en) | 2013-11-26 | 2013-11-26 | Test system and test method |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2015103079A JP2015103079A (en) | 2015-06-04 |
| JP2015103079A5 JP2015103079A5 (en) | 2016-09-01 |
| JP6241225B2 true JP6241225B2 (en) | 2017-12-06 |
Family
ID=53378720
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013244010A Expired - Fee Related JP6241225B2 (en) | 2013-11-26 | 2013-11-26 | Test system and test method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6241225B2 (en) |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012048669A (en) * | 2010-08-30 | 2012-03-08 | Nifty Corp | Management method and management device of load test for web system |
-
2013
- 2013-11-26 JP JP2013244010A patent/JP6241225B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015103079A (en) | 2015-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3259861B1 (en) | Methods and nodes for synchronisation of networks | |
| EP3092752B1 (en) | Multi-master selection in a software defined network | |
| JP5459628B2 (en) | Time synchronization system | |
| JP2017532913A (en) | System, apparatus and method for low jitter communication over a packet switched network | |
| KR102353555B1 (en) | Method for testing multiple data packet signal transceivers with a shared tester to maximize tester use and minimize test time | |
| TW201524155A (en) | A controller for delay measurement, a delay measurement system and a delay measurement method in SDN | |
| JP6575529B2 (en) | Usable band estimation system, usable band estimation method, receiving apparatus, and control program for receiving apparatus | |
| JP2014078781A (en) | Communication controller | |
| WO2011124165A2 (en) | Method and device for detecting link loss ratio | |
| WO2016106908A1 (en) | Method and system for synchronizing clocks in sdh network | |
| US9331803B2 (en) | System and method of synchronization among a control apparatus and a plurality of terminals | |
| CN104702461A (en) | Determining network latency with limited computing resources | |
| JP6241225B2 (en) | Test system and test method | |
| CN114258126A (en) | Data processing method and device | |
| US9450847B2 (en) | Mismatch detecting method, detecting device, and recording medium | |
| JP6064696B2 (en) | Detection program, recording medium, detection device, network detection system, and detection method | |
| EP3082376A1 (en) | Network device discovery method, network device and network device discovery system | |
| CN103401813A (en) | Asymmetric delay compensation method and switch | |
| JP2006202296A (en) | Method and apparatus for network-based triggering in instrument system | |
| EP4046285A1 (en) | Access point (ap) placement using fine time measurement (ftm) | |
| JP2020202498A (en) | Time synchronization device, time synchronization system, time synchronization method, and program | |
| JP6572136B2 (en) | COMMUNICATION SYSTEM, COMMUNICATION DEVICE, SECOND DEVICE, COMMUNICATION METHOD, AND COMPUTER PROGRAM | |
| WO2020200582A1 (en) | Method and system of wireless tdma scheduling for industrial machine-to-machine communication, including propagation-delay-aware scheduling | |
| JP5844022B1 (en) | Process bus application protection system | |
| US20230156007A1 (en) | Communication management apparatus, communication system, communication management method, and computer readable medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160711 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160711 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170518 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170523 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170710 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171010 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171023 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6241225 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |