JP6290743B2 - Information processing apparatus and program - Google Patents
Information processing apparatus and program Download PDFInfo
- Publication number
- JP6290743B2 JP6290743B2 JP2014151861A JP2014151861A JP6290743B2 JP 6290743 B2 JP6290743 B2 JP 6290743B2 JP 2014151861 A JP2014151861 A JP 2014151861A JP 2014151861 A JP2014151861 A JP 2014151861A JP 6290743 B2 JP6290743 B2 JP 6290743B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- time
- reference image
- data
- response time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Description
本発明は、情報処理装置及びプログラムに関する。 The present invention relates to an information processing apparatus and a program.
ユーザによる入力操作がなされてから処理結果の応答が表示されるまでの応答時間を測定する技術が従来より知られている(例えば特許文献1参照)。ここで、従来の技術では、ディスプレイに表示された画像情報の変化を検知して、この変化が検知された時刻をプログラムの動作開始時刻又は動作終了時刻とすることで応答時間を測定している。 2. Description of the Related Art Conventionally, a technique for measuring a response time from when an input operation by a user is performed until a response of a processing result is displayed is known (for example, see Patent Document 1). Here, in the conventional technique, a change in the image information displayed on the display is detected, and the response time is measured by setting the time when the change is detected as the operation start time or the operation end time of the program. .
しかしながら、上記の従来技術では、応答時間の測定精度が高くないといった問題があった。すなわち、上記の従来技術では、プログラムの動作終了時刻について、一定時間毎に画像情報が変化したか否かを判定している。したがって、測定された応答時間とユーザが実際に体感する応答時間との間に乖離が生じる場合がある。 However, the above prior art has a problem that the measurement accuracy of the response time is not high. That is, in the above-described conventional technology, it is determined whether or not the image information has changed at regular intervals with respect to the operation end time of the program. Therefore, there may be a difference between the measured response time and the response time that the user actually feels.
また、上記の従来技術では、画像情報の変化が検知された時刻を動作開始時刻又は動作終了時刻としているため、様々な画面構成を有するプログラムに柔軟に対応することができないといった問題もあった。例えば、ある画面において画像情報の変化が検知された場合、画像情報が変化した後の画面がプログラムの動作終了を示す画面なのか否かを判別することができなかった。 Further, in the above-described conventional technology, since the time when the change of the image information is detected is set as the operation start time or the operation end time, there is a problem that it is not possible to flexibly cope with programs having various screen configurations. For example, when a change in image information is detected on a certain screen, it has not been possible to determine whether the screen after the change in image information is a screen indicating the end of the program operation.
一実施形態は、上記の点に鑑みてなされたもので、処理要求に対する応答時間を測定することを目的とする。 One embodiment is made in view of the above points, and aims to measure a response time to a processing request.
上記目的を達成するため、一実施形態では、処理要求を行うための入力操作がされた時刻を記録する操作時刻記録手段と、表示部の所定の領域に表示された第1の画像データを取得する画像取得手段であって、前記第1の画像データが取得された時刻を前記第1の画像データと対応付けて取得する画像取得手段と、前記画像取得手段で取得された前記第1の画像データと、予め登録された第1の基準画像データとが一致するか否かを判定する判定手段と、前記判定手段で前記第1の画像データと前記第1の基準画像データとが一致すると判定された場合、該第1の画像データと対応付けて取得された時刻と前記入力操作がされた時刻とに基づき、前記処理要求に対する応答時間を算出する応答時間算出手段と、を有する。 In order to achieve the above object, in one embodiment, an operation time recording means for recording a time when an input operation for performing a processing request is performed, and first image data displayed in a predetermined area of the display unit are acquired. An image acquisition unit that acquires the time at which the first image data was acquired in association with the first image data, and the first image acquired by the image acquisition unit. Determining means for determining whether or not the data and first reference image data registered in advance match, and determining that the first image data and the first reference image data match by the determining means; If so, response time calculating means for calculating a response time for the processing request based on the time acquired in association with the first image data and the time when the input operation was performed.
一実施形態によれば、処理要求に対する応答時間を測定することができる。 According to one embodiment, the response time to a processing request can be measured.
次に、実施の形態について、図面を参照しながら詳細に説明する。 Next, embodiments will be described in detail with reference to the drawings.
(第1の実施例)
<システム構成>
まず、本実施形態に係る応答時間測定システム1のシステム構成について説明する。
(First embodiment)
<System configuration>
First, the system configuration of the response time measurement system 1 according to the present embodiment will be described.
図1は、本実施形態に係る応答時間測定システムの一例を示す構成図である。図1に示されるように、応答時間測定システム1は、端末装置10と、サーバ装置20とが有線又は無線でネットワークN1に接続されている。
FIG. 1 is a configuration diagram illustrating an example of a response time measurement system according to the present embodiment. As shown in FIG. 1, in the response time measuring system 1, a
端末装置10は、ユーザの入力操作に応じて、サーバ装置20に対して処理要求を行い、この処理要求に対する処理応答をサーバ装置20から受け取る。また、端末装置10は、ユーザが入力操作を行ってから処理応答に対応する結果がディスプレイ等に表示されるまでの応答時間を測定する。端末装置10は、情報処理装置の一例であり、例えば、ノートPC(Personal Computer)、デスクトップPC、タブレット端末、スマートフォン等である。また、端末装置10は、例えば、ゲーム機、PDA、カーナビケーション端末等の種々の電子機器であってもよい。
The
サーバ装置20は、端末装置10から処理要求を受け取り、この受け取った処理要求に対応する各種処理を実行した後、処理応答を端末装置10に行う。サーバ装置20は、サーバ装置の一例であり、例えば、ノートPC、デスクトップPC、メインフレーム等の汎用系システム等である。
The
なお、図1に示される応答時間測定システム1は、端末装置10及びサーバ装置20をそれぞれ1台ずつ有する構成を一例として示したが、これに限られず、端末装置10及び/又はサーバ装置20を2台以上有する構成であってもよい。
In addition, although the response time measurement system 1 shown in FIG. 1 has shown the structure which has one each of the
また、端末装置10及びサーバ装置20は、1台の情報処理装置で構成されていてもよい。すなわち、本実施形態に係る応答時間測定システム1は、ネットワークN1を介して接続された端末装置10とサーバ装置20との間の応答時間を測定する場合に限られず、1つの情報処理装置内における処理要求に対する応答時間を測定する場合にも適用され得る。
Further, the
<ハードウェア構成>
次に、本実施形態に係る端末装置10のハードウェア構成について説明する。
<Hardware configuration>
Next, a hardware configuration of the
図2は、本実施形態に係る端末装置の一例のハードウェア構成図である。端末装置10は、入力装置11と、表示装置12と、外部I/F13と、RAM(Random Access Memory)14と、ROM(Read Only Memory)15と、CPU(Central Processing Unit)16と、通信I/F17と、HDD(Hard Disk Drive)18とを備え、それぞれがバスBで相互に接続されている。
FIG. 2 is a hardware configuration diagram of an example of a terminal device according to the present embodiment. The
入力装置11は、キーボードやマウス、タッチパネル等を含み、端末装置10に各操作信号を入力するのに用いられる。表示装置12は、LCD(Liquid Crystal Display)又はCRT(Cathode Ray Tube)等を含み、端末装置10による処理結果を表示する。
The
外部I/F13は、外部装置とのインタフェースである。外部装置には、記録媒体13a等がある。記憶媒体13aには、本実施形態を実現するプログラムを格納することができる。端末装置10は外部I/F103を介して、記録媒体13aの読み取り及び/又は書き込みを行うことができる。
The external I /
記録媒体13aにはUSBメモリ(Universal Serial Bus memory)、SDメモリカード(SD Memory card)、DVD(Digital Versatile Disk)、CD(Compact Disk)、フレキシブルディスク等の記録媒体を用いることができる。
As the
RAM14は、プログラムやデータを一時保持する揮発性の半導体メモリ(記憶装置)である。ROM15は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ(記憶装置)である。ROM15には、端末装置10の起動時に実行されるBIOS(Basic Input/Output System)、OS(Operating System)設定、及びネットワーク設定等のプログラムやデータが格納されている。
The
CPU16は、ROM15やHDD18等の記憶装置からプログラムやデータをRAM14上に読み出し、処理を実行することで、端末装置10全体の制御や機能を実現する演算装置である。
The
通信I/F17は、ネットワークに接続するインタフェースである。端末装置10は、通信I/F17を介してデータ通信を行うことができる。なお、通信I/F107による通信は有線通信であっても無線通信であってもよい。
The communication I / F 17 is an interface connected to the network. The
HDD18は、プログラム及び/又はデータを格納している不揮発性の記憶装置である。格納されるプログラム及び/又はデータには、例えば、端末装置10全体を制御する基本ソフトウェアであるOS、OS上において各種機能を提供するアプリケーションソフトウェア等がある。HDD18は、格納しているプログラム及び/又はデータを所定のファイルシステム及び/又はDB(Data Base)により管理している。なお、端末装置10は、HDD18に代えて、例えばSSD(Solid State Drive)等を有していてもよい。
The HDD 18 is a non-volatile storage device that stores programs and / or data. The stored programs and / or data include, for example, an OS that is basic software for controlling the
本実施形態に係る端末装置10は、例えば上記のハードウェア構成を有することにより、後述するような各種処理を実現できる。
For example, the
<ソフトウェア構成>
次に、本実施形態に係る端末装置10のソフトウェア構成について説明する。
<Software configuration>
Next, the software configuration of the
図3は、本実施形態に係る端末装置の一例の機能ブロック図である(第1の実施例)。端末装置10は、基準画像登録部101と、入力情報記録部102と、時刻取得部103と、データ生成部104と、画像解析部105と、応答時間算出部106と、表示部107とを有する。また、端末装置10は、基準画像データ記憶部108と、入力情報時刻データ記憶部109と、データ記憶部110とを利用する。なお、これらの各記憶部の全部又は一部は、HDD108又は端末装置10とネットワークN1を介して接続される記憶装置により実現される。
FIG. 3 is a functional block diagram of an example of a terminal device according to the present embodiment (first example). The
基準画像登録部101は、応答時間を測定するための基準画像データを基準画像データ記憶部108に記憶させる。ここで、本実施例において、基準画像データ記憶部108に記憶される基準画像データは、例えば、終了時刻を特定するための画像データであり、端末装置10がサーバ装置20から処理応答を受け取ったときに表示装置12に表示される画面の画像データである。
The reference
入力情報記録部102は、ユーザが入力装置11を介して入力した入力操作に関する情報(入力操作情報)を入力情報時刻データ記憶部109に記憶させる。換言すれば、入力情報記録部102は、例えば、いわゆるキーロガーであり、ユーザが入力装置11を介して入力した入力操作情報をログとして記録する。このとき、入力情報記録部102は、時刻取得部103から入力操作が行われた時刻情報を取得し、入力操作情報と、この入力操作に対応する時刻情報とを入力情報時刻データ記憶部109に記憶させる。すなわち、入力情報時刻データは、ユーザが入力装置11を介して入力した入力操作情報と、この入力操作が行われた時刻情報とを含むデータである。
The input
時刻取得部103は、他の各部からの要求に応じて時刻情報を返信する。例えば、時刻取得部103は、入力情報記録部102又はデータ生成部104からの要求に応じて、現在時刻の情報を返信する。
The
データ生成部104は、ユーザからの要求に応じて、端末装置10の表示装置12に表示された情報から動画データを生成し、データ記憶部110に記憶させる。例えば、データ生成部104は、いわゆる動画キャプチャであり、ユーザ又はプログラム等からの動画キャプチャ開始指示を受け付けてから動画キャプチャ終了指示を受け付けるまでの間において表示部107が表示装置12に表示させた情報(画像データ)を録画(取得)して、動画データを生成する。なお、このとき、データ生成部104は、各フレーム(画像データ)毎に、フレームを取得した時刻を時刻取得部103から取得して、動画データを生成する。すなわち、データ生成部104により生成される動画データは、複数のフレーム(画像データ)と、これらのフレームを取得した時刻情報とを含むデータである。
The
なお、データ生成部104は、動画データに限られず、静止画データを生成し、データ記憶部110に記憶させてもよい。例えば、データ生成部104は、ユーザ又はプログラム等からの指示を受け付けて、表示部107が表示装置12に表示させた情報(画像データ)を取得して、静止画データを生成する。このとき、上記と同様に、データ生成部104は、画像データを取得した時刻を時刻取得部103から取得して、静止画データを生成する。すなわち、データ生成部104により生成される静止画データは、一の画像データと、この画像データを取得した時刻情報とを含むデータである。以降では、データ生成部104は、動画データを生成するものとして説明するが、静止画データに対しても本実施形態は同様に適用される。
The
画像解析部105は、基準画像データと、動画データに含まれる各フレームとが一致するか否かを判定する。
The
応答時間算出部106と、入力情報時刻データ記憶部109から取得した該当の入力操作に対応する時刻情報(開始時刻)と、画像解析部105により基準画像データと一致するフレームを取得した時刻情報(終了時刻)とから処理要求に対する応答時間を算出する。
The time information (start time) corresponding to the corresponding input operation acquired from the response
表示部107は、各種入力操作や処理応答等に基づき、表示装置12に各種画面を表示させる。例えば、表示部107は、サーバ装置20から処理応答を受け取ると、この処理応答に対応する画面を表示装置12に表示させる。
The
<概略>
次に、本実施形態に係る応答測定システム1の概略について説明する。
<Outline>
Next, an outline of the response measurement system 1 according to the present embodiment will be described.
図4は、本実施形態の概略の一例を説明するための図である(第1の実施例)。まず、端末装置10のディスプレイ等には、入力操作を受け付けるための画面Aが表示されているものとする。
FIG. 4 is a diagram for explaining an example of the outline of the present embodiment (first example). First, it is assumed that a screen A for receiving an input operation is displayed on the display or the like of the
ステップS1において、ユーザが入力装置11を介してサーバ装置20に処理要求を行うための入力操作を行う。
In step S <b> 1, the user performs an input operation for making a processing request to the
ステップS2において、端末装置10は、ユーザにより行われた入力操作に対応する処理要求をサーバ装置20に送信する。
In step S <b> 2, the
ステップS3において、サーバ装置20は、端末装置10から処理要求を受け取ると、受け取った処理要求に対応する処理を実行する。
In step S <b> 3, upon receiving a processing request from the
ステップS4において、サーバ装置20は、処理応答を端末装置10に返す。
In step S <b> 4, the
ステップS5において、端末装置10は、サーバ装置20から処理応答を受け取ると、処理結果を表す画面Bに画面遷移する。これにより、ユーザが入力操作を行ってからこの入力操作に対する結果が表示されるまでの一連の動作が完了する。
In step S <b> 5, when the
第1の実施例に係る応答時間測定システム1では、上記で説明した一連動作に要した時間、すなわち、ユーザが入力操作を行ってから画面Bが表示されるまでの時間(応答時間)を測定する。これにより、ユーザが実際に体感する処理待ち時間により近い応答時間が測定される。 In the response time measurement system 1 according to the first embodiment, the time required for the series of operations described above, that is, the time from when the user performs an input operation until the screen B is displayed (response time) is measured. To do. Thereby, the response time closer to the processing waiting time that the user actually feels is measured.
<処理の詳細>
次に、第1の実施例に係る応答時間測定システム1の処理の詳細について説明する。
<Details of processing>
Next, details of processing of the response time measurement system 1 according to the first embodiment will be described.
≪全体処理≫
図5は、本実施形態に係る全体処理の一例のシーケンス図である(第1の実施例)。
≪Overall processing≫
FIG. 5 is a sequence diagram illustrating an example of the overall processing according to the present embodiment (first example).
ステップS501において、ユーザは、端末装置10の入力装置11を介して基準画像データの登録を指示する。すると、端末装置10の基準画像登録部101は、ユーザにより指示された基準画像データを基準画像データ記憶部108に記憶させる。
In step S <b> 501, the user instructs registration of reference image data via the
ここで、基準画像データは、例えば、上記の概略で説明した「画面B」を表す画像データであり、端末装置10が処理応答を受け取ったときに表示装置12に表示される処理結果を表す画面の画像データである。このような基準画像データは、例えば、前述した「画面B」の場合、ハードコピーや画面キャプチャにより生成することができる。なお、基準画像データは、表示装置12の全体に表示される画像データ(すなわち、画面全体)に限られず、表示装置12に表示される画像データの一部(すなわち、画面の一部)であってもよい。あるいは、基準画像データは、表示部107により表示される画面全体の所定の領域に表示される画像データであってもよい。例えば、端末装置10が処理応答を受け取ると、「画面A」の所定の領域に処理が完了したことを示す「メッセージ」が表示される場合、基準画像データは、この「メッセージ」の画像データであってもよい。
Here, the reference image data is, for example, image data representing “screen B” described in the above outline, and a screen representing a processing result displayed on the
ステップS502において、ユーザは、端末装置10の入力装置11を介して、動画データを生成するための動画キャプチャ開始指示を行う。すると、データ生成部104は、表示部107が端末装置10の表示装置12に表示させる情報の録画(取得)を開始する。このとき、データ生成部104は、動画データを構成するフレームを取得する毎に、フレームが取得された時刻情報を時刻取得部103から取得して、この時刻情報を各フレームと対応付けて動画データを生成する。なお、生成される動画データのフレームレートは、任意の値を用いてよい。ただし、生成される動画データのフレームレート値が高い程、高精度で応答時間の測定が可能であるため、30fps以上であることが好ましい。なお、動画キャプチャの開始指示は、ユーザが入力装置11を介して行うことに限定されず、例えば、所定のプログラム等が行ってもよい。
In step S <b> 502, the user issues a moving image capture start instruction for generating moving image data via the
ステップS503において、ユーザは、端末装置10の入力装置11を介して、サーバ装置20に処理要求を行うための入力操作を行う。すると、入力情報記録部102は、ユーザが入力操作を行った時刻情報を時刻取得部103から取得し、この時刻情報をユーザが入力した入力操作情報と関連付けて入力情報時刻データ記憶部109に記憶させる。ユーザがプログラムAのユーザインタフェース画面Aにおいて、14時01分56秒にエンターキーを押下した場合、入力情報時刻データ記憶部109に記憶される情報は、例えば、「プログラムA,画面A,Enter 14:01:56」といった情報である。このように記録された時刻情報が開始時刻であり、後述する終了時刻との差分を計算することで、応答時間が算出される。
In step S <b> 503, the user performs an input operation for making a processing request to the
なお、上記において、端末装置10がサーバ装置20に対して送信する処理要求はどのような処理要求であってもよい。一例としては、端末装置10上で動作するサーバ装置20の仮想端末プログラムがサーバ装置20の機能を利用するための処理要求などが挙げられる。
In the above description, the processing request transmitted from the
ステップS504において、ユーザにより処理要求を行うための入力操作がなされると、端末装置10は、この入力操作に応じた処理要求をサーバ装置20に送信する。なお、端末装置10は、処理要求をサーバ装置20に送信した時刻情報と、後述するステップS506においてサーバ装置20から送信される処理応答を受信した時刻情報とを時刻取得部103から取得して、記憶装置等に記憶させてもよい(すなわち、処理要求及び処理応答のネットワークログを記録してもよい)。これにより、ネットワーク通信に通信に要した時間を測定することができるため、例えば、測定された応答時間が大きかった場合等において、端末装置10の処理に時間が掛かっているのか、又はネットワーク通信で時間が掛かっているのか等の特定を行うことができる。
In step S <b> 504, when an input operation for making a processing request is performed by the user, the
ステップS505において、サーバ装置20は、端末装置10から処理要求を受け取ると、この処理要求に対応する処理を実行する。例えば、サーバ装置20は、処理要求を受け取ると、対応するアプリケーションプログラムを実行する。また、サーバ装置20は、処理要求を受け取ると、さらに他の装置等に処理を依頼してもよい。
In step S <b> 505, when the
ステップS506において、サーバ装置20は、受け取った処理要求に対応する処理が完了すると、処理応答を端末装置10に送信する。
In step S506, when the processing corresponding to the received processing request is completed, the
ステップS507において、サーバ装置20から処理応答を受け取ると、端末装置10の表示部107は、処理結果を表す画面に画面遷移させる。例えば、表示部107は、上記の概略で説明したように、「画面A」から「画面B」に画面を遷移させる。これにより、ユーザは、自身が行った入力操作に対する処理が完了したことを認識する。
In step S507, when a processing response is received from the
ステップS508において、ユーザは、端末装置10の入力装置11を介して、動画キャプチャ終了指示を行う。すると、データ生成部104は、動画データの生成を終了させ、生成した動画データをデータ記憶部110に記憶させる。これにより、動画キャプチャ開始指示後から動画キャプチャ終了指示がなされる間において端末装置10の表示装置12に表示された情報が動画データとして記録される。後述する処理において、この動画データから終了時刻が取得され、前述した開始時刻との差分を計算することで、応答時間が算出される。
In step S <b> 508, the user issues a moving image capture end instruction via the
ステップS509において、端末装置10の画像解析部105及び応答時間算出部106は、応答時間算出処理を実行し、応答時間を算出する。算出された応答時間は、例えば、表示部107により表示装置12に表示される。これにより、ユーザは、自身が行った入力操作を行った後、この入力操作に対応する処理が完了するまでに掛かった時間(すなわち、応答時間)を知ることができる。このように算出された応答時間は、例えば、応答時間を短縮するための資料やサービスに対するSLA(Service Level Agreement)を規定するための資料等に用いることができる。
In step S509, the
≪応答時間の算出処理≫
図5におけるステップS509の「応答時間算出処理」について説明する。
<< Response time calculation process >>
The “response time calculation process” in step S509 in FIG. 5 will be described.
図6は、本実施形態に係る応答時間の算出処理の一例のフローチャートである(第1の実施例)。 FIG. 6 is a flowchart of an example of response time calculation processing according to the present embodiment (first example).
ステップS601において、端末装置10の応答時間算出部106は、入力情報時刻データ記憶部109から該当の入力操作情報の時刻情報を取得する。すなわち、応答時間算出部106は、図5のステップS503で説明した、サーバ装置20に処理要求を行うための入力操作が行われた時刻情報を取得する。これは、例えば、サーバ装置20に処理要求を行うためのプログラム名、このプログラムにおけるユーザインタフェース画面、この画面において行われた操作キーの情報等に基づき取得することができる。この処理において取得された時刻情報を「開始時刻」と表す。
In step S <b> 601, the response
ステップS602において、端末装置10の画像解析部105は、データ記憶部110に記憶されている動画データの各フレーム毎に、基準画像データ記憶部108に記憶されている基準画像データと一致するか否かを判定する。
In step S <b> 602, the
ここで、動画データに含まれるある1つのフレーム(以降、「フレームデータ」と表す)と、基準画像データとが一致するか否かの判定方法は、例えば、以下のようなものが挙げられる。このような判定は、各フレームデータに対応付けられた時刻情報の順に行えばよい。なお、基準画像データが表示装置12に表示される画面の一部の範囲に対応する画像データである場合は、フレームデータの対応する範囲の部分を切り出した画像データと、基準画像データとが一致するか否かを判定する。以降では、フレームデータの一部の範囲を切り出した画像データも「フレームデータ」と表す。
(1)フレームデータの各画素値と、基準画像データの対応する各画素値とが一致するか否かを判定する。なお、フレームデータの各画素値と、基準画像データの対応する各画素値とが完全に一致する場合だけでなく、所定の範囲内にある場合にも一致すると判定してもよい。例えば、フレームデータと基準画像データとがRGB色空間である場合、基準画像データのR成分の値とフレームデータのR成分の値とが−3から+3の範囲内ある場合は一致すると判定してもよいし、さらに、それぞれのG成分の値又は/及びB成分の値が−5から+5の範囲内にある場合は一致すると判定してもよい。
(2)フレームデータの特定の部分と、基準画像データの特定の部分とが一致するか否かを判定する。ここで、特定の部分とは、例えば、フレームデータ及び基準画像データにおける画素値の位置をXY座標で表した場合に、予め定められたa1<X<a2及びb1<Y<b2の範囲にある各画素値である。したがって、フレームデータ及び基準画像データそれぞれ特定の部分の各画素値が、一致する又は所定の範囲内にある場合は、一致すると判定すればよい。
(3)パターンマッチングによりフレームデータと、基準画像データとが一致するか否かを判定する。例えば、基準画像データとフレームデータとを重ねて2つの画像データの相関を調べて、所定の範囲内の相関である場合に、一致すると判定する。
(4)統計的識別法によりフレームデータと、基準画像データとが一致するか否かを判定する。例えば、フレームデータ及び基準画像データそれぞれの特徴ベクトルに基づき、あるカテゴリの同時生起確率を算出し、フレームデータ及び基準画像データのそれぞれが属するカテゴリを決定する。そして、フレームデータと基準画像データとが同一のカテゴリに属するか否かにより、一致するか否かを判定する。なお、特徴ベクトルは、フレームデータ及び基準画像データの一部の特徴を示す局所的な特徴ベクトルであってもよい。
(5)構造識別法によりフレームデータと、基準画像データとが一致するか否かを判定する。例えば、フレームデータ及び基準画像データの構造解析を行い、それぞれの構造をグラフ化する。そして、それぞれのグラフの類似度が所定の範囲内である場合に、一致すると判定する。フレームデータ及び基準画像データの構造としては、例えば、エッジや特徴点等が挙げられる。なお、構造識別法は、分岐点主導型や線分主導型などのいずれの方法を用いてもよい。
Here, a method for determining whether or not one frame (hereinafter referred to as “frame data”) included in the moving image data matches the reference image data includes the following. Such determination may be performed in the order of time information associated with each frame data. When the reference image data is image data corresponding to a partial range of the screen displayed on the
(1) It is determined whether each pixel value of the frame data matches each corresponding pixel value of the reference image data. Note that it may be determined that not only when each pixel value of the frame data and each corresponding pixel value of the reference image data completely match, but also when they are within a predetermined range. For example, when the frame data and the reference image data are in the RGB color space, if the R component value of the reference image data and the R component value of the frame data are within the range of -3 to +3, it is determined that they match. Further, if the values of the respective G components and / or the values of the B components are in the range of −5 to +5, it may be determined that they match.
(2) It is determined whether or not the specific portion of the frame data matches the specific portion of the reference image data. Here, the specific portion refers to, for example, predetermined a 1 <X <a 2 and b 1 <Y <b 2 when the position of the pixel value in the frame data and the reference image data is represented by XY coordinates. Each pixel value in the range of. Therefore, if the pixel values of specific portions of the frame data and the reference image data respectively match or are within a predetermined range, it may be determined that they match.
(3) It is determined whether or not the frame data matches the reference image data by pattern matching. For example, the reference image data and the frame data are overlapped and the correlation between the two image data is examined. If the correlation is within a predetermined range, it is determined that they match.
(4) It is determined whether or not the frame data and the reference image data match by a statistical identification method. For example, the co-occurrence probability of a certain category is calculated based on the feature vectors of the frame data and the reference image data, and the category to which each of the frame data and the reference image data belongs is determined. Then, it is determined whether or not they match depending on whether or not the frame data and the reference image data belong to the same category. Note that the feature vector may be a local feature vector indicating some features of the frame data and the reference image data.
(5) It is determined whether or not the frame data matches the reference image data by the structure identification method. For example, the structure analysis of frame data and reference image data is performed, and the respective structures are graphed. And when the similarity of each graph is in a predetermined range, it determines with matching. Examples of the structure of the frame data and the reference image data include edges and feature points. As the structure identification method, any method such as a branch point initiative type or a line segment initiative type may be used.
フレームデータと基準画像データとが一致するか否かの判定方法は、上記に述べた(1)〜(5)の方法に限られものではなく、複数の画像データの一致度あるいは類似度等を判定する種々の方法を用いることができる。 The method for determining whether or not the frame data matches the reference image data is not limited to the methods (1) to (5) described above, and the degree of coincidence or similarity of a plurality of image data can be determined. Various methods of determining can be used.
ステップS603において、端末装置10は、基準画像データと一致するフレームが存在する場合、ステップS604の処理に進む一方、一致するフレームが存在しない場合、処理を終了させる。なお、一致するフレームが存在しないと判定された場合、表示部107は、表示装置12にエラーを示す画面等を表示させてもよい。
In step S603, if there is a frame that matches the reference image data, the
ステップS604において、端末装置10の応答時間算出部106は、上記のステップS602において基準画像データと一致すると判定されたフレームデータを取得した時刻情報を動画データから取得する。ここで、基準画像データと一致すると判定されたフレームデータは、端末装置10がサーバ装置20から処理応答を受け取った後に表示させる処理結果を表す画面の画像データである。したがって、基準画像データと一致すると判定されたフレームデータが取得された時刻情報を「終了時刻」と表す。
In step S604, the response
ここで、上記のステップS602で説明したように、例えばそれぞれの画素値が所定の範囲内にあるときにも一致すると判定する場合、基準画像データと一致すると判定されたフレームデータが複数存在する場合もある。このような場合、一致すると判定された複数のフレームデータに対応付けられている複数の時刻情報のうち、最も古い時刻情報(すなわち、複数のフレームデータのうち最初に取得されたフレームデータの時刻情報)を取得すればよい。 Here, as described in step S602 above, for example, when it is determined that the pixel values match even when each pixel value is within a predetermined range, when there are a plurality of frame data determined to match the reference image data There is also. In such a case, among the plurality of time information associated with the plurality of frame data determined to match, the oldest time information (that is, the time information of the frame data acquired first among the plurality of frame data) ).
ステップS605において、端末装置10の応答時間算出部106は、開始時刻と終了時刻から応答時間を算出する。すなわち、応答時間算出部106は、終了時刻と開始時刻の差分を計算することで、応答時間を算出する。これにより、ユーザがサーバ装置20に対して処理要求を行うための入力操作を行った後、この処理要求に対す処理結果を表す画面が表示されるまでの時間(応答時間)が測定される。このように測定された応答時間は、ユーザが実際に入力操作を行ってから、処理結果を表す画面が表示されるまでの応答時間であるため、ユーザが体感する待ち時間をより適切に表したものであるということができる。
In step S605, the response
なお、本実施形態では、動画データを生成した後、応答時間の算出処理を行っているが、動画データの生成と応答時間の算出とは並列して処理を行うようにしてもよい。すなわち、動画キャプチャで動画データを生成しつつ、この動画データの生成されたフレームに対して逐次、図6の応答時間の算出処理を実行してもよい。 In the present embodiment, the response time calculation process is performed after the moving image data is generated. However, the generation of the moving image data and the calculation of the response time may be performed in parallel. That is, while generating moving image data by moving image capture, the response time calculation processing of FIG. 6 may be sequentially executed on the frame in which the moving image data is generated.
さらに、動画データを生成することは、必ずしも要しない。すなわち、画面の所定の領域(画面全体であっても、画面の一部であってもよい)と、基準画像データとに対して、逐次、図6の応答時間の算出処理を実行してもよい。 Furthermore, it is not always necessary to generate moving image data. That is, the response time calculation process of FIG. 6 may be sequentially executed on a predetermined area of the screen (which may be the entire screen or a part of the screen) and the reference image data. Good.
以上のように本実施例では、入力操作と処理結果の表示、すなわち、ユーザインタフェースを基準に応答時間が算出される。したがって、動作ログのみに基づき応答時間が算出される場合と比べて、ユーザが実際に体感する待ち時間により近い応答時間を算出することができる。このことは、例えば、処理応答をサーバ装置20から受け取った後、端末装置10において処理結果が表示装置12に表示されるまでに時間を要する場合などにおいてより顕著である。
As described above, in this embodiment, the response time is calculated based on the input operation and the display of the processing result, that is, the user interface. Therefore, compared with the case where the response time is calculated based only on the operation log, the response time closer to the waiting time that the user actually feels can be calculated. This is more conspicuous when, for example, it takes time until the processing result is displayed on the
(第2の実施例)
次に、本実施形態に係る応答時間測定システム1の第2の実施例について説明する。第2の実施例においては、開始時刻をユーザが入力操作を行った時刻とするのではなく、基準画像データ(開始基準画像データ)と異なる画面に遷移した場合に、この異なる画面を表す画像データを取得した時刻情報を開始時刻とする点が第1の実施例と異なる。なお、第2の実施例のシステム構成及びハードウェア構成は、第1の実施例と同様であるため、説明を省略する。
(Second embodiment)
Next, a second example of the response time measurement system 1 according to this embodiment will be described. In the second embodiment, instead of setting the start time as the time when the user performed the input operation, image data representing this different screen when the screen changes to a screen different from the reference image data (start reference image data). This is different from the first embodiment in that the time information acquired is used as the start time. Note that the system configuration and hardware configuration of the second embodiment are the same as those of the first embodiment, and a description thereof will be omitted.
<ソフトウェア構成>
第2の実施例に係る端末装置10のソフトウェア構成について説明する。
<Software configuration>
A software configuration of the
図7は、本実施形態に係る端末装置の一例の機能ブロック図である(第2の実施例)。図3に示される端末装置10は、入力情報記録部102を有しない点、基準画像登録部111の機能、及び基準画像データ記憶部112に2つの基準画像データが記憶される点が第1の実施例と異なる。
FIG. 7 is a functional block diagram of an example of a terminal device according to the present embodiment (second example). The
基準画像登録部111は、開始時刻を特定するための開始基準画像データと、終了時刻を特定するための終了基準画像データとを基準画像データ記憶部112に記憶させる。ここで、終了基準画像データは、第1の実施例における「基準画像データ」と同様であり、終了時刻を特定するための画像データであり、例えば、端末装置10がサーバ装置20から処理応答を受け取ったときに表示装置12に表示される画面の画像データである。他方、開始基準画像データは、開始時刻を特定するための画像データであり、端末装置10がサーバ装置20に処理要求を行うための入力操作を受け付ける画面の画像データである。
The reference
<概略>
次に、第2の実施例の応答測定システム1の概略について説明する。
<Outline>
Next, an outline of the response measurement system 1 of the second embodiment will be described.
図8は、本実施形態の概略の一例を説明するための図である(第2の実施例)。まず、端末装置10のディスプレイ等には、入力操作を受け付けるための画面Aが表示されているものとする。
FIG. 8 is a diagram for explaining an example of the outline of the present embodiment (second example). First, it is assumed that a screen A for receiving an input operation is displayed on the display or the like of the
ステップS11において、ユーザが入力装置11を介してサーバ装置20に処理要求を行うための入力操作を行う。
In step S <b> 11, the user performs an input operation for making a processing request to the
ステップS12において、端末装置10は、ユーザにより行われた入力操作に対応する処理要求をサーバ装置20に送信する。
In step S <b> 12, the
ステップS13において、端末装置10は、入力操作を受け付けたことを表す画面A’に画面遷移する。ここで、画面A’は、画面Aとは全く異なる画面であってもよいし、例えば画面Aの所定の領域に入力操作を受け付けたことを示す「メッセージ」が表示されたような画面であってもよい。
In step S <b> 13, the
ステップS14において、サーバ装置20は、端末装置10から処理要求を受け取ると、受け取った処理要求に対応する処理を実行する。
In step S <b> 14, upon receiving a processing request from the
ステップS15において、サーバ装置20は、処理応答を端末装置10に返す。
In step S <b> 15, the
ステップS16において、端末装置10は、サーバ装置20から処理応答を受け取ると、処理結果を表す画面Bに画面遷移する。これにより、ユーザが入力操作を行ってからこの入力操作に対する結果が表示されるまでの一連の動作が完了する。
In step S <b> 16, when the
第2の実施例に係る応答時間測定システム1では、上記で説明した一連動作に要した時間、すなわち、ユーザが入力操作を行って画面A’に画面遷移してから画面Bが表示されるまでの時間(応答時間)を測定する。これにより、ユーザが実際に体感する処理待ち時間により近い応答時間が測定される。 In the response time measurement system 1 according to the second embodiment, the time required for the series of operations described above, that is, until the screen B is displayed after the user performs an input operation and transitions to the screen A ′. Measure the response time (response time). Thereby, the response time closer to the processing waiting time that the user actually feels is measured.
<処理の詳細>
次に、第2の実施例に係る応答時間測定システム1の処理の詳細について説明する。なお、以降では、第1の実施例と同様の処理を行う箇所については、適宜説明を省略又は簡略化する。
<Details of processing>
Next, details of processing of the response time measurement system 1 according to the second embodiment will be described. In the following description, description of parts where the same processing as in the first embodiment is performed will be omitted or simplified as appropriate.
≪全体処理≫
図9は、本実施形態に係る全体処理の一例のシーケンス図である(第1の実施例)。
≪Overall processing≫
FIG. 9 is a sequence diagram illustrating an example of the overall processing according to the present embodiment (first example).
ステップS901において、端末装置10の入力装置11を介して開始基準画像データ及び終了基準画像データの登録を指示する。すると、端末装置10の基準画像登録部111は、ユーザにより指示された開始基準画像データ及び終了基準画像データを基準画像データ記憶部112に記憶させる。
In step S901, registration of start reference image data and end reference image data is instructed via the
ここで、開始基準画像データは、例えば、上記の概略で説明した「画面A」を表す画像であり、端末装置10から処理要求を送信するための入力操作を受け付ける画面の画像データである。
Here, the start reference image data is, for example, an image representing “screen A” described in the above outline, and is image data of a screen that accepts an input operation for transmitting a processing request from the
ステップS902において、ユーザは、端末装置10の入力装置11を介して、動画データを生成するための動画キャプチャ開始指示を行う。第2の実施例では、この動画キャプチャ開始指示は、表示装置12に、端末装置10からサーバ装置20に対しての処理要求を送信するための入力操作を受け付ける画面が表示されている状態で行う。すると、データ生成部104は、表示部107が端末装置10の表示装置12に表示させる情報の録画を開始する。
In step S <b> 902, the user issues a moving image capture start instruction for generating moving image data via the
ステップS903において、ユーザは、端末装置10の入力装置11を介して、サーバ装置20に処理要求を行うための入力操作を行う。
In step S <b> 903, the user performs an input operation for making a processing request to the
ステップS904において、ユーザにより入力装置11を介してサーバ装置20に処理要求を行うための入力操作がされると、端末装置10の表示部107は、入力操作を受け付けたこと表す画面に画面遷移させる。
In step S904, when the user performs an input operation for making a processing request to the
ステップS905において、端末装置10は、上記のステップS903においてされた入力操作に応じた処理要求をサーバ装置20に送信する。
In step S <b> 905, the
ステップS906において、サーバ装置20は、端末装置10から処理要求を受け取ると、この処理要求に対応する処理を実行する。
In step S <b> 906, when the
ステップS907において、サーバ装置20は、受け取った処理要求に対応する処理が完了すると、処理応答を端末装置10に送信する。
In step S <b> 907, the
ステップS908において、サーバ装置20から処理応答を受け取ると、端末装置10の表示部107は、処理結果を表す画面に画面遷移させる。これにより、ユーザは、自身が行った入力操作に対する処理が完了したことを認識する。
In step S908, when a processing response is received from the
ステップS909において、ユーザは、端末装置10の入力装置11を介して、動画キャプチャ終了指示を行う。すると、データ生成部104は、動画データの生成を終了させ、生成した動画データをデータ記憶部110に記憶させる。
In step S <b> 909, the user issues a moving image capture end instruction via the
ステップS910において、端末装置10の画像解析部105及び応答時間算出部106は、応答時間算出処理を実行し、応答時間を算出する。
In step S910, the
≪応答時間の算出処理≫
図9におけるステップS910の「応答時間算出処理」について説明する。
<< Response time calculation process >>
The “response time calculation process” in step S910 in FIG. 9 will be described.
図10は、本実施形態に係る応答時間の算出処理の一例のフローチャートである(第2の実施例)。 FIG. 10 is a flowchart of an example of response time calculation processing according to the present embodiment (second example).
ステップS1001において、端末装置10の画像解析部105は、データ記憶部110に記憶されている動画データの各フレーム毎に、基準画像データ記憶部112に記憶されている開始基準画像データと一致するか否かを判定する。なお、ここでの判定方法は、第1の実施例で説明したものと同様の方法を用いればよい。
In step S <b> 1001, the
ステップS1002において、端末装置10は、開始基準画像データと一致しないフレームが存在する場合、ステップS1002の処理に進む一方、一致しないフレームが存在しない場合、処理を終了させる。
In step S1002, the
ステップS1003において、端末装置10の応答時間算出部106は、上記のステップS1002において開始基準画像データと一致しないと判定された1以上のフレームデータのうち、最も古い時刻(最初の時刻)に取得されたフレームデータの時刻情報を動画データから取得する。ここで、開始基準画像データと一致しないと判定されたフレームデータのうち最も古い時刻に取得されたフレームデータは、端末装置10の表示部107が入力操作を受け付けたことを表す画面(すなわち、「画面A’」)の画像データである。したがって、開始基準画像データと一致しないと判定された1以上のフレームデータのうち、最も古い時刻に取得されたフレームデータの時刻情報が「開始時刻」である。
In step S1003, the response
ステップS1004において、端末装置10の画像解析部105は、データ記憶部110に記憶されている動画データの各フレーム毎に、基準画像データ記憶部112に記憶されている終了基準画像データと一致するか否かを判定する。なお、ここでの判定方法は、第1の実施例で説明したものと同様の方法を用いればよい。
In step S <b> 1004, the
ステップS1005において、端末装置10は、終了基準画像データと一致するフレームが存在する場合、ステップS1006の処理に進む一方、一致するフレームが存在しない場合、処理を終了させる。
In step S1005, if there is a frame that matches the end reference image data, the
ステップS1006において、端末装置10の応答時間算出部106は、上記のステップS1004において終了基準画像データと一致すると判定されたフレームデータが取得された時刻情報を動画データから取得する。終了基準画像データと一致すると判定されたフレームデータが取得された時刻情報が「終了時刻」である。
In step S1006, the response
ステップS1007において、端末装置10の応答時間算出部106は、開始時刻と終了時刻から応答時間を算出する。これにより、ユーザがサーバ装置20に対して処理要求を行うための入力操作を行って、入力操作を受け付けたことを表す画面が表示された後、この処理要求に対す処理結果を表す画面が表示されるまでの時間(応答時間)が測定される。このように測定された応答時間は、ユーザが実際に入力操作を行ってから、処理結果を表す画面が表示されるまでの応答時間であるため、ユーザが体感する待ち時間をより適切に表したものであるということができる。
In step S1007, the response
なお、本実施例において、基準画像データは、開始基準画像データと終了基準画像データの2つの画像データを用いたが、これに限られず、任意の個数の画像データを基準画像データとすることもできる。例えば、3つの基準画像データを用いる場合、基準画像データAと基準画像データBとに基づき画面Aから画面Bに画面遷移するまでの応答時間を測定するとともに、基準画像データBと基準画像データCとに基づき画面Bから画面Cに画面遷移するまでの応答時間を、上記で説明した処理により測定することができる。このように、開始時刻を所定の基準画像データと一致しないと判定された最初の時刻とする一方で、終了時刻を所定の基準画像データと一致した時刻とすることで、任意の画面構成を有するプログラムの応答時間を算出することができる。 In this embodiment, the reference image data uses two pieces of image data, that is, start reference image data and end reference image data. However, the present invention is not limited to this, and any number of image data may be used as reference image data. it can. For example, when three reference image data are used, the response time until the screen transitions from the screen A to the screen B is measured based on the reference image data A and the reference image data B, and the reference image data B and the reference image data C are used. Based on the above, the response time from the screen B to the screen C can be measured by the processing described above. As described above, the start time is set to the first time determined not to match the predetermined reference image data, while the end time is set to the time corresponding to the predetermined reference image data, thereby having an arbitrary screen configuration. The response time of the program can be calculated.
(応用例)
以上で説明した応答時間測定システム1は、基準画像データが音声データ等である場合についても応用することができる。この応用例について、第1の実施例を以下の条件の下で、端末装置10において、サーバ装置20に保存されている動画データを例えばストリーミング再生する場合について簡単に説明する。
・基準画像データを「基準音声データ」と読み替える
・動画データには、画像データと、音声データと、画像データ毎に音声データを対応付けるための時間情報とが含まれる
このとき、端末装置10において、基準音声データと、サーバ装置20から取得した動画データに含まれる音声データとが一致するか否かを判定する。そして、一致すると判定された音声データの時刻情報(これは時刻取得部103により取得される)と、動画データに含まれる時間情報とに基づいて、音声データの受信が画像データの受信に対して遅れているか否か(又は進んでいるか否か)の情報を得ることができる。ここで、基準音声データと、動画データに含まれる音声データとが一致するか否かは、例えば、特定周波数のスペクトル解析を用いて判定することができる。
(Application examples)
The response time measurement system 1 described above can also be applied to the case where the reference image data is audio data or the like. With respect to this application example, a case will be briefly described in which the first embodiment performs, for example, streaming reproduction of moving image data stored in the
The reference image data is read as “reference audio data”. The moving image data includes image data, audio data, and time information for associating audio data for each image data. It is determined whether the reference audio data matches the audio data included in the moving image data acquired from the
<まとめ>
以上のように本実施形態に係る応答時間測定システム1では、ユーザが行った入力操作に基づいて開始時刻を特定する一方、入力操作に対応する処理要求の処理結果を表す画面に基づいて終了時刻を特定する。そして、これらの特定された開始時刻と終了時刻とから応答時間を算出する。換言すれば、ユーザからの入力操作及びユーザに対する画面表示を基準として応答時間を算出するものである。したがって、ユーザが入力操作を行った後、処理結果が表示されまでに実際に体感する待ち時間に近い応答時間を測定することができる。
<Summary>
As described above, in the response time measurement system 1 according to the present embodiment, the start time is specified based on the input operation performed by the user, while the end time is determined based on the screen representing the processing result of the processing request corresponding to the input operation. Is identified. Then, a response time is calculated from the specified start time and end time. In other words, the response time is calculated based on the input operation from the user and the screen display for the user. Therefore, it is possible to measure a response time that is close to the waiting time that the user actually feels until the processing result is displayed after the user performs an input operation.
さらには、終了時刻を基準画像データと表示画面(表示画面の一部を含む)との一致により判定することで、様々な画面構成を有するアプリケーションの応答時間を測定することができる。 Furthermore, by determining the end time based on the match between the reference image data and the display screen (including a part of the display screen), it is possible to measure response times of applications having various screen configurations.
なお、データ生成部104は、画像取得手段の一例である。入力情報記録部102は、操作時刻記録手段の一例である。画像解析部105は、判定手段の一例である。応答時間算出部106は、応答時間算出手段の一例である。
The
なお、本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。 Note that the present invention is not limited to the specifically disclosed embodiments, and various modifications and changes can be made without departing from the scope of the claims.
1 応答時間測定システム
10 端末装置
11 入力装置
12 表示装置
13 外部I/F
13a 記録媒体
14 RAM
15 ROM
16 CPU
17 通信I/F
18 HDD
20 サーバ装置
101 基準画像登録部
102 入力情報記録部
103 時刻取得部
104 データ生成部
105 画像解析部
106 応答時間算出部
107 表示部
108 基準画像データ記憶部
109 入力情報時刻データ記憶部
110 データ記憶部
DESCRIPTION OF SYMBOLS 1 Response
15 ROM
16 CPU
17 Communication I / F
18 HDD
DESCRIPTION OF
Claims (8)
表示部の所定の領域に表示された第1の画像データを取得する画像取得手段であって、前記第1の画像データが取得された時刻を前記第1の画像データと対応付けて取得する画像取得手段と、
前記画像取得手段で取得された前記第1の画像データと、予め登録された第1の基準画像データとが一致するか否かを判定する判定手段と、
前記判定手段で前記第1の画像データと前記第1の基準画像データとが一致すると判定された場合、該第1の画像データと対応付けて取得された時刻と前記入力操作がされた時刻とに基づき、前記処理要求に対する応答時間を算出する応答時間算出手段と、
を有する情報処理装置。 An operation time recording means for recording a time when an input operation for performing a processing request is performed;
Image acquisition means for acquiring first image data displayed in a predetermined area of a display unit, wherein the image acquisition means acquires the time at which the first image data was acquired in association with the first image data Acquisition means;
A determination unit that determines whether or not the first image data acquired by the image acquisition unit matches the first reference image data registered in advance;
When the determination means determines that the first image data and the first reference image data match, the time acquired in association with the first image data and the time when the input operation was performed And a response time calculating means for calculating a response time for the processing request,
An information processing apparatus.
前記処理要求が前記サーバ装置に送信された時刻を記録する送信時刻記録手段と、
前記処理要求に対する応答結果が前記サーバ装置から受信された時刻を記録する受信時刻記録手段と、
を有し、
前記応答時間算出手段は、
前記判定手段で前記第1の画像データと前記第1の基準画像データとが一致すると判定された場合、該第1の画像データと対応付けて取得された時刻と前記入力操作がされた時刻とに基づき、前記処理要求に対する応答時間を算出すると共に、前記送信時刻記録手段により記録された前記送信された時刻と前記受信時刻記録手段により記録された前記受信された時刻とに基づき、ネットワーク通信に要した時間を算出する、請求項1ないし3のいずれか1項に記載の情報処理装置。 The information processing device is connected via a network to a server device that executes processing for the processing request,
Transmission time recording means for recording the time when the processing request is transmitted to the server device;
A reception time recording means for recording a time when a response result to the processing request is received from the server device;
Have
The response time calculating means includes
When the determination means determines that the first image data and the first reference image data match, the time acquired in association with the first image data and the time when the input operation was performed And calculating a response time to the processing request, based on the transmission time recorded by the transmission time recording means and the received time recorded by the reception time recording means. The information processing apparatus according to claim 1, wherein the time required is calculated.
前記表示部の所定の領域に表示された第2の画像データを取得し、該第2の画像データが取得された時刻を前記第2の画像データと対応付けて取得し、
前記判定手段は、更に、
前記表示部の所定の領域に表示される第2の画像データと、予め登録された第2の基準画像データとが一致するか否かを判定し、
前記応答時間算出手段は、
前記判定手段で前記第1の画像データと前記第1の基準画像データとの一致が判定され、かつ、前記第2の画像データと前記第2の基準画像データとの不一致が判定された場合、該第1の画像データが取得された時刻と前記第2の画像データが取得された時刻とに基づき、前記処理要求に対する応答時間を算出する、請求項1記載の情報処理装置。 The image acquisition means further includes
Obtaining the second image data displayed in a predetermined area of the display unit, obtaining the time when the second image data was obtained in association with the second image data,
The determination means further includes:
Determining whether the second image data displayed in a predetermined area of the display unit matches the second reference image data registered in advance;
The response time calculating means includes
When the determination unit determines that the first image data and the first reference image data match, and the second image data and the second reference image data do not match, The information processing apparatus according to claim 1, wherein a response time for the processing request is calculated based on a time when the first image data is acquired and a time when the second image data is acquired.
前記第1の画像データに対応する画像と、前記第1の基準画像データの対応する画像との比較の結果が所定の範囲内にある場合、前記第1の画像データと前記第1の基準画像データとが一致すると判定し、
前記第2の画像データに対応する画像と、前記第2の基準画像データに対応する画像との比較の結果が所定の範囲内にない場合、前記第2の画像データと前記第2の基準画像データとは一致しないと判定する、請求項5記載の情報処理装置。 The determination means includes
When the comparison result between the image corresponding to the first image data and the image corresponding to the first reference image data is within a predetermined range, the first image data and the first reference image Determine that the data matches,
When the result of comparison between the image corresponding to the second image data and the image corresponding to the second reference image data is not within a predetermined range, the second image data and the second reference image The information processing apparatus according to claim 5, wherein the information processing apparatus determines that the data does not match.
前記第1の画像データに対応する画像の特定の部分と、前記第1の基準画像データに対応する画像の特定の部分との比較の結果が所定の範囲内にある場合、前記第1の画像データと前記第1の基準画像データとが一致すると判定し、
前記第2の画像データに対応する画像の特定の部分と、前記第2の基準画像データに対応する画像の特定の部分との比較の結果が所定の範囲内にない場合、前記第2の画像データと前記第2の基準画像データとは一致しないと判定する、請求項5記載の情報処理装置。 The determination means includes
When the comparison result between the specific portion of the image corresponding to the first image data and the specific portion of the image corresponding to the first reference image data is within a predetermined range, the first image Determining that the data and the first reference image data match,
When the result of comparison between the specific part of the image corresponding to the second image data and the specific part of the image corresponding to the second reference image data is not within a predetermined range, the second image The information processing apparatus according to claim 5, wherein it is determined that the data does not match the second reference image data.
処理要求を行うための入力操作がされた時刻を記録する操作時刻記録手順、
表示部の所定の領域に表示された第1の画像データを取得する画像取得手段であって、前記第1の画像データが取得された時刻を前記第1の画像データと対応付けて取得する画像取得手順、
前記画像取得手順で取得された前記第1の画像データと、予め登録された第1の基準画像データとが一致するか否かを判定する判定手順、
前記判定手順で前記第1の画像データと前記第1の基準画像データとが一致すると判定された場合、該第1の画像データと対応付けて取得された時刻と前記入力操作がされた時刻とに基づき、前記処理要求に対する応答時間を算出する応答時間算出手順、
を実行させるためのプログラム。 On the computer,
An operation time recording procedure for recording a time when an input operation for performing a processing request is performed;
Image acquisition means for acquiring first image data displayed in a predetermined area of a display unit, wherein the image acquisition means acquires the time at which the first image data was acquired in association with the first image data Acquisition procedure,
A determination procedure for determining whether or not the first image data acquired in the image acquisition procedure matches the first reference image data registered in advance;
When it is determined in the determination procedure that the first image data and the first reference image data match, the time acquired in association with the first image data and the time when the input operation is performed A response time calculation procedure for calculating a response time for the processing request based on
A program for running
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014151861A JP6290743B2 (en) | 2014-07-25 | 2014-07-25 | Information processing apparatus and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014151861A JP6290743B2 (en) | 2014-07-25 | 2014-07-25 | Information processing apparatus and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016029543A JP2016029543A (en) | 2016-03-03 |
JP6290743B2 true JP6290743B2 (en) | 2018-03-07 |
Family
ID=55435399
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014151861A Expired - Fee Related JP6290743B2 (en) | 2014-07-25 | 2014-07-25 | Information processing apparatus and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6290743B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7069076B2 (en) * | 2019-03-28 | 2022-05-17 | メタウォーター株式会社 | Information processing equipment, information processing systems, and programs |
WO2022034672A1 (en) * | 2020-08-13 | 2022-02-17 | 日本電信電話株式会社 | Data processing device and data processing method |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004038619A (en) * | 2002-07-04 | 2004-02-05 | Hitachi Ltd | Automatic response time measuring method, and device therefor |
JP4648074B2 (en) * | 2005-04-28 | 2011-03-09 | パナソニック株式会社 | Mobile site monitoring system |
JP4842917B2 (en) * | 2007-12-07 | 2011-12-21 | 富士通株式会社 | Automatic processing program for subsequent processing, automatic processing device for subsequent processing, and automatic processing method for subsequent processing |
-
2014
- 2014-07-25 JP JP2014151861A patent/JP6290743B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2016029543A (en) | 2016-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9442832B2 (en) | User workflow replication for execution error analysis | |
CN111625473B (en) | Interface test case generation method and device, storage medium and electronic equipment | |
CN103518393B (en) | The system and method for detecting mobile communication equipment content | |
CN107025174B (en) | Method, device and readable storage medium for user interface anomaly test of equipment | |
US9519401B2 (en) | Providing context menu based on predicted commands | |
CN107180117B (en) | Chart recommendation method and device and computer equipment | |
TWI622877B (en) | System and method for recording and replaying mouse behavior, recording media and program products | |
JP2010219789A5 (en) | Image processing system, control method thereof, and program | |
JP2012103786A (en) | Test support device, control method, and program | |
CN112037223B (en) | Image defect detection method and device and electronic equipment | |
JP2020144493A (en) | Learning model generation support device and learning model generation support method | |
JP2018163423A (en) | Construction management system, construction management method, noise measuring method, portable terminal, and program | |
JP6290743B2 (en) | Information processing apparatus and program | |
JP6275009B2 (en) | Test apparatus and test program | |
WO2019090691A1 (en) | Monkey testing method and terminal | |
CN109408387B (en) | Page testing method and device | |
CN107515821B (en) | Control testing method and device | |
JP2018060421A (en) | Information generation system, device, method, and program | |
JP7140232B2 (en) | ELECTRONIC DEVICE, LEARNING SUPPORT SYSTEM, LEARNING SUPPORT METHOD AND PROGRAM | |
JP6958803B2 (en) | Electromagnetic information leakage evaluation device, electromagnetic information leakage evaluation method, and electromagnetic information leakage evaluation program | |
JP2020525963A (en) | Method and apparatus for comparing media characteristics | |
JP7416071B2 (en) | Judgment device and judgment program | |
CN110084298B (en) | Method and device for detecting image similarity | |
US20180081951A1 (en) | Information generation system, a method and a non-transitory computer readable medium thereof | |
JP2020119001A (en) | Information processing apparatus, information processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170623 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180208 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6290743 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |