JP6859606B2 - Image comparison program, image comparison device and image comparison method - Google Patents
Image comparison program, image comparison device and image comparison method Download PDFInfo
- Publication number
- JP6859606B2 JP6859606B2 JP2016096260A JP2016096260A JP6859606B2 JP 6859606 B2 JP6859606 B2 JP 6859606B2 JP 2016096260 A JP2016096260 A JP 2016096260A JP 2016096260 A JP2016096260 A JP 2016096260A JP 6859606 B2 JP6859606 B2 JP 6859606B2
- Authority
- JP
- Japan
- Prior art keywords
- screen
- image
- script
- comparison
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Stored Programmes (AREA)
Description
本発明は、画像比較プログラム、画像比較装置および画像比較方法に関する。 The present invention relates to an image comparison program, an image comparison device, and an image comparison method.
ソフトウェアのマニュアル(取扱説明書)には、ソフトウェアの実行中の画面からキャプチャされた画像が数多く掲載される。また、ソフトウェアは改版される場合も多く、マニュアルにおいても、その都度に変更があった画面の画像が入れ替えられる。 The software manual (instruction manual) contains many images captured from the screen while the software is running. In addition, the software is often revised, and even in the manual, the screen image that has been changed is replaced each time.
図1は従来におけるマニュアルのための画像取込の作業例を示すフローチャートである。図1(a)はソフトウェアが初版の場合を示しており、担当者は対象のソフトウェア(初版)を起動し(ステップS1)、目視で確認しながらマニュアル内容に沿った所定の操作を行う(ステップS2)。そして、担当者は所望の画面が表示された際に画面をキャプチャしてマニュアルに取り込み(ステップS3)、これらの作業を繰り返す。 FIG. 1 is a flowchart showing a conventional work example of image capture for a manual. FIG. 1A shows the case where the software is the first edition, and the person in charge starts the target software (first edition) (step S1) and performs a predetermined operation according to the contents of the manual while visually checking (step S1). S2). Then, when the desired screen is displayed, the person in charge captures the screen and imports it into the manual (step S3), and repeats these operations.
図1(b)はソフトウェアが改版になった場合を示しており、担当者は対象のソフトウェア(改版)を起動し(ステップS4)、前版からの変更点を仕様書や実際の画面から目視で確認しながら、マニュアル内容に沿った所定の操作を行う(ステップS5)。そして、担当者は置き換えが必要な画面が表示された際に画面をキャプチャしてマニュアルに取り込み(置き換え)(ステップS6)、これらの作業を繰り返す。 FIG. 1B shows a case where the software has been revised. The person in charge starts the target software (revised version) (step S4) and visually observes the changes from the previous version from the specifications or the actual screen. While confirming with, perform a predetermined operation according to the contents of the manual (step S5). Then, when the screen that needs to be replaced is displayed, the person in charge captures the screen and imports (replaces) it into the manual (step S6), and repeats these operations.
上述した人手のみによる作業では、担当者の工数がかかるとともに、画像の入れ替えミスによるマニュアル品質の低下を招くため、操作記録機能によるスクリプトを用いた半自動化も行われている。 The above-mentioned manual work requires man-hours for the person in charge, and the manual quality is deteriorated due to an error in replacing the image. Therefore, semi-automation using a script by the operation recording function is also performed.
図2は従来におけるスクリプトによる半自動化した作業例を示すフローチャートである。図2(a)はソフトウェアが初版の場合を示しており、担当者は対象のソフトウェア(初版)を起動するとともに(ステップS11)、操作記録部を起動する(ステップS12)。担当者がマニュアル内容に沿った所定の操作すると(ステップS13)、操作記録部は操作内容(画面遷移、画面のキャプチャ、保存等)をスクリプトとして記録する(ステップS14)。そして、担当者は所望の画面が表示された際に画面をキャプチャし、マニュアルに取り込み(ステップS15)、これらの作業を繰り返す。 FIG. 2 is a flowchart showing a conventional semi-automated work example using a script. FIG. 2A shows a case where the software is the first version, and the person in charge starts the target software (first version) (step S11) and also starts the operation recording unit (step S12). When the person in charge performs a predetermined operation according to the contents of the manual (step S13), the operation recording unit records the operation contents (screen transition, screen capture, saving, etc.) as a script (step S14). Then, when the desired screen is displayed, the person in charge captures the screen, incorporates it into the manual (step S15), and repeats these operations.
図2(b)はソフトウェアが改版になった場合を示しており、担当者は対象のソフトウェア(改版)を起動し(ステップS16)、初版時に記録されたスクリプトを実行する(ステップS17)。その後、担当者はスクリプトによりキャプチャされた画面の画像を確認し(ステップS18)、マニュアルへの画像の取り込みを行う(ステップS19)。 FIG. 2B shows a case where the software is revised, and the person in charge starts the target software (revised) (step S16) and executes the script recorded at the time of the first edition (step S17). After that, the person in charge confirms the image of the screen captured by the script (step S18), and imports the image into the manual (step S19).
一方、マニュアル等の作成を支援する技術がいくつか開示されている(特許文献1〜4等)。
On the other hand, some techniques for supporting the creation of manuals and the like are disclosed (
上述したスクリプトにより画像を取得する技術は作業効率を向上する上で有用であるが、期待した画像を取得できない場合があり、担当者の目視による確認の負担がいぜんと大きかった。 The technique of acquiring an image by the above-mentioned script is useful for improving work efficiency, but there are cases where the expected image cannot be acquired, and the burden of visual confirmation by the person in charge is still heavy.
図3はOS(Operating System)の設定によるキャプチャ画像の違いの例を示す図である。図3(a)はWindowsクラシックのテーマ設定によるウィンドウの例を示しており、図3(b)はWindowsベーシックのテーマ設定によるウィンドウの例を示している。このように、ソフトウェアの同じ場面の画面であっても画像としては別物になってしまい、そのまま採用することはできない。ただし、人為的またはチェックフェーズによる自動処理により、予め設定の違いを確認することで、対処することは可能である。 FIG. 3 is a diagram showing an example of the difference in the captured image depending on the setting of the OS (Operating System). FIG. 3A shows an example of a window with a Windows classic theme setting, and FIG. 3B shows an example of a window with a Windows basic theme setting. In this way, even the screen of the same scene of the software becomes a different image, and cannot be adopted as it is. However, it is possible to deal with it by confirming the difference in settings in advance by artificial processing or automatic processing by the check phase.
図4はバージョン毎の画面遷移の例を示す図であり、初版(V1.0)における画面遷移のルートが改版(V2.0)で省略された場合の例である。図4において、初版(V1.0)では、(1)→(2)→(3)を介して所望の画面aに到達して画面のキャプチャを行っていたとする。また、改版(V2.0)では、(1)→(2)を介して所望の画面aに到達するように改造されていたとする。この場合、初版(V1.0)での画面遷移およびキャプチャの操作を記録したスクリプトを改版(V2.0)で実施した場合、所望の画面aから更に画面遷移をしようとして、次の画面が存在しないことからエラーが発生し、キャプチャを失敗する。ただし、この場合はエラーが発生することで、担当者は問題が発生したことを認識し、対処することが可能である。 FIG. 4 is a diagram showing an example of screen transition for each version, and is an example when the route of screen transition in the first edition (V1.0) is omitted in the revised edition (V2.0). In FIG. 4, in the first edition (V1.0), it is assumed that the desired screen a is reached and the screen is captured via (1) → (2) → (3). Further, in the revised version (V2.0), it is assumed that the screen has been modified so as to reach the desired screen a via (1) → (2). In this case, when the script that records the screen transition and capture operation in the first edition (V1.0) is executed in the revised edition (V2.0), the next screen exists in an attempt to make a further screen transition from the desired screen a. Failure to do so will result in an error and the capture will fail. However, in this case, if an error occurs, the person in charge can recognize that the problem has occurred and deal with it.
図5はバージョン毎の画面遷移の他の例を示す図であり、初版(V1.0)における画面遷移のルートが改版(V2.0)で追加された場合の例である。図5において、初版(V1.0)では、(1)→(2)→(3)を介して所望の画面aに到達して画面のキャプチャを行っていたとする。また、改版(V2.0)では、(1)→(2)→(3)→bを介して所望の画面aに到達するように改造されていたとする。この場合、エラーが発生することなく、画面aに到達する前の画面bのキャプチャが行われてしまい、所望の画面aを取得できなくなる。この場合は、エラーが発生しないため、担当者は問題が発生したことを認識できず、その結果、担当者は全てのキャプチャ画像について従前の画像と比較して確認を行わざるを得ない。 FIG. 5 is a diagram showing another example of screen transition for each version, and is an example when the route of screen transition in the first edition (V1.0) is added in the revised edition (V2.0). In FIG. 5, in the first edition (V1.0), it is assumed that the desired screen a is reached and the screen is captured via (1) → (2) → (3). Further, in the revised version (V2.0), it is assumed that the screen has been modified so as to reach the desired screen a via (1) → (2) → (3) → b. In this case, the screen b is captured before reaching the screen a without causing an error, and the desired screen a cannot be acquired. In this case, since no error occurs, the person in charge cannot recognize that the problem has occurred, and as a result, the person in charge has to confirm all the captured images by comparing them with the previous images.
このように、従来のスクリプトを行った作業では、担当者の画像比較の工数が多く、その簡略化が求められていた。 In this way, in the work of performing the conventional script, the man-hours for image comparison of the person in charge are large, and simplification thereof has been required.
そこで、一側面では、画像比較の作業負担を削減することを目的とする。 Therefore, on one aspect, the purpose is to reduce the workload of image comparison.
一つの形態では、第1処理の実行に応じて表示される第1画面の画像の特徴量と、前記第1処理に対応付けて記憶されている第2画面の画像の特徴量との比較結果の値が、前記第2画面に対して設定されている第1閾値を超えた場合、前記第2画面に対する警告情報を出力し、第2処理の実行に応じて表示される第3画面のウィンドウタイプと、前記第2処理に対応付けて記憶されている第4画面のウィンドウタイプとが異なる場合、前記第4画面に対する警告情報を出力し、前記第3画面のウィンドウタイプと、前記第4画面のウィンドウタイプとが一致する場合、前記第3画面の画像の特徴量と、前記第4画面の画像の特徴量との比較結果の値が、前記第4画面に対して設定されている第2閾値を超えた場合、前記第4画面に対する警告情報を出力する、処理をコンピュータに実行させる。
In one form, the comparison result between the feature amount of the image of the first screen displayed according to the execution of the first process and the feature amount of the image of the second screen stored in association with the first process. When the value of exceeds the first threshold set for the second screen, the warning information for the second screen is output, and the window of the third screen displayed according to the execution of the second process. When the type and the window type of the fourth screen stored in association with the second process are different, the warning information for the fourth screen is output, and the window type of the third screen and the fourth screen are displayed. If the window types are matched, the feature amount of the third screen of an image, the value of the comparison result of the feature amount of the fourth screen image, the fourth second, which is set to the screen When the threshold value is exceeded, the computer is made to execute a process of outputting warning information for the fourth screen.
画像比較の作業負担を削減することができる。 The work load of image comparison can be reduced.
以下、本発明の好適な実施形態につき説明する。 Hereinafter, preferred embodiments of the present invention will be described.
<構成>
図6は一実施形態にかかるシステムの構成例を示す図である。図6において、ソフトウェアのマニュアルのための画面画像の取得を支援するサーバ装置1は、社内ネットワークやインターネット等のネットワーク2に接続されている。また、ソフトウェアを実行し、ソフトウェアのマニュアルのための画面画像の取得の操作を行う複数のクライアント端末3(3X、3Y、・・)はネットワーク2を介してサーバ装置1に接続可能となっている。
<Structure>
FIG. 6 is a diagram showing a configuration example of the system according to the embodiment. In FIG. 6, the
図7はサーバ装置1の機能構成例を示す図である。図7において、サーバ装置1は、キャプチャ画像受信部101と画像比較部102と環境情報受信部103と環境比較部104とスクリプト受信部105とスクリプト送信部106とスクリプト結果参照部107とを備えている。
FIG. 7 is a diagram showing a functional configuration example of the
キャプチャ画像受信部101は、クライアント端末3から画面のキャプチャ画像を受信し、キャプチャ画像記憶部111に画像ファイル112を保存する機能を有している。画像ファイル112は、対応するソフトウェアの識別子、バージョン(版数)、キャプチャを行ったクライアント端末3の識別子等と対応付けられている。画像比較部102は、キャプチャ画像記憶部111に保存された以前の版の画像ファイル112と今回の版の画像ファイル112とを、設定情報記憶部113に保存された設定情報114に基づいて比較し、同一性を判断する機能を有している。設定情報114の具体例については後述するが、画像比較において同一性の範囲内にあると許容する閾値等が含まれる。
The captured
環境情報受信部103は、クライアント端末3から環境情報を受信し、環境情報記憶部115に環境情報116として保存する機能を有している。環境情報116には、対応するソフトウェアの識別子、バージョン(版数)、クライアント端末3の識別子、OSのバージョンのほか、ソフトウェアのウィンドウ毎の画面タイプ等の情報も含まれる。環境比較部104は、環境情報記憶部115に保存された以前の版の環境情報116と今回の版の環境情報116とを比較する機能を有している。
The environment
スクリプト受信部105は、クライアント端末3において記録されたスクリプトを受信し、スクリプト記憶部117にスクリプトファイル118として保存する機能を有している。スクリプトファイル118は、対応するソフトウェア、バージョン(版数)、スクリプト記録を行ったクライアント端末3の識別子等と対応付けられている。また、スクリプト受信部105はスクリプトの実行結果であるスクリプト結果を受信し、スクリプト結果119としてスクリプト記憶部117に保存する機能も有している。スクリプト送信部106は、クライアント端末3からの要求に応じ、以前の版のスクリプトファイル118を提供する機能を有している。スクリプト結果参照部107は、スクリプト結果119を参照して、エラーが発生した画面のキャプチャ画像について警告情報を記録する機能を有している。
The
図8はクライアント端末3(3X、3Y、・・)の機能構成例を示す図である。図8において、クライアント端末3は、対象ソフトウェア実行部301と操作記録部302とスクリプト送信部303と環境情報取得・送信部304とキャプチャ画像送信部305とを備えている。また、クライアント端末3は、スクリプト要求部306とスクリプト受信部307とスクリプト実行部308とスクリプト結果送信部309と比較結果受信部310とを備えている。なお、クライアント端末3において、ソフトウェアの初版等においてスクリプトを記録する場合に使用される部分は、対象ソフトウェア実行部301と操作記録部302とスクリプト送信部303と環境情報取得・送信部304とキャプチャ画像送信部305である。また、ソフトウェアの改版においてスクリプトを実行する場合に使用される部分は、対象ソフトウェア実行部301と環境情報取得・送信部304とキャプチャ画像送信部305とスクリプト要求部306〜比較結果受信部310である。
FIG. 8 is a diagram showing a functional configuration example of the client terminal 3 (3X, 3Y, ...). In FIG. 8, the
対象ソフトウェア実行部301は、マニュアル作成の対象となるソフトウェアを実行する機能を有している。操作記録部302は、対象ソフトウェア実行部301で実行されるソフトウェアに対して担当者(マニュアル作成者)が行う操作をスクリプトとして記録する機能を有している。記録したスクリプトは内部的に一時的に保存する。スクリプト送信部303は、記録されたスクリプトをサーバ装置1に送信する機能を有している。
The target
環境情報取得・送信部304は、自端末における環境情報を取得(取得した環境情報は内部的に一時的に保存)し、サーバ装置1に送信する機能を有している。キャプチャ画像送信部305は、自端末においてキャプチャされた画面の画像をサーバ装置1に送信する機能を有している。
The environment information acquisition /
スクリプト要求部306は、改版されたソフトウェアのマニュアル作成において用いる以前の版のスクリプトをサーバ装置1に要求する機能を有している。スクリプト受信部307は、サーバ装置1からスクリプトを受信する機能を有している。受信したスクリプトは内部的に一時的に保存する。スクリプト実行部308は、スクリプト受信部307により受信したスクリプトを担当者の指示に従って実行する機能を有している。スクリプトの実行結果は内部的に一時的に保存する。スクリプト結果送信部309は、スクリプトの実行結果をサーバ装置1に送信する機能を有している。比較結果受信部310は、サーバ装置1からキャプチャした画面の画像の以前の版の画像との比較結果を受信し、必要に応じ、担当者に出力する機能を有している。
The
図9はサーバ装置1およびクライアント端末3のハードウェア構成例を示す図である。図9において、サーバ装置1等は、バス17を介して相互に接続されたCPU(Central Processing Unit)11、ROM(Read Only Memory)12、RAM(Random Access Memory)13を備えている。また、サーバ装置1等は、HDD(Hard Disk Drive)/SSD(Solid State Drive)14、接続I/F(Interface)15、通信I/F16を備えている。CPU11は、RAM13をワークエリアとしてROM12またはHDD/SSD14等に格納されたプログラムを実行することで、サーバ装置1等の動作を統括的に制御する。接続I/F15は、サーバ装置1等に接続される機器とのインタフェースである。通信I/F16は、ネットワークを介して他の情報処理装置と通信を行うためのインタフェースである。
FIG. 9 is a diagram showing a hardware configuration example of the
図7および図8で説明した各装置の機能は、CPU11において所定のプログラムが実行されることで実現される。プログラムは、記録媒体を経由して取得されるものでもよいし、ネットワークを経由して取得されるものでもよいし、ROM組込でもよい。処理に際して参照・更新されるデータは、RAM13またはHDD/SSD14に保持される。
The functions of the devices described with reference to FIGS. 7 and 8 are realized by executing a predetermined program in the
<動作>
図10は上記の実施形態の処理例を示すシーケンス図であり、クライアント端末3Xにおいて初版のソフトウェアを実行してスクリプトを記録し、ソフトウェアの改版時にクライアント端末3Yにおいてスクリプトを実行するものとしている。
<Operation>
FIG. 10 is a sequence diagram showing a processing example of the above embodiment, in which the first version of the software is executed on the
図10において、クライアント端末3Xでは担当者から対象ソフト起動と操作記録開始の指示(操作)を受けると(ステップS101)、対象ソフトウェア実行部301はソフトウェアを起動し、操作記録部302は操作記録を開始する(ステップS102)。その後、担当者の画面遷移、キャプチャ等の所定の操作(ステップS103)が記録されてスクリプト化され、担当者による操作記録の終了の指示(ステップS104)により操作記録が終了する。図11は記録されたスクリプトの例を示しており、メニューの操作、メニューリストの項目の選択、フィールドへの入力、ボタンのプッシュ、画面キャプチャ等の操作が記録されている。
In FIG. 10, when the
図10に戻り、操作記録が終了すると、環境情報取得・送信部304はクライアント端末3Xの環境情報を取得する(ステップS105)。そして、キャプチャ画像送信部305、環境情報取得・送信部304およびスクリプト送信部303は、キャプチャ画像、環境情報およびスクリプトファイルをサーバ装置1に送信する(ステップS106)。サーバ装置1のキャプチャ画像受信部101、環境情報受信部103およびスクリプト受信部105はそれぞれキャプチャ画像、環境情報およびスクリプトファイルを受信し、保存する(ステップS107)。
Returning to FIG. 10, when the operation recording is completed, the environment information acquisition /
その後、対象ソフトウェアの改版時に、クライアント端末3Yでは担当者から対象ソフト起動の指示を受けると(ステップS111)、対象ソフトウェア実行部301はソフトウェアを起動する。対象ソフト起動の指示は、表示画面を遷移させる指示に相当する。次いで、環境情報取得・送信部304はクライアント端末3Yの環境情報を取得し(ステップS112)、サーバ装置1に環境情報を送信する(ステップS113)。サーバ装置1の環境情報受信部103は環境情報を受信すると環境情報記憶部115に保存し、環境比較部104は同ソフトウェアのスクリプトが保存されている以前の版に対応する環境情報と、今回の改版についての環境情報とを比較する(ステップS114)。図12は環境比較の例を示しており、クライアント:#1がクライアント端末3Xに対応し、クライアント:#2がクライアント端末3Yに対応している。この例では、いずれもOSのバージョンが同じであるため、問題なしと判断する。そして、環境比較部104は、環境比較結果をクライアント端末3Yに送信する(ステップS115)。
After that, when the target software is revised, when the
図10に戻り、クライアント端末3Yは、環境比較結果がOSのバージョン違いを示す等により以前のスクリプトを実行しても意味がない場合は、スクリプトによる処理を中止する。また、環境比較結果が、問題なしか、一部への影響である場合、スクリプト要求部306はサーバ装置1に対して対応するスクリプトファイルを要求する(ステップS116)。これを受け、サーバ装置1のスクリプト送信部106はスクリプト記憶部117から対応するスクリプトファイル118を取得し、クライアント端末3Yに送信する(ステップS117)。
Returning to FIG. 10, if the environment comparison result indicates that the OS version is different and it is meaningless to execute the previous script, the
クライアント端末3Yのスクリプト受信部307がスクリプトファイルを受信するとスクリプト実行部308はスクリプトを実行し、画面遷移、画面キャプチャ、画像保存等を自動実行する(ステップS118)。スクリプトは画面キャプチャを単位に実行完了が管理され、正常に実行完了したかエラーが発生したかをスクリプト結果として記録する(ステップS119)。そして、一連のスクリプトの実行が完了した後、キャプチャ画像送信部305およびスクリプト結果送信部309はキャプチャ画像とスクリプト結果をサーバ装置1に送信する(ステップS120)。サーバ装置1のキャプチャ画像受信部101およびスクリプト受信部105はキャプチャ画像とスクリプト結果を受信すると、それぞれキャプチャ画像記憶部111およびスクリプト記憶部117に保存する(ステップS121)。
When the
次いで、環境比較部104は、環境詳細比較を行う(ステップS122)。図13は環境詳細比較の例を示しており、以前の版の環境情報において全ての画面のウィンドウタイプが「○○○」とされているのに対し、今回の版の環境情報において一部の画面のウィンドウタイプが異なる場合を示している。この例の場合、画面W4についてはNGの判定を行い、他の画面についてはOKの判定を行う。NG判定された画面については、警告情報に記録し、以降の処理の対象外とする。
Next, the
図10に戻り、スクリプト結果参照部107はスクリプト記憶部117のスクリプト結果119を参照し、エラーが発生した画面について警告情報を記録する(ステップS123)。図14はスクリプト結果参照の例を示しており、環境詳細比較で除外された残りの画像について、エラーにより結果がNGとなった画面W3について警告情報を記録し、以降の処理の対象外とする。
Returning to FIG. 10, the script
図10に戻り、画像比較部102は以前の版と今回の版の画像ファイル112の画像サイズ比較を行う(ステップS124)。なお、画像サイズは画像ファイル112から取得することができる。図15は画像サイズ比較の例を示しており、環境詳細比較およびスクリプト結果参照で除外された残りの画像について、画像サイズの一致を判定し、異なる場合に警告情報を記録し、以降の処理の対象外とする。この例では、画像サイズが全て一致したものとしている。
Returning to FIG. 10, the
図10に戻り、画像比較部102は以前の版と今回の版の画像ファイル112について画像詳細比較を行う(ステップS125)。図16は画像詳細比較の例を示している。すなわち、以前の版と今回の版の画像ファイル112の個々の画像について、パターンマッチングによる特徴比較(同じ座標の画素を比較し相関値を算出)の比較結果αと、色比較(各画素の色のヒストグラムで相関値を算出)の比較結果βとを画像処理により取得する。この際、画像を細分化し、それぞれ上記の相関値を算出し、それらに対し統計的手法(例:標準偏差を求めて正規分布化し、上位m%と下位m%をNG、上位n%と下位n%を要注意とする(m<n))を使った判定も加える。
Returning to FIG. 10, the
そして、画像比較部102は、設定情報114の閾値を用い、各画像が実質的に同じであるか否か判定する。この例では、ログイン画面については、以前の版からV2、V3への変更がないため、閾値は1.0(完全同一)とされている。画面W1については、以前の版からV2、V3へ著作権表示の年号等の変更があるため、それらの文字の違いを吸収するように、閾値は0.9とされている。画面W2については、V2については著作権表示の年号等の変更があるため閾値は0.9とされ、V3についてはUI(User Interface)の一部変更があるため閾値は0.5とされている。ここでは、V2の判定として、ログイン画面と画面W1については実質的に同じと判定し、画面W2については相違すると判定している。相違したと判定した画面については警告情報を記録する。
Then, the
図10に戻り、環境比較部104、スクリプト結果参照部107および画像比較部102は、比較結果と警告情報(存在する場合)をクライアント端末3Yに送信する(ステップS126)。クライアント端末3Yの比較結果受信部310は、比較結果等を受信すると、担当者に対して表示等を行う。警告情報が存在する場合、担当者は、該当する画面の画像を手動対応で取得しなおし(ステップS127)、そのキャプチャ画像をキャプチャ画像送信部305によりサーバ装置1に送信する(ステップS128)。サーバ装置1のキャプチャ画像受信部101は、手動対応によるキャプチャ画像を受信した場合、キャプチャ画像記憶部111に保存する。そして、キャプチャ画像記憶部111に保存された画像ファイル112の画像はマニュアルに反映される(ステップS129)。なお、マニュアルへの反映は、所定のフォルダ等に画像ファイル112が移動されることで完了する。マニュアルの本体となる電子データ(Word、PDF等)は、起動されることで、データ上に記述されたファイル名に従い、所定のフォルダから画像ファイル112を読み込むことで、マニュアル上にキャプチャ画像を表示する。
Returning to FIG. 10, the
<総括>
以上説明したように、本実施形態によれば、画像比較の作業負担を削減することができる。
<Summary>
As described above, according to the present embodiment, the work load of image comparison can be reduced.
以上、好適な実施の形態により説明した。ここでは特定の具体例を示して説明したが、特許請求の範囲に定義された広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により限定されるものと解釈してはならない。 The above description has been made according to a preferred embodiment. Although specific examples have been described here, it is clear that various modifications and changes can be made to these specific examples without departing from the broad purpose and scope defined in the claims. .. That is, it should not be construed as being limited by the details of the specific examples and the accompanying drawings.
以上の説明に関し、更に以下の項を開示する。
(付記1)
表示画面を遷移させる指示を受け付けると、指示に対応付けて一又は複数の処理を記憶する記憶部を参照して、受け付けた前記指示に対応付けられた一又は複数の処理を実行し、
前記一又は複数の処理の実行完了を検出すると、一又は複数の処理に対応付けて画面情報を記憶する記憶部を参照して、前記実行完了が検出された前記一又は複数の処理に対応付けられた画面情報を取得し、
前記実行完了が検出された前記一又は複数の処理の実行に応じて表示される画面情報と、取得した前記画面情報とを比較し、
比較結果を出力する、
処理をコンピュータに実行させることを特徴とする画像比較プログラム。
(付記2)
前記比較する処理は、前記一又は複数の処理の実行に応じて表示される画面情報の特徴量と、前記取得した前記画面情報の特徴量とを比較する、
ことを特徴とする付記1に記載の画像比較プログラム。
(付記3)
前記比較する処理は、前記特徴量の違いが予め記憶部に格納された閾値を超えるか否かにより比較結果を得る、
ことを特徴とする付記2に記載の画像比較プログラム。
(付記4)
前記比較する処理は、前記一又は複数の処理の実行に応じて表示される画面情報の画像サイズと、前記取得した前記画面情報の画像サイズとを比較する、
ことを特徴とする付記1乃至3のいずれか一項に記載の画像比較プログラム。
(付記5)
前記比較する処理の前に、前記指示に対応付けられた一又は複数の処理が記録された環境情報と、前記受け付けた前記指示に対応付けられた一又は複数の処理が実行される環境情報とを比較する、
ことを特徴とする付記1乃至4のいずれか一項に記載の画像比較プログラム。
(付記6)
表示画面を遷移させる指示を受け付けると、指示に対応付けて一又は複数の処理を記憶する記憶部を参照して、受け付けた前記指示に対応付けられた一又は複数の処理を実行する実行部と、
前記一又は複数の処理の実行完了を検出すると、一又は複数の処理に対応付けて画面情報を記憶する記憶部を参照して、前記実行完了が検出された前記一又は複数の処理に対応付けられた画面情報を取得する取得部と、
前記実行完了が検出された前記一又は複数の処理の実行に応じて表示される画面情報と、取得した前記画面情報とを比較する比較部と、
比較結果を出力する出力部と、
を備えたことを特徴とする画像比較装置。
(付記7)
前記比較部は、前記一又は複数の処理の実行に応じて表示される画面情報の特徴量と、前記取得した前記画面情報の特徴量とを比較する、
ことを特徴とする付記6に記載の画像比較装置。
(付記8)
前記比較部は、前記特徴量の違いが予め記憶部に格納された閾値を超えるか否かにより比較結果を得る、
ことを特徴とする付記7に記載の画像比較装置。
(付記9)
前記比較部は、前記一又は複数の処理の実行に応じて表示される画面情報の画像サイズと、前記取得した前記画面情報の画像サイズとを比較する、
ことを特徴とする付記6乃至8のいずれか一項に記載の画像比較装置。
(付記10)
前記比較部の処理の前に、前記指示に対応付けられた一又は複数の処理が記録された環境情報と、前記受け付けた前記指示に対応付けられた一又は複数の処理が実行される環境情報とを比較する、
ことを特徴とする付記6乃至9のいずれか一項に記載の画像比較装置。
(付記11)
表示画面を遷移させる指示を受け付けると、指示に対応付けて一又は複数の処理を記憶する記憶部を参照して、受け付けた前記指示に対応付けられた一又は複数の処理を実行し、
前記一又は複数の処理の実行完了を検出すると、一又は複数の処理に対応付けて画面情報を記憶する記憶部を参照して、前記実行完了が検出された前記一又は複数の処理に対応付けられた画面情報を取得し、
前記実行完了が検出された前記一又は複数の処理の実行に応じて表示される画面情報と、取得した前記画面情報とを比較し、
比較結果を出力する、
処理をコンピュータが実行することを特徴とする画像比較方法。
(付記12)
前記比較する処理は、前記一又は複数の処理の実行に応じて表示される画面情報の特徴量と、前記取得した前記画面情報の特徴量とを比較する、
ことを特徴とする付記11に記載の画像比較方法。
(付記13)
前記比較する処理は、前記特徴量の違いが予め記憶部に格納された閾値を超えるか否かにより比較結果を得る、
ことを特徴とする付記12に記載の画像比較方法。
(付記14)
前記比較する処理は、前記一又は複数の処理の実行に応じて表示される画面情報の画像サイズと、前記取得した前記画面情報の画像サイズとを比較する、
ことを特徴とする付記11乃至13のいずれか一項に記載の画像比較方法。
(付記15)
前記比較する処理の前に、前記指示に対応付けられた一又は複数の処理が記録された環境情報と、前記受け付けた前記指示に対応付けられた一又は複数の処理が実行される環境情報とを比較する、
ことを特徴とする付記11乃至14のいずれか一項に記載の画像比較方法。
With respect to the above description, the following sections will be further disclosed.
(Appendix 1)
When an instruction to transition the display screen is received, the storage unit that stores one or more processes in association with the instruction is referred to, and one or more processes associated with the received instruction are executed.
When the execution completion of the one or more processes is detected, the storage unit that stores the screen information in association with the one or more processes is referred to, and the execution completion is associated with the one or the plurality of processes detected. Get the screen information
The screen information displayed according to the execution of the one or more processes for which the execution completion is detected is compared with the acquired screen information.
Output the comparison result,
An image comparison program characterized by having a computer perform processing.
(Appendix 2)
The comparison process compares the feature amount of the screen information displayed according to the execution of the one or more processes with the feature amount of the acquired screen information.
The image comparison program according to
(Appendix 3)
In the comparison process, a comparison result is obtained depending on whether or not the difference in the feature amounts exceeds the threshold value stored in the storage unit in advance.
The image comparison program according to
(Appendix 4)
The comparison process compares the image size of the screen information displayed according to the execution of the one or more processes with the image size of the acquired screen information.
The image comparison program according to any one of
(Appendix 5)
Prior to the process to be compared, environmental information in which one or more processes associated with the instruction are recorded, and environmental information in which one or more processes associated with the received instruction are executed. To compare,
The image comparison program according to any one of
(Appendix 6)
When an instruction to transition the display screen is received, a storage unit that stores one or more processes in association with the instruction is referred to, and an execution unit that executes one or more processes associated with the received instruction. ,
When the execution completion of the one or more processes is detected, the storage unit that stores the screen information in association with the one or more processes is referred to, and the execution completion is associated with the one or the plurality of processes detected. The acquisition unit that acquires the displayed screen information,
A comparison unit that compares the screen information displayed according to the execution of the one or more processes for which the execution completion is detected with the acquired screen information.
The output section that outputs the comparison result and
An image comparison device characterized by being equipped with.
(Appendix 7)
The comparison unit compares the feature amount of the screen information displayed according to the execution of the one or more processes with the feature amount of the acquired screen information.
The image comparison device according to
(Appendix 8)
The comparison unit obtains a comparison result depending on whether or not the difference in the feature amount exceeds the threshold value stored in the storage unit in advance.
The image comparison device according to Appendix 7, wherein the image comparison device is characterized by the above.
(Appendix 9)
The comparison unit compares the image size of the screen information displayed according to the execution of the one or more processes with the image size of the acquired screen information.
The image comparison apparatus according to any one of
(Appendix 10)
Environmental information in which one or more processes associated with the instruction are recorded before the process of the comparison unit, and environmental information in which one or more processes associated with the received instruction are executed. Compare with,
The image comparison apparatus according to any one of
(Appendix 11)
When an instruction to transition the display screen is received, the storage unit that stores one or more processes in association with the instruction is referred to, and one or more processes associated with the received instruction are executed.
When the execution completion of the one or more processes is detected, the storage unit that stores the screen information in association with the one or more processes is referred to, and the execution completion is associated with the one or the plurality of processes detected. Get the screen information
The screen information displayed according to the execution of the one or more processes for which the execution completion is detected is compared with the acquired screen information.
Output the comparison result,
An image comparison method characterized in that processing is performed by a computer.
(Appendix 12)
The comparison process compares the feature amount of the screen information displayed according to the execution of the one or more processes with the feature amount of the acquired screen information.
The image comparison method according to
(Appendix 13)
In the comparison process, a comparison result is obtained depending on whether or not the difference in the feature amounts exceeds the threshold value stored in the storage unit in advance.
The image comparison method according to
(Appendix 14)
The comparison process compares the image size of the screen information displayed according to the execution of the one or more processes with the image size of the acquired screen information.
The image comparison method according to any one of
(Appendix 15)
Prior to the process to be compared, environmental information in which one or more processes associated with the instruction are recorded, and environmental information in which one or more processes associated with the received instruction are executed. To compare,
The image comparison method according to any one of
1 サーバ装置
101 キャプチャ画像受信部
102 画像比較部
103 環境情報受信部
104 環境比較部
105 スクリプト受信部
106 スクリプト送信部
107 スクリプト結果参照部
111 キャプチャ画像記憶部
112 画像ファイル
113 設定情報記憶部
114 設定情報
115 環境情報記憶部
116 環境情報
117 スクリプト記憶部
118 スクリプトファイル
119 スクリプト結果
2 ネットワーク
3、3X、3Y クライアント端末
301 対象ソフトウェア実行部
302 操作記録部
303 スクリプト送信部
304 環境情報取得・送信部
305 キャプチャ画像送信部
306 スクリプト要求部
307 スクリプト受信部
308 スクリプト実行部
309 スクリプト結果送信部
310 比較結果受信部
1
Claims (5)
第2処理の実行に応じて表示される第3画面のウィンドウタイプと、前記第2処理に対応付けて記憶されている第4画面のウィンドウタイプとが異なる場合、前記第4画面に対する警告情報を出力し、
前記第3画面のウィンドウタイプと、前記第4画面のウィンドウタイプとが一致する場合、前記第3画面の画像の特徴量と、前記第4画面の画像の特徴量との比較結果の値が、前記第4画面に対して設定されている第2閾値を超えた場合、前記第4画面に対する警告情報を出力する、
処理をコンピュータに実行させることを特徴とする画像比較プログラム。 The value of the comparison result between the feature amount of the image of the first screen displayed according to the execution of the first process and the feature amount of the image of the second screen stored in association with the first process is the above. When the first threshold value set for the second screen is exceeded, the warning information for the second screen is output, and the warning information is output.
If the window type of the third screen displayed according to the execution of the second process and the window type of the fourth screen stored in association with the second process are different, the warning information for the fourth screen is displayed. Output and
And window type of the third screen, if the window type of the fourth screen matches the feature value of the third screen of an image, the value of the comparison result of the feature amount of the fourth screen image, When the second threshold value set for the fourth screen is exceeded, warning information for the fourth screen is output.
An image comparison program characterized by having a computer perform processing.
ことを特徴とする請求項1に記載の画像比較プログラム。 The feature amount of the image on the first screen is the image size of the first screen.
The image comparison program according to claim 1.
ことを特徴とする請求項1または2に記載の画像比較プログラム。 The environment information recorded on the second screen is compared with the environment information on which the first process is executed.
The image comparison program according to claim 1 or 2.
第2処理の実行に応じて表示される第3画面のウィンドウタイプと、前記第2処理に対応付けて記憶されている第4画面のウィンドウタイプとが異なる場合、前記第4画面に対する警告情報を出力し、
前記第3画面のウィンドウタイプと、前記第4画面のウィンドウタイプとが一致する場合、前記第3画面の画像の特徴量と、前記第4画面の画像の特徴量との比較結果の値が、前記第4画面に対して設定されている第2閾値を超えた場合、前記第4画面に対する警告情報を出力する出力部を備えたことを特徴とする画像比較装置。 The value of the comparison result between the feature amount of the image of the first screen displayed according to the execution of the first process and the feature amount of the image of the second screen stored in association with the first process is the above. When the first threshold value set for the second screen is exceeded, the warning information for the second screen is output, and the warning information is output.
If the window type of the third screen displayed according to the execution of the second process and the window type of the fourth screen stored in association with the second process are different, the warning information for the fourth screen is displayed. Output and
And window type of the third screen, if the window type of the fourth screen matches the feature value of the third screen of an image, the value of the comparison result of the feature amount of the fourth screen image, An image comparison device including an output unit that outputs warning information for the fourth screen when the second threshold value set for the fourth screen is exceeded.
第2処理の実行に応じて表示される第3画面のウィンドウタイプと、前記第2処理に対応付けて記憶されている第4画面のウィンドウタイプとが異なる場合、前記第4画面に対する警告情報を出力し、
前記第3画面のウィンドウタイプと、前記第4画面のウィンドウタイプとが一致する場合、前記第3画面の画像の特徴量と、前記第4画面の画像の特徴量との比較結果の値が、前記第4画面に対して設定されている第2閾値を超えた場合、前記第4画面に対する警告情報を出力する、
処理をコンピュータが実行することを特徴とする画像比較方法。 The value of the comparison result between the feature amount of the image of the first screen displayed according to the execution of the first process and the feature amount of the image of the second screen stored in association with the first process is the above. When the first threshold value set for the second screen is exceeded, the warning information for the second screen is output, and the warning information is output.
If the window type of the third screen displayed according to the execution of the second process and the window type of the fourth screen stored in association with the second process are different, the warning information for the fourth screen is displayed. Output and
And window type of the third screen, if the window type of the fourth screen matches the feature value of the third screen of an image, the value of the comparison result of the feature amount of the fourth screen image, When the second threshold value set for the fourth screen is exceeded, warning information for the fourth screen is output.
An image comparison method characterized in that processing is performed by a computer.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016096260A JP6859606B2 (en) | 2016-05-12 | 2016-05-12 | Image comparison program, image comparison device and image comparison method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016096260A JP6859606B2 (en) | 2016-05-12 | 2016-05-12 | Image comparison program, image comparison device and image comparison method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017204187A JP2017204187A (en) | 2017-11-16 |
JP6859606B2 true JP6859606B2 (en) | 2021-04-14 |
Family
ID=60322965
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016096260A Active JP6859606B2 (en) | 2016-05-12 | 2016-05-12 | Image comparison program, image comparison device and image comparison method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6859606B2 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1040132A (en) * | 1996-07-26 | 1998-02-13 | Mitsubishi Electric Corp | System for inspecting program |
JP2005266954A (en) * | 2004-03-16 | 2005-09-29 | Hitachi Software Eng Co Ltd | Operation information recording/reproduction apparatus |
US8381094B1 (en) * | 2011-09-28 | 2013-02-19 | Fujitsu Limited | Incremental visual comparison of web browser screens |
JP6455010B2 (en) * | 2014-07-31 | 2019-01-23 | 日本電気株式会社 | Information processing apparatus, information processing method, and program |
-
2016
- 2016-05-12 JP JP2016096260A patent/JP6859606B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017204187A (en) | 2017-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6610082B2 (en) | Relay device and relay processing program | |
US20070223034A1 (en) | Image forming apparatus, image processing apparatus, image forming method, image processing method, program, and storage medium | |
US9983791B2 (en) | System management controller and method of configuration file backup and recovery | |
US20150264198A1 (en) | Automatic installation system and method, information processing apparatus, and image forming apparatus | |
US10178249B2 (en) | System that saves data, server, and method | |
US20150178030A1 (en) | Network device, control method for network device, and storage medium thereof | |
CN105871587A (en) | Log uploading method and device | |
US20170034384A1 (en) | Electronic device, information processing system and storage medium | |
US20130346796A1 (en) | Information processing apparatus, program update method, and program | |
US20150189116A1 (en) | Network device, control method, and storage medium | |
US9378006B2 (en) | Apparatus having check unit to check progress status of software installation of apparatus identified by identification information stored in external storage, control method for apparatus, and storage medium | |
JP2017107307A (en) | Apparatus, information processing system, information processing method, and program | |
CN110851081A (en) | Method and device for safely cleaning storage space and computer readable storage medium | |
CN114706658A (en) | Container mirror image data processing method, device, equipment and medium | |
CN110968478A (en) | Log collection method, server and computer storage medium | |
CN109472540B (en) | Service processing method and device | |
CN110651258A (en) | Automatic backup device based on real-time file change detection | |
CN107329802B (en) | Virtual machine creating method and electronic equipment | |
US7610321B2 (en) | File transfer system, file storage apparatus, method for storing file, and program | |
US20140380409A1 (en) | Network device management apparatus, network device management method, and program for executing network device management method | |
JP6859606B2 (en) | Image comparison program, image comparison device and image comparison method | |
CN104572943A (en) | Installation-free program cleaning method and device | |
CN111444045A (en) | Backup method, device and equipment for voiceprint data | |
CN110769016A (en) | File uploading method and computer storage medium | |
JP6520260B2 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING SYSTEM, AND PROGRAM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200114 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200302 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200901 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200923 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210224 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210309 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6859606 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |