JPH10198586A - Ｇｕｉシステム自動操作装置および操作マクロ実行装置 - Google Patents

Ｇｕｉシステム自動操作装置および操作マクロ実行装置

Info

Publication number
JPH10198586A
JPH10198586A JP9013121A JP1312197A JPH10198586A JP H10198586 A JPH10198586 A JP H10198586A JP 9013121 A JP9013121 A JP 9013121A JP 1312197 A JP1312197 A JP 1312197A JP H10198586 A JPH10198586 A JP H10198586A
Authority
JP
Japan
Prior art keywords
operation component
component
execution
program
recorded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9013121A
Other languages
English (en)
Other versions
JP3008872B2 (ja
Inventor
Hidehiko Okada
英彦 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP9013121A priority Critical patent/JP3008872B2/ja
Priority to US09/004,320 priority patent/US6184880B1/en
Publication of JPH10198586A publication Critical patent/JPH10198586A/ja
Application granted granted Critical
Publication of JP3008872B2 publication Critical patent/JP3008872B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3692—Test management for test results analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45504—Abstract machines for programme code execution, e.g. Java virtual machine [JVM], interpreters, emulators
    • G06F9/45508—Runtime interpretation or emulation, e g. emulator loops, bytecode interpretation
    • G06F9/45512—Command shells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3414—Workload generation, e.g. scripts, playback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions

Abstract

(57)【要約】 【課題】 ＧＵＩを有するシステムを自動的に操作して
システムの画面を網羅的に遷移させ、各時点の画面イメ
ージを記録する。 【解決手段】 画面上に表示されたシステムの操作部品
を操作部品検出手段１０２により検出し、検出された操
作部品を網羅的に操作するよう、操作部品選択手段１０
８にて順に選択する。選択された操作部品に対する操作
を実行するための操作イベントは、操作イベント発生手
段１０９にて発生させ、システムの実行プログラムの実
行を制御しているプログラム実行手段１０１に出力す
る。画面イメージ記録手段１０３はプログラム実行手段
１０１から画面イメージを取得して記録する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、ＧＵＩ（グラフィ
カルユーザインタフェース）を有するシステムの操作性
評価や動作検査、あるいは操作マクロの生成等を目的と
してＧＵＩシステムの自動操作を行う装置に関し、ま
た、前記システムの操作マクロを実行する操作マクロ実
行装置に関する。
【０００２】
【従来の技術】利用者が操作するシステムの操作性を評
価する方法として、チェックリストを用いた評価方法
が、文献１：CHI'90 Conference Proceedings 、ISBN-0
-201-50932-6、２４９頁〜２５６頁（１９９０年４月１
日〜５日）、文献２：" ユーザインタフェースの実践的
評価法" 、ISBN-4-303-72860-8、２１頁〜２７頁（１９
９３年）、および文献３：情報処理学会研究報告、Vol.
93、No. 80、１７頁〜２４頁（１９９３年９月１７
日）に記載されている。これらのユーザインタフェース
評価方法では、評価者がシステムを操作してシステムの
表示画面を変化させながら、それぞれの画面について、
チェックリストに記載された項目（例えば、画面上の情
報は見やすく読みやすいか、など）が守られているかど
うかを調べる。これにより、チェックリスト項目を違反
している箇所を見つけることができ、その箇所のユーザ
インタフェースの設計を改良することで、システムの操
作性を向上させることができる。
【０００３】また、利用者が操作するシステムを自動的
に操作する装置が、文献４：特開平7-253865、および文
献５：特開平6-95780 に記載されている。これらのシス
テム操作自動実行装置では、利用者があらかじめ操作手
順を登録して保存させておき、この操作手順を読み出し
て、個々の操作を実行する命令をシステムに対して出力
することにより、利用者が操作することなく、登録した
操作手順を自動的に実行することができる。
【０００４】また、ＧＵＩを有するシステムの操作性を
評価する装置が、文献６："Visual& Textual Consisten
cy Checking Tools for Graphical User Interfaces"
、Technical Report、CAR-TR-828、Human-Computer In
teraction Laboratory 、Center for Automation Resea
rch、University of Maryland（World Wide Web経由で
アドレスhttp://www.cs.umd.edu:80/projects/hcil/Res
earch/tech-report-list.html#1996から入手可能、１９
９６年５月）に記載されている。このＧＵＩ評価装置で
は、システムのＧＵＩ部のソースプログラムから、ＧＵ
Ｉ操作部品の１つであるボタンのラベル文字のフォント
やサイズのデータを抽出し、表形式で出力する。評価者
はこの表から、システム全体にわたってボタンのラベル
文字に使用されているフォントやサイズを比較すること
ができ、一部のボタンで他と異なるフォントやサイズの
文字が使用されていれば、システム全体での一貫性が保
たれていないことがわかる。
【０００５】また、利用者が操作するシステムの動作の
正常さを検査する装置が、文献７：特開平7-84829 、文
献８：特開平7-84765 、文献９：特開平6-28209 、およ
び文献１０：特開平2-41529 に記載されている。また、
ＧＵＩを有するシステムの動作の正常さを検査する装置
として、WinRunner （米Mercury Interactive ）、SQA
Robot （米SQA ）、Satellite Package （米Performanc
e Awareness ）およびVisualTest（米Microsoft ）とい
うソフトウェア製品が市販されている（これらのＧＵＩ
検査装置は、文献１１：日経オープンシステム、No. 4
0、２４７頁〜２５７頁（１９９６年７月）で紹介され
ている）。文献１１で紹介されている市販ソフトウェア
製品のＧＵＩ検査装置では、利用者の入力操作に対する
システムの動作を検査するために、利用者の入力操作を
自動化するためのスクリプトを記述する。また、入力操
作を記録してスクリプトを作成することもできる。さら
に、記録したスクリプトを編集することもできる。この
ようなスクリプトを用いて利用者の入力操作を自動的に
実行させ、システムの動作結果を記録することで、異常
な動作を検出することが可能となっている。文献８およ
び文献１０に記載のユーザインタフェース検査装置も、
文献１１で紹介されている市販ソフトウェア製品のＧＵ
Ｉ検査装置と同様に、利用者の入力操作を記録してスク
リプトを作成し、このスクリプトを用いて入力操作を再
生することで、利用者の入力操作を自動化してシステム
の動作の正常さを検査することができる。また、文献７
に記載のユーザインタフェース検査装置も、文献１１で
紹介されている市販ソフトウェア製品のＧＵＩ検査装置
と同様に、利用者の入力操作に対するシステムの動作を
検査するために、利用者の入力操作を自動化するための
スクリプトを記述する。このスクリプトを用いて入力操
作を再生することで、利用者の入力操作を自動化してシ
ステムの動作の正常さを検査することができる。一方、
文献９に記載のユーザインタフェース検査装置では、利
用者の代わりにロボットにシステムを操作させること
で、利用者が操作することなく、システムを動作させ、
動作結果を記録して動作の正常さを検査することができ
る。ただし、ロボットの動作を制御するためのプログラ
ムを作成しておく必要がある。
【０００６】また、利用者が操作するシステムの操作マ
クロを生成する装置が、文献１２：特開平6-348481、文
献１３：特開平6-274329、文献１４：特開平5-173741、
文献１５：特開平5-35382 、および文献１６：特開平1-
237833に記載されている。文献１２〜１４に記載の操作
マクロ生成装置では、利用者がシステムに対して操作を
順に入力し、この一連の操作を記録することで、操作マ
クロを作成する。一方、文献１５および文献１６に記載
の操作マクロ生成装置では、利用者がシステムを使用し
ている間、利用者が行った操作を監視し、回数が所定の
頻度を越えた操作の系列を自動的に操作マクロとして登
録する。以上のように、文献１２〜１６に記載の操作マ
クロ生成装置では、利用者が行った操作から操作マクロ
を生成することにより、利用者がよく行う操作の系列
を、操作マクロで実行することが可能となり、操作の効
率が向上する。
【０００７】
【発明が解決しようとする課題】しかし、文献１〜文献
３に記載のユーザインタフェース評価方法では、システ
ムの画面がチェックリスト項目を遵守しているかどうか
を評価者が判定するために、評価者がシステムを順に操
作してシステムの画面を遷移させなければならない。し
たがって、システムの規模が大きくなるほど、システム
の画面を網羅的に遷移させるために実行すべき操作の数
が膨大になり、非常に手間がかかっていた。かつ、シス
テムの規模が大きくなり操作手順の構造が複雑になるほ
ど、一部の操作を実行し忘れてしまう危険が高く、シス
テムの画面すべてを網羅的に確認することができない場
合があった。
【０００８】また、文献４および文献５に記載されてい
るシステム操作自動実行装置では、システムの操作を利
用者にかわって自動的に実行させることが可能であるの
で、この装置を利用して文献１〜文献３に記載のユーザ
インタフェース評価方法を実施することにより、評価者
がシステムを操作する手間が不要になる。しかし、文献
４および文献５に記載のシステム操作自動実行装置で
は、自動実行するシステム操作の手順をあらかじめ利用
者が記述し保存しておく必要がある。したがって、シス
テムの規模が大きくなるほど、システムの画面を網羅的
に遷移させるために実行すべき操作の数が膨大になり、
これらの操作の手順をあらかじめ記述するのに膨大な手
間が必要であった。かつ、システムの規模が大きくなり
操作手順の構造が複雑になるほど、一部の操作を記述し
忘れてしまう危険が高く、システムの画面を網羅的に遷
移させることができない場合があった。
【０００９】また、文献６に記載のＧＵＩ評価装置で
は、ボタンのラベル文字のフォントやサイズのデータを
得るために、システムのＧＵＩ部のソースプログラムが
必要であった。したがって、システムの実行プログラム
だけが利用可能で、ソースプログラムは利用できない場
合、文献６に記載のＧＵＩ評価装置を適用することはで
きなかった。
【００１０】また、文献７、文献８および文献１０に記
載のユーザインタフェース検査装置、および文献１１で
紹介され、ソフトウェア製品として市販されているＧＵ
Ｉ検査装置では、利用者の入力操作を自動化するための
スクリプトが必要であり、このスクリプトを、あらかじ
め利用者の入力操作を記録して作成するか、検査者がス
クリプトを手作業で記述して作成しなければならなかっ
た。したがって、システムの規模が大きくなるほど、シ
ステムの動作を網羅的に検査するために必要なスクリプ
トの規模も膨大になり、これらを記録もしくは記述する
のに非常に手間がかかっていた。かつ、システムの規模
が大きくなり操作手順の構造が複雑になるほど、一部の
操作を記録もしくは記述し忘れてしまう危険が高く、シ
ステムの動作を網羅的に検査することができない場合が
あった。また、文献９に記載のユーザインタフェース検
査装置では、システムを操作するためのロボットの動作
制御プログラムを作成する必要があった。したがって、
システムの規模が大きくなるほど、システムの動作を網
羅的に検査するために必要なロボットの動作制御プログ
ラムの規模も膨大になり、これらを作成するのに非常に
手間がかかっていた。かつ、システムの規模が大きくな
り操作手順の構造が複雑になるほど、一部の操作を実行
するためのプログラムを記述し忘れてしまう危険が高
く、システムの動作を網羅的に検査することができない
場合があった。
【００１１】また、文献１２〜文献１６に記載の操作マ
クロ生成装置では、操作マクロを生成するためには利用
者がシステムを操作する必要があった。したがって、利
用者がシステムを操作する前に操作マクロを生成し、こ
の操作マクロを利用者に提供することはできなかった。
【００１２】本発明の目的は、システム操作の手順をあ
らかじめ利用者が記述し保存しておかなくても、システ
ムを自動的に実行することが可能なＧＵＩシステム自動
操作装置を提供することにある。
【００１３】本発明の別の目的は、評価者の入力操作の
手間が不要で、システムの規模に依存せずシステムの画
面を網羅的に確認し、システムの操作性を評価すること
が可能なＧＵＩ評価機能を有するＧＵＩシステム自動操
作装置を提供することにある。以下、ＧＵＩ評価機能を
有するＧＵＩシステム自動操作装置を、ＧＵＩ評価機能
付きＧＵＩシステム自動操作装置と呼ぶ。
【００１４】本発明の他の目的は、システムのＧＵＩ部
のソースプログラムは不要で、システムの実行プログラ
ムだけを用いて操作部品のシステム全体を通しての一貫
性を評価することが可能なＧＵＩ評価機能付きＧＵＩシ
ステム自動操作装置を提供することにある。
【００１５】本発明のまた更に別の目的は、検査者のス
クリプト記録もしくは記述の手間が不要で、システムの
規模に依存せずシステムの動作を網羅的に検査すること
が可能なＧＵＩ検査機能を有するＧＵＩシステム自動操
作装置を提供することにある。以下、ＧＵＩ検査機能を
有するＧＵＩシステム自動操作装置をＧＵＩ検査機能付
きＧＵＩシステム自動操作装置と呼ぶ。
【００１６】本発明の更に他の目的は、利用者の入力操
作が不要で、利用者がシステムを操作する前に操作マク
ロを生成することが可能な操作マクロ生成機能を有する
ＧＵＩシステム自動操作装置を提供することにある。以
下、操作マクロ生成機能を有するＧＵＩシステム自動操
作装置を操作マクロ生成機能付きＧＵＩシステム自動操
作装置と呼ぶ。
【００１７】本発明の更に別の目的は、上記操作マクロ
を利用者に提供することが可能な操作マクロ実行装置を
提供することにある。
【００１８】
【課題を解決するための手段】本発明のＧＵＩシステム
自動操作装置は、システム操作の手順をあらかじめ利用
者が記述し保存しておかなくても、システムを自動的に
実行することができるようにするために、ＧＵＩを有す
るシステムの実行プログラムの実行を制御するプログラ
ム実行手段と、前記プログラム実行手段が画面に表示さ
せている前記システムの操作部品を検出する操作部品検
出手段とに接続され、前記システムの操作を自動的に行
うＧＵＩシステム自動操作装置であって、前記システム
の実行プログラムの実行を前記プログラム実行手段に開
始させるプログラム実行開始手段と、前記プログラム実
行手段が画面に表示させている画面のイメージを記録す
る画面イメージ記録手段と、前記操作部品検出手段が検
出した操作部品のデータから操作部品表を作成して記録
する操作部品表記録手段と、前記操作部品表の識別子の
表スタックに識別子を追加する、もしくは前記操作部品
表の識別子の表スタックから識別子を削除する表スタッ
ク管理手段と、前記操作部品表記録手段に記録された操
作部品表から操作部品のデータを選択する操作部品選択
手段と、前記システムの操作部品に対する操作を実行す
るイベントを発生させる操作イベント発生手段と、前記
プログラム実行手段で実行中の前記システムの実行プロ
グラムの実行を終了させるプログラム実行終了手段とを
備え、前記操作部品表記録手段は、前記操作部品検出手
段が検出した操作部品のデータのなかから、まだ前記操
作部品表記録手段に記録されていないデータを抽出し、
このデータを用いて前記操作部品表を作成して記録する
と共に、新規に記録した操作部品表の識別子を前記表ス
タックに追加するよう、前記表スタック管理手段に命令
し、かつ、前記操作部品検出手段が検出した操作部品の
データがすべて、前記操作部品表記録手段にすでに記録
されていた場合に、前記プログラム実行手段で実行中の
前記システムの実行プログラムの実行を終了させるよう
前記プログラム実行手段に命令し、更に、前記操作部品
検出手段が検出した操作部品のデータのなかに、前記操
作部品表記録手段にまだ記録されていないデータがあっ
た場合に、前記操作部品表記録手段に記録された操作部
品表から操作部品のデータを選択するよう前記操作部品
選択手段に命令する構成を有し、前記操作部品選択手段
は、前記表スタックの最上位にある識別子を有する操作
部品表を前記操作部品表記録手段から検索し、検索され
た操作部品表のなかから、未操作の操作部品のデータを
検索し、未操作の操作部品のデータが存在すれば、その
なかから１つを選択し、存在しなければ、前記操作部品
表記録手段に記録された操作部品表のなかから未操作の
操作部品のデータを１つ選択するか、前記表スタックか
ら識別子がすべて削除されるまで、前記表スタックの最
上位にある識別子を前記表スタックから削除するよう前
記表スタック管理手段に命令したあと、未操作の操作部
品のデータを検索する処理を繰り返し行う構成を有し、
前記操作イベント発生手段は、前記操作部品選択手段が
選択した操作部品のデータを用いて、前記システムの操
作部品に対する操作を実行するイベントを発生させて前
記プログラム実行手段に出力する構成を有し、前記プロ
グラム実行終了手段は、前記プログラム実行手段で実行
中の前記システムの実行プログラムの実行を終了させた
あと、前記プログラム実行開始手段に、前記システムの
実行プログラムの実行を前記プログラム実行手段に開始
させるよう命令する構成を有し、前記プログラム実行開
始手段は、前記プログラム実行終了手段から命令を受け
て前記システムの実行プログラムの実行を前記プログラ
ム実行手段に開始させたあと、前記操作部品選択手段
に、操作部品のデータの選択を行うよう命令する構成を
有し、更に前記操作部品選択手段は、操作部品のデータ
を選択するよう前記プログラム実行開始手段から命令を
受け、未操作の操作部品のデータを１つ選択できた場
合、前記システムの初期画面から、選択された前記デー
タの操作部品が表示される画面まで遷移するために操作
を実行しなければならない操作部品のデータを、前記操
作部品表記録手段に記録された操作部品表から検索する
構成を有することを特徴とする。
【００１９】前記操作部品表記録手段が記録する操作部
品表は、本発明のＧＵＩシステム自動操作装置の使用目
的に応じて適宜定められる。例えば、システムの画面を
網羅的に確認し、システムの操作性を評価する場合に
は、操作部品表の識別子と、操作部品の識別子と、前記
操作部品の表示領域の座標とを少なくとも含めば良い。
また、操作部品のシステム全体を通しての一貫性を評価
する場合には、操作部品表の識別子と、操作部品の識別
子と、前記操作部品の種類名と、前記操作部品のラベル
と、前記操作部品の表示領域の座標と、前記操作部品の
ラベル文字のフォント名と、前記操作部品のラベル文字
のサイズと、前記操作部品が配置されているウィンドウ
のラベルとを少なくとも含めば良い。更に、ＧＵＩ検査
を行う場合や操作マクロを生成する場合には、操作部品
表の識別子と、操作部品の識別子と、前記操作部品の種
類名と、前記操作部品のラベルと、前記操作部品の表示
領域の座標と、前記操作部品が配置されているウィンド
ウのラベルとを少なくとも含めば良い。
【００２０】このような構成のＧＵＩシステム自動操作
装置にあっては、システム自動操作の開始時にプログラ
ム実行開始手段が、システムの実行プログラムの実行を
プログラム実行手段に開始させ、この実行プログラムの
実行によりプログラム実行手段が画面にシステムの操作
部品（メニューやボタン等）を表示すると、操作部品検
出手段がそれらの操作部品を検出し、操作部品表記録手
段が、操作部品検出手段が検出した操作部品のデータか
ら未だ記録していない操作部品のデータを抽出し、この
抽出したデータを用いて操作部品表を作成して記録した
後に操作部品選択命令を出し、表スタック管理手段が、
操作部品表記録手段が記録した操作部品表の識別子を表
スタックにて管理する。次いで、操作部品選択手段が、
表スタックにて管理されている操作部品表の識別子を参
照して操作部品表記録手段に記録された操作部品表から
システムの画面を遷移させるために次に操作すべき操作
部品のデータを選択し、操作イベント発生手段が、操作
部品選択手段で選択された操作部品のデータを用いて前
記システムの操作部品に対する操作を実行するイベント
を発生させてプログラム実行手段に出力する。これによ
り、あたかも利用者が操作部品を操作した如くにシステ
ムが振る舞い、システムの画面が次の状態に遷移する。
そして、この遷移後の状態において再び上記と同様な動
作が行われることにより、新たな操作部品の検出，操作
部品表の生成と記録，システムの画面を遷移させるため
に次に操作すべき操作部品のデータの選択，その操作部
品に対する操作の実行が行われ、システムの画面が更に
次の状態へと遷移していく。このようにして、システム
の画面を自動的に順次遷移させていき、操作部品検出手
段が検出した操作部品のデータがすべて操作部品記録手
段に記録されていれば、プログラム実行終了手段がプロ
グラム実行手段で実行中のシステムの実行プログラムの
実行を終了させる。そして、残っている未操作の操作部
品を更に操作するために、プログラム実行開始手段がシ
ステムの実行プログラムの実行をプログラム実行手段に
開始させた後、操作部品選択手段に操作部品のデータを
選択するよう命令する。これによって、前回未選択であ
った残りの操作部品の選択が行われ、システムの画面を
網羅的に遷移させていく。
【００２１】次に、本発明のＧＵＩ評価機能付きＧＵＩ
システム自動操作装置は、システムの画面を網羅的に確
認し得るようにするために、上記ＧＵＩシステム自動操
作装置の構成に加えて、前記プログラム実行手段が画面
に表示させている画面のイメージを記録する画面イメー
ジ記録手段を有する。この画面イメージ記録手段は、前
記プログラム実行開始手段による１回目の前記システム
の実行プログラムの実行の開始が行われたあと、前記シ
ステムの実行プログラムの初期画面のイメージを記録
し、前記プログラム実行手段が前記操作イベント発生手
段から操作イベントを受け取るたびに、前記操作イベン
トによって実行される前記システムの実行プログラムの
動作が完了したあと、前記システムの実行プログラムの
画面のイメージを記録する構成を有する。
【００２２】このような構成のＧＵＩ評価機能付きＧＵ
Ｉシステム自動操作装置にあっては、上記ＧＵＩシステ
ム自動操作装置によってシステムが自動的に操作されて
いる過程において、画面イメージ記録手段が、プログラ
ム実行手段が画面に表示させている画面のイメージを記
録する。このように、評価対象システムの操作を自動的
かつ網羅的に実行し、システムの画面を網羅的に遷移さ
せ、各画面イメージを自動的に記録し出力させることに
より、評価者がシステムを操作する必要がなく、つま
り、評価者の入力操作の手間が不要で、システムの規模
に依存せずシステムの画面を網羅的に確認することが可
能となる。
【００２３】次に、本発明のＧＵＩ評価機能付きＧＵＩ
システム自動操作装置の他の構成は、操作部品の一貫性
を評価し得るようにするために、上記ＧＵＩシステム自
動操作装置の構成に加えて、前記操作部品表記録手段に
記録された操作部品表のなかの操作部品のデータを相互
に比較する操作部品比較手段を有する。
【００２４】このような構成のＧＵＩ評価機能付きＧＵ
Ｉシステム自動操作装置にあっては、上記ＧＵＩシステ
ム自動操作装置によってシステムが自動的に操作される
ことにより操作部品表記録手段に記録された操作部品の
データを、操作部品比較手段が相互に比較する。このよ
うに、評価対象システムの操作部品のデータを、システ
ムの実行プログラムだけを用いて、自動的かつ網羅的に
記録できるため、システムのＧＵＩ部のソースプログラ
ムは不要で、システムの実行プログラムだけを用いて操
作部品のシステム全体を通しての一貫性を評価すること
が可能となる。
【００２５】次に、本発明のＧＵＩ検査機能付きＧＵＩ
システム自動操作装置は、上記ＧＵＩシステム自動操作
装置の構成に加えて、前記プログラム実行手段で実行中
の前記システムの実行プログラムに動作エラーが発生
し、入力操作が受け付けられない状態に陥った場合、こ
の動作エラーを検出して動作エラー情報を記録する動作
エラー記録手段を有する。この動作エラー記録手段は、
前記動作エラーを検出した場合、前記動作エラーが発生
する直前に操作を実行された操作部品のデータを前記操
作部品選択手段から取得し、前記操作部品のデータを動
作エラー情報として記録し、前記プログラム実行手段で
実行中の前記システムの実行プログラムの実行を終了さ
せるよう前記プログラム実行終了手段に命令する構成を
有する。
【００２６】このようなＧＵＩ検査機能付きＧＵＩシス
テム自動操作装置にあっては、上記ＧＵＩシステム自動
操作装置によってシステムが自動的に操作されている過
程において、プログラム実行手段が実行中のシステムの
実行プログラムに動作エラーが発生し、入力操作が受け
付けられない状態に陥った場合、エラー記録手段がその
動作エラーを検出して動作エラー情報を記録する。この
ように、検査対象システムの実行プログラムだけを用い
て、検査対象システムの操作を自動的かつ網羅的に実行
し、システムの動作エラー情報を記録するので、検査者
はシステムを自動的に操作させるためのスクリプトを記
録もしくは記述する必要がない。つまり、検査者のスク
リプト記録もしくは記述の手間が不要で、システムの規
模に依存せずシステムの動作を網羅的に検査することが
可能となる。
【００２７】次に、本発明の操作マクロ生成機能付きＧ
ＵＩシステム自動操作装置は、上記ＧＵＩシステム自動
操作装置の構成に構成に加えて、前記操作部品表記録手
段に記録された操作部品表をもとに操作マクロを作成し
記録する操作マクロ記録手段を有する。この操作マクロ
記録手段は、前記操作部品表記録手段に記録された操作
部品表のなかの操作部品のデータを用いて、あらかじめ
決められた階層にある操作部品の操作を実行するための
操作手順を操作マクロとして記録する。
【００２８】このような操作マクロ生成機能付きＧＵＩ
システム自動操作装置にあっては、上記ＧＵＩシステム
自動操作装置によってシステムが自動的に操作されて得
られた操作部品表記録手段に記録された操作部品表をも
とに、操作マクロ記録手段が操作マクロを作成し記録す
る。つまり、対象システムの操作を自動的かつ網羅的に
実行し、対象システムの操作部品のデータを自動的かつ
網羅的に記録し、さらに、記録された操作部品のデータ
をもとに、操作マクロを自動的に生成する。
【００２９】次に、本発明の操作マクロ実行装置は、Ｇ
ＵＩを有するシステムの実行プログラムの実行を制御す
るプログラム実行手段と、前記プログラム実行手段が画
面に表示させている前記システムの操作部品を検出する
操作部品検出手段とに接続され、前記システムの操作マ
クロを実行する操作マクロ実行装置であって、操作マク
ロが記録された操作マクロ記録手段と、前記操作マクロ
記録手段に保存された操作マクロを画面に表示させる操
作マクロ表示手段と、前記システムの操作部品に対する
操作を実行するイベントを発生させる操作イベント発生
手段とを備え、前記操作部品検出手段が出力する操作部
品のデータは、前記操作部品の種類名と、前記操作部品
のラベルと、前記操作部品の表示領域の座標と、前記操
作部品が配置されているウィンドウのラベルとを少なく
とも含み、前記操作イベント発生手段は、前記操作マク
ロ記録手段に記録された操作マクロを参照し、前記操作
部品検出手段が検出した操作部品のデータのなかから、
利用者が画面上で選択した操作マクロを実行するための
操作部品のデータを抽出し、抽出された前記データを有
する操作部品に対する操作を実行するイベントを発生さ
せ、前記プログラム実行手段に出力する構成を有するこ
とを特徴とする操作マクロ実行装置。
【００３０】このような操作マクロ実行装置にあって
は、操作マクロ表示手段が、操作マクロ記録手段に保存
された操作マクロを画面に表示させ、利用者が画面上で
操作マクロを選択すると、操作イベント発生手段が、前
記システムの操作部品に対する操作を実行するイベント
を発生させることで、操作マクロの実行を可能とする。
ここで、操作マクロ生成機能付きＧＵＩシステム自動操
作装置で生成された操作マクロを使用する場合、利用者
がそれを選択すると、選択された操作マクロを自動的に
実行することになる。したがって、利用者の入力操作が
不要で、利用者がシステムを操作する前に操作マクロを
生成し、この操作マクロを利用者に提供することが可能
となる。
【００３１】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。
【００３２】まず、本発明のＧＵＩシステム自動操作装
置の一実施の形態を示す構成図を図１に示す。この実施
の形態では、ＧＵＩシステムの自動操作を行い、かつそ
の過程で画面イメージを記録することで、ＧＵＩ評価を
可能にしている。
【００３３】図１において、ＧＵＩシステム自動操作装
置１は、画面イメージ記録手段１０３、操作部品表記録
手段１０４、プログラム実行開始手段１０５、プログラ
ム実行終了手段１０６、表スタック管理手段１０７、操
作部品選択手段１０８、操作イベント発生手段１０９を
含み、プログラム実行手段１０１、操作部品検出手段１
０２および出力手段１１０に接続されている。また、評
価対象のＧＵＩシステムの実行プログラムは、プログラ
ム保存手段１００に保存されている。
【００３４】ここで、プログラム保存手段１００は、例
えば、パーソナルコンピュータ（以下、ＰＣ）やワーク
ステーション（以下、ＷＳ）に接続されたハードディス
ク等に代表される外部記憶手段である。プログラム実行
手段１０１は、例えば、実行プログラムのＰＣやＷＳ上
での実行を制御するオペレーティングシステムであり、
プログラム実行手段１０１自体もＰＣやＷＳ上で動作す
る実行プログラムである。操作部品検出手段１０２、プ
ログラム実行開始手段１０５、プログラム実行終了手段
１０６、操作部品選択手段１０８および操作イベント発
生手段１０９は、例えば、ＰＣやＷＳ上で動作する実行
プログラムである。画面イメージ記録手段１０３は、例
えば、ＰＣやＷＳ上で動作する実行プログラムと、ＰＣ
やＷＳに接続されたハードディスク等に代表される外部
記憶手段から構成される。すなわち、実行プログラム
が、記録または管理するデータの外部記憶手段への書き
込み、外部記憶手段からの読み出し、および外部記憶手
段への書き換えを実行する。出力手段１１０は、例え
ば、ＰＣやＷＳに接続されたプリンタ、ディスプレイ等
に代表される出力手段である。
【００３５】プログラム実行開始手段１０５には、評価
対象のＧＵＩシステムの実行プログラムの名前があらか
じめ登録されている。登録されている実行プログラム名
の例を図２に示す。プログラム実行開始手段１０５は、
プログラム実行手段１０１に、登録された実行プログラ
ムをプログラム保存手段１００から読み込んで起動する
よう命令する。
【００３６】画面イメージ記録手段１０３は、プログラ
ムの起動が終了すると、プログラムの表示画面のイメー
ジを取得して記録する。プログラムの起動後の画面イメ
ージの例を図３に示す。図３において、枠３００に囲ま
れた領域が画面全体を表している。また、３０１は起動
されたプログラムのウィンドウであり、３０２の文字列
「サンプル」がウィンドウタイトルである。さらに、３
０３と３０４はメニューを表している。画面イメージ記
録手段１０３は、図３の画面イメージをプログラム実行
手段１０１から取得して、この画面に識別子の初期値
（＃０）を割り当て、画面イメージと識別子を記録して
おく。
【００３７】操作部品検出手段１０２は、画面上に表示
されている操作部品をプログラム実行手段１０１から検
出する。本例では、操作部品検出手段１０２が検出する
操作部品の種類は、メニュー（Menu）、サブメニュー
（SubMenu ）、オプションボタン（OptionButton）、お
よびプッシュボタン(PushButton ）の４種類とする。例
として、プログラムの表示画面が図３の状態で操作部品
を検出した場合、操作部品検出手段１０２は、図４に示
す操作部品データを出力する。図４は、画面に表示され
ている操作部品として２つのメニューが検出され、これ
ら２つのメニューはどちらも「サンプル」ウィンドウ上
にあり、部品ラベルはそれぞれ「文字」と「ページ」で
あることが示されている。さらに、これら２つの部品の
画面上での配置座標（本例では、すべての操作部品は長
方形の操作領域を有し、部品の画面上での位置はこの長
方形の左上と右下の２点で示されるものとする）と、部
品ラベルの文字フォントおよび文字サイズ（文字サイズ
の単位はポイント）も記録されている。
【００３８】操作部品表記録手段１０４は、操作部品検
出手段１０２が出力する操作部品データをもとに、新規
に検出された操作部品（まだどの操作部品表にも記録さ
れていない操作部品）のデータを操作部品表として記録
する。さらに、操作部品表記録手段１０４は、記録した
表の識別子を表スタックに追加するよう、表スタック管
理手段１０７に命令する。
【００３９】例として、図４の操作部品データが入力さ
れる場合、操作部品表記録手段１０４は、図５の操作部
品表を記録する。図５は、この表の識別子が＄０であ
り、識別子＃０の画面に新規な操作部品が２つあり
（「文字」メニューと「ページ」メニュー）、これらに
識別子＃１と＃２を割り当てたことを表している。さら
に、図５の表の「実行」のカラムが「未」となっている
操作部品は、まだその部品の操作を実行していないこと
を表している。操作部品表記録手段１０４は、操作部品
検出手段１０２が部品検出を行うたびに、操作部品表を
１つ記録する。したがって、操作部品表の数は、操作部
品検出手段１０２が部品検出を行った回数と等しくな
る。さらに、操作部品表記録手段１０４は、いま記録し
た操作部品表の識別子（＄０）を表スタックに追加する
よう、表スタック管理手段１０７に命令を送る。この結
果、表スタック管理手段１０７が管理する表スタック
は、図６のようになる。
【００４０】また、操作部品表記録手段１０４は、操作
部品検出手段１０２で検出した操作部品のなかに新規な
操作部品が存在しなかった場合、プログラム実行手段１
０１で実行中のプログラムを終了させるよう、プログラ
ム実行終了手段１０６に命令を送る。新規な操作部品が
存在した場合は、操作部品選択手段１０８に、操作部品
を選択するよう命令を送る。
【００４１】操作部品選択手段１０８は、表スタック管
理手段１０７が管理する表スタックの最上位にある識別
子を有する操作部品表を、操作部品表記録手段１０４か
ら検索し、この表のなかの、まだ操作を実行していない
操作部品（「実行」のカラムが「未」の操作部品）のう
ち、識別子の番号が最も小さいものを選択する。さら
に、選択した操作部品の「実行」カラムのデータを
「未」から「済」に書き換える。例えば、表スタックが
図６の場合、表スタック中の最上位には＄０が保存され
ているので、識別子＄０の操作部品表が検索され、この
操作部品表が図５の場合、「実行」カラムが「未」の操
作部品のうち識別子番号が最小のものは「文字」メニュ
ー（識別子＃１）であるので、この「文字」メニューが
選択される。また、「文字」メニューの「実行」カラム
のデータが「済」に書き換えられ、識別子＄０の表は図
７の状態になる。
【００４２】操作イベント発生手段１０９は、操作部品
選択手段１０８が選択した操作部品を操作するためのイ
ベントを発生させ、この操作イベントをプログラム実行
手段１０１に出力し、自動的に操作を実行させる。発生
させるイベントの種類は、操作部品の種類に応じて図８
のように決められているとする。図８の例では、４つの
操作部品（Menu、SubMenu 、OptionButton、PushButto
n）を操作するためのイベントはいずれも「Click(x,
y)」であることを表している。ただし、「Click(x,y)」
のイベントが対応づけられている操作部品は、部品の操
作領域内の座標(x,y) でマウスを用いてクリックすると
操作できる部品であることを表すものとする。
【００４３】操作イベント発生手段１０９の動作例とし
て、操作部品選択手段１０８が図５の操作部品表から識
別子＃１の部品（「文字」メニュー）を選択した場合に
ついて説明する。この場合、選択された部品はMenuであ
るので、図８のイベント表から、発生させるイベントは
「Click(x,y)」と決定される。また、クリックの座標
は、「文字」メニューの操作領域を示す２つの座標(36,
60) 、(84,96) の中点を計算し、(60,78) と決定される
（ただし、中点の計算は少数点以下切り捨てとする）。
これらのデータを用いて、操作イベント発生手段１０９
は、利用者がマウスを用いて座標(60,78) でクリックし
た場合に発生するのと同じイベントである「Click(60,7
8)」を発生させ、プログラム実行手段１０１に送る。こ
の結果、プログラム実行手段１０１は、「文字」メニュ
ーが操作された場合の処理を実行する。処理実行後のプ
ログラムの表示画面例を図９に示す。図９は、「文字」
メニューが操作されたことにより、２つのサブメニュー
９００、９０１が画面上に表示されたことを表してい
る。
【００４４】以上に示した画面イメージ記録から操作イ
ベント発生までがプログラムの自動操作の基本的な１サ
イクルである。「文字」メニューを操作してプログラム
の表示画面が図９の状態になったあと、画面イメージ記
録手段１０３は、図９の画面イメージを取得して、この
画面イメージに「文字」メニューの識別子（＃１）を割
り当て、画面イメージと識別子を記録する。次に、操作
部品検出手段１０２が画面上の操作部品を検出し、図１
０の操作部品データを出力する。次に、操作部品表記録
手段１０４が新規な操作部品のデータ（図１１）を記録
し、表スタック管理手段１０７に、識別子＄１を表スタ
ックに追加させる（図１２）。次に、操作部品表記録手
段１０４が操作部品選択手段１０８に部品選択の命令を
送り、操作部品選択手段１０８は、表スタックが図１２
の状態にあり識別子＄１の操作部品表が図１１であるの
で、「フォント」サブメニューを選択する。また、図１
１の表で「フォント」サブメニューの「実行」カラムの
データを「未」から「済」に書き換える。次に、操作イ
ベント発生手段１０９が「フォント」サブメニューを操
作するためのイベントの種類と座標を決定し、「Click
(97,105) 」というイベントを発生させてプログラム実
行手段１０１に出力する。この結果、プログラム実行手
段１０１は、「フォント」サブメニューが操作された場
合の処理を実行する。処理実行後のプログラムの表示画
面例を図１３に示す。図１３は、「文字フォント」ウィ
ンドウ１３００が新たに表示され、このウィンドウには
４つのオプションボタン１３０１〜１３０４と２つのプ
ッシュボタン１３０５、１３０６が配置されていること
を表している。
【００４５】さらに次のサイクルでは、図１３の画面イ
メージが「フォント」サブメニューの識別子（＃３）と
ともに記録され、操作部品の検出により、図１４の操作
部品データが操作部品検出手段１０２から出力される。
これをもとに、新規な操作部品のデータとして図１５の
操作部品表が記録される。また表スタックは図１６の状
態になる。次に「明朝」オプションボタン（識別子＃
５）が選択されてその「実行」カラムのデータが「済」
に書き換えられ、「Click(154,211)」というイベントが
発生されてプログラム実行手段１０１に送られる。この
結果、「明朝」オプションボタンが操作された場合の処
理が実行される。この場合、オプションマークは移動せ
ず、プログラムの表示画面は図１３のままとなる。
【００４６】次に、新規な操作部品が検出されなかった
場合の処理を説明する。上述の処理の続きで、図１３の
状態で操作部品の検出を行うと、操作部品検出手段１０
２は図１４と全く同じ操作部品データを出力する。した
がって、新規な操作部品（操作部品表記録手段１０３が
記録した操作部品表のいずれにもまだ記録されていない
操作部品）はない。この結果、操作部品表記録手段１０
４は、図１７の操作部品表を記録する。また、表スタッ
クは図１８の状態になる。次に、操作部品表記録手段１
０４は、新規な操作部品が検出されなかったので、プロ
グラム実行終了手段１０６に命令を送る。プログラム実
行終了手段１０６は、命令を受けると、プログラム実行
手段１０１にて実行中の評価対象プログラムを強制的に
終了させ、プログラムを再起動させるため、プログラム
実行開始手段１０５に命令を送る。プログラム実行開始
手段１０５は、プログラム実行終了手段１０６から命令
を受けると、最初の起動の場合と同様に、プログラム実
行手段１０１に評価対象プログラムの起動を命令する。
この結果、プログラム実行手段１０１は、プログラム保
存手段１００から評価対象プログラムを読み込んで再度
起動する。
【００４７】次に、プログラム実行開始手段１０１は、
操作部品選択手段１０８に、まだ操作を実行していない
操作部品を選択するよう命令を送る。具体的には、まず
表スタックの最上位にある識別子を取得し、この識別子
を有する操作部品表のなかから、「実行」カラムのデー
タが「未」である操作部品のうち識別子番号が最も小さ
いものを選択する。「実行」のカラムのデータが「未」
の操作部品が表のなかに存在しない場合は、表スタック
から最上位の識別子を削除し、次に最上位になった識別
子を有する表のなかから、「実行」カラムが「未」であ
る操作部品を探す。表スタックからすべての識別子が削
除され、表スタックが空になった場合は、自動操作処理
のサイクルを終了し、画面イメージ記録手段１０３にて
記録された画面イメージと操作部品表記録手段１０４に
て記録された操作部品表を出力手段１１０に出力させ
る。
【００４８】上述した「明朝」オプションボタン操作後
の初期化処理の例では、プログラムが再起動されたあ
と、操作部品選択手段１０８に部品選択の命令が送られ
た段階で、操作部品表記録手段１０８には図７、図１
７、図１９、図２０の４つの操作部品表が記録されてお
り、表スタックは図１８の状態になっている。したがっ
て、表スタックから識別子＄５が削除され、識別子＄３
の表（図２０）のなかから、識別子＃６の「ゴシック」
オプションボタンを選択し、「ゴシック」オプションボ
タンの「実行」カラムのデータを「済」に書き換える。
【００４９】さらに、操作部品選択手段１０８は、プロ
グラム実行開始手段１０５から部品選択の命令を受けた
ときは、まだ操作していない操作部品を１つ選択したあ
と、プログラムの初期表示画面（本例では図３）からこ
の操作部品の表示画面に到達するまでに操作しなければ
ならない操作部品を、表スタックの状態をもとに、操作
部品表記録手段１０４が記録した操作部品表から選択す
る。具体的には、表スタック中の識別子について下の方
から順に（ただし最下層の識別子は除き、下から２番目
の識別子から始める）、その識別子を有する操作部品表
のなかの第１カラム（一番左の「識別子」カラム）の識
別子データを検索する。この識別子を有する操作部品
を、操作部品表記録手段１０４が記録した操作部品表の
なかから検索する。このようにして検索された操作部品
を検索された順に操作することにより、未実行の操作部
品に到達することができる。「ゴシック」オプションボ
タンが未実行の操作部品として選択された先の例では、
表スタックが図１６の状態にあるので、識別子＄１の操
作部品表（図１９）の第１カラムから、識別子＃１が検
索され、この識別子をもつ「文字」メニューが検索され
る。次に、識別子＄３の操作部品表（図２０）の第１カ
ラムから、識別子＃３が検出され、この識別子をもつ
「フォント」サブメニューが検索される。したがって、
「文字」メニューの操作イベントと「フォント」サブメ
ニューの操作イベントをこの順に発生させてプログラム
を自動的に操作したあと、「ゴシック」オプションボタ
ンの操作イベントを発生させればよいことがわかる。
【００５０】以上のように、操作部品検出手段１０２に
て検出した操作部品のなかに新規な部品があればそのな
かから１つを選択して操作を実行し、新規な部品がなけ
ればいったんプログラムを初期化して未実行の操作部品
を選択して操作を実行するというサイクルを繰り返し行
う。表スタックからすべての識別子が削除され、表スタ
ックが空になった場合は、自動操作処理のサイクルを終
了し、画面イメージ記録手段１０３に記録された画面イ
メージと操作部品表記録手段１０４に記録された操作部
品表を出力手段１１０に出力させる。例として、自動操
作サイクルが終了した時点で操作部品表記録手段１０４
に記録されている操作部品表が図２１〜図４８の表であ
るとする。また、例えば出力手段１１０がプリンタの場
合、出力手段１１０は、画面イメージ記録手段１０５に
記録された画面イメージを識別子とともに紙に印刷さ
せ、さらに、操作部品表記録手段１０４に記録された図
２１〜図４８の操作部品表を紙に印刷させる。
【００５１】したがって、図１に示したＧＵＩシステム
自動操作装置１を用いれば、評価対象システムの操作を
自動的かつ網羅的に実行し、システムの画面を網羅的に
遷移させ、各画面イメージを自動的に記録し出力させる
ことができる。したがって、評価者がシステムを操作す
る必要がない。つまり、評価者の入力操作の手間が不要
で、システムの規模に依存せずシステムの画面を網羅的
に確認することが可能となる。
【００５２】次に、本発明のＧＵＩシステム自動操作装
置の別の実施の形態を示す構成図を図４９に示す。この
実施の形態では、ＧＵＩシステムの自動操作を行い、か
つその過程で得られる操作部品のデータを比較すること
で、操作部品の一貫性評価を可能にしている。
【００５３】図４９において、ＧＵＩシステム自動操作
装置４９は、操作部品表記録手段１０４、プログラム実
行開始手段１０５、プログラム実行終了手段１０６、表
スタック管理手段１０７、操作部品選択手段１０８、操
作イベント発生手段１０９、操作部品比較手段４９００
を含み、プログラム実行手段１０１、操作部品検出手段
１０２および出力手段１１０に接続されている。また、
評価対象のＧＵＩシステムの実行プログラムは、プログ
ラム保存手段１００に保存されている。図４９におい
て、操作部品比較手段４９００を除くブロックはすべ
て、本発明の一実施の形態を示す構成図である図１と同
じである。つまり、図１と同様に、プログラムを自動的
に操作し、操作部品表を記録する。例として、図２１〜
図４８の操作部品表が操作部品表記録手段１０４に記録
されているとする。なお、操作部品比較手段４９００
は、例えば、ＰＣやＷＳ上で動作する実行プログラムで
実現される。
【００５４】操作部品比較手段４９００は、自動操作の
サイクルが終了して操作部品表記録手段１０４から命令
を受けると、操作部品表記録手段１０４に記録された操
作部品表を用いて、操作部品を同じ種類ごとに１つの表
に分類する。さらに、各種類ごとに、操作部品ラベルの
フォントとサイズを相互に比較し、同じ組合せを有する
操作部品を１つの項目にまとめる。例えば、操作部品表
記録手段１０４に記録されている操作部品表が図２１〜
図４８の場合、操作部品比較手段４９００は、図５０〜
図５３の表を出力する。これらの表から、Menu、SubMen
u 、OptionButtonの３つについては操作部品ラベルのフ
ォントもサイズも統一されているが、PushButtonについ
てはフォントとサイズの組合せが２種類存在し、プログ
ラム全体を通して一貫性がとれていないことがわかる。
【００５５】出力手段１１０は、操作部品比較手段４９
００が出力する表を出力させる。例えば、出力手段１１
０がプリンタの場合、操作部品比較手段４９００が出力
する表を紙に印刷させる。
【００５６】したがって、ＧＵＩシステム自動操作装置
４９を用いれば、評価対象システムの操作部品のデータ
を、システムの実行プログラムだけを用いて、自動的か
つ網羅的に記録することができる。したがって、システ
ムのＧＵＩ部のソースプログラムは不要で、システムの
実行プログラムだけを用いて操作部品のシステム全体を
通しての一貫性を評価することが可能となる。
【００５７】次に、本発明のＧＵＩシステム自動操作装
置の他の実施の形態を示す構成図を図５４に示す。この
実施の形態では、ＧＵＩシステムの自動操作を行い、か
つその過程で動作エラーを検出すると動作エラー情報を
出力することで、ＧＵＩ検査を可能としている。
【００５８】図５４において、ＧＵＩシステム自動操作
装置５４は、操作部品表記録手段１０４、プログラム実
行開始手段１０５、プログラム実行終了手段１０６、表
スタック管理手段１０７、操作部品選択手段１０８、操
作イベント発生手段１０９、動作エラー記録手段５４０
０を含み、プログラム実行手段１０１、操作部品検出手
段１０２および出力手段１１０に接続されている。ま
た、検査対象のＧＵＩシステムの実行プログラムは、プ
ログラム保存手段１００に保存されている。図５４にお
いて、動作エラー記録手段５４００を除くブロックはす
べて、本発明の一実施の形態を示す構成図である図１と
同じである。つまり、図１と同様に、プログラムを自動
的に操作する。なお、動作エラー記録手段５４００は、
例えば、ＰＣやＷＳ上で動作する実行プログラムと、Ｐ
ＣやＷＳに接続されたハードディスク等に代表される外
部記憶手段から構成させる。すなわち、実行プログラム
が、記録または管理するデータの外部記憶手段への書き
込み、外部記憶手段からの読み出し、および外部記憶手
段への書き換えを実行する。
【００５９】動作エラー記録手段５４００は、プログラ
ム実行手段１０１で動作中のプログラムが異常な動作状
態に陥り、入力操作が受け付けられなくなった場合、こ
の動作エラーを検出して、一番最後に操作を実行した操
作部品のデータを操作部品選択手段１０８から取得して
記録する。
【００６０】例として、図１の実施の形態の説明に用い
たプログラムの「フォント」サブメニューを自動的に操
作したあと、このプログラムの動作が異常になり入力操
作を受け付けない状態になったとする。このとき、動作
エラー記録手段５４００は、この動作エラーを検出する
と、「フォント」サブメニューの操作部品データ（図５
５）を記録する。さらに、動作エラー記録手段５４００
は、プログラムを初期化するために、プログラム実行終
了手段１０６にプログラムの実行を強制的に終了させる
よう命令を送る。初期化処理の流れは図１の実施の形態
の場合と同じである。
【００６１】自動操作のサイクルが終了すると、出力手
段１１０は、動作エラー記録手段５４００に記録された
動作エラー情報（動作エラーを発生させた操作部品のデ
ータ）を出力させる。例えば、出力手段１１０がプリン
タの場合、動作エラー情報をそのまま表形式で紙に印刷
させる。
【００６２】したがって、ＧＵＩシステム自動操作装置
５４を用いれば、検査対象システムの実行プログラムだ
けを用いて、検査対象システムの操作を自動的かつ網羅
的に実行し、システムの動作エラー情報を記録すること
ができる。したがって、検査者はシステムを自動的に操
作させるためのスクリプトを記録もしくは記述する必要
がない。つまり、検査者のスクリプト記録もしくは記述
の手間が不要で、システムの規模に依存せずシステムの
動作を網羅的に検査することが可能となる。
【００６３】次に、本発明のＧＵＩシステム自動操作装
置のまた更に別の実施の形態を示す構成図を図５６に示
す。この実施の形態では、ＧＵＩシステムの自動操作を
行い、かつその過程で得られた操作部品表から操作マク
ロを生成し記録する。
【００６４】図５６において、ＧＵＩシステム自動操作
装置５６は、操作部品表記録手段１０４、プログラム実
行開始手段１０５、プログラム実行終了手段１０６、表
スタック管理手段１０７、操作部品選択手段１０８、操
作イベント発生手段１０９、操作マクロ記録手段５６０
０を含み、プログラム実行手段１０１および操作部品検
出手段１０２に接続されている。また、操作マクロ生成
対象のＧＵＩシステムの実行プログラムは、プログラム
保存手段１００に保存されている。図５６において、操
作マクロ記録手段５６００を除くブロックはすべて、本
発明の実施の形態を示す構成図である図１と同じであ
る。つまり、図１と同様に、プログラムを自動的に操作
する。なお、操作マクロ記録手段５６００は、例えば、
ＰＣやＷＳ上で動作する実行プログラムと、ＰＣやＷＳ
に接続されたハードディスク等に代表される外部記憶手
段から構成させる。すなわち、実行プログラムが、記録
または管理するデータの外部記憶手段への書き込み、外
部記憶手段からの読み出し、および外部記憶手段への書
き換えを実行する。
【００６５】操作マクロ記録手段５６００は、操作部品
表記録手段１０４に記録された操作部品表から、あらか
じめ決められた階層の操作をマクロ操作として記録す
る。例として、操作部品表記録手段１０４に図２１〜図
４８の表が保存されており、第２階層の操作をマクロ操
作として記録する場合について説明する。この場合、識
別子＄０の表（図２１）の操作部品から順にたどって第
２階層にある操作部品は４つのサブメニューであるの
で、マクロ操作記録手段５６００はこれらをマクロ操作
として記録する。記録された４つのマクロ操作を図５７
に示す。図５７は、「A:\sample\sample.exe」のプログ
ラムについて記録された操作マクロであり、番号１のマ
クロ操作は、「フォント」サブメニューのマクロ操作を
表しており、「サンプル」ウィンドウの「文字」メニュ
ーを操作したあと、同ウィンドウの「フォント」サブメ
ニューを操作することで、このマクロ操作を実行できる
ことを表している。他の番号のマクロ操作も同様であ
る。
【００６６】次に、本発明の操作マクロ実行装置の一実
施の形態を示す構成図を図５８に示す。操作マクロ実行
装置５８は、操作マクロ記録手段５６００、操作マクロ
表示手段５８００、操作イベント発生手段５８０１を含
み、プログラム実行手段１０１および操作部品検出手段
１０２に接続されている。また、操作マクロ実行対象の
ＧＵＩシステムの実行プログラムは、プログラム保存手
段１００に保存されている。図５８において、操作マク
ロ記録手段５６００と操作マクロ表示手段５８００と操
作イベント発生手段５８０１を除くブロックはすべて、
本発明の実施の形態を示す構成図である図１と同じであ
る。また、操作マクロ記録手段５６００は、図５６に示
した実施の形態におけるものと同じものである。つま
り、この例の操作マクロ実行装置５８は、図５６のＧＵ
Ｉシステム自動操作装置５６で生成された操作マクロを
実行する装置である。なお、操作マクロ表示手段５８０
０および操作イベント発生手段５８０１は、例えば、Ｐ
ＣやＷＳ上で動作する実行プログラムで実現される。
【００６７】操作マクロ表示手段５８００は、操作マク
ロが記録されているプログラムを利用者が起動させた場
合、利用者が操作マクロを選択し実行させるためのウィ
ンドウを画面に表示させる。例えば、操作マクロ記録手
段５６００に図５７の操作マクロが記録されている場
合、この操作マクロは「A:\sample\sample.exe」のプロ
グラムについて記録されたものであるので、利用者が
「A:\sample\sample.exe」のプログラムを起動させる
と、操作マクロ表示手段５８００が図５７の操作マクロ
を画面上にウィンドウで表示させる。操作マクロ表示ウ
ィンドウの例を図５９に示す。図５９において、５９０
０が操作マクロの表示ウィンドウであり、４つのオプシ
ョンボタン５９０１〜５９０４が、図５７の１〜４番の
操作マクロを表している。図５９では、１番の操作マク
ロのオプションボタン（５９０１）が選択された状態に
なっており、１番の操作マクロが表形式で操作マクロ表
示ウィンドウ５９００になかに表示されている。例え
ば、利用者が２番の操作マクロのオプションボタン（５
９０２）を操作すると、表示画面は図６０のようにな
り、２番の操作マクロが表形式で操作マクロ表示ウィン
ドウ５９００になかに表示される。
【００６８】次に、利用者が操作マクロ表示ウィンドウ
５９００にある「実行」プッシュボタン５９０５を操作
すると、その時点で選択されている操作マクロが実行さ
れる。例として、２番の操作マクロを実行する場合につ
いて説明する。表示画面が図６０の状態で利用者が「実
行」プッシュボタン５９０５を操作すると、図５８にお
いて、プログラム実行手段１０１が画面に表示させてい
る操作部品を操作部品検出手段１０２が検出する（「操
作マクロ」ウィンドウ上のオプションボタン５９０１〜
５９０４とプッシュボタン５９０５も検出される）。次
に、操作イベント発生手段１０９は、２番の操作マクロ
の最初の操作部品が「サンプル」ウィンドウの「文字」
メニューであることから、操作部品検出手段１０２が検
出した操作部品のデータからこの「文字」メニューのデ
ータを検索し、このメニューを操作するためのイベント
を発生させて、プログラム実行手段１０１に出力する。
これにより、表示画面は図６１のようになる。さらに、
再度操作部品検出手段１０２が操作部品を検出し、操作
イベント発生手段１０９が、２番の操作マクロの次の操
作部品が「サンプル」ウィンドウの「文字」メニューで
あることから、操作部品検出手段１０２が検出した操作
部品のデータから「サイズ」サブメニュー７０１のデー
タを検索し、このメニューを操作する。以上のようにし
て、２番の操作マクロが自動的に実行される。
【００６９】したがって、図５６のＧＵＩシステム自動
操作装置５６および図５８の操作マクロ実行装置５８を
用いれば、対象システムの操作を自動的かつ網羅的に実
行し、対象システムの操作部品のデータを自動的かつ網
羅的に記録し、記録された操作部品のデータをもとに、
操作マクロを自動的に生成することができる。さらに、
生成された操作マクロを利用者に選択させ、選択された
操作マクロを自動的に実行することができる。したがっ
て、利用者の入力操作が不要で、利用者がシステムを操
作する前に操作マクロを生成し、この操作マクロを利用
者に提供することが可能となる。
【００７０】
【発明の効果】以上に説明したように、本発明によれ
ば、以下のような効果を得ることができる。
【００７１】本発明のＧＵＩシステム自動操作装置によ
れば、システム操作の手順をあらかじめ利用者が記述し
保存しておかなくても、システムを自動的に実行するこ
とが可能となる。
【００７２】画面イメージ記録手段を備える本発明のＧ
ＵＩ評価機能付きＧＵＩシステム自動操作装置では、評
価対象システムの操作を自動的かつ網羅的に実行し、シ
ステムの画面を網羅的に遷移させ、各画面イメージを自
動的に記録し出力させる。したがって、評価者がシステ
ムを操作する必要がない。つまり、評価者の入力操作の
手間が不要で、システムの規模に依存せずシステムの画
面を網羅的に確認することが可能となる。
【００７３】操作部品比較手段を備える本発明のＧＵＩ
評価機能付きＧＵＩシステム自動操作装置では、評価対
象システムの操作部品のデータを、システムの実行プロ
グラムだけを用いて、自動的かつ網羅的に記録する。し
たがって、システムのＧＵＩ部のソースプログラムは不
要で、システムの実行プログラムだけを用いて操作部品
のシステム全体を通しての一貫性を評価することが可能
となる。
【００７４】動作エラー記録手段を備える本発明のＧＵ
Ｉ検査機能付きＧＵＩシステム自動操作装置では、検査
対象システムの実行プログラムだけを用いて、検査対象
システムの操作を自動的かつ網羅的に実行し、システム
の動作エラー情報を記録する。したがって、検査者はシ
ステムを自動的に操作させるためのスクリプトを記録も
しくは記述する必要がない。つまり、検査者のスクリプ
ト記録もしくは記述の手間が不要で、システムの規模に
依存せずシステムの動作を網羅的に検査することが可能
となる。
【００７５】操作マクロ記録手段を備える本発明の操作
マクロ生成機能付きＧＵＩシステム自動操作装置では、
対象システムの操作を自動的かつ網羅的に実行し、対象
システムの操作部品のデータを自動的かつ網羅的に記録
し、さらに、記録された操作部品のデータをもとに、操
作マクロを自動的に生成することができる。
【００７６】本発明の操作マクロ実行装置では、操作部
品に対する一連の操作手順によって構成された操作マク
ロを、システムの画面に存在する操作部品を自動的に認
識しながら、実行することができる。そして、特に、操
作マクロ生成機能付きＧＵＩシステム自動操作装置と連
携させた構成にあっては、利用者の入力操作が不要で、
利用者がシステムを操作する前に操作マクロを生成し、
かつ、この操作マクロを利用者に提供することが可能と
なる。
【図面の簡単な説明】
【図１】本発明のＧＵＩシステム自動操作装置の一実施
の形態を示す構成図である。
【図２】プログラム実行開始手段に登録されている実行
プログラム名の例を示す図である。
【図３】実行プログラムの表示画面例を示す図である。
【図４】操作部品検出手段が検出して出力した操作部品
データの例を示す図である。
【図５】操作部品表記録手段で生成され記録される操作
部品表の例を示す図である。
【図６】表スタック管理手段が管理する表スタックの内
容例を示す図である。
【図７】選択された操作部品が実行済みに変更された状
態の操作部品表の例を示す図である。
【図８】操作部品の種類と各々に対する操作イベントの
例を示す図である。
【図９】実行プログラムの表示画面例を示す図である。
【図１０】操作部品検出手段が検出して出力する操作部
品データの例を示す図である。
【図１１】操作部品表記録手段で生成され記録される操
作部品表の例を示す図である。
【図１２】表スタック管理手段の表スタックの内容例を
示す図である。
【図１３】実行プログラムの表示画面例を示す図であ
る。
【図１４】操作部品検出手段が検出し出力した操作部品
データの例を示す図である。
【図１５】操作部品表記録手段で生成され記録される操
作部品表の例を示す図である。
【図１６】表スタック管理手段の表スタックの内容例を
示す図である。
【図１７】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
【図１８】表スタック管理手段の表スタックの内容例を
示す図である。
【図１９】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
【図２０】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
【図２１】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
【図２２】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
【図２３】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
【図２４】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
【図２５】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
【図２６】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
【図２７】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
【図２８】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
【図２９】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
【図３０】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
【図３１】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
【図３２】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
【図３３】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
【図３４】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
【図３５】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
【図３６】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
【図３７】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
【図３８】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
【図３９】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
【図４０】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
【図４１】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
【図４２】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
【図４３】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
【図４４】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
【図４５】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
【図４６】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
【図４７】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
【図４８】操作部品表記録手段が生成し記録する操作部
品表の例を示す図である。
【図４９】本発明のＧＵＩシステム自動操作装置の別の
実施の形態を示す構成図である。
【図５０】操作部品比較手段の出力例を示す図である。
【図５１】操作部品比較手段の出力例を示す図である。
【図５２】操作部品比較手段の出力例を示す図である。
【図５３】操作部品比較手段の出力例を示す図である。
【図５４】本発明のＧＵＩシステム自動操作装置の更に
別の実施の形態を示す構成図である。
【図５５】動作エラー情報の例を示す図である。
【図５６】本発明のＧＵＩシステム自動操作装置の他の
実施の形態を示す構成図である。
【図５７】操作マクロ記録手段によって生成され記録さ
れたマクロ操作の例を示す図である。
【図５８】操作マクロ実行装置の実施の形態の例を示す
構成図である。
【図５９】プログラムおよび操作マクロの表示画面の例
を示す図である。
【図６０】プログラムおよび操作マクロの表示画面の例
を示す図である。
【図６１】プログラムおよび操作マクロの表示画面の例
を示す図である。
【符号の説明】
１ ＧＵＩシステム自動操作装置 １００ プログラム保存手段 １０１ プログラム実行手段 １０２ 操作部品検出手段 １０３ 画面イメージ記録手段 １０４ 操作部品表記録手段 １０５ プログラム実行開始手段 １０６ プログラム実行終了手段 １０７ 表スタック管理手段 １０８ 操作部品選択手段 １０９ 操作イベント発生手段 １１０ 出力手段 ３００ 表示画面枠 ３０１ ウィンドウ ３０２、１３００ ウィンドウタイトル ３０３、３０４ メニュー ９００、９０１ サブメニュー １３０１〜１３０４ オプションボタン １３０５、１３０６ プッシュボタン ４９ ＧＵＩシステム自動操作装置 ４９００ 操作部品比較手段 ５４ ＧＵＩシステム自動操作装置 ５４００ 動作エラー記録手段 ５６ ＧＵＩシステム自動操作装置 ５６００ 操作マクロ記録手段 ５８ 操作マクロ実行装置 ５８００ 操作マクロ表示手段 ５８０１ 操作イベント発生手段

Claims (6)

    【特許請求の範囲】
  1. 【請求項１】 ＧＵＩを有するシステムの実行プログラ
    ムの実行を制御するプログラム実行手段と、前記プログ
    ラム実行手段が画面に表示させている前記システムの操
    作部品を検出する操作部品検出手段とに接続され、前記
    システムの操作を自動的に行うＧＵＩシステム自動操作
    装置であって、 前記システムの実行プログラムの実行を前記プログラム
    実行手段に開始させるプログラム実行開始手段と、 前記プログラム実行手段が画面に表示させている画面の
    イメージを記録する画面イメージ記録手段と、 前記操作部品検出手段が検出した操作部品のデータから
    操作部品表を作成して記録する操作部品表記録手段と、 前記操作部品表の識別子の表スタックに識別子を追加す
    る、もしくは前記操作部品表の識別子の表スタックから
    識別子を削除する表スタック管理手段と、 前記操作部品表記録手段に記録された操作部品表から操
    作部品のデータを選択する操作部品選択手段と、 前記システムの操作部品に対する操作を実行するイベン
    トを発生させる操作イベント発生手段と、 前記プログラム実行手段で実行中の前記システムの実行
    プログラムの実行を終了させるプログラム実行終了手段
    とを備え、 前記操作部品表記録手段は、前記操作部品検出手段が検
    出した操作部品のデータのなかから、まだ前記操作部品
    表記録手段に記録されていないデータを抽出し、このデ
    ータを用いて前記操作部品表を作成して記録すると共
    に、新規に記録した操作部品表の識別子を前記表スタッ
    クに追加するよう、前記表スタック管理手段に命令し、
    かつ、前記操作部品検出手段が検出した操作部品のデー
    タがすべて、前記操作部品表記録手段にすでに記録され
    ていた場合に、前記プログラム実行手段で実行中の前記
    システムの実行プログラムの実行を終了させるよう前記
    プログラム実行手段に命令し、更に、前記操作部品検出
    手段が検出した操作部品のデータのなかに、前記操作部
    品表記録手段にまだ記録されていないデータがあった場
    合に、前記操作部品表記録手段に記録された操作部品表
    から操作部品のデータを選択するよう前記操作部品選択
    手段に命令する構成を有し、 前記操作部品選択手段は、前記表スタックの最上位にあ
    る識別子を有する操作部品表を前記操作部品表記録手段
    から検索し、検索された操作部品表のなかから、未操作
    の操作部品のデータを検索し、未操作の操作部品のデー
    タが存在すれば、そのなかから１つを選択し、存在しな
    ければ、前記操作部品表記録手段に記録された操作部品
    表のなかから未操作の操作部品のデータを１つ選択する
    か、前記表スタックから識別子がすべて削除されるま
    で、前記表スタックの最上位にある識別子を前記表スタ
    ックから削除するよう前記表スタック管理手段に命令し
    たあと、未操作の操作部品のデータを検索する処理を繰
    り返し行う構成を有し、 前記操作イベント発生手段は、前記操作部品選択手段が
    選択した操作部品のデータを用いて、前記システムの操
    作部品に対する操作を実行するイベントを発生させて前
    記プログラム実行手段に出力する構成を有し、 前記プログラム実行終了手段は、前記プログラム実行手
    段で実行中の前記システムの実行プログラムの実行を終
    了させたあと、前記プログラム実行開始手段に、前記シ
    ステムの実行プログラムの実行を前記プログラム実行手
    段に開始させるよう命令する構成を有し、 前記プログラム実行開始手段は、前記プログラム実行終
    了手段から命令を受けて前記システムの実行プログラム
    の実行を前記プログラム実行手段に開始させたあと、前
    記操作部品選択手段に、操作部品のデータの選択を行う
    よう命令する構成を有し、 更に前記操作部品選択手段は、操作部品のデータを選択
    するよう前記プログラム実行開始手段から命令を受け、
    未操作の操作部品のデータを１つ選択できた場合、前記
    システムの初期画面から、選択された前記データの操作
    部品が表示される画面まで遷移するために操作を実行し
    なければならない操作部品のデータを、前記操作部品表
    記録手段に記録された操作部品表から検索する構成を有
    することを特徴とするＧＵＩシステム自動操作装置。
  2. 【請求項２】 前記操作部品表記録手段が記録する操作
    部品表は、操作部品表の識別子と、操作部品の識別子
    と、前記操作部品の表示領域の座標とを少なくとも含
    み、 前記プログラム実行手段が画面に表示させている画面の
    イメージを記録する画面イメージ記録手段を備え、 前記画面イメージ記録手段は、前記プログラム実行開始
    手段による１回目の前記システムの実行プログラムの実
    行の開始が行われたあと、前記システムの実行プログラ
    ムの初期画面のイメージを記録し、前記プログラム実行
    手段が前記操作イベント発生手段から操作イベントを受
    け取るたびに、前記操作イベントによって実行される前
    記システムの実行プログラムの動作が完了したあと、前
    記システムの実行プログラムの画面のイメージを記録す
    る構成を有することを特徴とする請求項１記載のＧＵＩ
    システム自動操作装置。
  3. 【請求項３】 前記操作部品表記録手段が記録する操作
    部品表は、操作部品表の識別子と、操作部品の識別子
    と、前記操作部品の種類名と、前記操作部品のラベル
    と、前記操作部品の表示領域の座標と、前記操作部品の
    ラベル文字のフォント名と、前記操作部品のラベル文字
    のサイズと、前記操作部品が配置されているウィンドウ
    のラベルとを少なくとも含み、 前記操作部品表記録手段に記録された操作部品表のなか
    の操作部品のデータを相互に比較する操作部品比較手段
    を備えることを特徴とする請求項１記載のＧＵＩシステ
    ム自動操作装置。
  4. 【請求項４】 前記操作部品表記録手段が記録する操作
    部品表は、操作部品表の識別子と、操作部品の識別子
    と、前記操作部品の種類名と、前記操作部品のラベル
    と、前記操作部品の表示領域の座標と、前記操作部品が
    配置されているウィンドウのラベルとを少なくとも含
    み、 前記プログラム実行手段で実行中の前記システムの実行
    プログラムに動作エラーが発生し、入力操作が受け付け
    られない状態に陥った場合、この動作エラーを検出して
    動作エラー情報を記録する動作エラー記録手段を備え、 前記動作エラー記録手段は、前記動作エラーを検出した
    場合、前記動作エラーが発生する直前に操作を実行され
    た操作部品のデータを前記操作部品選択手段から取得
    し、前記操作部品のデータを動作エラー情報として記録
    し、前記プログラム実行手段で実行中の前記システムの
    実行プログラムの実行を終了させるよう前記プログラム
    実行終了手段に命令する構成を有することを特徴とする
    請求項１記載のＧＵＩシステム自動操作装置。
  5. 【請求項５】 前記操作部品表記録手段が記録する操作
    部品表は、操作部品表の識別子と、操作部品の識別子
    と、前記操作部品の種類名と、前記操作部品のラベル
    と、前記操作部品の表示領域の座標と、前記操作部品が
    配置されているウィンドウのラベルとを少なくとも含
    み、 前記操作部品表記録手段に記録された操作部品表をもと
    に操作マクロを作成し記録する操作マクロ記録手段を備
    え、 前記操作マクロ記録手段は、前記操作部品表記録手段に
    記録された操作部品表のなかの操作部品のデータを用い
    て、あらかじめ決められた階層にある操作部品の操作を
    実行するための操作手順を操作マクロとして記録する構
    成を有することを特徴とする請求項１記載のＧＵＩシス
    テム自動操作装置。
  6. 【請求項６】 ＧＵＩを有するシステムの実行プログラ
    ムの実行を制御するプログラム実行手段と、前記プログ
    ラム実行手段が画面に表示させている前記システムの操
    作部品を検出する操作部品検出手段とに接続され、前記
    システムの操作マクロを実行する操作マクロ実行装置で
    あって、 操作マクロが記録された操作マクロ記録手段と、 前記操作マクロ記録手段に保存された操作マクロを画面
    に表示させる操作マクロ表示手段と、 前記システムの操作部品に対する操作を実行するイベン
    トを発生させる操作イベント発生手段とを備え、 前記操作部品検出手段が出力する操作部品のデータは、
    前記操作部品の種類名と、前記操作部品のラベルと、前
    記操作部品の表示領域の座標と、前記操作部品が配置さ
    れているウィンドウのラベルとを少なくとも含み、 前記操作イベント発生手段は、前記操作マクロ記録手段
    に記録された操作マクロを参照し、前記操作部品検出手
    段が検出した操作部品のデータのなかから、利用者が画
    面上で選択した操作マクロを実行するための操作部品の
    データを抽出し、抽出された前記データを有する操作部
    品に対する操作を実行するイベントを発生させ、前記プ
    ログラム実行手段に出力する構成を有することを特徴と
    する操作マクロ実行装置。
JP9013121A 1997-01-08 1997-01-08 Ｇｕｉシステム自動操作装置および操作マクロ実行装置 Expired - Fee Related JP3008872B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP9013121A JP3008872B2 (ja) 1997-01-08 1997-01-08 Ｇｕｉシステム自動操作装置および操作マクロ実行装置
US09/004,320 US6184880B1 (en) 1997-01-08 1998-01-08 Automatic GUI system operation device and operation macro execution device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9013121A JP3008872B2 (ja) 1997-01-08 1997-01-08 Ｇｕｉシステム自動操作装置および操作マクロ実行装置

Publications (2)

Publication Number Publication Date
JPH10198586A true JPH10198586A (ja) 1998-07-31
JP3008872B2 JP3008872B2 (ja) 2000-02-14

Family

ID=11824335

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9013121A Expired - Fee Related JP3008872B2 (ja) 1997-01-08 1997-01-08 Ｇｕｉシステム自動操作装置および操作マクロ実行装置

Country Status (2)

Country Link
US (1) US6184880B1 (ja)
JP (1) JP3008872B2 (ja)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007048309A (ja) * 2006-09-29 2007-02-22 Mitsubishi Electric Corp ユーザインタフェース装置およびユーザインタフェース装置用プログラム
JP2009015363A (ja) * 2007-06-29 2009-01-22 Canon It Solutions Inc テスト実行システム、テスト実行装置、情報処理装置、テスト実行方法、プログラム、及び記憶媒体
JP2009223412A (ja) * 2008-03-13 2009-10-01 I L C:Kk ソフトウェア検証支援装置、ソフトウェア検証支援方法、およびソフトウェア検証支援プログラム
JP2010165267A (ja) * 2009-01-19 2010-07-29 Hitachi Software Eng Co Ltd 回帰テスト自動実行システム
JP2011129078A (ja) * 2009-12-15 2011-06-30 Masaaki Igawa ツリ−構造を利用した、ユ−ザ・インタフェイスの構成要素情報の記録およびユ−ザ・インタ−フェイス操作を記録再生するためのプログラム
JP2011159325A (ja) * 2011-05-12 2011-08-18 Mitsubishi Electric Corp ユーザインタフェース装置
JP4788840B2 (ja) * 2008-09-29 2011-10-05 日本電気株式会社 Ｇｕｉ評価システム、ｇｕｉ評価方法およびｇｕｉ評価用プログラム
JP2012022384A (ja) * 2010-07-12 2012-02-02 Hitachi Information Systems Ltd 画面操作用スクリプト生成方法及びシステム
JP2012248097A (ja) * 2011-05-30 2012-12-13 Nippon Telegr & Teleph Corp <Ntt> 画面遷移グラフの自動生成方法およびその装置
JP5152436B2 (ja) * 2010-06-08 2013-02-27 三菱電機株式会社 プログラマブル表示器の画面作成システム及びその画面作成プログラム
JP2014044615A (ja) * 2012-08-28 2014-03-13 Nippon Telegr & Teleph Corp <Ntt> グラフィカルユーザインタフェースの網羅的な自動操作方法及び装置
JP2014232514A (ja) * 2013-05-30 2014-12-11 日本電信電話株式会社 グラフィカルユーザインタフェースの自動操作方法及び装置
JP2016048414A (ja) * 2014-08-27 2016-04-07 京セラドキュメントソリューションズ株式会社 画像形成システム
JP2017111798A (ja) * 2015-12-18 2017-06-22 富士通株式会社 イベント駆動型ソフトウェア試験
JP2017219978A (ja) * 2016-06-06 2017-12-14 グレープシティ株式会社 プログラム自動テストのための方法およびプログラム
JP2018116496A (ja) * 2017-01-18 2018-07-26 日本電信電話株式会社 差異検出装置及びプログラム
JP2019053573A (ja) * 2017-09-15 2019-04-04 日本電気株式会社 座標情報管理システム、方法およびプログラム
JP2019079426A (ja) * 2017-10-26 2019-05-23 株式会社東芝 プラント監視システムの試験支援装置、その試験支援方法、及びその試験支援プログラム
JP2019185648A (ja) * 2018-04-17 2019-10-24 ＫＬａｂ株式会社 デバッグ装置、シミュレーション装置及びデバッグ用のプログラム
JPWO2018207481A1 (ja) * 2017-05-09 2020-03-12 古野電気株式会社 自動検査装置
JP2020166773A (ja) * 2019-03-29 2020-10-08 日本電気株式会社 データ記録装置、データ記録方法およびプログラム
WO2021010069A1 (ja) * 2019-07-12 2021-01-21 日本ノーベル株式会社 画面遷移情報生成装置、画面遷移情報生成方法、画面遷移情報生成用プログラム、画面遷移情報生成システム

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4490577B2 (ja) * 2000-10-02 2010-06-30 株式会社キーエンス Ｐｌｃシステム構築支援ツール
US20020133585A1 (en) * 2001-03-13 2002-09-19 Deming Douglas R. Computer program for recording and selective playback of a communication involving the hypertext transfer protocol
US20050044274A1 (en) * 2001-03-13 2005-02-24 Deming Douglas R. Methods of handling automated trading
US20020133450A1 (en) * 2001-03-13 2002-09-19 Deming Douglas R. Hypertext transfer protocol application programming interface between client-side trading systems and server-side stock trading systems
WO2003065179A2 (en) * 2002-02-01 2003-08-07 John Fairweather A system and method for mining data
US7437715B2 (en) * 2002-04-09 2008-10-14 Hewlett-Packard Development Company, L.P. System and method for generating a set of robot commands based on user entry events in a user interface
US7408656B2 (en) * 2003-03-10 2008-08-05 Hewlett-Packard Development Company, L.P. Controlling printer macro usage based on printer identification information
US8954420B1 (en) 2003-12-31 2015-02-10 Google Inc. Methods and systems for improving a search ranking using article information
US7873907B2 (en) * 2004-01-07 2011-01-18 International Business Machines Corporation Technique for searching for a specific object in an ISPF panel for automated testing
US20050234929A1 (en) * 2004-03-31 2005-10-20 Ionescu Mihai F Methods and systems for interfacing applications with a search engine
US8631076B1 (en) 2004-03-31 2014-01-14 Google Inc. Methods and systems for associating instant messenger events
US7725508B2 (en) 2004-03-31 2010-05-25 Google Inc. Methods and systems for information capture and retrieval
US8275839B2 (en) * 2004-03-31 2012-09-25 Google Inc. Methods and systems for processing email messages
US8346777B1 (en) 2004-03-31 2013-01-01 Google Inc. Systems and methods for selectively storing event data
US8099407B2 (en) 2004-03-31 2012-01-17 Google Inc. Methods and systems for processing media files
US8161053B1 (en) 2004-03-31 2012-04-17 Google Inc. Methods and systems for eliminating duplicate events
US7333976B1 (en) 2004-03-31 2008-02-19 Google Inc. Methods and systems for processing contact information
US7680888B1 (en) 2004-03-31 2010-03-16 Google Inc. Methods and systems for processing instant messenger messages
US7941439B1 (en) * 2004-03-31 2011-05-10 Google Inc. Methods and systems for information capture
US8386728B1 (en) 2004-03-31 2013-02-26 Google Inc. Methods and systems for prioritizing a crawl
US7500145B2 (en) * 2004-05-28 2009-03-03 International Business Machines Corporation Anomaly-driven software switch to capture event responses and automate recovery
US7627821B2 (en) * 2004-06-15 2009-12-01 Microsoft Corporation Recording/playback tools for UI-based applications
US7653896B2 (en) * 2004-06-30 2010-01-26 Microsoft Corporation Smart UI recording and playback framework
US7653721B1 (en) 2004-10-29 2010-01-26 Sun Microsystems, Inc. Mechanism for capturing high level events on user interface components
US20060136847A1 (en) * 2004-12-16 2006-06-22 International Business Machines Corporation Method and computer program product for verifying a computer renderable document for on-screen appearance
JP2007048216A (ja) * 2005-08-12 2007-02-22 Canon Inc 文書管理装置、文書管理方法、文書管理プログラム、記憶媒体
US9262446B1 (en) 2005-12-29 2016-02-16 Google Inc. Dynamically ranking entries in a personal data book
US20070213884A1 (en) * 2006-03-08 2007-09-13 Visteon Global Technologies, Inc. Method of implementing PC game auto-play in vehicle applications
US8001468B2 (en) * 2007-09-19 2011-08-16 Sap Ag Method and system for accelerating test automation of software applications
US8397207B2 (en) * 2007-11-26 2013-03-12 Microsoft Corporation Logical structure design surface
US8839107B2 (en) * 2008-05-13 2014-09-16 International Business Machines Corporation Context based script generation
WO2010035389A1 (ja) * 2008-09-29 2010-04-01 日本電気株式会社 Ｇｕｉ評価システム、ｇｕｉ評価方法およびｇｕｉ評価用プログラム
US9092111B2 (en) * 2010-07-26 2015-07-28 International Business Machines Corporation Capturing information on a rendered user interface including user activatable content
TWI407764B (zh) * 2010-08-16 2013-09-01 Wistron Neweb Corp 跳轉方法、人機界面及無線電話子機
US8407159B2 (en) 2010-11-17 2013-03-26 Microsoft Corporation Automatic batching of GUI-based tasks
US20120131456A1 (en) * 2010-11-22 2012-05-24 Microsoft Corporation Capture and Playback for GUI-Based Tasks
US8819631B2 (en) * 2011-01-13 2014-08-26 Hewlett-Packard Development Company, L.P. System and method for self dependent web automation
EP2511817A1 (en) * 2011-04-12 2012-10-17 Samsung Electronics Co., Ltd. Display apparatus and control method thereof
US8793578B2 (en) * 2011-07-11 2014-07-29 International Business Machines Corporation Automating execution of arbitrary graphical interface applications
CN103885969B (zh) * 2012-12-20 2017-03-01 国际商业机器公司 提供软件问题解决方案的方法和装置
US10664404B2 (en) * 2016-02-04 2020-05-26 Sap Se User interface state transitions
KR102076552B1 (ko) * 2018-06-22 2020-02-12 주식회사 한글과컴퓨터 매크로 등록 및 실행 장치, 매크로 등록 방법
US11204789B2 (en) 2019-08-20 2021-12-21 Hyland Software Inc. Graphical user interface for macro generation, modification, and verification
US11144338B2 (en) 2019-08-20 2021-10-12 Hyland Software, Inc. Computing system for macro generation, modification, verification, and execution

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4696003A (en) * 1986-03-10 1987-09-22 International Business Machines Corporation System for testing interactive software
JPH01237833A (ja) 1988-03-18 1989-09-22 Fujitsu Ltd コマンドマクロ自動生成装置
JPH0241529A (ja) 1988-08-02 1990-02-09 Fujitsu Ltd マンマシンインタフェース機構のテスト方式
JPH02244316A (ja) 1989-03-17 1990-09-28 Pfu Ltd マクロ名の登録処理方式
JPH0476776A (ja) 1990-07-19 1992-03-11 Fujitsu Ltd 詳細化ルールの入力処理方法
JPH04302029A (ja) 1991-03-29 1992-10-26 Toshiba Corp ユーザインタフェース評価装置
JPH05135002A (ja) 1991-05-07 1993-06-01 Toshiba Corp プロセスプラントの運転操作評価システム
JP2874138B2 (ja) 1991-07-29 1999-03-24 日本電気ホームエレクトロニクス株式会社 情報処理装置
JPH05173741A (ja) 1991-12-20 1993-07-13 Ricoh Co Ltd ウィンドウシステム
JPH0628209A (ja) 1992-07-06 1994-02-04 Hitachi Ltd プログラム検査装置
JP3391478B2 (ja) 1992-09-10 2003-03-31 松下電器産業株式会社 操作自動実行装置
JP3147572B2 (ja) 1993-03-22 2001-03-19 株式会社日立製作所 プログラム生成方法
JPH06348481A (ja) 1993-04-16 1994-12-22 Hewlett Packard Co <Hp> マクロ作成システム及び方法
JPH06332686A (ja) 1993-05-20 1994-12-02 Mitsubishi Electric Corp ユーザインタフェース挙動記述方法、ならびにそれを用いたユーザインタフェース装置、ソフトウェア評価方法およびソフトウェア作成方法
JPH0784765A (ja) 1993-08-06 1995-03-31 Toshiba Corp Ｇｕｉテスト装置
JP3234059B2 (ja) 1993-08-11 2001-12-04 株式会社東芝 画面デザイン評価装置
JP2570592B2 (ja) 1993-09-17 1997-01-08 日本電気株式会社 インタラクティブ型マルチウインドウプログラム自動テスト装置
US5487141A (en) * 1994-01-21 1996-01-23 Borland International, Inc. Development system with methods for visual inheritance and improved object reusability
JPH07253865A (ja) 1994-03-16 1995-10-03 Matsushita Electric Ind Co Ltd 操作ガイダンス装置
JPH0829209A (ja) 1994-07-13 1996-02-02 Mitsubishi Electric Corp 操作性評価システム
JP2626598B2 (ja) 1994-11-25 1997-07-02 日本電気株式会社 グラフィカルユーザインタフェースを有する対話システムの操作性評価装置
US5911070A (en) * 1995-08-07 1999-06-08 Inprise Corporation Development system with methods for bi-directional application program code generation

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007048309A (ja) * 2006-09-29 2007-02-22 Mitsubishi Electric Corp ユーザインタフェース装置およびユーザインタフェース装置用プログラム
JP2009015363A (ja) * 2007-06-29 2009-01-22 Canon It Solutions Inc テスト実行システム、テスト実行装置、情報処理装置、テスト実行方法、プログラム、及び記憶媒体
JP2009223412A (ja) * 2008-03-13 2009-10-01 I L C:Kk ソフトウェア検証支援装置、ソフトウェア検証支援方法、およびソフトウェア検証支援プログラム
JP4788840B2 (ja) * 2008-09-29 2011-10-05 日本電気株式会社 Ｇｕｉ評価システム、ｇｕｉ評価方法およびｇｕｉ評価用プログラム
JP2010165267A (ja) * 2009-01-19 2010-07-29 Hitachi Software Eng Co Ltd 回帰テスト自動実行システム
JP2011129078A (ja) * 2009-12-15 2011-06-30 Masaaki Igawa ツリ−構造を利用した、ユ−ザ・インタフェイスの構成要素情報の記録およびユ−ザ・インタ−フェイス操作を記録再生するためのプログラム
JP5152436B2 (ja) * 2010-06-08 2013-02-27 三菱電機株式会社 プログラマブル表示器の画面作成システム及びその画面作成プログラム
US8683371B2 (en) 2010-06-08 2014-03-25 Mitsubishi Electric Corporation Screen creating system of programmable display and screen creating program thereof
JP2012022384A (ja) * 2010-07-12 2012-02-02 Hitachi Information Systems Ltd 画面操作用スクリプト生成方法及びシステム
JP2011159325A (ja) * 2011-05-12 2011-08-18 Mitsubishi Electric Corp ユーザインタフェース装置
JP2012248097A (ja) * 2011-05-30 2012-12-13 Nippon Telegr & Teleph Corp <Ntt> 画面遷移グラフの自動生成方法およびその装置
JP2014044615A (ja) * 2012-08-28 2014-03-13 Nippon Telegr & Teleph Corp <Ntt> グラフィカルユーザインタフェースの網羅的な自動操作方法及び装置
JP2014232514A (ja) * 2013-05-30 2014-12-11 日本電信電話株式会社 グラフィカルユーザインタフェースの自動操作方法及び装置
JP2016048414A (ja) * 2014-08-27 2016-04-07 京セラドキュメントソリューションズ株式会社 画像形成システム
JP2017111798A (ja) * 2015-12-18 2017-06-22 富士通株式会社 イベント駆動型ソフトウェア試験
JP2017219978A (ja) * 2016-06-06 2017-12-14 グレープシティ株式会社 プログラム自動テストのための方法およびプログラム
JP2018116496A (ja) * 2017-01-18 2018-07-26 日本電信電話株式会社 差異検出装置及びプログラム
JPWO2018207481A1 (ja) * 2017-05-09 2020-03-12 古野電気株式会社 自動検査装置
JP2019053573A (ja) * 2017-09-15 2019-04-04 日本電気株式会社 座標情報管理システム、方法およびプログラム
JP2019079426A (ja) * 2017-10-26 2019-05-23 株式会社東芝 プラント監視システムの試験支援装置、その試験支援方法、及びその試験支援プログラム
JP2019185648A (ja) * 2018-04-17 2019-10-24 ＫＬａｂ株式会社 デバッグ装置、シミュレーション装置及びデバッグ用のプログラム
JP2020166773A (ja) * 2019-03-29 2020-10-08 日本電気株式会社 データ記録装置、データ記録方法およびプログラム
WO2021010069A1 (ja) * 2019-07-12 2021-01-21 日本ノーベル株式会社 画面遷移情報生成装置、画面遷移情報生成方法、画面遷移情報生成用プログラム、画面遷移情報生成システム
JP2021015476A (ja) * 2019-07-12 2021-02-12 日本ノーベル株式会社 画面遷移情報生成装置、画面遷移情報生成方法、画面遷移情報生成用プログラム、画面遷移情報生成システム
CN114144287A (zh) * 2019-07-12 2022-03-04 日本诺贝尔株式会社 画面转换信息生成装置、画面转换信息生成方法、画面转换信息生成用程序以及画面转换信息生成系统

Also Published As

Publication number Publication date
US6184880B1 (en) 2001-02-06
JP3008872B2 (ja) 2000-02-14

Similar Documents

Publication Publication Date Title
JP3008872B2 (ja) Ｇｕｉシステム自動操作装置および操作マクロ実行装置
JP4395761B2 (ja) プログラムテスト支援装置およびその方法
US9971471B2 (en) Tool-tip for multimedia files
US6826443B2 (en) Systems and methods for managing interaction with a presentation of a tree structure in a graphical user interface
US8566744B2 (en) Same-display comparison of content for different renditions of a single computer program
US6046741A (en) Visual command sequence desktop agent
US6854089B1 (en) Techniques for mapping graphical user interfaces of applications
US5583761A (en) Method for automatic displaying program presentations in different languages
US7627821B2 (en) Recording/playback tools for UI-based applications
KR101004493B1 (ko) 사용자 인터페이스 구성요소를 가시화하기 위한 컴퓨터-구현된 방법, 사용자 인터페이스 오브젝트를 가시화하는 방법, 컴퓨터-판독가능 매체, 및 컴퓨터 시스템
US6871327B2 (en) Method and apparatus for extending coverage of GUI tests
EP1643369A2 (en) System and method for selecting test case execution behaviors for reproducible test automation
US6904563B2 (en) Editing platforms for remote user interface translation
JPH05346875A (ja) コンピュータ・アプリケーション・ソフトウェアの自動化試験システム
El-Ramly et al. Mining system-user interaction traces for use case models
JP2000112784A (ja) プログラムテスト支援装置及びプログラムテスト支援プログラムを記録した記録媒体
Fok et al. A Large-Scale Longitudinal Analysis of Missing Label Accessibility Failures in Android Apps
JP5344220B2 (ja) 測定装置および測定装置の操作方法
US20140123088A1 (en) Design support program, design support method, and design support apparatus
JPH0944379A (ja) プログラミング支援装置及びプログラミング支援方法
US10430309B2 (en) Duplicating a task sequence from a graphical user interface interaction for a development application in view of trace data
JP2020173570A (ja) 解析装置、解析方法、及びプログラム
JPH10149301A (ja) スクリプト作成装置
CN115390720A (zh) 包括自动文档滚动的机器人过程自动化（rpa）
US20090273605A1 (en) Operation Checking Method in Information System, Operation Checking Program Therefor, Recording Medium, and Operation Checking System

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071203

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081203

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091203

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091203

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101203

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees