JP6927340B2 - 操作記録プログラム、操作記録方法、操作記録装置、操作再生プログラム、操作再生方法及び操作再生装置 - Google Patents

操作記録プログラム、操作記録方法、操作記録装置、操作再生プログラム、操作再生方法及び操作再生装置 Download PDF

Info

Publication number
JP6927340B2
JP6927340B2 JP2020021357A JP2020021357A JP6927340B2 JP 6927340 B2 JP6927340 B2 JP 6927340B2 JP 2020021357 A JP2020021357 A JP 2020021357A JP 2020021357 A JP2020021357 A JP 2020021357A JP 6927340 B2 JP6927340 B2 JP 6927340B2
Authority
JP
Japan
Prior art keywords
information
recording
name
objects
reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020021357A
Other languages
English (en)
Other versions
JP2020080172A (ja
Inventor
真士 小林
真士 小林
桃子 尾崎
桃子 尾崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2015213370A external-priority patent/JP6813265B2/ja
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2020021357A priority Critical patent/JP6927340B2/ja
Publication of JP2020080172A publication Critical patent/JP2020080172A/ja
Application granted granted Critical
Publication of JP6927340B2 publication Critical patent/JP6927340B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、操作記録プログラム、操作記録方法、操作記録装置、操作再生プログラム、操作再生方法及び操作再生装置に関する。
従来では、コンピュータに対する操作内容を記録し、記録した操作内容を再生することで、操作を再現する技術が知られている。
また、従来では、操作画面において操作が行われた位置を示す座標情報と、操作により起動したプログラムを示す情報とを、操作内容として記録することが知られている。
特開2005−63279号公報
従来の手法により記録された操作内容では、例えばアイコン等の操作の対象となる画面上のオブジェクトの表示領域に、記録された座標情報が含まれない場合、記録された操作が再現されない。また、従来の手法により記録された操作内容では、プログラムを起動させるために、どのオブジェクトに対してどのような操作がなされたかを特定できない。
このため、従来の手法では、操作内容を記録する際の表示画面の設定環境と、操作内容を再生する際の表示画面の設定環境とが異なる場合等には、記録された操作内容が正しく再生されない可能性がある。
1つの側面では、操作の再現の精度を向上させることが可能な操作記録プログラム、操作記録方法、操作記録装置、操作再生プログラム、操作再生方法及び操作再生装置を提供することを目的としている。
開示の技術は、画面に対する操作を検知し、前記操作を受け付けた位置の座標情報から、前記座標情報により特定される位置を表示領域に含むオブジェクトを特定し、特定した前記オブジェクトの中心座標の情報を含むオブジェクト情報を第一の取得処理により取得し、前記オブジェクト情報から特定されるオブジェクトの名称、前記特定されるオブジェクトが従属するオブジェクトの名称または数、前記特定されるオブジェクトに従属するオブジェクトの名称または数、の少なくともいずれかの情報を含むオブジェクト特定情報を第二の取得処理により取得し、前記オブジェクト特定情報と、前記操作の種類を示す操作種類情報と、を対応付けた操作記録情報を記録する、処理をコンピュータに実行させる。
上記各処理は、上記各処理を実現する機能部、上記各処理を手順としてコンピュータにより実行させる方法、プログラムを記憶したコンピュータ読み取り可能な記憶媒体とすることもできる。
操作の再現の精度を向上させることができる。
操作内容の記録と再生について説明する図である。 記録装置による操作記録情報の記録と、再生装置による操作記録情報の再生を説明する図である。 記録装置のハードウェア構成の一例を示す図である。 第一の実施形態の記録装置及び再生装置の機能構成を説明する図である。 第一の実施形態の記録処理部の処理を説明するフローチャートである。 第一の実施形態の再生処理部の処理を説明するフローチャートである。 第二の実施形態の記録装置及び再生装置の機能構成を説明する図である。 名称データベースの一例を示す図である。 第二の実施形態の記録処理部の処理を説明するフローチャートである。 第三の実施形態の記録再生装置の機能構成を説明する図である。 第四の実施形態の記録再生システムのシステム構成を示す図である。
(第一の実施形態)
以下に図面を参照して実施形態について説明する。図1は、操作内容の記録と再生について説明する図である。
本実施形態では、コンピュータ100において行われた操作の内容を、操作記録情報200として記録する。記録された操作記録情報200は、コンピュータ300−1、300−2において読み込まれ、記録された操作が再現される。
本実施形態において、操作記録情報200として内容が記録される操作は、例えばコンピュータ100で繰り返し行わせたい操作や、コンピュータ300−1、300−2等の他のコンピュータで行わせたい操作等である。
尚、図1では、操作記録情報200を再生するコンピュータを、コンピュータ300−1、300−2の2台としたが、操作記録情報200を再生するコンピュータの数は任意であって良い。以下の説明では、コンピュータ300−1、300−2を区別しない場合には、単にコンピュータ300と呼ぶ。
また、以下の説明では、操作の内容を操作記録情報200として記録するコンピュータ100を、記録装置100と呼び、操作記録情報200を再生するコンピュータ300を再生装置300と呼ぶ。
本実施形態では、記録装置100において、操作記録情報200を記録することで、記録装置100で行われた操作を自動的に任意の数の再生装置300に行わせることができる。したがって、本実施形態によれば、例えば複数台のコンピュータに同一の設定を行う操作を実施する場合等には、1台の記録装置100において該当する操作を実施して操作記録情報200を記録し、この操作記録情報200を複数台のコンピュータに再生させれば良い。
また、本実施形態では、記録装置100と再生装置300とを別のコンピュータとしているが、これに限定されない。記録装置100と再生装置300とは、同一の装置であっても良い。この場合、例えば1台のコンピュータに複数回同じ操作を実行させたい場合等に、操作記録情報200を記録し、再生させれば良い。
尚、本実施形態の操作記録情報200は、例えば記録装置100において、外部の記憶装置や可搬型の記憶媒体等に記録されても良い。
次に、本実施形態の記録装置100による操作記録情報200の記録と、再生装置300による操作記録情報200の再生について説明する。
本実施形態の記録装置100は、表示画面に表示されたオブジェクトを特定するオブジェクト特定情報と、特定されたオブジェクトに対して行われた操作の種類を示す操作種類情報と、を操作記録情報200として記録する。言い換えれば、本実施形態の操作記録情報200は、オブジェクト特定情報と、オブジェクト特定情報に対応付けられた操作種類情報とを含む。本実施形態におけるオブジェクトとは、画面上に選択可能な状態で表示され得るものであり、且つ操作の対象となる表示部品である。
本実施形態の再生装置300は、操作記録情報200に含まれるオブジェクト特定情報に基づき、再生装置300の表示画面において、操作の対象となるオブジェクトを特定する。そして、再生装置300は、操作記録情報200に含まれる操作種類情報に基づき、特定されたオブジェクトに対して操作種類情報が示す種類の操作を発生させる。
したがって、本実施形態によれば、操作記録情報200の再生の際に、表示画面における操作対象のオブジェクトの表示位置に関わらず操作を再現でき、操作の再現の精度を向上させることができる。
また、本実施形態によれば、操作記録情報200の再生の際に、操作内容を記録する際の表示画面の設定環境と、操作内容を再生する際の表示画面の設定環境とが異なる場合等でも、どのオブジェクトに何の操作が行われたかを特定できる。よって、本実施形態によれば、記録時の環境と再生時の環境の違いに影響を抑えることができ、汎用性を向上させることができる。
図2は、記録装置による操作記録情報の記録と、再生装置による操作記録情報の再生を説明する図である。
図2では、記録装置100の表示画面101に表示されたオブジェクトに対して行われた操作の内容を記録する例を示している。表示画面101は、記録装置100のディスプレイ等に表示される。
表示画面101は、記録装置100のデスクトップ画面であり、オブジェクト102〜107が表示されている。オブジェクト102〜107は、それぞれが選択可能であり、且つ操作の対象となり得る。
オブジェクト102は、XYZアプリケーションの起動により立ち上げられたウィンドウである。オブジェクト103は、インストールの要求を行うための表示部品である。
オブジェクト104は、ウィンドウの最小化の要求を行うための表示部品である。オブジェクト105は、ウィンドウを閉じる要求を行うための表示部品である。ウィンドウを閉じる要求とは、アプリケーションの終了の要求である。オブジェクト106は、ウィンドウの最大化の要求を行うための表示部品である。オブジェクト107は、オブジェクト102(ウィンドウ)のタイトルバーを示す表示部品である。
本実施形態の記録装置100は、表示画面101においてポインタ等によりオブジェクトが選択されると、記録装置100に搭載されたOS(Operating System)の有する2つの機能を用いてオブジェクトを特定するためのオブジェクト特定情報を取得する。
本実施形態のオブジェクト特定情報は、再生装置300において、操作対象となるオブジェクトを特定させるための情報である。オブジェクト特定情報には、操作対象のオブジェクトの名称、操作対象のオブジェクトの種類、操作対象のオブジェクトが従属するオブジェクトの名称、操作対象のオブジェクトに従属するオブジェクトの名称や数等を含む。
以下に、OSの有する2つの機能について説明する。
1つ目の機能は、座標情報が示す座標を表示領域に含むオブジェクトの名称と、表示領域の中心座標と、を取得する機能である。この機能は、例えばWindows(登録商標)Accessibility等により実現される機能である。
2つ目の機能は、座標情報が示す位置にあるオブジェクトを特定し、1つ目の機能では取得することができない、オブジェクトに関連する各種の情報を含むオブジェクト特定情報を出力する機能である。この機能は、例えばWindows(登録商標)のUI Automation等により実現される機能である。
以下の説明では、上述したOSの1つ目の機能を第一取得部、第一取得部が実行する処理を第一の取得処理と呼び、2つ目の機能を第二取得部、第二取得部が実行する処理を第二の取得処理と呼ぶ。また、以下の説明では、第一取得部により取得されるオブジェクトの名称と中心座標をオブジェクト情報と呼ぶ。
本実施形態の記録装置100では、例えば表示画面101において、オブジェクト104がクリックされると、第一取得部によりオブジェクト104の表示領域の中心座標Rを取得する。そして、記録装置100は、第二取得部に中心座標Rを渡し、第二取得部が中心座標Rから特定したオブジェクトのオブジェクト特定情報を取得して、操作種類情報と対応付けて、操作記録情報200とする。
本実施形態では、以上のように、OSの有する2つの機能を用いてオブジェクト特定情報を取得することで、操作対象とされたオブジェクトを特定する際に、誤ったオブジェクトが特定されることを防止できる。
以下に、第二取得部のみを用いてオブジェクト特定情報を取得する場合について説明する。例えば、表示画面101において、例えばオブジェクト104がポインタPにより選択されたとする。
このとき、選択されたオブジェクトが半透明の状態で表示されていたり、ポインタPにより選択された位置のオブジェクトが表示された表示領域の端部に近い位置であった場合、第二取得部は、正しくオブジェクトを特定できない場合がある。この場合、記録装置100は、ポインタPにより選択された、操作対象のオブジェクトとは異なるオブジェクトのオブジェクト特定情報を操作記録情報200として記録することになる。したがって、この操作記録情報200を再生装置300が再生した場合に、操作を再現することができない。
本実施形態は、第一取得部と第二取得部の2つを用いて操作対象のオブジェクト特定情報を取得することで、操作対象でないオブジェクトのオブジェクト特定情報が、操作記録情報200として記録されることを防止できる。よって、本実施形態によれば、再生装置300により操作記録情報200が再生されたとき、正しい操作対象のオブジェクトを特定することができ、操作の再現の精度を向上させることができる。
次に、図3を参照して本実施形態の記録装置100と再生装置300のハードウェア構成について説明する。本実施形態の記録装置100と再生装置300のハードウェア構成は、同じであるため、図3では、記録装置のハードウェア構成について説明し、再生装置300のハードウェア構成の説明は省略する。
図3は、記録装置のハードウェア構成の一例を示す図である。本実施形態の記録装置100は、それぞれバスBで相互に接続されている入力装置11、出力装置12、ドライブ装置13、補助記憶装置14、メモリ装置15、演算処理装置16及びインターフェース装置17を含む。
入力装置11はキーボードやマウス等を含み、各種信号を入力するために用いられる。出力装置12はディスプレイ装置等を含み、各種ウィンドウやデータ等を表示するために用いられる。インターフェース装置17は、モデム、LANカード等を含み、ネットワークに接続する為に用いられる。
操作記録再生プログラムは、記録装置100を制御する各種プログラムの少なくとも一部である。操作記録再生プログラムは例えば記録媒体18の配布やネットワークからのダウンロードなどによって提供される。操作記録再生プログラムを記録した記録媒体18は、CD−ROM、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ROM、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
また、操作記録再生プログラムは、操作記録再生プログラムを記録した記録媒体18がドライブ装置13にセットされるとは記録媒体18からドライブ装置13を介して補助記憶装置14にインストールされる。ネットワークからダウンロードされた操作記録再生プログラムは、インターフェース装置17を介して補助記憶装置14にインストールされる。
補助記憶装置14は、インストールされた操作記録再生プログラムを格納すると共に、必要なファイル、データ等を格納する。メモリ装置15は、コンピュータの起動時に補助記憶装置14から操作記録再生プログラムを読み出して格納する。そして、演算処理装置16はメモリ装置15に格納された操作記録再生プログラムに従って、後述するような各種処理を実現している。
また、本実施形態の記録装置100は、例えばタブレット型のコンピュータ等であっても良い。その場合、入力装置11及び出力装置12の代わりに、表示機能を有するタッチパネル等の表示操作装置を有していても良い。
次に、図4を参照して本実施形態の記録装置100と再生装置300の機能について説明する。
図4は、第一の実施形態の記録装置及び再生装置の機能構成を説明する図である。本実施形態の記録装置100は、操作記録再生処理部110、第一取得部140、第二取得部150を有する。また、本実施形態の再生装置300は、操作記録再生処理部310を有する。
本実施形態の操作記録再生処理部110は、記録装置100にインストールされた操作記録再生プログラムを演算処理装置16が実行することで実現される。本実施形態の第一取得部140、第二取得部150は、記録装置100に搭載されたOSにより実現されるものであり、その機能は上述した通りである。
また、本実施形態の操作記録再生処理部310は、再生装置300にインストールされた操作記録再生プログラムを、再生装置300の演算処理装置が実行することで実現される。
ここで、本実施形態において、記録装置100と再生装置300のそれぞれにインストールされる操作記録再生プログラムは、同一のプログラムであって良い。
記録装置100では、操作記録再生プログラムに含まれる記録プログラムを実行することで記録処理部120を実現し、コンピュータを記録装置100として動作させる。
また、再生装置300では、操作記録再生プログラムに含まれる再生プログラムを実行することで再生処理部330を実現し、コンピュータを再生装置300として動作させる。
本実施形態の記録装置100の操作記録再生処理部110は、記録処理部120、再生処理部130を有する。
本実施形態の記録装置100では、上述したように、記録処理部120が実現される。本実施形態の記録処理部120は、操作検知部121、割込発生部122、操作種類取得部123、座標情報取得部124、オブジェクト特定部125、操作記録部126を有する。
操作検知部121は、記録装置100において行われた操作を検知する。具体的には、本実施形態の操作検知部121は、記録装置100に搭載されたOS(Operating System)がクリック操作、ドラッグ操作、ドロップ操作を検知したことを示す通知を受け付け、操作を受け付けたことを割込発生部122へ通知する。
本実施形態では、画面上の同一の座標において、マウスボタンのボタンダウンとボタンアップが検知されたとき、この操作はクリック操作として検知される。また、本実施形態では、マウスボタンのボタンダウン後に、ポインタが指し示す座標が移動した場合に、この操作はドラッグ操作として検知される。また、本実施形態では、ポインタが指し示す座標が移動した後のマウスボタンのボタンアップを検知したとき、この操作はドロップ操作として検知される。
本実施形態の割込発生部122は、操作検知部121により検知対象の操作が検知されると、記録装置100に搭載されたOSに対して割り込みを発生させ、操作内容を記録する処理の実行を要求する。
本実施形態の操作種類取得部123は、操作検知部121により検知された操作の種類を示す情報を取得する。
座標情報取得部124は、操作検知部121が操作を受け付けた位置の座標を示す座標情報を取得し、第一取得部140へ渡す。
本実施形態のオブジェクト特定部125は、第一取得部140から取得したオブジェクト情報に含まれるオブジェクトの中心座標を第二取得部150へ渡し、第二取得部150から、中心座標が表示領域に含まれるオブジェクトのオブジェクト特定情報を取得する。
本実施形態の操作記録部126は、オブジェクト特定部125により取得したオブジェクト特定情報と、操作種類取得部123により取得した操作種類情報と、を対応付けて操作記録情報200とする。また、本実施形態の操作記録部126は、記録処理の終了指示を受け付けたとき、記録の処理を終了する。
操作記録情報200は、例えば可搬型の記憶媒体210に記録される。記憶媒体210は、再生装置300において読取可能な記憶媒体であれば良い。
本実施形態の操作記録部126は、記録装置100に設定された判定閾値を取得する。
本実施形態の記録装置100における再生処理部130の機能構成は、後述する再生装置300の有する再生処理部330と同様である。
本実施形態の再生装置300の操作記録再生処理部310は、記録処理部320、再生処理部330を有する。
本実施形態の再生装置300では、上述したように、再生処理部330が実現される。本実施形態の再生処理部330は、操作記録読込部331、オブジェクト特定部332、操作種類特定部333、操作発生要求部334を有する。
本実施形態の操作記録読込部331は、記憶媒体210に格納された操作記録情報200を読み込む。
本実施形態のオブジェクト特定部332は、操作記録情報200に含まれるオブジェクト特定情報から、再生装置300の表示画面において、操作対象となるオブジェクトを特定する。操作種類特定部333は、操作記録情報200に含まれる操作種類情報から、特定したオブジェクトに対して行う操作の種類を特定する。
本実施形態の操作発生要求部334は、再生装置300に搭載されたOSに対して、操作対象のオブジェクトに対して特定した操作を発生させるための操作発生要求を行う。
再生装置300では、OSに対して操作発生要求を行うことで、OSの機能により要求した操作が発生し、操作記録情報200に記録された操作内容が再生装置300において再現される。
次に、図5を参照して本実施形態の記録処理部120による操作記録情報200の記録処理について説明する。図5は、第一の実施形態の記録処理部の処理を説明するフローチャートである。
本実施形態の記録装置100の記録処理部120は、操作検知部121により表示画面に対する操作を検知すると、座標情報取得部124により操作を受け付けた位置を示す座標情報を取得し、操作種類取得部123により、操作の種類を示す操作種類情報を取得する(ステップS501)。
続いて、記録処理部120は、座標情報取得部124により取得した座標情報が示す座標を問合せ座標とする(ステップS502)。
続いて、オブジェクト特定部125は、第一取得部140に問合せ座標を渡し、表示領域に問合せ座標を含むオブジェクトの名称と、表示領域の中心座標を取得する(ステップS503)。
続いて、記録処理部120は、オブジェクト特定部125により、中心座標を第二取得部150へ渡し、第二取得部150から、中心座標から特定されたオブジェクトのオブジェクト特定情報を取得する(ステップS504)。続いて、記録処理部120は、操作記録部126により、操作種類情報とオブジェクト特定情報とを対応付けた操作記録情報200を記憶媒体210等に記録する(ステップS505)。
続いて、記録処理部120は、記録の終了指示を受け付けたか否かを判定する(ステップS506)。ステップS506において、終了指示を受け付けていない場合、記録処理部120は、ステップS501へ戻る。ステップS506において、終了指示を受け付けた場合、記録処理部120は、記録の処理を終了する。
次に、図6を参照して本実施形態の再生装置300の再生処理部310による操作記録情報200の再生処理について説明する。
図6は、第一の実施形態の再生処理部の処理を説明するフローチャートである。
本実施形態の再生装置300において、再生処理部330は、操作記録読込部331により、操作記録情報200を読み込み、オブジェクト特定情報と操作種類情報とを取得する(ステップS601)。
続いて再生処理部330は、オブジェクト特定部332により、取得したオブジェクト特定情報に基づき、操作対象となるオブジェクトを再生装置300上で探す(ステップS602)。
続いて再生処理部330は、操作対象のオブジェクトを特定できたか否かを判定する(ステップS603)。ステップS603において、操作対象のオブジェクトを特定できない場合、再生処理部330は、エラー処理を実行し(ステップS604)、処理を終了する。
本実施形態のエラー処理について以下に説明する。本実施形態の再生処理部330は、操作対象のオブジェクトを特定できない場合、操作対象のオブジェクトを特定できないことを示すエラーメッセージを表示画面に表示させ、再生処理を中断する。
操作対象のオブジェクトが特定できない場合とは、再生装置300の表示画面に操作対象のオブジェクトが表示されていないことを示している。この場合、正しく操作記録情報200が再現されていない状態である可能性がある。したがって、本実施形態の再生処理部330は、操作対象のオブジェクトが特定できない場合には、再生処理を中断する。
本実施形態では、再生処理を中断することで、操作記録情報200の再現に失敗した時点で、再生装置300における操作の発生を中断させるため、再生装置300の表示画面の状態から、どの時点で操作記録情報200の再現に失敗したかを判別することができる。
尚、本実施形態では、失敗した事象をユーザにより回復させ、続きから操作記録情報200の再生を再開しても良い。
ステップS603において、操作対象のオブジェクトが特定された場合、再生処理部330は、操作種類特定部333により、特定されたオブジェクトと対応する操作種類情報を取得し、操作発生要求部334により、該当する操作を発生させる(ステップS605)。
続いて再生処理部330は、操作記録情報200に含まれる全ての操作の再現が完了したか否かを判定する(ステップS606)。ステップS606において、再現が完了していない場合、再生処理部330は、ステップS601へ戻る。ステップS606において、再現が完了した場合、再生処理部330は処理を終了する。
以上のように、本実施形態によれば、操作記録情報200を記録する際に、ポインタに選択されたオブジェクトの表示領域における中心座標を取得し、この中心座標から特定されたオブジェクトを操作対象のオブジェクトに特定する。したがって、本実施形態では、操作対象のオブジェクトを特定する際に、例えばオブジェクトの表示領域の端部に近い位置が選択された場合等においても、誤ったオブジェクトが操作対象のオブジェクトとされることを抑制できる。このため、再生装置300において操作記録情報200を再生した場合の操作に再現の精度を向上させることができる。
(第二の実施形態)
以下に、図面を参照して第二の実施形態について説明する。第二の実施形態では、第二取得部が特定を誤る可能性のあるオブジェクトについてのみ、第一取得部と第二取得部を用いてオブジェクトを特定する点が第一の実施形態と相違する。したがって、以下の第二の実施形態の説明では、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
図7は、第二の実施形態の記録装置及び再生装置の機能構成を説明する図である。
本実施形態の記録装置100Aは、操作記録再生処理部110Aを有し、操作記録再生処理部110Aは、記録処理部120Aと、再生処理部130と、名称データベース160を有する。
本実施形態の記録処理部120Aは、第一の実施形態の記録処理部120の有する各部に加え、オブジェクト照合部127を有する。
本実施形態のオブジェクト照合部127は、第二取得部150が座標情報取得部124により取得した座標情報から特定したオブジェクトの名称が、名称データベース160内に存在するか否かを判定する。
本実施形態の名称データベース160は、第二取得部150により正しく特定されない可能性のあるオブジェクトの名称の一覧が格納されている。
本実施形態の記録処理部120Aでは、第二取得部150により特定されたオブジェクトの名称が名称データベース160に存在すると判定された場合に、第一取得部140と第二取得部150とを用いて操作対象のオブジェクトを特定する。
尚、図7の例では、再生装置300の有する操作記録再生処理部310は、第一の実施形態と同様としたが、これに限定されない。再生装置300の有する操作記録再生処理部310は、本実施形態の操作記録再生処理部110Aと同様のものであっても良い。
図8は、名称データベースの一例を示す図である。
本実施形態では、第二取得部150により誤った特定がされる可能性があるオブジェクトを、ウィンドウ内の4つのオブジェクトとした。具体的には、例えば表示画面101に表示されたオブジェクト104〜オブジェクト107(図2参照)である。
オブジェクト104はウィンドウの最小化ボタンであり、オブジェクト105はウィンドウを閉じるボタンであり、オブジェクト106はウィンドウの最大化のボタンであり、オブジェクト107は、ウィンドウのタイトルバーである。
したがって、本実施形態の名称データベース160には、オブジェクト104〜107の名称が格納されている。
次に、図9を参照して本実施形態の記録装置100Aの記録処理部120Aによる操作記録情報200の記録処理について説明する。図9は、第二の実施形態の記録処理部の処理を説明するフローチャートである。
図9のステップS901とステップS902の処理は、図5のステップS501とステップS502の処理と同様であるから、説明を省略する。
ステップS902に続いて、記録処理部120Aは、オブジェクト特定部125により、へ問合せ座標を第二取得部150へ渡し、第二取得部150が問合せ座標から特定したオブジェクトのオブジェクト特定情報を取得する(ステップS903)。具体的には、第二取得部150は、問合せ座標を表示領域に含むオブジェクトを特定し、特定したオブジェクトのオブジェクト特定情報をオブジェクト特定部125へ渡す。
続いて記録処理部120Aは、オブジェクト照合部127により、オブジェクト特定情報からオブジェクトの名称を抽出する(ステップS904)。
続いてオブジェクト照合部127は、抽出した名称と名称データベース160とを照合し、オブジェクト特定情報から抽出したオブジェクトの名称が、名称データベース160に存在するか否かを判定する(ステップS905)。つまり、ステップS905では、操作を受け付けたオブジェクトが、第二取得部150により誤ったオブジェクトと特定される可能性があるオブジェクトであるか否かを判定している。
名称データベース160に該当する名称が存在しない場合(ステップS906)、記録処理部120Aは、後述するステップS912へ進む。
名称データベース160に該当する名称が存在する場合(ステップS906)、記録処理部120Aは、オブジェクト特定部125により、問合せ座標を第一取得部140へ渡し、第一取得部140が問合せ座標から特定したオブジェクトの名称と、中心座標とを取得する(ステップS907)。
続いて記録処理部120Aは、オブジェクト照合部127により、第一取得部140が取得したオブジェクトの名称と、第二取得部150が取得したオブジェクトの名称とが一致するか否か比較する(ステップS908)。
両者が一致する場合(ステップS909)、記録処理部120Aは、後述するステップS912へ進む。両者が一致する場合、記録処理部120Aは、オブジェクト特定部125により、第一取得部140が取得した中心座標を問合せ座標とする(ステップS910)。
続いて、記録処理部120Aは、第二取得部150に問合せ座標を渡し、第二取得部150が問合せ座標から特定したオブジェクトのオブジェクト特定情報を取得する(ステップS911)。
続いて記録処理部120Aは、操作記録部126により、操作種類情報と、オブジェクト特定情報とを対応付けた操作記録情報200を記憶媒体210へ記録する(ステップS912)。
続いて記録処理部120Aは、操作記録情報200の記録の終了指示を受け付けたか否かを判定する(ステップS913)。ステップS913において、終了指示を受け付けない場合、記録処理部120Aは、ステップS901へ戻る。
ステップS913において、終了指示を受け付けた場合、記録処理部120Aは、処理を終了する。
以上のように、本実施形態によれば、第二取得部150により誤って特定される可能性が高いオブジェクトが操作対象とされたときのみ、第二取得部150が取得したオブジェクトの名称を第一取得部140が取得したオブジェクトの名称と比較する。そして、本実施形態では、両者が一致した場合、第二取得部150が操作対象のオブジェクトを正しく特定したものとし、両者が一致しない場合、第二取得部150が操作対象のオブジェクトを誤って特定したものとする。
そして、本実施形態では、第一取得部140が取得した、操作対象のオブジェクトの表示領域の中心座標を第二取得部150に渡し、第二取得部150が中心座標かに特定したオブジェクトのオブジェクト特定情報を記録する。
したがって、本実施形態によれば、第一の実施形態と同様に、操作対象のオブジェクトが誤って特定されることを防止でき、操作記録情報200の再生において、操作の再現の精度を向上させることができる。
また、本実施形態では、操作が検知されたオブジェクトが、誤って特定される可能性のあるオブジェクトであった場合のみ、第一取得部140を用いる。したがって、本実施形態によれば、操作記録情報200の記録におけるOSの負荷を第一の実施形態と比較して軽減することができる。
(第三の実施形態)
以下に図面を参照して第三の実施形態について説明する。第三の実施形態は、一台のコンピュータが記録処理部と再生処理部を実現する点が第一の実施形態と相違する。よって、以下の第三の実施形態の説明では、第一の実施形態との相違点について説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
図10は、第三の実施形態の記録再生装置の機能構成を説明する図である。本実施形態の記録再生装置100Bは、操作記録再生処理部110Bを有する。
本実施形態の操作記録再生処理部110Bは、記録処理部120と再生処理部130とを有する。再生処理部130は、操作記録読込部131、オブジェクト特定部132、操作種類特定部133、操作発生要求部134を有する。再生処理部130の有する各部は、第一の実施形態の再生処理部330の有する各部と同様の機能を実現する。
また、本実施形態の記録再生装置100Bは、記憶部170を有する。記憶部170は、記録再生装置100Bが有するメモリ装置等に設けられた記憶領域である。本実施形態の記録再生装置100Bでは、記録処理部120による記録された操作記録情報200を記憶部170に格納しても良い。この場合、再生処理部130は、記憶部170に格納された操作記録情報200を再生する。
本実施形態では、1台のコンピュータ(記録再生装置)100Bにおいて、記録処理部120による記録と、再生処理部130による再生とを同一のコンピュータで行うことで、操作内容を記録する際の表示画面の環境と、操作内容を再生する際の表示画面の環境とが異なる場合でも、操作の再現の精度を維持できる。
(第四の実施形態)
以下に図面を参照して第四の実施形態について説明する。第四の実施形態は、記録装置100において記録された操作記録情報200が、外部のサーバに格納される点が第一の実施形態と相違する。
よって、以下の第四の実施形態の説明では、第一の実施形態との相違点について説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
図11は、第四の実施形態の記録再生システムのシステム構成を説明する図である。本実施形態の記録再生システム400は、記録装置100、再生装置300、サーバ410を有する。記録装置100、再生装置300及びサーバ410は、ネットワークを介して接続されている。
本実施形態の記録装置100は、操作記録再生処理部110の記録処理部120により、操作記録情報200をサーバ410に記録する。本実施形態の記録装置100は、操作内容の記録の終了指示を受け付けてから、記録された操作記録情報200をサーバ410に送信しても良い。
本実施形態の再生装置300は、操作記録再生処理部310の再生処理部330により、サーバ410から操作記録情報200を読み込んで再生する。本実施形態の再生装置300は、操作記録情報200全てをサーバ410から取得した後に、再生装置300内に保持された操作記録情報200を再生しても良い。
本実施形態によれば、再生装置300はサーバ410から操作記録情報200を取得すれば良く、操作記録情報200が記憶された可搬型の記憶媒体を持ち運んだり、記憶媒体から操作記録情報200を再生装置300に読み取らせたりする作業が軽減される。
開示の技術では、以下に記載する付記のような形態が考えられる。
(付記1)
画面に表示されたオブジェクトに対する操作を検知し、
前記操作を受け付けた位置の座標情報から、前記操作の対象のオブジェクトを特定する第一のオブジェクト情報を第一の取得処理により取得し、
前記第一のオブジェクト情報から特定されるオブジェクトの前記第一の取得処理で取得できないオブジェクト情報を含むオブジェクト特定情報を第二の取得処理により取得し、
前記オブジェクト特定情報と、前記操作の種類を示す操作種類情報と、を対応付けた操作記録情報を記録し、
記録された前記操作記録情報を読み込み、
前記オブジェクト特定情報から、前記操作を発生させるオブジェクトを特定し、特定された前記オブジェクトに対して前記操作種類情報に従った種類の前記操作を発生させる、処理をコンピュータに実行させる操作記録再生プログラム。
(付記2)
前記第一のオブジェクト情報は、第一の取得処理により特定したオブジェクトの中心座標であり、
前記第二の取得処理は、前記中心座標からオブジェクト特定情報を取得する
処理を前記コンピュータに実行させる、付記1記載の操作記録再生プログラム。
(付記3)
前記第一の取得処理は、
前記第二の取得処理により、前記操作を受け付けた位置の座標情報から特定されたオブジェクトのオブジェクト特定情報を取得し、
第一の取得処理を行うオブジェクトの種別を記憶した記憶部を参照し、前記第二の取得処理により特定した前記オブジェクトの種別が、前記記憶部に記憶されたオブジェクトの種別に含まれる場合に、
前記コンピュータにより実行される、付記1又は2記載の操作記録再生プログラム。
(付記4)
前記第一の取得処理を行うオブジェクトの種別は、
ウィンドウの最小化ボタン、ウィンドウを閉じるボタン、ウィンドウの最大化のボタン、ウィンドウのタイトルバーの何れかである付記3記載の操作記録再生プログラム。
(付記5)
画面に表示されたオブジェクトに対する操作を検知し、
前記操作を受け付けた位置の座標情報から、前記操作の対象のオブジェクトを特定する第一のオブジェクト情報を第一の取得処理により取得し、
前記第一のオブジェクト情報から特定されるオブジェクトの前記第一の取得処理で取得できないオブジェクト情報を含むオブジェクト特定情報を第二の取得処理により取得し、
前記オブジェクト特定情報と、前記操作の種類を示す操作種類情報と、を対応付けた操作記録情報を記録する、処理をコンピュータに実行させる操作記録プログラム。
(付記6)
コンピュータによる操作記録再生方法であって、該コンピュータが、
画面に表示されたオブジェクトに対する操作を検知し、
前記操作を受け付けた位置の座標情報から、前記操作の対象のオブジェクトを特定する第一のオブジェクト情報を第一の取得処理により取得し、
前記第一のオブジェクト情報から特定されるオブジェクトの前記第一の取得処理で取得できないオブジェクト情報を含むオブジェクト特定情報を第二の取得処理により取得し、
前記オブジェクト特定情報と、前記操作の種類を示す操作種類情報と、を対応付けた操作記録情報を記録し、
記録された前記操作記録情報を読み込み、
前記オブジェクト特定情報から、前記操作を発生させるオブジェクトを特定し、特定された前記オブジェクトに対して前記操作種類情報に従った種類の前記操作を発生させる、操作記録再生方法。
(付記7)
画面に表示されたオブジェクトに対する操作を検知し、
前記操作を受け付けた位置の座標情報から、前記操作の対象のオブジェクトを特定する第一のオブジェクト情報を第一の取得処理により取得し、
前記第一のオブジェクト情報から特定されるオブジェクトの前記第一の取得処理で取得できないオブジェクト情報を含むオブジェクト特定情報を第二の取得処理により取得し、
前記オブジェクト特定情報と、前記操作の種類を示す操作種類情報と、を対応付けた操作記録情報を記録する記録処理部と、
記録された前記操作記録情報を読み込み、
前記オブジェクト特定情報から、前記操作を発生させるオブジェクトを特定し、特定された前記オブジェクトに対して前記操作種類情報に従った種類の前記操作を発生させる再生処理部と、を有する操作記録再生装置。
本発明は、具体的に開示された実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
100、100A 記録装置
110、110A、110B、310 操作記録再生処理部
120、120A、320 記録処理部
123 操作種類取得部
124 座標情報取得部
125、332 オブジェクト特定部
126 操作記録部
130、330 再生処理部
140 第一取得部
150 第二取得部
160 名称データベース
200 操作記録情報
210 記憶媒体
333 操作種類特定部
334 操作発生要求部
400 記録再生システム
410 サーバ

Claims (6)

  1. 画面に対する操作を検知し、
    前記操作を受け付けた位置の座標情報から、前記座標情報により特定される位置を表示領域に含むオブジェクトを特定し、
    特定した前記オブジェクトの中心座標の情報を含むオブジェクト情報を第一の取得処理により取得し、
    前記オブジェクト情報から特定されるオブジェクトの名称、前記特定されるオブジェクトが従属するオブジェクトの名称または数、前記特定されるオブジェクトに従属するオブジェクトの名称または数、の少なくともいずれかの情報を含むオブジェクト特定情報を第二の取得処理により取得し、
    前記オブジェクト特定情報と、前記操作の種類を示す操作種類情報と、を対応付けた操作記録情報を記録する、
    処理をコンピュータに実行させる操作記録プログラム。
  2. コンピュータによる操作記録方法であって、前記コンピュータが、
    画面に対する操作を検知し、
    前記操作を受け付けた位置の座標情報から、前記座標情報により特定される位置を表示領域に含むオブジェクトを特定し、
    特定した前記オブジェクトの中心座標の情報を含むオブジェクト情報を第一の取得処理により取得し、
    前記オブジェクト情報から特定されるオブジェクトの名称、前記特定されるオブジェクトが従属するオブジェクトの名称または数、前記特定されるオブジェクトに従属するオブジェクトの名称または数、の少なくともいずれかの情報を含むオブジェクト特定情報を第二の取得処理により取得し、
    前記オブジェクト特定情報と、前記操作の種類を示す操作種類情報と、を対応付けた操作記録情報を記録する、操作記録方法。
  3. 画面に対する操作を検知し、
    前記操作を受け付けた位置の座標情報から、前記座標情報により特定される位置を表示領域に含むオブジェクトを特定し、
    特定した前記オブジェクトの中心座標の情報を含むオブジェクト情報を第一の取得処理により取得し、
    前記オブジェクト情報から特定されるオブジェクトの名称、前記特定されるオブジェクトが従属するオブジェクトの名称または数、前記特定されるオブジェクトに従属するオブジェクトの名称または数、の少なくともいずれかの情報を含むオブジェクト特定情報を第二の取得処理により取得し、
    前記オブジェクト特定情報と、前記操作の種類を示す操作種類情報と、を対応付けた操作記録情報を記録する記録処理部を有する、操作記録装置。
  4. オブジェクトの名称、前記オブジェクトが従属するオブジェクトの名称または数、前記オブジェクトに従属するオブジェクトの名称または数、の少なくともいずれかを含むオブジェクト特定情報と、前記オブジェクトに対する操作の種類と、を対応づけて記録した操作記録情報に基づき、画面上に前記オブジェクト特定情報に含まれるオブジェクトが存在するか否かを判定し、
    存在すると判定した場合に、前記操作記録情報に含まれる前記オブジェクト特定情報に対応づけて記憶された操作の種類に対応する処理を実行する、
    処理をコンピュータに実行させる操作再生プログラム。
  5. コンピュータによる操作再生方法であって、前記コンピュータが、
    オブジェクトの名称、前記オブジェクトが従属するオブジェクトの名称または数、前記オブジェクトに従属するオブジェクトの名称または数、の少なくともいずれかを含むオブジェクト特定情報と、前記オブジェクトに対する操作の種類と、を対応づけて記録した操作記録情報に基づき、画面上に前記オブジェクト特定情報に含まれるオブジェクトが存在するか否かを判定し、
    存在すると判定した場合に、前記操作記録情報に含まれる前記オブジェクト特定情報に対応づけて記憶された操作の種類に対応する処理を実行する、操作再生方法。
  6. オブジェクトの名称、前記オブジェクトが従属するオブジェクトの名称または数、前記オブジェクトに従属するオブジェクトの名称または数、の少なくともいずれかを含むオブジェクト特定情報と、前記オブジェクトに対する操作の種類と、を対応づけて記録した操作記録情報に基づき、画面上に前記オブジェクト特定情報に含まれるオブジェクトが存在するか否かを判定し、
    存在すると判定した場合に、前記操作記録情報に含まれる前記オブジェクト特定情報に対応づけて記憶された操作の種類に対応する処理を実行する再生処理部を有する、操作再生装置。
JP2020021357A 2015-10-29 2020-02-12 操作記録プログラム、操作記録方法、操作記録装置、操作再生プログラム、操作再生方法及び操作再生装置 Active JP6927340B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020021357A JP6927340B2 (ja) 2015-10-29 2020-02-12 操作記録プログラム、操作記録方法、操作記録装置、操作再生プログラム、操作再生方法及び操作再生装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015213370A JP6813265B2 (ja) 2015-10-29 2015-10-29 操作記録再生プログラム、操作記録プログラム、操作記録再生方法及び操作記録再生装置
JP2020021357A JP6927340B2 (ja) 2015-10-29 2020-02-12 操作記録プログラム、操作記録方法、操作記録装置、操作再生プログラム、操作再生方法及び操作再生装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015213370A Division JP6813265B2 (ja) 2015-10-29 2015-10-29 操作記録再生プログラム、操作記録プログラム、操作記録再生方法及び操作記録再生装置

Publications (2)

Publication Number Publication Date
JP2020080172A JP2020080172A (ja) 2020-05-28
JP6927340B2 true JP6927340B2 (ja) 2021-08-25

Family

ID=70802457

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020021357A Active JP6927340B2 (ja) 2015-10-29 2020-02-12 操作記録プログラム、操作記録方法、操作記録装置、操作再生プログラム、操作再生方法及び操作再生装置

Country Status (1)

Country Link
JP (1) JP6927340B2 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000194759A (ja) * 1998-12-25 2000-07-14 Toshiba Tec Corp 空席管理装置
US20050060719A1 (en) * 2003-09-12 2005-03-17 Useractive, Inc. Capturing and processing user events on a computer system for recording and playback
JP2012103786A (ja) * 2010-11-08 2012-05-31 Canon Marketing Japan Inc テスト支援装置、制御方法、及びプログラム
JP5246811B2 (ja) * 2010-12-08 2013-07-24 キヤノンマーケティングジャパン株式会社 ポインティングデバイスによる操作の切り替え方式

Also Published As

Publication number Publication date
JP2020080172A (ja) 2020-05-28

Similar Documents

Publication Publication Date Title
US9058105B2 (en) Automated adjustment of input configuration
US9098313B2 (en) Recording display-independent computerized guidance
US9442832B2 (en) User workflow replication for execution error analysis
US20110131491A1 (en) Dynamic help information
CN109739855B (zh) 实现数据表拼接及自动训练机器学习模型的方法和系统
US20150106723A1 (en) Tools for locating, curating, editing, and using content of an online library
JP7384260B2 (ja) 情報処理装置及びプログラム
EP3227785B1 (en) Playback and automatic execution of a process to control a computer system
JP2011081778A (ja) ディスプレイ非依存のコンピュータによるガイダンス方法および装置
JP6206202B2 (ja) 情報処理装置及び情報処理プログラム
US20160162398A1 (en) Automated test generation and execution for testing a process to control a computer system
US7991734B2 (en) Remote pointing
US11461090B2 (en) Element detection
US11481304B1 (en) User action generated process discovery
JP6927340B2 (ja) 操作記録プログラム、操作記録方法、操作記録装置、操作再生プログラム、操作再生方法及び操作再生装置
JP2021174096A (ja) テスト支援装置、テスト支援プログラムおよび、テスト支援方法
US20140040320A1 (en) Component for mass change of data
JP6813265B2 (ja) 操作記録再生プログラム、操作記録プログラム、操作記録再生方法及び操作記録再生装置
KR20130126614A (ko) 애플리케이션 파일 시스템 액세스
JP2017204311A (ja) 情報処理装置、帳票管理システム、帳票管理サーバ、情報処理方法、及びそのプログラム
JP6797524B2 (ja) 操作記録再生プログラム、操作再生プログラム、操作記録再生システム及び操作記録再生方法
CN115390720A (zh) 包括自动文档滚动的机器人过程自动化(rpa)
JP6528646B2 (ja) 操作再生プログラム、操作再生装置及び操作再生方法
JP6547584B2 (ja) 操作記録再生プログラム、操作再生プログラム、操作記録再生方法及び操作記録再生システム
JP6739599B1 (ja) 情報処理プログラム、情報処理方法、及び情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210420

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210706

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210719

R150 Certificate of patent or registration of utility model

Ref document number: 6927340

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150