JP6927340B2 - 操作記録プログラム、操作記録方法、操作記録装置、操作再生プログラム、操作再生方法及び操作再生装置 - Google Patents

Description

本発明は、操作記録プログラム、操作記録方法、操作記録装置、操作再生プログラム、操作再生方法及び操作再生装置に関する。

従来では、コンピュータに対する操作内容を記録し、記録した操作内容を再生することで、操作を再現する技術が知られている。

また、従来では、操作画面において操作が行われた位置を示す座標情報と、操作により起動したプログラムを示す情報とを、操作内容として記録することが知られている。

特開２００５−６３２７９号公報

従来の手法により記録された操作内容では、例えばアイコン等の操作の対象となる画面上のオブジェクトの表示領域に、記録された座標情報が含まれない場合、記録された操作が再現されない。また、従来の手法により記録された操作内容では、プログラムを起動させるために、どのオブジェクトに対してどのような操作がなされたかを特定できない。

このため、従来の手法では、操作内容を記録する際の表示画面の設定環境と、操作内容を再生する際の表示画面の設定環境とが異なる場合等には、記録された操作内容が正しく再生されない可能性がある。

１つの側面では、操作の再現の精度を向上させることが可能な操作記録プログラム、操作記録方法、操作記録装置、操作再生プログラム、操作再生方法及び操作再生装置を提供することを目的としている。

開示の技術は、画面に対する操作を検知し、前記操作を受け付けた位置の座標情報から、前記座標情報により特定される位置を表示領域に含むオブジェクトを特定し、特定した前記オブジェクトの中心座標の情報を含むオブジェクト情報を第一の取得処理により取得し、前記オブジェクト情報から特定されるオブジェクトの名称、前記特定されるオブジェクトが従属するオブジェクトの名称または数、前記特定されるオブジェクトに従属するオブジェクトの名称または数、の少なくともいずれかの情報を含むオブジェクト特定情報を第二の取得処理により取得し、前記オブジェクト特定情報と、前記操作の種類を示す操作種類情報と、を対応付けた操作記録情報を記録する、処理をコンピュータに実行させる。

上記各処理は、上記各処理を実現する機能部、上記各処理を手順としてコンピュータにより実行させる方法、プログラムを記憶したコンピュータ読み取り可能な記憶媒体とすることもできる。

操作の再現の精度を向上させることができる。

操作内容の記録と再生について説明する図である。 記録装置による操作記録情報の記録と、再生装置による操作記録情報の再生を説明する図である。 記録装置のハードウェア構成の一例を示す図である。 第一の実施形態の記録装置及び再生装置の機能構成を説明する図である。 第一の実施形態の記録処理部の処理を説明するフローチャートである。 第一の実施形態の再生処理部の処理を説明するフローチャートである。 第二の実施形態の記録装置及び再生装置の機能構成を説明する図である。 名称データベースの一例を示す図である。 第二の実施形態の記録処理部の処理を説明するフローチャートである。 第三の実施形態の記録再生装置の機能構成を説明する図である。 第四の実施形態の記録再生システムのシステム構成を示す図である。

（第一の実施形態）
以下に図面を参照して実施形態について説明する。図１は、操作内容の記録と再生について説明する図である。

本実施形態では、コンピュータ１００において行われた操作の内容を、操作記録情報２００として記録する。記録された操作記録情報２００は、コンピュータ３００−１、３００−２において読み込まれ、記録された操作が再現される。

本実施形態において、操作記録情報２００として内容が記録される操作は、例えばコンピュータ１００で繰り返し行わせたい操作や、コンピュータ３００−１、３００−２等の他のコンピュータで行わせたい操作等である。

尚、図１では、操作記録情報２００を再生するコンピュータを、コンピュータ３００−１、３００−２の２台としたが、操作記録情報２００を再生するコンピュータの数は任意であって良い。以下の説明では、コンピュータ３００−１、３００−２を区別しない場合には、単にコンピュータ３００と呼ぶ。

また、以下の説明では、操作の内容を操作記録情報２００として記録するコンピュータ１００を、記録装置１００と呼び、操作記録情報２００を再生するコンピュータ３００を再生装置３００と呼ぶ。

本実施形態では、記録装置１００において、操作記録情報２００を記録することで、記録装置１００で行われた操作を自動的に任意の数の再生装置３００に行わせることができる。したがって、本実施形態によれば、例えば複数台のコンピュータに同一の設定を行う操作を実施する場合等には、１台の記録装置１００において該当する操作を実施して操作記録情報２００を記録し、この操作記録情報２００を複数台のコンピュータに再生させれば良い。

また、本実施形態では、記録装置１００と再生装置３００とを別のコンピュータとしているが、これに限定されない。記録装置１００と再生装置３００とは、同一の装置であっても良い。この場合、例えば１台のコンピュータに複数回同じ操作を実行させたい場合等に、操作記録情報２００を記録し、再生させれば良い。

尚、本実施形態の操作記録情報２００は、例えば記録装置１００において、外部の記憶装置や可搬型の記憶媒体等に記録されても良い。

次に、本実施形態の記録装置１００による操作記録情報２００の記録と、再生装置３００による操作記録情報２００の再生について説明する。

本実施形態の記録装置１００は、表示画面に表示されたオブジェクトを特定するオブジェクト特定情報と、特定されたオブジェクトに対して行われた操作の種類を示す操作種類情報と、を操作記録情報２００として記録する。言い換えれば、本実施形態の操作記録情報２００は、オブジェクト特定情報と、オブジェクト特定情報に対応付けられた操作種類情報とを含む。本実施形態におけるオブジェクトとは、画面上に選択可能な状態で表示され得るものであり、且つ操作の対象となる表示部品である。

本実施形態の再生装置３００は、操作記録情報２００に含まれるオブジェクト特定情報に基づき、再生装置３００の表示画面において、操作の対象となるオブジェクトを特定する。そして、再生装置３００は、操作記録情報２００に含まれる操作種類情報に基づき、特定されたオブジェクトに対して操作種類情報が示す種類の操作を発生させる。

したがって、本実施形態によれば、操作記録情報２００の再生の際に、表示画面における操作対象のオブジェクトの表示位置に関わらず操作を再現でき、操作の再現の精度を向上させることができる。

また、本実施形態によれば、操作記録情報２００の再生の際に、操作内容を記録する際の表示画面の設定環境と、操作内容を再生する際の表示画面の設定環境とが異なる場合等でも、どのオブジェクトに何の操作が行われたかを特定できる。よって、本実施形態によれば、記録時の環境と再生時の環境の違いに影響を抑えることができ、汎用性を向上させることができる。

図２は、記録装置による操作記録情報の記録と、再生装置による操作記録情報の再生を説明する図である。

図２では、記録装置１００の表示画面１０１に表示されたオブジェクトに対して行われた操作の内容を記録する例を示している。表示画面１０１は、記録装置１００のディスプレイ等に表示される。

表示画面１０１は、記録装置１００のデスクトップ画面であり、オブジェクト１０２〜１０７が表示されている。オブジェクト１０２〜１０７は、それぞれが選択可能であり、且つ操作の対象となり得る。

オブジェクト１０２は、ＸＹＺアプリケーションの起動により立ち上げられたウィンドウである。オブジェクト１０３は、インストールの要求を行うための表示部品である。

オブジェクト１０４は、ウィンドウの最小化の要求を行うための表示部品である。オブジェクト１０５は、ウィンドウを閉じる要求を行うための表示部品である。ウィンドウを閉じる要求とは、アプリケーションの終了の要求である。オブジェクト１０６は、ウィンドウの最大化の要求を行うための表示部品である。オブジェクト１０７は、オブジェクト１０２（ウィンドウ）のタイトルバーを示す表示部品である。

本実施形態の記録装置１００は、表示画面１０１においてポインタ等によりオブジェクトが選択されると、記録装置１００に搭載されたＯＳ（Operating System）の有する２つの機能を用いてオブジェクトを特定するためのオブジェクト特定情報を取得する。

本実施形態のオブジェクト特定情報は、再生装置３００において、操作対象となるオブジェクトを特定させるための情報である。オブジェクト特定情報には、操作対象のオブジェクトの名称、操作対象のオブジェクトの種類、操作対象のオブジェクトが従属するオブジェクトの名称、操作対象のオブジェクトに従属するオブジェクトの名称や数等を含む。

以下に、ＯＳの有する２つの機能について説明する。

１つ目の機能は、座標情報が示す座標を表示領域に含むオブジェクトの名称と、表示領域の中心座標と、を取得する機能である。この機能は、例えばWindows（登録商標）Accessibility等により実現される機能である。

２つ目の機能は、座標情報が示す位置にあるオブジェクトを特定し、１つ目の機能では取得することができない、オブジェクトに関連する各種の情報を含むオブジェクト特定情報を出力する機能である。この機能は、例えばWindows（登録商標）のUI Automation等により実現される機能である。

以下の説明では、上述したＯＳの１つ目の機能を第一取得部、第一取得部が実行する処理を第一の取得処理と呼び、２つ目の機能を第二取得部、第二取得部が実行する処理を第二の取得処理と呼ぶ。また、以下の説明では、第一取得部により取得されるオブジェクトの名称と中心座標をオブジェクト情報と呼ぶ。

本実施形態の記録装置１００では、例えば表示画面１０１において、オブジェクト１０４がクリックされると、第一取得部によりオブジェクト１０４の表示領域の中心座標Ｒを取得する。そして、記録装置１００は、第二取得部に中心座標Ｒを渡し、第二取得部が中心座標Ｒから特定したオブジェクトのオブジェクト特定情報を取得して、操作種類情報と対応付けて、操作記録情報２００とする。

本実施形態では、以上のように、ＯＳの有する２つの機能を用いてオブジェクト特定情報を取得することで、操作対象とされたオブジェクトを特定する際に、誤ったオブジェクトが特定されることを防止できる。

以下に、第二取得部のみを用いてオブジェクト特定情報を取得する場合について説明する。例えば、表示画面１０１において、例えばオブジェクト１０４がポインタＰにより選択されたとする。

このとき、選択されたオブジェクトが半透明の状態で表示されていたり、ポインタＰにより選択された位置のオブジェクトが表示された表示領域の端部に近い位置であった場合、第二取得部は、正しくオブジェクトを特定できない場合がある。この場合、記録装置１００は、ポインタＰにより選択された、操作対象のオブジェクトとは異なるオブジェクトのオブジェクト特定情報を操作記録情報２００として記録することになる。したがって、この操作記録情報２００を再生装置３００が再生した場合に、操作を再現することができない。

本実施形態は、第一取得部と第二取得部の２つを用いて操作対象のオブジェクト特定情報を取得することで、操作対象でないオブジェクトのオブジェクト特定情報が、操作記録情報２００として記録されることを防止できる。よって、本実施形態によれば、再生装置３００により操作記録情報２００が再生されたとき、正しい操作対象のオブジェクトを特定することができ、操作の再現の精度を向上させることができる。

次に、図３を参照して本実施形態の記録装置１００と再生装置３００のハードウェア構成について説明する。本実施形態の記録装置１００と再生装置３００のハードウェア構成は、同じであるため、図３では、記録装置のハードウェア構成について説明し、再生装置３００のハードウェア構成の説明は省略する。

図３は、記録装置のハードウェア構成の一例を示す図である。本実施形態の記録装置１００は、それぞれバスＢで相互に接続されている入力装置１１、出力装置１２、ドライブ装置１３、補助記憶装置１４、メモリ装置１５、演算処理装置１６及びインターフェース装置１７を含む。

入力装置１１はキーボードやマウス等を含み、各種信号を入力するために用いられる。出力装置１２はディスプレイ装置等を含み、各種ウィンドウやデータ等を表示するために用いられる。インターフェース装置１７は、モデム、ＬＡＮカード等を含み、ネットワークに接続する為に用いられる。

操作記録再生プログラムは、記録装置１００を制御する各種プログラムの少なくとも一部である。操作記録再生プログラムは例えば記録媒体１８の配布やネットワークからのダウンロードなどによって提供される。操作記録再生プログラムを記録した記録媒体１８は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

また、操作記録再生プログラムは、操作記録再生プログラムを記録した記録媒体１８がドライブ装置１３にセットされるとは記録媒体１８からドライブ装置１３を介して補助記憶装置１４にインストールされる。ネットワークからダウンロードされた操作記録再生プログラムは、インターフェース装置１７を介して補助記憶装置１４にインストールされる。

補助記憶装置１４は、インストールされた操作記録再生プログラムを格納すると共に、必要なファイル、データ等を格納する。メモリ装置１５は、コンピュータの起動時に補助記憶装置１４から操作記録再生プログラムを読み出して格納する。そして、演算処理装置１６はメモリ装置１５に格納された操作記録再生プログラムに従って、後述するような各種処理を実現している。

また、本実施形態の記録装置１００は、例えばタブレット型のコンピュータ等であっても良い。その場合、入力装置１１及び出力装置１２の代わりに、表示機能を有するタッチパネル等の表示操作装置を有していても良い。

次に、図４を参照して本実施形態の記録装置１００と再生装置３００の機能について説明する。

図４は、第一の実施形態の記録装置及び再生装置の機能構成を説明する図である。本実施形態の記録装置１００は、操作記録再生処理部１１０、第一取得部１４０、第二取得部１５０を有する。また、本実施形態の再生装置３００は、操作記録再生処理部３１０を有する。

本実施形態の操作記録再生処理部１１０は、記録装置１００にインストールされた操作記録再生プログラムを演算処理装置１６が実行することで実現される。本実施形態の第一取得部１４０、第二取得部１５０は、記録装置１００に搭載されたＯＳにより実現されるものであり、その機能は上述した通りである。

また、本実施形態の操作記録再生処理部３１０は、再生装置３００にインストールされた操作記録再生プログラムを、再生装置３００の演算処理装置が実行することで実現される。

ここで、本実施形態において、記録装置１００と再生装置３００のそれぞれにインストールされる操作記録再生プログラムは、同一のプログラムであって良い。

記録装置１００では、操作記録再生プログラムに含まれる記録プログラムを実行することで記録処理部１２０を実現し、コンピュータを記録装置１００として動作させる。

また、再生装置３００では、操作記録再生プログラムに含まれる再生プログラムを実行することで再生処理部３３０を実現し、コンピュータを再生装置３００として動作させる。

本実施形態の記録装置１００の操作記録再生処理部１１０は、記録処理部１２０、再生処理部１３０を有する。

本実施形態の記録装置１００では、上述したように、記録処理部１２０が実現される。本実施形態の記録処理部１２０は、操作検知部１２１、割込発生部１２２、操作種類取得部１２３、座標情報取得部１２４、オブジェクト特定部１２５、操作記録部１２６を有する。

操作検知部１２１は、記録装置１００において行われた操作を検知する。具体的には、本実施形態の操作検知部１２１は、記録装置１００に搭載されたＯＳ（Operating System）がクリック操作、ドラッグ操作、ドロップ操作を検知したことを示す通知を受け付け、操作を受け付けたことを割込発生部１２２へ通知する。

本実施形態では、画面上の同一の座標において、マウスボタンのボタンダウンとボタンアップが検知されたとき、この操作はクリック操作として検知される。また、本実施形態では、マウスボタンのボタンダウン後に、ポインタが指し示す座標が移動した場合に、この操作はドラッグ操作として検知される。また、本実施形態では、ポインタが指し示す座標が移動した後のマウスボタンのボタンアップを検知したとき、この操作はドロップ操作として検知される。

本実施形態の割込発生部１２２は、操作検知部１２１により検知対象の操作が検知されると、記録装置１００に搭載されたＯＳに対して割り込みを発生させ、操作内容を記録する処理の実行を要求する。

本実施形態の操作種類取得部１２３は、操作検知部１２１により検知された操作の種類を示す情報を取得する。

座標情報取得部１２４は、操作検知部１２１が操作を受け付けた位置の座標を示す座標情報を取得し、第一取得部１４０へ渡す。

本実施形態のオブジェクト特定部１２５は、第一取得部１４０から取得したオブジェクト情報に含まれるオブジェクトの中心座標を第二取得部１５０へ渡し、第二取得部１５０から、中心座標が表示領域に含まれるオブジェクトのオブジェクト特定情報を取得する。

本実施形態の操作記録部１２６は、オブジェクト特定部１２５により取得したオブジェクト特定情報と、操作種類取得部１２３により取得した操作種類情報と、を対応付けて操作記録情報２００とする。また、本実施形態の操作記録部１２６は、記録処理の終了指示を受け付けたとき、記録の処理を終了する。

操作記録情報２００は、例えば可搬型の記憶媒体２１０に記録される。記憶媒体２１０は、再生装置３００において読取可能な記憶媒体であれば良い。

本実施形態の操作記録部１２６は、記録装置１００に設定された判定閾値を取得する。

本実施形態の記録装置１００における再生処理部１３０の機能構成は、後述する再生装置３００の有する再生処理部３３０と同様である。

本実施形態の再生装置３００の操作記録再生処理部３１０は、記録処理部３２０、再生処理部３３０を有する。

本実施形態の再生装置３００では、上述したように、再生処理部３３０が実現される。本実施形態の再生処理部３３０は、操作記録読込部３３１、オブジェクト特定部３３２、操作種類特定部３３３、操作発生要求部３３４を有する。

本実施形態の操作記録読込部３３１は、記憶媒体２１０に格納された操作記録情報２００を読み込む。

本実施形態のオブジェクト特定部３３２は、操作記録情報２００に含まれるオブジェクト特定情報から、再生装置３００の表示画面において、操作対象となるオブジェクトを特定する。操作種類特定部３３３は、操作記録情報２００に含まれる操作種類情報から、特定したオブジェクトに対して行う操作の種類を特定する。

本実施形態の操作発生要求部３３４は、再生装置３００に搭載されたＯＳに対して、操作対象のオブジェクトに対して特定した操作を発生させるための操作発生要求を行う。

再生装置３００では、ＯＳに対して操作発生要求を行うことで、ＯＳの機能により要求した操作が発生し、操作記録情報２００に記録された操作内容が再生装置３００において再現される。

次に、図５を参照して本実施形態の記録処理部１２０による操作記録情報２００の記録処理について説明する。図５は、第一の実施形態の記録処理部の処理を説明するフローチャートである。

本実施形態の記録装置１００の記録処理部１２０は、操作検知部１２１により表示画面に対する操作を検知すると、座標情報取得部１２４により操作を受け付けた位置を示す座標情報を取得し、操作種類取得部１２３により、操作の種類を示す操作種類情報を取得する（ステップＳ５０１）。

続いて、記録処理部１２０は、座標情報取得部１２４により取得した座標情報が示す座標を問合せ座標とする（ステップＳ５０２）。

続いて、オブジェクト特定部１２５は、第一取得部１４０に問合せ座標を渡し、表示領域に問合せ座標を含むオブジェクトの名称と、表示領域の中心座標を取得する（ステップＳ５０３）。

続いて、記録処理部１２０は、オブジェクト特定部１２５により、中心座標を第二取得部１５０へ渡し、第二取得部１５０から、中心座標から特定されたオブジェクトのオブジェクト特定情報を取得する（ステップＳ５０４）。続いて、記録処理部１２０は、操作記録部１２６により、操作種類情報とオブジェクト特定情報とを対応付けた操作記録情報２００を記憶媒体２１０等に記録する（ステップＳ５０５）。

続いて、記録処理部１２０は、記録の終了指示を受け付けたか否かを判定する（ステップＳ５０６）。ステップＳ５０６において、終了指示を受け付けていない場合、記録処理部１２０は、ステップＳ５０１へ戻る。ステップＳ５０６において、終了指示を受け付けた場合、記録処理部１２０は、記録の処理を終了する。

次に、図６を参照して本実施形態の再生装置３００の再生処理部３１０による操作記録情報２００の再生処理について説明する。

図６は、第一の実施形態の再生処理部の処理を説明するフローチャートである。

本実施形態の再生装置３００において、再生処理部３３０は、操作記録読込部３３１により、操作記録情報２００を読み込み、オブジェクト特定情報と操作種類情報とを取得する（ステップＳ６０１）。

続いて再生処理部３３０は、オブジェクト特定部３３２により、取得したオブジェクト特定情報に基づき、操作対象となるオブジェクトを再生装置３００上で探す（ステップＳ６０２）。

続いて再生処理部３３０は、操作対象のオブジェクトを特定できたか否かを判定する（ステップＳ６０３）。ステップＳ６０３において、操作対象のオブジェクトを特定できない場合、再生処理部３３０は、エラー処理を実行し（ステップＳ６０４）、処理を終了する。

本実施形態のエラー処理について以下に説明する。本実施形態の再生処理部３３０は、操作対象のオブジェクトを特定できない場合、操作対象のオブジェクトを特定できないことを示すエラーメッセージを表示画面に表示させ、再生処理を中断する。

操作対象のオブジェクトが特定できない場合とは、再生装置３００の表示画面に操作対象のオブジェクトが表示されていないことを示している。この場合、正しく操作記録情報２００が再現されていない状態である可能性がある。したがって、本実施形態の再生処理部３３０は、操作対象のオブジェクトが特定できない場合には、再生処理を中断する。

本実施形態では、再生処理を中断することで、操作記録情報２００の再現に失敗した時点で、再生装置３００における操作の発生を中断させるため、再生装置３００の表示画面の状態から、どの時点で操作記録情報２００の再現に失敗したかを判別することができる。

尚、本実施形態では、失敗した事象をユーザにより回復させ、続きから操作記録情報２００の再生を再開しても良い。

ステップＳ６０３において、操作対象のオブジェクトが特定された場合、再生処理部３３０は、操作種類特定部３３３により、特定されたオブジェクトと対応する操作種類情報を取得し、操作発生要求部３３４により、該当する操作を発生させる（ステップＳ６０５）。

続いて再生処理部３３０は、操作記録情報２００に含まれる全ての操作の再現が完了したか否かを判定する（ステップＳ６０６）。ステップＳ６０６において、再現が完了していない場合、再生処理部３３０は、ステップＳ６０１へ戻る。ステップＳ６０６において、再現が完了した場合、再生処理部３３０は処理を終了する。

以上のように、本実施形態によれば、操作記録情報２００を記録する際に、ポインタに選択されたオブジェクトの表示領域における中心座標を取得し、この中心座標から特定されたオブジェクトを操作対象のオブジェクトに特定する。したがって、本実施形態では、操作対象のオブジェクトを特定する際に、例えばオブジェクトの表示領域の端部に近い位置が選択された場合等においても、誤ったオブジェクトが操作対象のオブジェクトとされることを抑制できる。このため、再生装置３００において操作記録情報２００を再生した場合の操作に再現の精度を向上させることができる。

（第二の実施形態）
以下に、図面を参照して第二の実施形態について説明する。第二の実施形態では、第二取得部が特定を誤る可能性のあるオブジェクトについてのみ、第一取得部と第二取得部を用いてオブジェクトを特定する点が第一の実施形態と相違する。したがって、以下の第二の実施形態の説明では、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。

図７は、第二の実施形態の記録装置及び再生装置の機能構成を説明する図である。

本実施形態の記録装置１００Ａは、操作記録再生処理部１１０Ａを有し、操作記録再生処理部１１０Ａは、記録処理部１２０Ａと、再生処理部１３０と、名称データベース１６０を有する。

本実施形態の記録処理部１２０Ａは、第一の実施形態の記録処理部１２０の有する各部に加え、オブジェクト照合部１２７を有する。

本実施形態のオブジェクト照合部１２７は、第二取得部１５０が座標情報取得部１２４により取得した座標情報から特定したオブジェクトの名称が、名称データベース１６０内に存在するか否かを判定する。

本実施形態の名称データベース１６０は、第二取得部１５０により正しく特定されない可能性のあるオブジェクトの名称の一覧が格納されている。

本実施形態の記録処理部１２０Ａでは、第二取得部１５０により特定されたオブジェクトの名称が名称データベース１６０に存在すると判定された場合に、第一取得部１４０と第二取得部１５０とを用いて操作対象のオブジェクトを特定する。

尚、図７の例では、再生装置３００の有する操作記録再生処理部３１０は、第一の実施形態と同様としたが、これに限定されない。再生装置３００の有する操作記録再生処理部３１０は、本実施形態の操作記録再生処理部１１０Ａと同様のものであっても良い。

図８は、名称データベースの一例を示す図である。

本実施形態では、第二取得部１５０により誤った特定がされる可能性があるオブジェクトを、ウィンドウ内の４つのオブジェクトとした。具体的には、例えば表示画面１０１に表示されたオブジェクト１０４〜オブジェクト１０７（図２参照）である。

オブジェクト１０４はウィンドウの最小化ボタンであり、オブジェクト１０５はウィンドウを閉じるボタンであり、オブジェクト１０６はウィンドウの最大化のボタンであり、オブジェクト１０７は、ウィンドウのタイトルバーである。

したがって、本実施形態の名称データベース１６０には、オブジェクト１０４〜１０７の名称が格納されている。

次に、図９を参照して本実施形態の記録装置１００Ａの記録処理部１２０Ａによる操作記録情報２００の記録処理について説明する。図９は、第二の実施形態の記録処理部の処理を説明するフローチャートである。

図９のステップＳ９０１とステップＳ９０２の処理は、図５のステップＳ５０１とステップＳ５０２の処理と同様であるから、説明を省略する。

ステップＳ９０２に続いて、記録処理部１２０Ａは、オブジェクト特定部１２５により、へ問合せ座標を第二取得部１５０へ渡し、第二取得部１５０が問合せ座標から特定したオブジェクトのオブジェクト特定情報を取得する（ステップＳ９０３）。具体的には、第二取得部１５０は、問合せ座標を表示領域に含むオブジェクトを特定し、特定したオブジェクトのオブジェクト特定情報をオブジェクト特定部１２５へ渡す。

続いて記録処理部１２０Ａは、オブジェクト照合部１２７により、オブジェクト特定情報からオブジェクトの名称を抽出する（ステップＳ９０４）。

続いてオブジェクト照合部１２７は、抽出した名称と名称データベース１６０とを照合し、オブジェクト特定情報から抽出したオブジェクトの名称が、名称データベース１６０に存在するか否かを判定する（ステップＳ９０５）。つまり、ステップＳ９０５では、操作を受け付けたオブジェクトが、第二取得部１５０により誤ったオブジェクトと特定される可能性があるオブジェクトであるか否かを判定している。

名称データベース１６０に該当する名称が存在しない場合（ステップＳ９０６）、記録処理部１２０Ａは、後述するステップＳ９１２へ進む。

名称データベース１６０に該当する名称が存在する場合（ステップＳ９０６）、記録処理部１２０Ａは、オブジェクト特定部１２５により、問合せ座標を第一取得部１４０へ渡し、第一取得部１４０が問合せ座標から特定したオブジェクトの名称と、中心座標とを取得する（ステップＳ９０７）。

続いて記録処理部１２０Ａは、オブジェクト照合部１２７により、第一取得部１４０が取得したオブジェクトの名称と、第二取得部１５０が取得したオブジェクトの名称とが一致するか否か比較する（ステップＳ９０８）。

両者が一致する場合（ステップＳ９０９）、記録処理部１２０Ａは、後述するステップＳ９１２へ進む。両者が一致する場合、記録処理部１２０Ａは、オブジェクト特定部１２５により、第一取得部１４０が取得した中心座標を問合せ座標とする（ステップＳ９１０）。

続いて、記録処理部１２０Ａは、第二取得部１５０に問合せ座標を渡し、第二取得部１５０が問合せ座標から特定したオブジェクトのオブジェクト特定情報を取得する（ステップＳ９１１）。

続いて記録処理部１２０Ａは、操作記録部１２６により、操作種類情報と、オブジェクト特定情報とを対応付けた操作記録情報２００を記憶媒体２１０へ記録する（ステップＳ９１２）。

続いて記録処理部１２０Ａは、操作記録情報２００の記録の終了指示を受け付けたか否かを判定する（ステップＳ９１３）。ステップＳ９１３において、終了指示を受け付けない場合、記録処理部１２０Ａは、ステップＳ９０１へ戻る。

ステップＳ９１３において、終了指示を受け付けた場合、記録処理部１２０Ａは、処理を終了する。

以上のように、本実施形態によれば、第二取得部１５０により誤って特定される可能性が高いオブジェクトが操作対象とされたときのみ、第二取得部１５０が取得したオブジェクトの名称を第一取得部１４０が取得したオブジェクトの名称と比較する。そして、本実施形態では、両者が一致した場合、第二取得部１５０が操作対象のオブジェクトを正しく特定したものとし、両者が一致しない場合、第二取得部１５０が操作対象のオブジェクトを誤って特定したものとする。

そして、本実施形態では、第一取得部１４０が取得した、操作対象のオブジェクトの表示領域の中心座標を第二取得部１５０に渡し、第二取得部１５０が中心座標かに特定したオブジェクトのオブジェクト特定情報を記録する。

したがって、本実施形態によれば、第一の実施形態と同様に、操作対象のオブジェクトが誤って特定されることを防止でき、操作記録情報２００の再生において、操作の再現の精度を向上させることができる。

また、本実施形態では、操作が検知されたオブジェクトが、誤って特定される可能性のあるオブジェクトであった場合のみ、第一取得部１４０を用いる。したがって、本実施形態によれば、操作記録情報２００の記録におけるＯＳの負荷を第一の実施形態と比較して軽減することができる。

（第三の実施形態）
以下に図面を参照して第三の実施形態について説明する。第三の実施形態は、一台のコンピュータが記録処理部と再生処理部を実現する点が第一の実施形態と相違する。よって、以下の第三の実施形態の説明では、第一の実施形態との相違点について説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。

図１０は、第三の実施形態の記録再生装置の機能構成を説明する図である。本実施形態の記録再生装置１００Ｂは、操作記録再生処理部１１０Ｂを有する。

本実施形態の操作記録再生処理部１１０Ｂは、記録処理部１２０と再生処理部１３０とを有する。再生処理部１３０は、操作記録読込部１３１、オブジェクト特定部１３２、操作種類特定部１３３、操作発生要求部１３４を有する。再生処理部１３０の有する各部は、第一の実施形態の再生処理部３３０の有する各部と同様の機能を実現する。

また、本実施形態の記録再生装置１００Ｂは、記憶部１７０を有する。記憶部１７０は、記録再生装置１００Ｂが有するメモリ装置等に設けられた記憶領域である。本実施形態の記録再生装置１００Ｂでは、記録処理部１２０による記録された操作記録情報２００を記憶部１７０に格納しても良い。この場合、再生処理部１３０は、記憶部１７０に格納された操作記録情報２００を再生する。

本実施形態では、１台のコンピュータ（記録再生装置）１００Ｂにおいて、記録処理部１２０による記録と、再生処理部１３０による再生とを同一のコンピュータで行うことで、操作内容を記録する際の表示画面の環境と、操作内容を再生する際の表示画面の環境とが異なる場合でも、操作の再現の精度を維持できる。

（第四の実施形態）
以下に図面を参照して第四の実施形態について説明する。第四の実施形態は、記録装置１００において記録された操作記録情報２００が、外部のサーバに格納される点が第一の実施形態と相違する。

よって、以下の第四の実施形態の説明では、第一の実施形態との相違点について説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。

図１１は、第四の実施形態の記録再生システムのシステム構成を説明する図である。本実施形態の記録再生システム４００は、記録装置１００、再生装置３００、サーバ４１０を有する。記録装置１００、再生装置３００及びサーバ４１０は、ネットワークを介して接続されている。

本実施形態の記録装置１００は、操作記録再生処理部１１０の記録処理部１２０により、操作記録情報２００をサーバ４１０に記録する。本実施形態の記録装置１００は、操作内容の記録の終了指示を受け付けてから、記録された操作記録情報２００をサーバ４１０に送信しても良い。

本実施形態の再生装置３００は、操作記録再生処理部３１０の再生処理部３３０により、サーバ４１０から操作記録情報２００を読み込んで再生する。本実施形態の再生装置３００は、操作記録情報２００全てをサーバ４１０から取得した後に、再生装置３００内に保持された操作記録情報２００を再生しても良い。

本実施形態によれば、再生装置３００はサーバ４１０から操作記録情報２００を取得すれば良く、操作記録情報２００が記憶された可搬型の記憶媒体を持ち運んだり、記憶媒体から操作記録情報２００を再生装置３００に読み取らせたりする作業が軽減される。

開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
画面に表示されたオブジェクトに対する操作を検知し、
前記操作を受け付けた位置の座標情報から、前記操作の対象のオブジェクトを特定する第一のオブジェクト情報を第一の取得処理により取得し、
前記第一のオブジェクト情報から特定されるオブジェクトの前記第一の取得処理で取得できないオブジェクト情報を含むオブジェクト特定情報を第二の取得処理により取得し、
前記オブジェクト特定情報と、前記操作の種類を示す操作種類情報と、を対応付けた操作記録情報を記録し、
記録された前記操作記録情報を読み込み、
前記オブジェクト特定情報から、前記操作を発生させるオブジェクトを特定し、特定された前記オブジェクトに対して前記操作種類情報に従った種類の前記操作を発生させる、処理をコンピュータに実行させる操作記録再生プログラム。
（付記２）
前記第一のオブジェクト情報は、第一の取得処理により特定したオブジェクトの中心座標であり、
前記第二の取得処理は、前記中心座標からオブジェクト特定情報を取得する
処理を前記コンピュータに実行させる、付記１記載の操作記録再生プログラム。
（付記３）
前記第一の取得処理は、
前記第二の取得処理により、前記操作を受け付けた位置の座標情報から特定されたオブジェクトのオブジェクト特定情報を取得し、
第一の取得処理を行うオブジェクトの種別を記憶した記憶部を参照し、前記第二の取得処理により特定した前記オブジェクトの種別が、前記記憶部に記憶されたオブジェクトの種別に含まれる場合に、
前記コンピュータにより実行される、付記１又は２記載の操作記録再生プログラム。
（付記４）
前記第一の取得処理を行うオブジェクトの種別は、
ウィンドウの最小化ボタン、ウィンドウを閉じるボタン、ウィンドウの最大化のボタン、ウィンドウのタイトルバーの何れかである付記３記載の操作記録再生プログラム。
（付記５）
画面に表示されたオブジェクトに対する操作を検知し、
前記操作を受け付けた位置の座標情報から、前記操作の対象のオブジェクトを特定する第一のオブジェクト情報を第一の取得処理により取得し、
前記第一のオブジェクト情報から特定されるオブジェクトの前記第一の取得処理で取得できないオブジェクト情報を含むオブジェクト特定情報を第二の取得処理により取得し、
前記オブジェクト特定情報と、前記操作の種類を示す操作種類情報と、を対応付けた操作記録情報を記録する、処理をコンピュータに実行させる操作記録プログラム。
（付記６）
コンピュータによる操作記録再生方法であって、該コンピュータが、
画面に表示されたオブジェクトに対する操作を検知し、
前記操作を受け付けた位置の座標情報から、前記操作の対象のオブジェクトを特定する第一のオブジェクト情報を第一の取得処理により取得し、
前記第一のオブジェクト情報から特定されるオブジェクトの前記第一の取得処理で取得できないオブジェクト情報を含むオブジェクト特定情報を第二の取得処理により取得し、
前記オブジェクト特定情報と、前記操作の種類を示す操作種類情報と、を対応付けた操作記録情報を記録し、
記録された前記操作記録情報を読み込み、
前記オブジェクト特定情報から、前記操作を発生させるオブジェクトを特定し、特定された前記オブジェクトに対して前記操作種類情報に従った種類の前記操作を発生させる、操作記録再生方法。
（付記７）
画面に表示されたオブジェクトに対する操作を検知し、
前記操作を受け付けた位置の座標情報から、前記操作の対象のオブジェクトを特定する第一のオブジェクト情報を第一の取得処理により取得し、
前記第一のオブジェクト情報から特定されるオブジェクトの前記第一の取得処理で取得できないオブジェクト情報を含むオブジェクト特定情報を第二の取得処理により取得し、
前記オブジェクト特定情報と、前記操作の種類を示す操作種類情報と、を対応付けた操作記録情報を記録する記録処理部と、
記録された前記操作記録情報を読み込み、
前記オブジェクト特定情報から、前記操作を発生させるオブジェクトを特定し、特定された前記オブジェクトに対して前記操作種類情報に従った種類の前記操作を発生させる再生処理部と、を有する操作記録再生装置。

本発明は、具体的に開示された実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

１００、１００Ａ 記録装置
１１０、１１０Ａ、１１０Ｂ、３１０ 操作記録再生処理部
１２０、１２０Ａ、３２０ 記録処理部
１２３ 操作種類取得部
１２４ 座標情報取得部
１２５、３３２ オブジェクト特定部
１２６ 操作記録部
１３０、３３０ 再生処理部
１４０ 第一取得部
１５０ 第二取得部
１６０ 名称データベース
２００ 操作記録情報
２１０ 記憶媒体
３３３ 操作種類特定部
３３４ 操作発生要求部
４００ 記録再生システム
４１０ サーバ

Claims (6)

1. 画面に対する操作を検知し、
   前記操作を受け付けた位置の座標情報から、前記座標情報により特定される位置を表示領域に含むオブジェクトを特定し、
   特定した前記オブジェクトの中心座標の情報を含むオブジェクト情報を第一の取得処理により取得し、
   前記オブジェクト情報から特定されるオブジェクトの名称、前記特定されるオブジェクトが従属するオブジェクトの名称または数、前記特定されるオブジェクトに従属するオブジェクトの名称または数、の少なくともいずれかの情報を含むオブジェクト特定情報を第二の取得処理により取得し、
   前記オブジェクト特定情報と、前記操作の種類を示す操作種類情報と、を対応付けた操作記録情報を記録する、
   処理をコンピュータに実行させる操作記録プログラム。
2. コンピュータによる操作記録方法であって、前記コンピュータが、
   画面に対する操作を検知し、
   前記操作を受け付けた位置の座標情報から、前記座標情報により特定される位置を表示領域に含むオブジェクトを特定し、
   特定した前記オブジェクトの中心座標の情報を含むオブジェクト情報を第一の取得処理により取得し、
   前記オブジェクト情報から特定されるオブジェクトの名称、前記特定されるオブジェクトが従属するオブジェクトの名称または数、前記特定されるオブジェクトに従属するオブジェクトの名称または数、の少なくともいずれかの情報を含むオブジェクト特定情報を第二の取得処理により取得し、
   前記オブジェクト特定情報と、前記操作の種類を示す操作種類情報と、を対応付けた操作記録情報を記録する、操作記録方法。
3. 画面に対する操作を検知し、
   前記操作を受け付けた位置の座標情報から、前記座標情報により特定される位置を表示領域に含むオブジェクトを特定し、
   特定した前記オブジェクトの中心座標の情報を含むオブジェクト情報を第一の取得処理により取得し、
   前記オブジェクト情報から特定されるオブジェクトの名称、前記特定されるオブジェクトが従属するオブジェクトの名称または数、前記特定されるオブジェクトに従属するオブジェクトの名称または数、の少なくともいずれかの情報を含むオブジェクト特定情報を第二の取得処理により取得し、
   前記オブジェクト特定情報と、前記操作の種類を示す操作種類情報と、を対応付けた操作記録情報を記録する記録処理部を有する、操作記録装置。
4. オブジェクトの名称、前記オブジェクトが従属するオブジェクトの名称または数、前記オブジェクトに従属するオブジェクトの名称または数、の少なくともいずれかを含むオブジェクト特定情報と、前記オブジェクトに対する操作の種類と、を対応づけて記録した操作記録情報に基づき、画面上に前記オブジェクト特定情報に含まれるオブジェクトが存在するか否かを判定し、
   存在すると判定した場合に、前記操作記録情報に含まれる前記オブジェクト特定情報に対応づけて記憶された操作の種類に対応する処理を実行する、
   処理をコンピュータに実行させる操作再生プログラム。
5. コンピュータによる操作再生方法であって、前記コンピュータが、
   オブジェクトの名称、前記オブジェクトが従属するオブジェクトの名称または数、前記オブジェクトに従属するオブジェクトの名称または数、の少なくともいずれかを含むオブジェクト特定情報と、前記オブジェクトに対する操作の種類と、を対応づけて記録した操作記録情報に基づき、画面上に前記オブジェクト特定情報に含まれるオブジェクトが存在するか否かを判定し、
   存在すると判定した場合に、前記操作記録情報に含まれる前記オブジェクト特定情報に対応づけて記憶された操作の種類に対応する処理を実行する、操作再生方法。
6. オブジェクトの名称、前記オブジェクトが従属するオブジェクトの名称または数、前記オブジェクトに従属するオブジェクトの名称または数、の少なくともいずれかを含むオブジェクト特定情報と、前記オブジェクトに対する操作の種類と、を対応づけて記録した操作記録情報に基づき、画面上に前記オブジェクト特定情報に含まれるオブジェクトが存在するか否かを判定し、
   存在すると判定した場合に、前記操作記録情報に含まれる前記オブジェクト特定情報に対応づけて記憶された操作の種類に対応する処理を実行する再生処理部を有する、操作再生装置。

Images