JP6825447B2 - 制御プログラム、操作連携方法及び情報処理装置 - Google Patents

Description

本発明は、制御プログラム、制御方法及び情報処理装置に関する。

一の端末装置に対する操作内容を記録し、記録した操作内容を再生することで、操作を再現する技術が知られている。例えば、この技術を使用すれば、一の端末装置に対する所定の操作を行った場合に、その操作内容を記録し、記録した操作内容を１又は複数台の他の端末装置にて再生することで、操作を効率的に行うことができる。

特開２００５−６３２７９号公報

しかしながら、上記手法では、一の端末装置にて操作内容を記録する際の表示画面の設定環境と、他の端末装置にて操作内容を再生する際の表示画面の設定環境とが異なる場合、記録された操作が他の端末装置において再現されない場合がある。例えば操作内容を再生する側においてアイコン等の操作対象オブジェクトの表示領域に、記録された座標情報が含まれない場合、記録された操作内容は再現されない。この場合、早期に操作内容の再現が行われるように業務を効率化するリカバリ機能は実現していない。

そこで、１つの側面では、効率的に操作内容を再現することを目的とする。

１つの実施態様では、操作が検出された場合に、該操作の種別を示す操作種別情報と、前記操作の対象オブジェクトを示す情報とを他のコンピュータに送信し、前記他のコンピュータにおける表示画面に、前記操作の対象オブジェクトが検出されない場合に、前記他のコンピュータから該表示画面の情報を受信し、受信した前記表示画面の情報に基づいて表示画面を表示部に表示し、表示した前記表示画面の領域において検出された操作の種別を示す操作種別情報を送信する、処理をコンピュータに実行させることを特徴とする制御プログラムが提供される。

１つの側面では、本発明は、効率的に操作内容を再現することができる。

操作内容の記録と再生について説明する図。 一実施形態に係る操作記録ＤＢの一例を示す図。 記録装置による操作記録情報の記録と、再生装置による操作記録情報の再生の一例を示す図。 記録装置の画面と再生装置の対応画面の一例を示す図。 一実施形態に係る記録装置のハードウェア構成の一例を示す図。 第１実施形態の記録装置及び再生装置の機能構成の一例を示す図。 一実施形態に係るリアルタイム操作の連携を説明する図。 一実施形態に係る操作連携処理（リアルタイム操作）の一例を示すフローチャート。 一実施形態に係る操作記録ＤＢの一例を示す図。 一実施形態に係る操作連携処理（バッチログ操作）の一例を示すフローチャート。 一実施形態に係るバッチログ操作の連携を説明する図。 第２実施形態の記録再生装置の機能構成の一例を示す図。 第３実施形態の記録再生システムのシステム構成の一例を示す図。

以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

［はじめに］
本実施形態では、図１に示す記録装置１００において行われた操作の内容を、操作記録情報２００として操作記録ＤＢ２０に記録する。記録された操作記録情報２００は、再生装置３００−１、３００−２において読み込まれ、記録された操作が再現される。

本実施形態において、操作記録情報２００として内容が記録される操作は、例えば記録装置１００で繰り返し行わせたい操作や、再生装置３００−１、３００−２等の他のコンピュータで行わせたい操作等である。

尚、図１では、操作記録情報２００を再生する再生装置を、再生装置３００−１、３００−２の２台としたが、操作記録情報２００を再生する再生装置の数は任意であって良い。以下の説明では、再生装置３００−１、３００−２を区別しない場合には、単に再生装置３００と呼ぶ。

本実施形態では、記録装置１００において、操作記録情報２００を記録することで、記録装置１００で行われた操作を自動的に任意の数の再生装置３００に行わせることができる。したがって、本実施形態によれば、例えば複数台のコンピュータに同一の設定を行う操作を実施する場合等には、１台の記録装置１００において該当する操作を実施して操作記録情報２００を記録し、この操作記録情報２００を複数台のコンピュータに再生させれば良い。

特に、本実施形態では、記録装置１００において実施した操作を再生装置３００において再生することに失敗した場合に、記録装置１００と再生装置３００との間にて操作の連携が行われる。本実施形態に係る記録装置１００は、再生装置３００との間の操作の連携を行う連携装置の一例である。また、本実施形態に係る再生装置３００は、記録装置１００が記録した操作記録情報２００に基づき操作を再生する端末装置の一例である。

また、本実施形態では、記録装置１００と再生装置３００とを別のコンピュータとしているが、これに限定されない。記録装置１００と再生装置３００とは、図１２に示すように同一の装置であっても良い。この場合、例えば１台のコンピュータに複数回同じ操作を実行させたい場合等に、操作記録情報２００を記録し、再生させれば良い。

尚、本実施形態の操作記録情報２００は、例えば記録装置１００において、外部の記録装置や可搬型の記録媒体等に記録されても良い。

次に、本実施形態の記録装置１００による操作記録情報２００の記録と、再生装置３００による操作記録情報２００の再生について説明する。

本実施形態の記録装置１００は、表示画面に表示された操作対象オブジェクト（以下、「オブジェクト」ともいう。）を示す情報（以下、「オブジェクト情報」という。）と、操作対象オブジェクトに対して行われた操作の種類を示す情報（以下、「操作種別情報」という。）とを操作記録ＤＢ２０に記録する。図１に示す操作記録ＤＢ２０に記録された操作記録情報２００は、操作種別情報と操作種別情報に対応付けられたオブジェクト情報とを含む情報である。なお、本実施形態における操作対象オブジェクトとは、画面上に選択可能な状態で表示され得るものであり、且つ操作の対象となる表示部品である。

以下に、本実施形態のオブジェクト情報について説明する。オブジェクト情報は、操作対象オブジェクトの名称（以下、「オブジェクトの名称」という。）とオブジェクトの種類の情報を含む。

本実施形態のオブジェクト情報は、記録装置１００に搭載されたＯＳ（Operating System）により取得され、操作記録ＤＢ２０に記録される。図２に一実施形態に係る操作記録ＤＢの一例を示す。操作記録ＤＢ２０は、操作種別情報２００ａ、移動先座標情報２００ｂ及びオブジェクト情報２００ｃを有する。操作種別情報２００ａ、移動先座標情報２００ｂ及びオブジェクト情報２００ｃは、操作記録情報２００の一例である。

操作種別情報２００ａには、例えば、移動、マウスクリック、ドラッグ、ドロップ等の操作の種類が記録される。移動先座標情報２００ｂには、操作が行われた位置、具体的には移動先の座標情報が記録される。オブジェクト情報２００ｃには、オブジェクトの名称と種類が記録される。オブジェクトの名称とは、オブジェクト内に表示されたテキストデータである。オブジェクトの種類とは、例えばウィンドウ、ダイアログボックス、ボタン（最小化、最大化、閉じる等）等を示す。例えば、図２の例では、オブジェクトの名称が「ＦＡＱ」の操作対象オブジェクトの種類はメニューであり、所定のアプリケーションの起動により立ち上げられたウィンドウである。

本実施形態の再生装置３００は、操作記録ＤＢ２０に記録した操作記録情報２００に含まれるオブジェクト情報に基づき、再生装置３００の表示画面において、操作対象オブジェクトを特定する。そして、再生装置３００は、特定された操作対象オブジェクトに対して操作種別情報が示す種類の操作を発生させる。

図３は、記録装置１００による操作記録情報の記録と、再生装置３００による操作記録情報の再生の一例を示す。図３では、記録装置１００の表示画面Ａ１に表示されたオブジェクトに対して行われた操作の内容を記録する例を示している。表示画面Ａ１は、記録装置１００のディスプレイ等に表示される。

表示画面Ａ１には、オブジェクト１０１〜１０６が表示されている。オブジェクト１０１〜１０６は、それぞれが選択可能であり、且つ操作の対象となり得る。オブジェクト１０１は、アプリケーション「ＸＹＺ」の起動により立ち上げられたウィンドウである。つまり、表示画面Ａ１は、同一名称のアプリケーション「ＸＹＺ」が複数立ち上げられた状態を示している。

オブジェクト１０２、１０３は、起動しているアプリケーション「ＸＹＺ」のそれぞれに対する操作を行うための表示部品である。オブジェクト１０４は、ウィンドウの最小化の要求を行うための表示部品である。オブジェクト１０５は、ウィンドウを閉じる要求を行うための表示部品である。ウィンドウを閉じる要求とは、アプリケーション「ＸＹＺ」の終了の要求である。オブジェクト１０６は、ウィンドウの最大化の要求を行うための表示部品である。

図４（ａ）は、記録装置１００の表示画面例であり、図４（ｂ）は、再生装置３００の対応する表示画面例である。図４の例では、再生装置３００は一台のみ表示しているが、記録装置１００で入力した操作を、複数台の再生装置３００で実行する場合、操作内容を他の再生装置３００にも同時入力し、複数台の再生装置３００で同じ操作内容の再生を行ってもよい。

図４（ａ）の表示画面Ａ１は、記録装置１００のデスクトップ画面であり、オブジェクト１１１〜１１７が表示されている。オブジェクト１１１〜１１７は、それぞれが選択可能であり、且つ操作の対象となり得る。オブジェクト１１１は、所定のアプリケーションの起動により立ち上げられたメニュー画面（システム設定画面）である。つまり、表示画面Ａ１は、メニュー画面のオブジェクト１１１を表示する所定のアプリケーションが立ち上げられた状態を示している。オブジェクト１１１〜１１６は、メニュー項目（テキスト）を示す表示部品であり、オブジェクト１１７は、スクロールを示す表示部品である。

図４（ｂ）の表示画面Ａ２は、再生装置３００のデスクトップ画面であり、オブジェクト２１１〜２１７が表示されている。オブジェクト２１１〜２１７は、それぞれが選択可能であり、且つ操作の対象となり得る。オブジェクト２１１は、所定のアプリケーションの起動により立ち上げられたメニュー画面（システム設定画面）である。つまり、表示画面Ａ２は、メニュー画面のオブジェクト２１１を表示する所定のアプリケーションが立ち上げられた状態を示している。

図４（ａ）に示す記録装置１００において行われた、マウスを移動させてクリックさせる操作を再生装置３００にて再生させる場合、マウスクリックの操作内容を示す操作記録情報２００が、再生装置３００に送信される。再生装置３００は、操作記録情報２００に基づきマウスクリックの操作を再生する。ところが、記録装置１００と、その操作内容を受信した再生装置３００との環境（例えばブラウザのバーション等）を同じにしていても、操作がうまく連動せず、再生装置３００側で操作の再生ができない場合がある。

例えば、図４（ａ）に示す記録装置１００の表示画面Ａ１には、ブラウザのメニュー画面のオブジェクト１１１が表示され、その最下のメニュー項目である「（５）ＦＡＱ」のオブジェクト１１６がマウスクリックされている。この場合、図４（ｂ）に示す再生装置３００の表示画面Ａ２には、メニュー画面のオブジェクト２１１が表示される。しかしながら、再生装置３００のメニュー項目のオブジェクト２１２〜２１７は、記録装置１００のメニュー項目のオブジェクト１１２〜１１６よりも一つ多く表示されている。このため、記録装置１００のマウスクリック操作を再生装置３００で再現しようとすると、「（５）よくある質問」のオブジェクト２１６と「（６）その他」のオブジェクト２１７の間がクリックされる。このため、再生装置３００では何も起こらず、記録装置１００のマウスクリック操作が再生されない結果となる。このとき、マウスクリック操作の対象である「（５）ＦＡＱ」のオブジェクト１１６の文字列検索を行ったとしても、図４（ｂ）の「（５）よくある質問」のオブジェクト２１６とは異なる文字に変更されているため、文字列検索では「（５）ＦＡＱ」に対応する再生装置３００側のメニュー項目を探すことができない。

また、マウスを移動させてクリックさせる操作内容を再生装置３００に送信する場合に、記録装置１００から送信される操作記録情報２００に、マウスクリックを行った操作位置を示す移動先座標情報が含まれていても、移動先座標にズレが生じ、クリック対象のオブジェクトがないような場合がある。例えば、表示のサイズが違っていて、記録装置１００に表示されているスクロール等のオブジェクトが再生装置３００には表示されない場合や、文字の表示が異なっていて、かつ文字が異なる座標に表示されている場合である。

このように再生装置３００において操作対象オブジェクトを特定できず、操作内容の再生に失敗した場合、本実施形態では、再生装置３００において早期に操作内容の再現が行われるようにリカバリする機能を有する。つまり、本実施形態におけるリカバリ機能では、再生装置３００にて一の操作内容がうまく再現されなかった場合に、記録装置１００の操作者に再生装置３００の状況を知らせる。これにより、記録装置１００は、処理の負荷を少なくして記録装置１００の操作性を悪化させることを回避しながら、再生装置３００において再現されなかった操作の再生処理に必要な情報を再送信する。これにより、再生装置３００において効率的に操作内容を再現することができる。

＜第１実施形態＞
［ハードウェア構成］
次に、図５を参照して一実施形態の記録装置１００と一実施形態の再生装置３００のハードウェア構成について説明する。本実施形態の記録装置１００と再生装置３００のハードウェア構成は、同じであるため、図５では、一実施形態に係る記録装置のハードウェア構成について説明し、一実施形態に係る再生装置３００のハードウェア構成の説明は省略する。

本実施形態の記録装置１００は、それぞれバスＢで相互に接続されている入力装置１１、出力装置１２、ドライブ装置１３、補助記憶装置１４、メモリ装置１５、演算処理装置１６、インターフェース装置１７及び通信装置１９を含む。

入力装置１１はキーボードやマウス等を含み、各種信号を入力するために用いられる。出力装置１２はディスプレイ装置等を含み、各種ウィンドウ、データ等を表示するために用いられる。インターフェース装置１７は、モデム、ＬＡＮカード等を含み、ネットワークに接続する為に用いられる。

本実施形態の記録装置１００は、例えばタブレット型のコンピュータ等であっても良い。その場合、入力装置１１及び出力装置１２の代わりに、表示機能を有するタッチパネル等の表示操作装置を有していても良い。

なお、記録装置１００には、操作記録再生プログラム１４０がインストールされている。操作記録再生プログラム１４０は、再生装置３００にもインストールされている。操作記録再生プログラム１４０は、記録装置１００を制御する各種プログラムの少なくとも一部である。操作記録再生プログラム１４０は、再生装置３００を制御する各種プログラムの少なくとも一部である。操作記録再生プログラム１４０には、記録装置１００と再生装置３００の間で操作を連携するための制御プログラムが含まれる。

操作記録再生プログラム１４０は例えば記録媒体１８の配布やネットワークからのダウンロードなどによって提供される。記録媒体１８は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

また、操作記録再生プログラム１４０は、操作記録再生プログラム１４０を記録した記録媒体１８がドライブ装置１３にセットされると、記録媒体１８からドライブ装置１３を介して補助記憶装置１４にインストールされる。ネットワークからダウンロードされた操作記録再生プログラム１４０は、インターフェース装置１７を介して補助記憶装置１４にインストールされる。

補助記憶装置１４は、インストールされた操作記録再生プログラム１４０を格納すると共に、必要なファイル、データ等を格納する。メモリ装置１５は、コンピュータの起動時に補助記憶装置１４から操作記録再生プログラム１４０を読み出して格納する。そして、演算処理装置１６はメモリ装置１５に格納された操作記録再生プログラム１４０に従って、後述するような操作連携処理等の各種処理を実現している。

通信装置１９は、記録装置１００と再生装置３００の間における操作の連携に必要な操作記録情報２００等のデータの送信及び受信を行う。

［機能構成］
次に、図６を参照して第１実施形態に係る記録装置１００と再生装置３００の機能について説明する。図６は、第１実施形態の記録装置１００及び再生装置３００の機能構成を説明する図である。本実施形態の記録装置１００は、操作記録再生処理部１１０を有する。また、本実施形態の再生装置３００は、操作記録再生処理部３１０を有する。記録装置１００と再生装置３００とはネットワークで接続されている。

本実施形態の操作記録再生処理部１１０は、記録装置１００にインストールされた操作記録再生プログラム１４０を演算処理装置１６が実行することで実現される。また、本実施形態の操作記録再生処理部３１０は、再生装置３００にインストールされた操作記録再生プログラム１４０を、再生装置３００の演算処理装置が実行することで実現される。

ここで、本実施形態において、記録装置１００と再生装置３００のそれぞれにインストールされる操作記録再生プログラム１４０は、同一のプログラムであって良い。記録装置１００では、操作記録再生プログラム１４０に含まれる記録プログラム及び連携処理プログラムを実行することで記録処理部１２０を実現し、コンピュータを記録装置１００として動作させる。また、再生装置３００では、操作記録再生プログラム１４０に含まれる再生プログラム及び連携処理プログラムを実行することで再生処理部３３０を実現し、コンピュータを再生装置３００として動作させる。

（記録装置）
始めに、本実施形態の記録装置１００について説明する。本実施形態の記録装置１００の操作記録再生処理部１１０は、記録処理部１２０、再生処理部１３０を有する。

本実施形態の記録処理部１２０は、操作検知部１２１、割込発生部１２２、オブジェクト情報取得部１２３、操作種別取得部１２４、表示制御部１２５、操作記録部１２６、送信部１２７、受信部１２８及び記憶部１２９を有する。

操作検知部１２１は、記録装置１００において行われた操作を検知する。具体的には、本実施形態の操作検知部１２１は、記録装置１００に搭載されたＯＳがクリック操作、ドラッグ操作、ドロップ操作等を検知したことを示す通知を受け付け、操作を受け付けたことを割込発生部１２２へ通知する。

本実施形態では、画面上の同一の座標において、マウスボタンのボタンダウンとボタンアップが検知されたとき、この操作はクリック操作として検知される。また、本実施形態では、マウスボタンのボタンダウン後に、ポインタが指し示す座標が移動した場合に、この操作はドラッグ操作として検知される。また、本実施形態では、ポインタが指し示す座標が移動した後のマウスボタンのボタンアップを検知したとき、この操作はドロップ操作として検知される。

割込発生部１２２は、操作検知部１２１により検知対象の操作が検知されると、記録装置１００に搭載されたＯＳに対して割り込みを発生させ、操作内容を記録する処理の実行を要求する。

オブジェクト情報取得部１２３は、割り込みが発生すると、ポインタが指し示している操作対象オブジェクトを示す情報を取得する。具体的には、オブジェクト情報取得部１２３は、表示画面においてポインタが指し示している位置の座標を移動先座標として取得する。

そして、オブジェクト情報取得部１２３は、この移動先座標を記録装置１００に搭載されたＯＳに渡し、ＯＳから移動先座標と対応する操作対象オブジェクトのオブジェクト情報（オブジェクト名、種類）を受け取る。

操作種別取得部１２４は、割り込みが発生すると、操作検知部１２１により検知された操作の種類を示す情報（操作種別情報）を取得する。

操作記録部１２６は、取得した操作種別情報、移動先座標情報及びオブジェクト情報を、操作種別情報に対応付けて操作記録ＤＢ２０に記録する。これにより、操作記録ＤＢ２０に、操作の履歴を示す操作記録情報２００が作成される。つまり、操作記録情報２００には、操作種別情報、移動先座標情報及びオブジェクト情報が含まれる。本実施形態の操作記録部１２６は、記録処理の終了指示を受け付けたとき、記録の処理を終了する。

送信部１２７は、操作記録ＤＢ２０に記録された操作記録情報２００のうち、操作者により選択された特定の操作種別情報とその操作種別情報に対応するオブジェクト情報を再生装置３００に送信する。送信部１２７は、特定の操作種別情報、その操作種別情報に対応するオブジェクト情報に加えて、移動先座標情報を送信してもよい。

操作記録情報２００は、例えば可搬型の記録媒体２１０に記録される。記録媒体２１０は、再生装置３００において読取可能な記録媒体であれば良い。

表示制御部１２５は、再生装置３００において、送信した操作種別情報に従った操作の実行により、送信したオブジェクト情報に対応する操作対象オブジェクトが検出されない場合、操作の実行にかかる表示画面を取得して表示部に表示する。表示部は、例えばディスプレイにより実現される。

操作検知部１２１は、再生装置３００から取得した表示画面の領域において特定の操作種別情報を検出すると、検出した操作種別情報とその操作種別情報に対応するオブジェクト情報とを送信する。

受信部１２８は、再生装置３００から操作の再生が完了した通知や操作の再生に失敗した通知を受信する。記憶部１２９は、操作記録ＤＢ２０に操作記録情報２００を記憶する。

なお、操作検知部１２１、割込発生部１２２、オブジェクト情報取得部１２３、操作種別取得部１２４、表示制御部１２５及び操作記録部１２６は、例えば、演算処理装置１６により実現可能である。また、送信部１２７及び受信部１２８は、例えば、通信装置１９により実現可能である。また、記憶部１２９は、例えば、メモリ装置１５により実現可能である。

（再生装置）
次に、本実施形態の再生装置３００について説明する。本実施形態の再生装置の操作記録再生処理部３１０は、記録処理部３２０、再生処理部３３０を有する。本実施形態の再生装置３００では、上述したように、再生処理部３３０が実現される。本実施形態の再生処理部３３０は、操作記録読込部３３１、操作種別特定部３３２、存在判定部３３３、オブジェクト特定部３３４、操作発生要求部３３５、送信部３３６及び受信部３３７を有する。

操作記録読込部３３１は、記録媒体２１０に格納された操作記録情報２００を読み込む。操作種別特定部３３２は、操作記録情報２００に含まれる操作種別情報から、特定した操作対象オブジェクトに対して行う操作の種類を特定する。

存在判定部３３３は、再生装置３００の表示画面上に、操作記録情報２００が示す操作対象オブジェクトが存在するか否か（表示されているか否か）を判定する。存在判定部３３３が、該当する操作対象オブジェクトが存在しないと判定した場合、送信部３３６は、再生装置３００の表示画面を記録装置１００に送信する。

図７を参照して具体的に説明する。図７（ａ）は、記録装置１００の表示画面Ａ１であり、図７（ｂ）は、再生装置３００の対応する表示画面Ａ２である。図７（ｃ）は、再生装置３００から取得した画面の画像を表示する記録装置１００の表示画面Ａ１である。

存在判定部３３３は、再生装置３００の表示画面上に該当する操作対象のオブジェクト１１６が存在しないと判定する。この場合、送信部３３６は、図７（ｂ）のデスクトップ画面（表示画面Ａ２）の画像を記録装置１００に送信する。この場合、再生装置３００から送られる画像の座標情報は、絶対座標を示す。つまり、取得したデスクトップ画面（表示画面Ａ２）の左上の基準座標（０，０）は、記録装置１００のデスクトップ画面（表示画面Ａ１）の左上の基準座標（０，０）に一致するため、記録装置１００は、取得した座標が示す位置にそのまま、取得したデスクトップ画面（表示画面Ａ２）の画像を表示すればよい。

しかしながら、送信部３３６は、例えば、図７（ｂ）に示すように、操作の再生に失敗した画面を表示するアプリケーションの起動により立ち上げられるオブジェクト２１１の画像を記録装置１００に送信してもよい。この場合、再生装置３００から送られるメニュー画面のオブジェクト２１１の画像に対応して送信される座標情報は、相対座標を示す。例えば、再生装置３００が、図７（ｂ）に示すオブジェクト２１１の画像とともにその画像の左上の座標（ｘ_２、ｙ_２）を送信するとする。この場合、記録装置１００は、取得した座標（ｘ_２、ｙ_２）を、図７（ａ）に示す記録装置１００の表示画面Ａ１に表示されるオブジェクト１１１の画像の左上の座標（ｘ_１、ｙ_１）に変換する相対座標変換を行い、変換後の座標が示す位置に、取得したオブジェクト２１１の画像を表示する。

図７（ｃ）は、再生装置３００から取得した画面の画像が、記録装置１００に表示されたときの表示画面Ａ１の画面例である。ここでは、記録装置１００の表示画面Ａ１に、再生に失敗した再生装置３００の表示画面Ａ２の画像Ａ２ａが表示されている。表示画面Ａ２の画像Ａ２ａの領域には、メニュー画面のオブジェクト２１１の画像２１１ａが表示されている。

また、記録装置１００の表示画面Ａ１には、表示された画像Ａ２ａの上部にエラーメッセージのオブジェクト２１８が付加され、重畳表示されている。例えば、エラーメッセージのオブジェクト２１８には、再生装置では、操作が認識されなかったこと、操作の再生に失敗した画面の画像を表示していること、記録装置１００でマウスクリックされた対象をクリックすることの指示等が表示されてもよい。

なお、本実施形態では、再生装置３００から記録装置１００に、操作の再生に失敗した画面の画像を送る場合、該当する画像とその画像の座標情報を送信する例を挙げた。しかしながら、必ずしも、操作の再生に失敗した画面の画像とともに座標情報を送信する必要はない。例えば、操作の再生に失敗した画面の画像とともに、操作の再生に失敗した画面に表示されるオブジェクト情報の組合わせ（テキスト、ボタン等のオブジェクト情報群）を送信することで、操作の再生に失敗した画面の画像の座標情報を送信しなくても、操作の再生に失敗した画面を記録装置１００の画面に表示することができる。これにより、記録装置１００の操作者に再生装置３００の状況を正しく知らせることができる。

図６に戻り、オブジェクト特定部３３４は、操作記録情報２００に含まれるオブジェクト情報に基づき、操作対象のオブジェクトを特定する。操作発生要求部３３５は、再生装置３００に搭載されたＯＳに対して、操作対象のオブジェクトに対して特定した操作を発生させるための操作発生要求を行う。再生装置３００では、ＯＳに対して操作発生要求を行うことで、ＯＳの機能により要求した操作が発生し、操作記録情報２００に記録された操作内容の操作が特定のオブジェクトに対して再現される。

送信部３３６は、操作の再生にエラーが生じた場合、操作の失敗を記録装置１００に通知する。また、送信部３３６は、操作の失敗が生じた画面を送信する。受信部３３７は、記録装置１００等から操作記録情報２００等の各種データを受信する。

なお、操作記録読込部３３１、操作種別特定部３３２、存在判定部３３３、オブジェクト特定部３３４及び操作発生要求部３３５は、例えば、演算処理装置１６により実現可能である。また、送信部３３６及び受信部３３７は、例えば、通信装置１９により実現可能である。

なお、図６及び後述する図１２は機能に着目したブロック図を描いており、これらの機能ブロックで示した各部のソフトウエアを実行するプロセッサはハードウェアである。

［操作連携処理：リアルタイム操作］
次に、記録再生処理において、本実施形態に係る記録装置１００と再生装置３００の操作の連携を実現する操作連携処理（リアルタイム操作）の一例について図８を参照して説明する。図８は、一実施形態に係る操作連携処理（リアルタイム操作）の一例を示すフローチャートである。図８の処理は、記録装置１００が再生装置３００と連携して各装置にそれぞれ搭載されたＯＳを介して実行される。

本処理が開始され、操作検知部１２１が、記録装置１００において実行された操作を検出すると（ステップＳ１０）、マウスをロックし、操作の入力を受け付けないようにする（ステップＳ１２）。次に、操作記録部１２６は、検出した操作内容（操作種別情報、移動先座標情報、オブジェクト情報）を操作記録情報２００として操作記録ＤＢ２０に記録する（ステップＳ１４）。次に、送信部１２７は、操作記録情報２００を再生装置３００に送信する（ステップＳ１６）。

次に、受信部１２８は、送信した操作内容にかかる操作の完了通知を再生装置３００から受信したかを判定する（ステップＳ１８）。受信部１２８は、送信した操作内容にかかる操作の完了通知を再生装置３００から受信したと判定すると、マウスが使用できるようにロックを解除し（ステップＳ２０）、ステップＳ１０に戻る。

受信部１２８は、再生装置３００から、送信した操作内容にかかる操作の完了通知を受信しなかったと判定すると、再生装置３００から、操作内容にかかる操作の失敗の通知を受信したかを判定する（ステップＳ２２）。受信部１２８は、操作の失敗の通知を受信しなかったと判定すると、ステップＳ１８に戻り、ステップＳ１８〜Ｓ２２の処理を再度行う。

ステップＳ２２にて、受信部１２８が、操作の失敗の通知を受信したと判定すると、割込発生部１２２は、再生装置３００の現在の表示画面の取得を要求する割り込みを発生する。そして、送信部１２７は、再生装置３００に、表示画面の取得指示を送信する（ステップＳ２４）。なお、再生装置３００が、ステップＳ２２の操作の失敗の通知とともに、現在の表示画面（操作の再生に失敗した画面）を送付してもよい。この場合にはステップＳ２４を省略できる。

次に、受信部１２８は、再生装置３００から操作の再生に失敗した画面を受信したかを判定する（ステップＳ２６）。受信部１２８は、再生装置３００から操作の再生に失敗した画面を受信したと判定するまでステップＳ２６の処理を繰り返す。そして、再生装置３００から該当表示画面を受信したと判定されたとき、表示制御部１２５は、受信した表示画面を記録装置１００の表示画面に重畳表示し、更にエラーメッセージを重畳表示する（ステップＳ２８）。これにより、図７（ｃ）に示すように、記録装置１００の表示画面に、再生装置３００から取得した、操作に失敗した表示画面Ａ２の画像Ａ２ａ及びエラーメッセージのオブジェクト２１８が表示される。ここでは、「再生装置では、操作が認識できませんでした。再生装置の画面を表示します。クリック対象をクリックしてください。」というエラーメッセージが表示されている。表示画面Ａ２の画像Ａ２ａの表示サイズは小さくても大きくても良い。

次に、操作検知部１２１は、マウスのロックを解除し、マウスが操作の入力を受け付け可能な状態にする（ステップＳ３０）。続いて、操作検知部１２１は、表示画面Ａ１上に重畳して表示した表示画面Ａ２の画像Ａ２ａの領域における操作を検出したかを判定する（ステップＳ３２）。操作検知部１２１は、表示画面Ａ２の画像Ａ２ａの領域における操作を検出したと判定するまでステップＳ３２の処理を繰り返し実行し、表示画面Ａ２の画像Ａ２ａの領域における操作を検出したと判定したとき、マウスをロックする（ステップＳ３４）。

次に、操作記録部１２６は、重畳画面内にて検出したオブジェクト情報を、そのオブジェクト情報に対して操作した操作種別情報に対応付けて操作記録ＤＢ２０に記録する（ステップＳ３６）。次に、送信部１２７は、重畳画面内にて検出した操作内容を再生装置３００に送信する（ステップＳ３８）。重畳画面内にて検出した操作内容に重畳画面内にて検出したオブジェクト情報が含まれる。このとき、送信部１２７は、重畳画面内にて検出したオブジェクト情報と重畳画面内にて検出した操作種別情報とを送信することが好ましい。

例えば、図７（ｃ）に示した記録装置１００の表示画面Ａ１に、再生装置３００から取得した表示画面Ａ２の画像Ａ２ａが表示されている場合について具体的に説明する。操作者は、図７（ａ）に示す記録装置１００の表示画面Ａ１におけるオブジェクト１１６へのマウスクリックの操作に対応させて、図７（ｃ）に示した記録装置１００の表示画面Ａ１に重畳表示された表示画面Ａ２の画像Ａ２ａの領域において、オブジェクト２１６の「（５）よくある質問」をマウスクリックする操作を行う。これにより、操作検知部１２１は、この重畳画面内の操作を検出する。割込発生部１２２は、操作検知部１２１により検知対象の操作が検知されると、記録装置１００に搭載されたＯＳに対して割り込みを発生させ、操作内容を記録する処理の実行を要求する。操作記録部１２６は、検出した操作内容を操作記録ＤＢ２０に記録とともに再生装置３００へ送信する。

これにより、操作内容の再生に失敗した場合に、記録装置１００において処理の負荷を抑えながら、正しい操作内容を再生装置３００にて効率的に再現できる。また、操作記録ＤＢ２０には、重畳画面内にて検出したオブジェクト情報（例えば、図９の再検出座標情報２００ｄ）が操作種別情報に対応付けて記録され、次の操作連携処理に使用することができる。

操作記録ＤＢ２０に記録されるオブジェクト情報の一例としては、重畳画面内にて検出した操作対象オブジェクトのオブジェクト情報（例えば、オブジェクト名（（５）よくある質問）及びオブジェクトの種類（メニュー項目（テキスト）））であってもよい。また、重畳画面内にて検出した操作対象オブジェクトの操作位置を示す座標情報であってもよい。例えば、図７（ｃ）の表示画面Ａ２の画像Ａ２ａ内にてマウスクリックの操作を行った座標が（４１，８５）であった場合、図９に示す操作記録ＤＢ２０のように、再検出座標情報２００ｄの座標情報１に（４１，８５）の座標情報が記録されるようにしてもよい。再生装置３００が複数台あり、複数の再生装置３００にて操作の失敗が生じた場合には、各再生装置３００の表示画面の重畳表示された画像領域内において特定の操作が検出される度に、再生装置３００毎に検出された特定の操作の再検出座標情報が再検出座標情報１、２・・・に記録されるようにしてもよい。なお、重畳画面内にて複数回の操作を検出した場合には、そのうちの最新の操作に係る再検出座標情報のみを再検出座標情報２００ｄに記録することが好ましい。なお、再検出座標情報２００ｄは、操作記録情報２００の一例である。

図８に戻り、次に、表示制御部１２５は、重畳画面している再生装置３００から取得した画面の画像を非表示とする（ステップＳ４０）。次に、受信部１２８は、再生装置３００から、ステップＳ３８にて送信した操作内容にかかる操作完了の通知を受信する（ステップＳ４２）。次に、操作検知部１２１は、マウスのロックを解除し（ステップＳ４４）、ステップＳ１０に戻る。

例えば、最初に所定台数の端末装置が納品された場合、納品された所定台数の端末装置を再生装置３００として、記録装置１００にて所定の操作（インストール操作等）が行われたとき、同一操作を所定台数の端末装置に対してリアルタイムで実行する。このリアルタイム操作において記録装置１００にて行われた操作は、上記の操作連携処理において処理操作記録ＤＢ２０に記録される。

その後、次の端末装置が納品された場合、次に納品された端末装置を再生装置３００として、記録ＤＢ２０に記録された操作記録情報２００を用いて端末装置に対して同一操作を再生する。これを操作連携処理におけるバッチログ操作という。

［操作連携処理：バッチログ操作］
以下、本実施形態に係る記録装置１００と再生装置３００の操作の連携を実現する操作連携処理（バッチログ操作）の一例について図１０を参照して説明する。なお、図１０に示す処理のいずれかが、図８の操作連携処理（リアルタイム操作）と同一の処理である場合、同一のステップ番号を付す。図８の処理は、記録装置１００が再生装置３００と連携して各装置にそれぞれ搭載されたＯＳを介して実行される。

本処理が開始されると、操作検知部１２１は、操作記録ＤＢ２０を呼出し、操作者によって選択及び「実行ボタン」が押下された対象の操作記録情報２００を選択する（ステップＳ５２）。操作記録ＤＢ２０には、１以上の操作記録情報２００が記録されている。例えば、図１１（ａ）に示すように、操作者は、記録装置１００の操作ログ選択画面からデータ登録（１件）項目を選択し、操作記録ＤＢ２０に記録された複数の操作記録情報２００からいずれ（例えば操作記録情報１）を選択して「実行ボタン」を押下したとする。これにより、再生装置３００にて再生される操作記録情報２００が特定される。操作記録ＤＢ２０にｎ個の操作記録情報２００群が記録されている場合、操作者は、記録装置１００の表示画面から特定の操作記録情報２００を１つまたは２以上選択することができる。

図１０に戻り、ステップＳ５２において「実行ボタン」が押下されると、操作検知部１２１は、マウスをロックする（ステップＳ１２）。次に、操作記録部１２６は、操作記録ＤＢ２０から選択された操作記録情報２００（操作種別情報、移動先座標情報、オブジェクト情報）を再生装置３００に送信する（ステップＳ５４）。

次に、受信部１２８は、再生装置３００から操作の完了通知を受信したかを判定する（ステップＳ１８）。受信部１２８は、再生装置３００から、送信した操作の完了通知を受信したと判定すると、マウスのロックを解除し（ステップＳ２０）、ステップＳ５２に戻る。

受信部１２８は、再生装置３００から、送信した操作の完了通知を受信しなかったと判定すると、再生装置３００から、操作の失敗の通知を受信したかを判定する（ステップＳ２２）。受信部１２８は、操作の失敗の通知を受信しなかったと判定すると、ステップＳ１８に戻り、ステップＳ１８〜Ｓ２２の処理を再度行う。

ステップＳ２２にて、受信部１２８が、操作の失敗の通知を受信したと判定すると、割込発生部１２２は、再生装置３００の現在の表示画面の取得を要求する割り込みを発生する。そして、送信部１２７は、再生装置３００に、表示画面の取得指示を送信する（ステップＳ２４）。ステップＳ２６〜Ｓ４４の処理は、図８の同ステップの処理と同じであるため、個々では説明を省略する。

これにより、操作連携処理においてバッチログ操作の場合にも、図１１（ｂ）に示すように、再生装置３００が操作内容の再生に失敗した場合に、記録装置１００の表示画面に、再生装置３００から取得した、操作に失敗した表示画面Ａ２の画像Ａ２ａが表示される。また、記録装置１００の表示画面に、エラーメッセージのオブジェクト２１８が表示される。

これにより、操作内容の再生に失敗した場合に、記録装置１００において処理の負荷を抑えながら、正しい操作内容を再生装置３００にて効率的に再現できる。これにより、再生装置３００における操作の再現の失敗を適切に修正することができる。

また、操作記録ＤＢ２０には、重畳画面内にて検出したオブジェクト情報（再検出座標情報２００ｄ）が操作種別情報に対応付けて記録される。これにより、操作記録ＤＢ２０に記録された同じ操作内容の操作を、再生装置３００で繰返し実行することが可能となり、更なる業務の効率化を図ることができる。

＜第２実施形態＞
図１２は、第２実施形態の記録再生装置の機能構成を説明する図である。本実施形態の記録再生装置１００Ａは、操作記録再生処理部１１０Ａを有する。

本実施形態の操作記録再生処理部１１０Ａは、記録処理部１２０と再生処理部１３０とを有する。再生処理部１３０は、操作記録読込部１３１、操作種別特定部１３２、存在判定部１３３、オブジェクト特定部１３４、操作発生要求部１３５、送信部１３６及び受信部１３７を有する。再生処理部１３０の有する各部は、第１実施形態の再生処理部３３０の有する各部と同様の機能を実現する。

記録再生装置１００Ａでは、操作記録再生プログラム１４０に含まれる記録プログラム及び連携処理プログラムを実行することで記録処理部１２０を実現する。また、操作記録再生プログラム１４０に含まれる再生プログラム及び連携処理プログラムを実行することで再生処理部１３０を実現する。

また、本実施形態の記録再生装置１００Ａは、操作記録ＤＢ２０を記憶する記憶部１２９を有する。再生処理部１３０は、記憶部１４０に格納された操作記録情報２００を再生する。ただし、操作記録ＤＢ２０は、クラウド上の記憶領域に記録されていてもよい。

本実施形態の記録再生装置１００Ａでは、１台のコンピュータ（記録再生装置）１００Ａにおいて、記録処理部１２０による記録と、再生処理部１３０による再生とを同一のコンピュータで行う。

＜第３実施形態＞
以下に図面を参照して第３実施形態について説明する。第３実施形態は、記録装置１００において記録された操作記録情報２００が、外部のサーバに格納される点が第１実施形態と相違する。

よって、以下の第３実施形態の説明では、第１実施形態との相違点について説明し、第１実施形態と同様の機能構成を有するものには、第１実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。

図１３は、第３実施形態の記録再生装置の機能構成を説明する図である。本実施形態の記録再生システム４００は、記録装置１００、再生装置３００、サーバ４１０を有する。記録装置１００、再生装置３００及びサーバ４１０は、ネットワークを介して接続されている。

本実施形態の記録装置１００は、操作記録再生処理部１１０の記録処理部１２０により、操作記録情報２００をサーバ４１０に記録する。本実施形態の記録装置１００は、操作内容の記録の終了指示を受け付けてから、記録された操作記録情報２００をサーバ４１０に送信しても良い。

本実施形態の再生装置３００は、操作記録再生処理部３１０の再生処理部３３０により、サーバ４１０から操作記録情報２００を読み込んで再生する。本実施形態の再生装置３００は、操作記録情報２００全てをサーバ４１０から取得した後に、再生装置３００内に保持された操作記録情報２００を再生しても良い。

本実施形態によれば、再生装置３００はサーバ４１０から操作記録情報２００を取得すれば良く、操作記録情報２００が記憶された可搬型の記録媒体を持ち運んだり、記録媒体から操作記録情報２００を再生装置３００に読み取らせたりする作業が軽減される。

以上に説明した、上記各実施形態に係る記録装置１００及び記録再生装置１００Ａは、情報処理装置の一例である。

以上、制御プログラム、制御方法及び情報処理装置を上記実施形態により説明したが、本発明に係る制御プログラム、制御方法及び情報処理装置は上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。また、上記実施形態及び変形例が複数存在する場合、矛盾しない範囲で組み合わせることができる。

以上の説明に関し、更に以下の項を開示する。
（付記１）
操作が検出された場合に、該操作の種別を示す操作種別情報と、前記操作の対象オブジェクトを示す情報とを他のコンピュータに送信し、
前記他のコンピュータにおける表示画面に、前記操作の対象オブジェクトが検出されない場合に、前記他のコンピュータから該表示画面の情報を受信し、
受信した前記表示画面の情報に基づいて表示画面を表示部に表示し、
表示した前記表示画面の領域において検出された操作の種別を示す操作種別情報を送信する、
処理をコンピュータに実行させることを特徴とする制御プログラム。
（付記２）
前記表示画面の領域において検出された操作の種別を示す操作種別情報を、前記表示画面において操作された座標と共に送信する、
付記１に記載の制御プログラム。
（付記３）
送信された前記操作種別情報に従った操作の実行により操作される操作対象オブジェクトを取得して、該操作種別情報に対応付けて記憶し、
次の操作の連携を行う際、対応付けて記憶した前記操作種別情報と前記操作対象オブジェクトを示す情報とを送信する、
付記２に記載の制御プログラム。
（付記４）
取得した前記表示画面の情報は、操作対象オブジェクトに関する情報を含み、
前記表示画面の領域において検出された操作の種別を示す操作種別情報を、該操作種別情報に対応する操作対象オブジェクトと共に送信する、
付記１に記載の制御プログラム。
（付記５）
前記検出された操作の対象オブジェクトを示す情報を、前記操作種別情報に対応付けて記憶し、
次の操作の連携を行う際、対応付けて記憶した前記操作種別情報と前記検出された操作の対象オブジェクトを示す情報とを送信する、
付記２に記載の制御プログラム。
（付記６）
前記表示部に、取得した前記表示画面とともに操作の連携に関するメッセージを表示する、
付記１〜５のいずれかに記載の制御プログラム。
（付記７）
表示した前記表示画面の領域において前記操作種別情報に従った操作の実行により、操作対象オブジェクトが検出されると、操作の入力を受け付ける入力機器をロックする、
付記１〜６のいずれかに記載の制御プログラム。
（付記８）
操作が検出された場合に、該操作の種別を示す操作種別情報と、前記操作の対象オブジェクトを示す情報とを他のコンピュータに送信し、
前記他のコンピュータにおける表示画面に、前記操作の対象オブジェクトが検出されない場合に、前記他のコンピュータから該表示画面の情報を受信し、
受信した前記表示画面の情報に基づいて表示画面を表示部に表示し、
表示した前記表示画面の領域において検出された操作の種別を示す操作種別情報を送信する、
処理をコンピュータが実行することを特徴とする制御方法。
（付記９）
前記表示画面の領域において検出された操作の種別を示す操作種別情報を、前記表示画面において操作された座標と共に送信する、
付記８に記載の制御方法。
（付記１０）
送信された前記操作種別情報に従った操作の実行により操作される操作対象オブジェクトを取得して、該操作種別情報に対応付けて記憶し、
次の操作の連携を行う際、対応付けて記憶した前記操作種別情報と前記操作対象オブジェクトを示す情報とを送信する、
付記９に記載の制御方法。
（付記１１）
取得した前記表示画面の情報は、操作対象オブジェクトに関する情報を含み、
前記表示画面の領域において検出された操作の種別を示す操作種別情報を、該操作種別情報に対応する操作対象オブジェクトと共に送信する、
付記８に記載の制御方法。
（付記１２）
前記検出された操作の対象オブジェクトを示す情報を、前記操作種別情報に対応付けて記憶し、
次の操作の連携を行う際、対応付けて記憶した前記操作種別情報と前記検出された操作の対象オブジェクトを示す情報とを送信する、
付記９に記載の制御方法。
（付記１３）
前記表示部に、取得した前記表示画面とともに操作の連携に関するメッセージを表示する、
付記８〜１２のいずれかに記載の制御方法。
（付記１４）
表示した前記表示画面の領域において前記特定の操作種別情報に従った操作の実行により、操作対象オブジェクトが検出されると、操作の入力を受け付ける入力機器をロックする、
付記８〜１３のいずれかに記載の制御方法。
（付記１５）
操作が検出された場合に、該操作の種別を示す操作種別情報と、前記操作の対象オブジェクトを示す情報とを他のコンピュータに送信する送信部と、
前記他のコンピュータにおける表示画面に、前記操作の対象オブジェクトが検出されない場合に、前記他のコンピュータから該表示画面の情報を受信する受信部と、
受信した前記表示画面の情報に基づいて表示画面を表示部に表示する表示制御部と、を有し、
前記送信部は、表示した前記表示画面の領域において検出された操作の種別を示す操作種別情報を送信する、
情報処理装置。
（付記１６）
前記送信部は、前記表示画面の領域において検出された操作の種別を示す操作種別情報を、前記表示画面において操作された座標と共に送信する、
付記１５に記載の情報処理装置。
（付記１７）
送信された前記操作種別情報に従った操作の実行により操作される操作対象オブジェクトを取得して、該操作種別情報に対応付けて記憶部に記憶し、
前記送信部は、次の操作の連携を行う際、対応付けて記憶した前記操作種別情報と前記操作対象オブジェクトを示す情報とを送信する、
付記１６に記載の情報処理装置。
（付記１８）
取得した前記表示画面の情報は、操作対象オブジェクトに関する情報を含み、
前記送信部は、前記表示画面の領域において検出された操作の種別を示す操作種別情報を、該操作種別情報に対応する操作対象オブジェクトと共に送信する、
付記１５に記載の情報処理装置。
（付記１９）
前記検出された操作の対象オブジェクトを示す情報を、前記操作種別情報に対応付けて記憶し、
前記送信部は、次の操作の連携を行う際、対応付けて記憶した前記操作種別情報と前記検出された操作の対象オブジェクトを示す情報とを送信する、
付記１６に記載の情報処理装置。
（付記２０）
前記表示部に、取得した前記表示画面とともに操作の連携に関するメッセージを表示する、
付記１５〜１９のいずれかに記載の情報処理装置。
（付記２１）
表示した前記表示画面の領域において前記特定の操作種別情報に従った操作の実行により、操作対象オブジェクトが検出されると、操作の入力を受け付ける入力機器をロックする、
付記１５〜２０のいずれかに記載の情報処理装置。

２０ 操作記録ＤＢ
１００、１００Ａ 記録装置
１１０、１１０Ａ、３１０ 操作記録再生処理部
１２０、３２０ 記録処理部
１２１ 操作検知部
１２２ 割込発生部
１２３ オブジェクト情報取得部
１２４ 操作種別取得部
１２５ 表示制御部
１２６ 操作記録部
１２７ 送信部
１２８ 受信部
１２９ 記憶部
１３０、３３０ 再生処理部
２００ 操作記録情報
２００ａ 操作種別情報
２００ｂ 移動先座標情報
２００ｃ オブジェクト情報
２１０ 記録媒体
３００ 再生装置
３３１ 操作記録読込部
３３２ 操作種別特定部
３３３ 存在判定部
１３４、３３４ オブジェクト特定部
１３５、３３５ 操作発生要求部
１３６、３３６ 送信部
１３７、３３７ 受信部
４００ 記録再生システム
４１０ サーバ
Ａ１ 記録装置のデスクトップ画面
Ａ２ 再生装置のデスクトップ画面

Claims (9)

1. 操作が検出された場合に、該操作の種別を示す操作種別情報と、前記操作の対象オブジェクトを示す情報とを他のコンピュータに送信し、
   前記他のコンピュータにおける表示画面に、前記操作の対象オブジェクトが検出されない場合に、前記他のコンピュータから該表示画面の情報を受信し、
   受信した前記表示画面の情報に基づいて表示画面を表示部に表示し、
   表示した前記表示画面の領域において検出された操作の種別を示す操作種別情報を送信する、
   処理をコンピュータに実行させることを特徴とする制御プログラム。
2. 前記表示画面の領域において検出された操作の種別を示す操作種別情報を、前記表示画面において操作された座標と共に送信する、
   請求項１に記載の制御プログラム。
3. 送信された前記操作種別情報に従った操作の実行により操作される操作対象オブジェクトを取得して、該操作種別情報に対応付けて記憶し、
   次の操作の連携を行う際、対応付けて記憶した前記操作種別情報と前記操作対象オブジェクトを示す情報とを送信する、
   請求項２に記載の制御プログラム。
4. 取得した前記表示画面の情報は、操作対象オブジェクトに関する情報を含み、
   前記表示画面の領域において検出された操作の種別を示す操作種別情報を、該操作種別情報に対応する操作対象オブジェクトと共に送信する、
   請求項１に記載の制御プログラム。
5. 前記検出された操作の対象オブジェクトを示す情報を、前記操作種別情報に対応付けて記憶し、
   次の操作の連携を行う際、対応付けて記憶した前記操作種別情報と前記検出された操作の対象オブジェクトを示す情報とを送信する、
   請求項２に記載の制御プログラム。
6. 前記表示部に、取得した前記表示画面とともに操作の連携に関するメッセージを表示する、
   請求項１〜５のいずれかに記載の制御プログラム。
7. 表示した前記表示画面の領域において前記操作種別情報に従った操作の実行により、操作対象オブジェクトが検出されると、操作の入力を受け付ける入力機器をロックする、
   請求項１〜６のいずれかに記載の制御プログラム。
8. 操作が検出された場合に、該操作の種別を示す操作種別情報と、前記操作の対象オブジェクトを示す情報とを他のコンピュータに送信し、
   前記他のコンピュータにおける表示画面に、前記操作の対象オブジェクトが検出されない場合に、前記他のコンピュータから該表示画面の情報を受信し、
   受信した前記表示画面の情報に基づいて表示画面を表示部に表示し、
   表示した前記表示画面の領域において検出された操作の種別を示す操作種別情報を送信する、
   処理をコンピュータが実行することを特徴とする制御方法。
9. 操作が検出された場合に、該操作の種別を示す操作種別情報と、前記操作の対象オブジェクトを示す情報とを他のコンピュータに送信する送信部と、
   前記他のコンピュータにおける表示画面に、前記操作の対象オブジェクトが検出されない場合に、前記他のコンピュータから該表示画面の情報を受信する受信部と、
   受信した前記表示画面の情報に基づいて表示画面を表示部に表示する表示制御部と、を有し、
   前記送信部は、表示した前記表示画面の領域において検出された操作の種別を示す操作種別情報を送信する、
   情報処理装置。

Images