JP4370131B2 - コンピュータ操作記録再生方法 - Google Patents

Description

本発明は、例えば講演、講義、会議などにおけるコンピュータの操作を、再生可能に記録するコンピュータ操作記録再生方法に関する。

従来より、コンピュータの操作を記録する方法がいくつか提案されている。
例えば特許文献１のものは、パソコンファイル画像のＣＲＴ出力を記録して再生するものである。
また、特許文献２のものは、予めワーク領域に会議資料を提示し、提示された資料から得られる静止画像データ、動画像データ及び音声データを含む電子会議データを記録媒体に記録するものである。

また、特許文献３のものは、管理サーバがマウス操作などをトリガとして、選択された資料と映像・音声とを対応させて蓄積するものである。
また、特許文献４のものは、オーディエンス側とプレゼンタ側との処理装置が伝送路を介して接続されたリモートプレゼンテーションシステムで、プレゼンタ側で受け手の反応を掴み、イベントを記録しようとするものである。
特開平６−３０３６３５号公報 特開平１０−２５７４６３号公報 特開２００２−１０９０９９号公報 特開２０００−３４１６５９号公報

しかしながら、上述した特許文献１から３のものは、表示画面における画像情報を記録することで操作内容を記録するため、保存データ量が膨大となってしまっていた。
また、上述した特許文献３、４のものは、専用の管理サーバやオーディエンス側とプレゼンタ側といった専用の固定されたシステムが必要となってしまい、例えば記録時と再生時の環境が異なる場合などまで考慮されたものではない。

本発明はこのような状況に鑑みてなされたものであり、データ量を膨大にすることなくコンピュータの操作内容を記録でき、専用の固定されたシステムに限定されず、例えば記録時と再生時の環境が異なる場合であっても不具合なく再生が可能なコンピュータ操作記録再生方法を提供することを目的とする。

かかる目的を達成するために、本発明のコンピュータ操作記録再生方法は、以下の特徴を有する。
操作内容を記録する操作記録コンピュータを備えたコンピュータシステムにおけるコンピュータ操作記録再生方法において、操作記録コンピュータに接続された操作入力装置または操作記録コンピュータによる操作内容を、画像データ以外の少なくともプログラム起動情報およびウィンドウ情報を含めて再生可能に記録する記録工程と、上記記録工程により記録された操作内容を再生する再生工程と、を備え、上記記録工程では、アプリケーションプログラムにより画面表示されるウィンドウ外で上記操作記録コンピュータに接続された操作入力装置または上記操作記録コンピュータによるクリック操作の後にダブルクリック許容時間内に新たなクリックがあった場合に、ダブルクリック操作としてマウスデータを記録せず、上記操作記録コンピュータのＯＳが提供するＩ／Ｆ（ＡＰＩ）によりダブルクリックされたアイコンのファイルパスを取得することで上記プログラム起動情報を記録することを特徴とする。

上記記録工程では、上記した操作内容を、操作画面における入力時の座標情報や、キー入力におけるキーコード情報、指定された時間における音声情報、表示画面の情報などを含めて記録することが好ましい。

上記した表示画面の情報は、当該表示画面における表示領域情報や、当該表示画面における色数情報を含むことが好ましい。

上記記録工程では、表示画面におけるタスクバー上でタッチからデタッチまでの操作がされた場合に、マウスデータを記録せずに、操作記録コンピュータのＯＳが提供するＩ／Ｆ（ＡＰＩ）により当該タッチで起動されたプログラムのファイルパスを取得することでプログラム起動情報を記録することが好ましい。

上記記録工程では、表示画面でスタートボタンからタッチメニューが表示された場合、ボタンへのタッチからメニューが閉じるまでの操作によるマウスデータを記録しないことが好ましい。
また、上記記録工程では、上記の操作により全メニューが閉じた時、ＯＳが提供するＩ／Ｆ（ＡＰＩ）により起動されたプログラムのファイルパスを取得してプログラム起動情報を記録することが好ましい。

上記記録工程では、アプリケーションプログラムが新たなウィンドウを表示した時、ＯＳが提供するＩ／Ｆ（ＡＰＩ）を介してウィンドウ情報を取得し、ダイアログボックスまたはメニューウィンドウが新たに表示されたことを示す「ウィンドウ情報（表示）」を記録することが好ましい。

上記記録工程では、アプリケーションプログラムが表示中のウィンドウを閉じた時、表示されていたダイアログボックスまたはメニューウィンドウが閉じたことを示す「ウィンドウ情報（消去）」を記録することが好ましい。

上記記録工程では、表示画面に「ファイルを開く」ダイアログボックスが表示された時、ダイアログボックス操作のマウスデータ、キーボードデータを記録しないことが好ましい。

上記記録工程では、コンピュータ操作記録中断時、実行中の全アプリケーションウィンドウを最小化し、再開時に再表示することが好ましい。
また、上記再生工程では、記録時のコンピュータ操作間隔により再生することが好ましい。

上記再生工程では、コンピュータ操作記録を早送り再生する場合、音声データを再生せず記録単位に再生する間隔を調整できるよう動作することが好ましい。

以上のように、本発明によれば、データ量を膨大にすることなくコンピュータの操作内容を記録でき、専用の固定されたシステムに限定されず、例えば記録時と再生時の環境が異なる場合であっても不具合なく再生が可能となる。

次に、本発明に係るコンピュータ操作記録再生方法を、図面を用いて詳細に説明する。
まず、本発明が効力を発揮する構成について、図１のシステム構成図を参照して説明する。

図１（ａ）に示す講演、講義などに好適なシステム構成は、ＰＤＰ（Plasma Display Panel）や液晶リアプロジェクタ等の大型表示装置の表示面に透明に設置された座標入力装置１１がＰＣ（パソコン）２のディスプレイとして接続されてなるものであり、ＰＣ２の電子文書として作成された講演（講演）資料を座標入力装置（マウス）、マイクによる講演（講義）をＰＣ２の記録装置へ記録、講演（講義）における画面表示、講演（講義）音声を再生できるようにするものである。

また、図１（ｂ）に示す会議再生などに好適なシステム構成は、タブレットＰＣ３にプロジェクタ４が接続されてなるものであり、スクリーンへタブレットＰＣ３の電子文書として作成された会議資料を表示し、タブレットＰＣ３の操作、指定された時間帯における音声をタブレットＰＣ３の記録装置へ記録し、会議における画面表示、議論音声を再生できるようにするものである。

また、図１（ｃ）に示すＰＣ操作再生などに好適なシステム構成は、キーボードやマウスといった操作入力装置を備えたＰＣ５からなるものであり、ＰＣ５における操作方法を記録、説明資料として再生できるようにするものである。あるいは、複数のＰＣ５で同一の操作（プログラムインストール等）が必要となる場合に、その操作を記録、再生できるようにするものである。

次に、図２を参照して、大型（５０インチ、６０インチ等）のＰＤＰ、液晶リアプロジェクタといった大型表示装置を用いた表示一体型座標入力装置１について説明する。
座標入力装置１１は、表示装置画面を隠さないように設置され、画面上に触れた座標指示物の位置を表示装置の画素（ピクセル）数（Ｘ軸方向１０２４、Ｙ軸方向７６８等）に対応した（Ｘ，Ｙ）座標を周期的（５ｍｓ、１０ｍｓ等）に検出し、ホスト装置へＰＣ Ｉ／Ｆ（ＲＳ２３２Ｃ、ＵＳＢ等の通信手段）を介して送出する。
表示装置１２は、ホスト装置（ＰＣ２など）が出力するＲＧＢ画像データを液晶画面、ＰＤＰ画面へ表示する。

次に、図３を参照して、上述した座標入力装置１１における座標検知方式の１例である光遮断方式について説明する。
座標指示物検知器１１１は半導体レーザーにより照射光を発光、光再帰性反射部材１１２により反射される光を検知、アナログデータ化し、座標検知制御装置１１３へ送出する。画面上に指、ペン等の座標指示物がない場合、照射光Ｌ１は光再帰性反射部材１１２により１８０°逆方向に反射され受光される。座標指示物が存在する場合、照射光Ｌ２は遮られて光再帰性反射部材に反射されず、座標指示物検知器は受光しない。

この受光のない方向（光遮断角）を、座標指示物検知器は、左光遮断角度（θＬ）、光遮断角度（θＲ）として検出する。この検出としては、Ｈ、Ｗ、θＬ、θＲから以下の式により座標指示物のＸ座標、Ｙ座標を算出する。
Ｘ＝Ｗ＊ｔａｎθＲ／（ｔａｎθＬ＋ｔａｎθＲ）
Ｙ＝Ｈ−Ｗ＊ｔａｎθＬ＊ｔａｎθＲ／（ｔａｎθＬ＋ｔａｎθＲ）
こうして検知された座標は、ＰＣに標準装備されているＲＳ２３２Ｃ、ＵＳＢ等の通信手段により通知される。

次に、図４を参照して、本実施形態で用いられるタブレットＰＣ３について説明する。
タブレットＰＣ３は、キーボードとマウス操作を前提とする既存のＰＣに代わり、ペンでマウスの代わりに操作、キーボードに代わりテキスト入力を手書き文字描画、あるいは文字認識により行えるようタッチパネルが標準装備となっている。また、マイクロソフト株式会社からタブレットＰＣ用ＯＳである「Ｗｉｎｄｏｗｓ（Ｒ） ＰＣ Ｔａｂｌｅｔ ＰＣ Ｅｄｉｔｉｏｎ」がリリースされ、手書き文字認識エンジン、音声認識エンジンなどが提供されている。

図４（ａ）に示すように、タブレットＰＣ３は一般的なノートＰＣと同様、液晶ディスプレイとキーボード、マウスで構成され同様の操作が可能となる。
図４（ｂ）は、ディスプレイを１８０度回転させ折り畳んだ状態を示す。電子ペンとタブレットＰＣに内蔵されたセンサーにより、ディスプレイ上の電子ペンの位置（座標）を検知し、マウスのクリックやドラッグ操作などをエミュレートする。水平のディスプレイと電子ペンによりマウス操作では困難な手書き文字が紙に文字を書く感覚で描画可能となる。

図４（ｃ）は、電子ペン描画面の構成を示す。
電子ペンが直接接触する面には強化ガラスが配設され、液晶ディスプレイユニットが傷つくのを防止する。液晶ディスプレイユニットの下に電子ペンの位置を検知する電磁誘導センサーユニットが設置され、ディスプレイの画像品質が損なわれない構造となっている。
なお、ディスプレイを回転折り畳む形式について示したが、本実施形態に用いられるタブレットＰＣはこの構成に限定されず、他の折り畳み形式や折り畳まない形式のものであってもよい。

次に、図５に示す電磁誘導方式による座標検知方式を説明する。
図５（ａ）に示すように、共振回路３１が電子ペンに内蔵され、電磁誘導センサーユニットのセンサーコイルに流れる電流による磁界により、コイル３２に誘導起電圧が生じ、コンデンサー３３とからなる共振回路が励振され共振電流が流れる。

センサーコイル３４は、座標検知精度に比例した密度に設置される。図はＸ軸方向を検知するためのセンサーコイルの１部を示す。図示はないがこれと直角の方向にＹ軸方向を検知するためのセンサーコイルが設置される。

座標検知制御装置は、送受切替スイッチ３６を制御し、その送受切替スイッチ３６をＡＣに接続、交流電源３５からセンサーコイル３４に電流を流し、Ｘ軸コイル切替スイッチ３７を制御、高速にスイッチを切替え順次センサーコイル３４へ電流を流す。このことにより、センサーコイル３４上に順次磁界が発生する。この磁界により電子ペンが共振することになる。

次に、送受切替スイッチ３６をＢＣに接続、Ｘ軸コイル切替スイッチ３７を順次高速に切り替える。この時、電子ペンの共振電流により発する磁界によりセンサーコイルに誘導起電圧が発生する。

センサーコイル３４に発生する誘導起電圧は増幅されて測定（Ｖ）される。
図５（ｂ）の誘導起電圧分布図に、この時検知される誘導起電圧分布を示す。電子ペンがセンサーコイル３４の「２」上にある場合、センサーコイル「２」から受信される誘導起電圧が最も高くなる。
このことから誘導起電圧分布の最も高い点を検出することにより、Ｘ座標が確定する。図示していないが同様にしてＹ座標を確定する。
検知した電子ペンの座標は、ＰＣ Ｉ／Ｆ（ＲＳ２３２Ｃ、ＵＳＢなど汎用Ｉ／Ｆ、または専用Ｉ／Ｆ）３８によりＰＣ本体へ通知される。
座標検知制御装置はディスプレイ装置に内蔵されている。

次に、図６、図７に示すＰＣ操作記録再生方式について説明する。
「ＰＣ操作記録」プログラムは、ＯＳが提供するデスクトップアイコンのダブルクリック等の手段により起動されてＰＣ操作を記録する。

（１） ＰＣ操作記録は、座標入力装置、マウスにより入力される全マウスデータをＯＳが提供するＩ／Ｆを介して受け取り（Ｗｉｎｄｏｗｓ（Ｒ）におけるマウスＨｏｏｋ機能）、ＡＰＬ（アプリケーション）へ渡すと共に「マウスデータ記録」として保存する。
（２） ＰＣ操作記録は、キーボードにより入力されるキーボードデータをＯＳが提供するＩ／Ｆを介して受け取り（Ｗｉｎｄｏｗｓ（Ｒ）におけるキーボードＨｏｏｋ機能）、ＡＰＬへ渡すと共に「キーボードデータ記録」として保存する。
（３） 音声入力は「音声データ記録」として保存する。

（４） ＯＳが提供するＩ／Ｆにより、ウィンドウ情報（左上原点座標、幅、高さ、重なり順（Ｚオーダー）、ウィンドウキャプション、クラス、スタイルなど）を取得し、「ウィンドウ情報記録」として保存する。
デスクトップアイコンのダブルクリック、タスクバーボタンクリック、スタートメニュークリックによる起動プログラムのファイルパスを取得、「プログラム起動記録」として保存する。
画面色数（Ｔｒｕｅ Ｃｏｌｏｒ等）、画面領域（１０２４，７６８等）を取得し、「画面情報記録」として保存する。
「ファイルを開く」ダイアログボックスにより外部から入力されたファイルパスを取得し、「ファイル入力記録」として保存する。

（５） ＰＣ操作再生時、座標入力装置（マウス）入力はＰＣ操作再生ツールバー操作のみ有効とする。
（６） ＰＣ操作再生時、キーボード入力を無効にする。
（７） ＰＣ操作再生時、ＯＳが提供するＩ／Ｆ（ＡＰＩ）を介して「画面情報記録」により画面色数、画面領域を設定する。
「プログラム起動記録」によりＡＰＬプログラムを検索起動する。ＡＰＬファイル付きである場合、ＡＰＬファイルをディスクの作業領域へ格納、このファイルパスによりプログラムを起動する。
「マウスデータ記録」によりマウスボタン情報、マウス座標を再生ＡＰＬへ渡す。
「キーボードデータ記録」によりキーボードデータを再生ＡＰＬへ渡す。
「音声データ記録」により音声データをスピーカーへ出力する。
「ウィンドウ情報記録」によりウィンドウの移動、表示、消去の確認を行なう。
「ファイル入力記録」によりＡＰＬファイルを作成、このファイルパスをＡＰＬの「ファイルを開く」ダイアログボックスへ出力することによりＡＰＬファイルを開く。
なお、上記したＰＣ操作記録とＰＣ操作再生とは、同一の制御部によって実現される機能部であってよい。

次に、図８に示すプログラム起動監視について説明する。
（１） ＡＰＬプログラムが表示するウィンドウ外でのタッチ（クリック）は、ダブルクリック許容時間（ＯＳが提供するＩ／Ｆにより取得）内に次のクリックがない場合クリック操作として「マウスデータ記録」として保存する。
ダブルクリック許容時間内に次のクリックがある場合ダブルクリックとしマウスデータを再生、ＯＳが提供するＩ／Ｆによりダブルクリックされたアイコンのファイルパス情報を取得し、「プログラム起動記録」として保存する。

（２） タッチ座標がタスクバー上である場合、マウスデータを記録せずデタッチ（クリックＯＦＦ）により、ＯＳが提供するＩ／Ｆを介して起動されたプログラムのファイルパス情報を取得、「プログラム起動記録」として保存する。

（３） 「スタートボタン」がタッチされた場合、マウスデータを記録せず表示されたメニューが全て閉じた時点でＯＳが提供するＩ／Ｆを介して起動されたプログラムのファイルパス情報を取得、「プログラム起動記録」として保存する。

（４） ＰＣ操作記録起動時、既にＡＰＬが起動されている場合、ウィンドウキャプション（一般的にプログラム名、入力ファイル名が設定される）からプログラムのファイルパス、開いているファイルのファイルパス情報を取得、「プログラム起動記録」として保存する。

次に、図９に示すウィンドウ表示監視について説明する。
（１） ＯＳが提供するＩ／Ｆによりウィンドウ情報「ウィンドウキャプション」（一般的にプログラム名、入力ファイル名が設定される）、ウィンドウ種別を定義する「ウィンドウクラス」、「ウィンドウスタイル」、他ウィンドウとの重なり順「Ｚオーダー」、ウィンドウ左上原点座標（Ｘ，Ｙ）、ウィンドウ幅（Ｗ）、ウィンドウ高さ（Ｈ）を取得する。

（２） マウスデータ入力時、表示中の全ウィンドウ情報を取得、ダイアログボックスウィンドウが新たに表示された時「ウィンドウ情報（表示）記録」、表示されていたダイアログボックスウィンドウが閉じた時「ウィンドウ情報（消去）記録」を保存する。

（３） マウスデータ入力時、表示中の全ウィンドウ情報を取得、メニューウィンドウが新たに表示された時「ウィンドウ情報（表示）記録」、表示されていたメニューウィンドウが閉じた時「ウィンドウ情報（消去）記録」を保存する。

次に、図１０に示すファイルオープン監視について説明する。
（１） ウィンドウ表示監視により「ファイルオープンダイアログボックス」が表示された場合、ダイアログボックスが閉じるまでのマウス操作、キーボードデータ操作データは記録しない。

（２） ファイルオープンダイアログボックスにより入力されたファイルパスをＯＳが提供するＩ／Ｆを介して取得可能である場合、ダイアログが閉じた時ファイルパスを取得する。
取得できない場合、ＡＰＬが表示した「ファイルを開く」ダイアログボックスを最小化し、ＰＣ操作記録プログラムが「ファイルを開く」ダイアログボックスを表示、ファイルパスを取得し、「ファイル入力記録」として保存する。

（３） ＡＰＬの「ファイルを開く」ダイアログボックスを再表示、以下の手順によりＡＰＬファイルを開く。
（３−１） 取得したファイルパスをＯＳが提供するＡＰＬ間共通通信領域（Ｗｉｎｄｏｗｓ（Ｒ）のクリップボード）へコピーする。
（３−２） ファイル名入力ウィンドウをアクティブにする。
（３−３） 「Ｃｏｎｔｒｏｌ＋Ｖ」、「Ｅｎｔｅｒ」キーコードをＯＳが提供するＩ／Ｆを介して出力する。

次に、図１１に示すファイルオープンダイアログボックス登録方法について説明する。
（１） ＡＰＬプログラムが起動された時、ＡＰＬウィンドウ情報からファイルオープンダイアログ登録の有無を判定、登録されていない場合、登録メッセージを表示する。一般的に流通しているＡＰＬについては予め登録されているものとする。

（２） ＡＰＬプログラムの「ファイルを開く」ダイアログボックスを表示、ファイル名入力領域がタッチ（クリックによる入力）されると、その操作を登録する。
ここでは、ＡＰＬウィンドウのウィンドウキャプション、スタイル、クラス、「ファイルを開く」ダイアログボックスのウィンドウキャプション、スタイル、クラス、ファイル名入力領域のウィンドウキャプション、スタイル、クラスを保存する。

次に、図１２を参照して、会議、講演資料などへの上書き処理について説明する。
（１） 会議、講演資料を表示するＡＰＬプログラムとは別に上書きＡＰＬプログラムが起動された場合「プログラム起動記録」として保存する。
（２） 上書きＡＰＬは全画面サイズとなる透明ウィンドウを会議資料画面上に表示、手書きで図形、文字を説明する箇所の明示、補足説明のため手書き文字描画する。この描画操作（マウスドラッグ）が「マウスデータ記録」として保存される。
（３） ＰＣ操作再生時、「プログラム起動記録」により上書きプログラムが起動され、「マウスデータ記録」により手書き文字が描画されることになる。

次に、図１３に示すＰＣ操作記録方法について説明する。
（１） ＰＣ操作記録プログラムはＯＳが提供する起動手段により起動され「ＰＣ操作記録ツールバー」を表示、「開始」ボタンによりＰＣ操作記録を開始する。
（２） 「終了」ボタンにより保存ダイアログを表示する。
（３） ＰＣ操作記録名称、概要を入力、ＰＣ操作記録ファイル「タイトル記録」へ保存する。

次に、図１４に示すＰＣ操作記録の中断方法について説明する。
（１） 「中断ボタン」により記録中のＡＰＬウィンドウを最小化、マウス、キーボード監視（Ｈｏｏｋ）を終了、ＰＣを通常操作へ戻す。
（２） 中断中は「再開」ボタンを表示、このボタンにより再開させる。
（３） 「再開」ボタンにより最小化したウィンドウを再表示、「ＰＣ操作再生ツールバー」を表示、再生、記録を再開する。

（４） スライダーにより再生開始時間を選択する。
（５） 再生開始時間を微調整する。
（６） スライダーにより記録データ間の再生間隔を「早く」、「遅く」へ調整する。

次に、図１５に示すＰＣ操作再生方法を説明する。
（１） ＰＣ操作再生プログラムはＯＳが提供する起動手段により起動され「ＰＣ操作記録ファイル」ダイアログボックスを表示、再生するＰＣ操作記録ファイルを入力する。
（２） ＰＣ操作記録ファイルの「タイトル記録」に保存されている名称、日時、概要を「ＰＣ操作記録再生」ダイアログボックスへ表示、「開始」ボタンにより再生を開始する。
（３） 「ＰＣ操作再生ツールバー」を表示する。この機能については、図１４についての上述した説明と同様である。

次に、図１６に示すＰＣ操作記録制御を説明する。
（１） ＰＣ操作記録プログラム構成を示す。マウスデータ入出力制御、キーボードデータ入出力制御、音声データ入出力制御は独立して動作する。

（２） ＰＣ操作記録制御が入出力するファイルを示す。

（３） マウスデータ入出力制御、キーボードデータ入出力制御、音声データ入出力制御、ＰＣ操作中断制御により共有される制御データを示す。

（４） ＯＳが提供するＡＰＩの中で、本実施形態に関連する機能を示す。

次に、図１７に示すＰＣ操作再生制御を説明する。
（１） ＰＣ操作再生制御プログラムの構成を示す。

（２） ＰＣ操作再生制御が入出力するファイルを示す。

（３） ＰＣ操作再生開始制御、ＰＣ操作再生制御により共有される共通領域上の制御データを示す。

（４） ＯＳが提供するＡＰＩの中で、本実施形態に関連する機能を示す。

次に、図１８に示すＰＣ操作記録開始制御フローについて説明する。
まず、ＰＣ操作記録プログラムはデスクトップアイコンのダブルクリックなどＯＳが提供する手段により起動されＰＣ記録開始ツールバーを表示する（ステップＳ１０１）。ボタンタッチ前のボタン情報を保存する（ステップＳ１０２）。ＰＣ操作記録ツールバーへのタッチ（クリック入力）があると、マウスデータが通知される（ステップＳ１０３）。

タッチ座標ボタンを選択表示する（ステップＳ１０４）。選択表示ボタン外座標である場合、選択表示を通常表示へ戻す。また、ボタン外へドラッグされた場合選択表示はしない。
デタッチ（ボタンＯＦＦ）時の座標がツールバー外である場合、ボタン表示を戻す（ステップＳ１０５）。

ＰＣ記録開始ツールバーにおける開始ボタンがクリックされると、ＰＣ記録開始ツールバーを消去する（ステップＳ１０６）。キーボード入力データ記録を有効に初期設定する（ステップＳ１０７）。マウスデータ入出力制御を起動する（ステップＳ１０８）。キーボードデータ入出力制御を起動する（ステップＳ１０９）。
音声データ入出力制御を起動する（ステップＳ１１０）。「終了」ボタンにより終了する（ステップＳ１１１）。
「ＰＣ操作記録保存」ダイアログを表示、ＰＣ操作記録ファイルをユーザー保存する（ステップＳ１１２）。

次に、図１９に示すマウスデータ入出力制御フローについて説明する。
まず、全マウスデータを入力する（ステップＳ２０１）。起動中ＡＰＬプログラム情報を取得する（ステップＳ２０２）。ＰＣ操作記録ツールバーを表示する（ステップＳ２０３）。
「終了」ボタンによるＰＣ操作記録終了通知により終了する（ステップＳ２０４）。

「終了」ボタンがクリックされない場合、マウス座標のウィンドウ情報を取得する（ステップＳ２０５）。クリックがＰＣ操作記録ツールバー座標である場合、「ＰＣ操作記録ツールバー制御」を実行する（ステップＳ２０６）。
デスクトップウィンドウ座標（ＡＰＬが表示するウィンドウ外）である場合、「デスクトップ制御」を実行する（ステップＳ２０７）。
タスクバーウィンドウ座標である場合、「タスクバー制御」を実行する（ステップＳ２０８）。
ＡＰＬへのマウス操作である場合、「ＡＰＬマウス操作制御」を実行する（ステップＳ２０９）。
終了時には、マウス監視を終了、ＰＣを通常操作状態へ戻す（ステップＳ２１０）。

次に、図２０に示すＡＰＬ起動監視制御フローについて説明する。
まず、「タイトル記録」データを作成保存する（ステップＳ３０１）。名称、概要については最大入力領域を確保、終了時入力設定する。
画面情報（色数、領域）を取得、「画面情報記録」データを作成保存する（ステップＳ３０２）。

表示中の全てのウィンドウ情報（左上原点座標、幅、高さ、キャプション、クラス、タイトル、Ｚオーダー）を取得し、ウィンドウ情報テーブルを設定する（ステップＳ３０３）。
ＡＰＬプログラムが起動されてウィンドウを表示しているか否かを判定する（ステップＳ３０４）。
表示ＡＰＬのウィンドウキャプション（一般的にＡＰＬプログラム名、入力ファイル名が設定される）から開いているファイルを検索する（ステップＳ３０５）。

ファイルを開いている場合、ファイルを添付し、「プログラム起動（ファイル付き）記録」データを作成保存する（ステップＳ３０６）。
ファイルを開いていない場合、「プログラム起動（ファイル無し）記録」データを作成保存する（ステップＳ３０７）。

起動ＡＰＬプログラムが表示するウィンドウ情報により、「ウィンドウ情報（移動）記録」データを作成保存する（ステップＳ３０８）。
起動ＡＰＬプログラムの「ファイルを開く」ダイアログボックスの登録確認、登録制御を実行する（ステップＳ３０９）。

次に、図２１に示すＰＣ操作記録ツールバー制御フローについて説明する。タッチ時のマウスデータが入力値として渡される。
まず、現在のボタン表示情報を保存する（ステップＳ４０１）。タッチ座標ボタンを選択表示する（ステップＳ４０２）。ここでタッチ時の座標が選択表示ボタン外座標である場合、選択表示を通常表示へ戻す。また、ボタン外へドラッグされた場合、選択表示はしない。

ボタンＯＦＦ時の座標がＰＣ操作記録ツールバー上で無い場合、ステップＳ４０１の保存の表示状態へ戻す（ステップＳ４０３）。
「終了」ボタンによりＰＣ操作記録終了を通知、全ての制御プログラムを終了させる（ステップＳ４０４）。
「中断」ボタンによりＰＣ操作記録中断制御を実行する（ステップＳ４０５）。

次に、図２２に示すデスクトップ制御フローについて説明する。タッチ時のマウスデータが入力値として渡される。
まず、タッチ座標マウスデータを保存する（ステップＳ５０１）。マウスデータを再生する（ステップＳ５０２）。１回目のクリック操作（タッチ、デタッチ）の後、次のタッチがダブルクリック許容時間（ＯＳが提供するＩ／Ｆにより取得）以上無い場合、タッチからデタッチまでのマウスデータにより「マウスデータ記録」データを作成保存する（ステップＳ５０３）。

ダブルクリック許容時間内にタッチがある場合、１回目のデタッチ（ボタンＯＦＦ）によりダブルクリック監視タイマをスタートする（ステップＳ５０４）。ダブルクリック実行時、表示中の全ウィンドウ情報を取得する（ステップＳ５０５）。
ダブルクリックにより新たなウィンドウが表示された場合ウィンドウテーブルに設定する（ステップＳ５０６）。ダブルクリックが実行されたアイコンのファイルパスをＯＳが提供するＩ／Ｆにより取得する（ステップＳ５０７）。

実行ファイル（ｘｘｘｘｘ／ｘｘｘｘｘｘ／ｘｘｘｘｘｘ．ｅｘｅ）以外である場合、取得したパスのファイルを添付、ファイル拡張子に関連付けられているプログラムを取得し、「プログラム起動（ファイル付）記録」データを作成保存する（ステップＳ５０８）。
実行ファイル（ｘｘｘｘｘ／ｘｘｘｘｘｘ／ｘｘｘｘｘｘ．ｅｘｅ）以外である場合、「プログラム起動（ファイル無）記録」データを作成保存する（ステップＳ５０９）。

起動プログラムが表示するウィンドウ情報を取得し、「ウィンドウ情報（移動）記録」を作成保存する（ステップＳ５１０）。
起動プログラムの「ファイルを開く」ダイアログの登録確認、または登録を行なう（ステップＳ５１１）。

次に、図２３に示すタスクバー制御フローについて説明する。タッチ時のマウスデータが入力値として渡される。
まず、タッチ座標マウスデータを再生する（ステップＳ６０１）。タッチ座標がスタートボタンか否かを判定する（ステップＳ６０２）。

ボタンＯＦＦ時、表示中の全ウィンドウ情報を取得する（ステップＳ６０３）。「スタート」ボタン操作によりメニューが表示中である場合、消去されるまでタスクバー制御を続行する（ステップＳ６０４）。
タスクバー操作により新ＡＰＬウィンドウが表示された場合、ウィンドウテーブルに設定する（ステップＳ６０５）。タスクバー操作により起動されたファイルパスをＯＳが提供するＩ／Ｆにより取得する（ステップＳ６０６）。

実行ファイル（ｘｘｘｘｘ／ｘｘｘｘｘｘ／ｘｘｘｘｘｘ．ｅｘｅ）以外である場合、取得したパスのファイルを添付、ファイル拡張子に関連付けられているプログラムを取得「プログラム起動（ファイル付）記録」データを作成保存する（ステップＳ６０７）。
実行ファイル（ｘｘｘｘｘ／ｘｘｘｘｘｘ／ｘｘｘｘｘｘ．ｅｘｅ）以外である場合、「プログラム起動（ファイル無）記録」を作成保存する（ステップＳ６０８）。

起動プログラムが表示するウィンドウ情報を取得し、「ウィンドウ情報（移動）記録」データを作成保存する（ステップＳ６０９）。
起動プログラムの「ファイルを開く」ダイアログの登録確認、または登録を行なう（ステップＳ６１０）。

次に、図２４に示すＡＰＬマウス操作制御フローについて説明する。タッチ時のマウスデータが入力値として渡される。
まず、ウィンドウ監視制御を実行する（ステップＳ７０１）。「ファイルを開く」ダイアログボックス処理のマウスデータは記録しない（ステップＳ７０２）。タッチ座標マウスデータを保存する（ステップＳ７０３）。ＡＰＬへマウスデータを渡す（ステップＳ７０４）。

特定サイズ（Ｎ）単位に区切り、「マウスデータ記録」データを作成保存する（ステップＳ７０５）。マウスボタンＯＮ（タッチ）からマウスボタンＯＦＦ（デタッチ）までを１単位に制御する（ステップＳ７０６）。

次に、図２５に示すファイルオープンダイアログ登録制御フローについて説明する。「ＡＰＬウィンドウ情報」が入力値として渡される。
まず、ＡＰＬウィンドウが「ファイルオープンダイアログ登録ファイル」に既に登録されているかどうかを検索する（ステップＳ８０１）。「ファイルを開く」ダイアログボックス登録メッセージを表示する（ステップＳ８０２）。「ファイルを開く」ダイアログボックス登録ツールバーを表示する（ステップＳ８０３）。

タッチ座標ボタンを選択表示する（ステップＳ８０４）。タッチされた座標が選択表示ボタン外座標である場合、選択表示を通常表示へ戻す。
マウスデータをＡＰＬプログラムへ渡す（ステップＳ８０５）。選択表示中のボタンを通常表示へ戻す。「キャンセル」ボタンにより本制御により登録したファイルオープンダイアログ情報を削除する（ステップＳ８０６）。

「登録」ボタンにより、一時保存されているウィンドウ情報をファイルオープンダイアログ情報として登録する（ステップＳ８０７）。
終了ボタンがクリックされると、タッチ座標のウィンドウ情報、タッチ座標ウィンドウの親ウィンドウ（ファイルを開くダイアログボックス）情報を取得、一時保存する（ステップＳ８０８）。
ウィンドウスタイル、クラスから標準の「ファイルを開く」ダイアログか判定する（ステップＳ８０９）。

次に、図２６に示すウィンドウ監視制御フローについて説明する。
まず、表示中の全ウィンドウ情報を取得する（ステップＳ９０１）。ウィンドウ情報テーブルに存在しないウィンドウが表示されている場合、新ウィンドウ表示と判定する（ステップＳ９０２）。
新表示されたウィンドウがファイルオープンダイアログ登録ファイルに登録されているウィンドウである場合、ファイルパス入力制御を実行する（ステップＳ９０３）。

ファイルオープンダイアログ以外のウィンドウ表示である場合「ウィンドウ情報（表示）記録」データを作成保存する（ステップＳ９０４）。
ウィンドウが消去された場合「ウィンドウ情報（消去）記録」データを作成保存する（ステップＳ９０５）。
取得したウィンドウ情報をウィンドウ情報テーブルに設定する（ステップＳ９０６）。

次に、図２７に示すファイルパス取得制御フローについて説明する。ファイルオープンダイアログ情報が入力値として渡される。
まず、キー入力ステータスを「無効」に設定、キーボード入力データの記録を中止する（ステップＳ１００１）。標準ダイアログでない場合、ＡＰＬプログラムが表示した「ファイルを開く」ダイアログボックスを最小化する（ステップＳ１００２）。
「ファイルを開く」ダイアログボックスを表示する（ステップＳ１００３）。
「ファイルを開く」ダイアログボックスが閉じるまでマウスデータ入力、マウスデータ再生を継続する（ステップＳ１００４）。

ＯＳが提供するＩ／Ｆにより標準ダイアログボックスにより入力されたファイルパス情報を取得する（ステップＳ１００５）。取得したファイルパスからファイル入力、「ファイル入力記録」データを作成保存する（ステップＳ１００６）。

標準ダイアログでない場合、最小化した「ファイルを開く」ダイアログボックスを再表示する（ステップＳ１００７）。
ファイル名入力ウィンドウ情報（左上原点座標、幅、高さ）を取得、ウィンドウ内マウスデータ（ボタンＯＮ）、マウスデータ（ボタンＯＦＦ）を作成再生、ファイル名入力ウィンドウをアクティブにする（ステップＳ１００８）。取得したファイルパスをＡＰＬ間共通参照領域（クリップボード）へコピーする（ステップＳ１００９）。ＯＳが提供するキーボードＩ／Ｆを介して（Ｃｏｎｔｒｏｌ＋Ｖ、Ｅｎｔｅｒ）を出力する（ステップＳ１０１０）。
キー入力ステータスを「有効」に設定、キーボード入力データの記録を再開する（ステップＳ１０１１）。

次に、図２８に示すキーボード入出力制御フローについて説明する。
まず、全キーボードデータを入力する（ステップＳ１１０１）。「終了」ボタンによるＰＣ操作記録終了通知により終了する（ステップＳ１１０２）。

キー入力ステータスが「有効」でない場合、キーボードデータを記録せずＡＰＬ通知のみとする（ステップＳ１１０３）。
キー入力ステータスが「有効」である場合、キーボードデータをＡＰＬへ渡す（ステップＳ１１０４）。

キーボード入力データを特定長（Ｋ）に区切り、「キーボードデータ記録」データを作成保存する（ステップＳ１１０５）。
特定時間キーボード入力が無い場合、キーボードデータ記録を１区切りする（ステップＳ１１０６）。
終了通知時には、キーボードデータ監視を終了キーボード入力を通常モードへ戻す（ステップＳ１１０７）。

次に、図２９に示す音声データ入出力制御フローについて説明する。
まず、「終了」ボタンによるＰＣ操作記録終了通知により終了する（ステップＳ１２０１）。

マイクより入力された音声データをスピーカへ出力する（ステップＳ１２０２）。音声データが特定時間入力されず再開した時、音声データパケットの音声データ制御コードを「開始」に設定する（ステップＳ１２０３）。音声データが入力中である時、音声データ制御コードを「継続」に設定する（ステップＳ１２０４）。
音声データは特定長（Ｓ）に区切り「音声データ記録」データを作成保存する（ステップＳ１２０５）。

特定時間音声データ入力が無い場合、入力終了とする（ステップＳ１２０６）。
音声データの入力が無い場合、音声データサイズ「０」の「音声データ記録」データを作成保存する（ステップＳ１２０７）。
音声データ入力終了時、音声データ制御コードを「終了」に設定する（ステップＳ１２０８）。

次に、図３０に示すＰＣ操作記録保存制御フローについて説明する。ＰＣ操作記録開始制御、マウスデータ入出力制御、キーボードデータ入出力制御、音声データ入出力制御により作成された記録データが入力値として渡される。

まず、「タイトル記録」データによりＰＣ操作記録ファイルを作成し、タイトル記録データ、次記録データポインタ「０」、操作時間「０」に設定、ＰＣ操作記録データを作成、ＰＣ操作記録ファイルへ保存する（ステップＳ１３０１）。
「ＰＣ操作記録データポインタ」を「４」に設定する（ステップＳ１３０２）。１秒単位にカウントアップするＰＣ操作記録タイマーをスタートする（ステップＳ１３０３）。

「タイトル記録」データがない場合、記録データ、次記録データポインタ「０」、操作時間「ＰＣ操作記録タイマー値」に設定し、ＰＣ操作記録データを作成する（ステップＳ１３０４）。ＰＣ操作記録データポインタが示すＰＣ操作記録ファイル「次記録データポインタ」に、〔ＰＣ操作記録データポインタ＋記録サイズ＋８〕を設定し、ステップＳ１３０４で作成したＰＣ操作記録データを次記録データポインタへ保存する（ステップＳ１３０５）。
「ＰＣ操作記録データポインタ」に次記録データポインタを設定する（ステップＳ１３０６）。

次に、図３１に示すＰＣ操作記録中断制御フローについて説明する。
まず、ＡＰＬプログラムウィンドウを最小化する（ステップＳ１４０１）。ＰＣ会議へ復帰する「再開」ボタンを表示する（ステップＳ１４０２）。マウスデータ監視（Ｈｏｏｋ）を終了し、通常操作へ戻す（ステップＳ１４０３）。
キーボードデータ監視（Ｈｏｏｋ）を終了し、通常操作へ戻す（ステップＳ１４０４）。音声データ入力を終了する（ステップＳ１４０５）。

「再生」ボタンへのマウス操作のみ通知され、他は実行中のＡＰＬへ通知される（ステップＳ１４０６）。マウスデータを監視する（ステップＳ１４０７）。キーボードデータを監視する（ステップＳ１４０８）。
最小化したＡＰＬプログラムウィンドウを再表示する（ステップＳ１４０９）。「ＰＣ操作再生制御」を起動する（ステップＳ１４１０）。
ＰＣ操作再生データポインタを「０」に設定する（ステップＳ１４１１）。ＰＣ操作再生ツールバー制御を実行する（ステップＳ１４１２）。
中断時の状態まで再生されていない場合、中断時の状態まで再生する（ステップＳ１４１３）。

再生が完了すると、ＰＣ操作再生制御へ終了通知し、ＰＣ操作再生制御を終了する（ステップＳ１４１４）。
再生時に作成したＡＰＬファイルを削除する（ステップＳ１４１５）。

次に、図３２、図３３に示すＰＣ操作再生ツールバー制御フローについて説明する。
まず、ＰＣ会議再生ツールバーを表示する（ステップＳ１５０１）。再生モードを停止に初期設定する（ステップＳ１５０２）。ＰＣ操作再生制御からの再生完了通知によりボタン（通常再生は通常再生ボタン）を通常表示へ戻す（ステップＳ１５０３）。

マウス入力がなされると、タッチ座標ボタンを選択表示する（ステップＳ１５０４）。選択表示ボタン外座標である場合、選択表示を通常表示へ戻す。また、ボタン外へドラッグされた場合、選択表示はしない。
デタッチ座標（ボタンＯＦＦ）がツールバー外である場合、保存ボタン表示へ戻す（ステップＳ１５０５）。
通常再生あるいは早送り再生中である場合、ＰＣ操作再生制御へ再生制御の停止を通知する（ステップＳ１５０６）。
「通常再生」ボタンによりＰＣ操作再生制御へ通常再生の開始を通知する（ステップＳ１５０７）。

「早送り」ボタンにより、ＰＣ操作再生制御へ早送り再生の開始を通知する（ステップＳ１５０８）。
「停止ボタン」により再生を停止（ステップＳ１５０６で停止済み）停止ボタンを選択表示から通常表示へ戻す（ステップＳ１５０９）。

「コマ送りボタン」によりＰＣ操作コマ送り再生制御を実行する（ステップＳ１５１０）。コマ送り再生の終了によりコマ送りボタンを通常表示へ戻す（ステップＳ１５１１）。
「頭出しボタン」によりＰＣ操作再生頭出し制御を実行する（ステップＳ１５１２）。
「早送り間隔」ボタンにより早送り間隔設定ダイアログボックスを表示、「早送り間隔」を取得保存する（ステップＳ１５１３）。
「終了ボタン」によりＰＣ操作再生ツールバーを消去、ツールバー制御を終了する（ステップＳ１５１４）。

次に、図３４に示すＰＣ操作再生制御フローについて説明する。ＰＣ操作再生制御は「ＰＣ操作記録中断制御」、または「ＰＣ操作再生開始制御」により起動される。
まず、ＰＣ操作記録中断制御、またはＰＣ操作再生開始制御からの「終了通知」により終了する（ステップＳ１６０１）。ＰＣ操作記録中断制御、またはＰＣ操作再生開始制御からの「再生通知」により再生を開始する（ステップＳ１６０２）。

「ＰＣ操作再生データポインタ」が「０」である場合、ＰＣ操作記録データが終了したことを示す（ステップＳ１６０３）。
ＰＣ操作記録データの最終データの再生によりＰＣ操作記録中断制御、またはＰＣ操作再生開始制御へ「完了通知」する（ステップＳ１６０４）。
ＰＣ操作記録ファイルからＰＣ操作再生データポインタが示す「ＰＣ操作記録データ」を入力する（ステップＳ１６０５）。
ＰＣ操作記録データの「操作時間」を再生タイマに設定する（ステップＳ１６０６）。再生タイマはこの値から秒単位にカウントアップすることになる。

「早送り再生」の場合音声記録データは再生しない（ステップＳ１６０７）。
ＰＣ操作記録データが再生時間に達するのを監視する（ステップＳ１６０８）。通常再生は実際の操作間隔で再生、早送り再生は「早送り間隔」ごとに再生する。
ＰＣ操作記録データを再生する（ステップＳ１６０９）。
ＰＣ操作記録データ「次記録データポインタ」を「ＰＣ操作再生データポインタ」へ設定する（ステップＳ１６１０）。
早送り再生の場合、再生タイマを「操作時間−早送り間隔」に設定することにより早送り間隔後に実行する（ステップＳ１６１１）。

次に、図３５に示すＰＣ操作コマ送り再生制御フローについて説明する。
まず、「ＰＣ操作再生データポインタ」が「０」である場合ＰＣ操作記録データが終了したことを示す（ステップＳ１７０１）。ＰＣ操作記録ファイルからＰＣ操作再生データポインタが示す「ＰＣ操作記録データ」を入力する（ステップＳ１７０２）。
ＰＣ操作記録データを再生する（ステップＳ１７０３）。
ＰＣ操作記録データ「次記録データポインタ」を「ＰＣ操作再生データポインタ」へ設定する（ステップＳ１７０４）。

音声記録データは音声入力開始から終了まで１コマ送りで再生する（ステップＳ１７０５）。
音声記録データをコマ送り再生する場合操作間隔で再生させる「コマ送り再生タイマ」に音声記録データ開始時の操作時間を設定する（ステップＳ１７０６）。
コマ送りタイマは秒単位にカウントアップされ音声記録が再生時間に達するのを監視する（ステップＳ１７０７）。
音声記録データ「終了」によりコマ送り再生を終了する（ステップＳ１７０８）。

次に、図３６に示すＰＣ操作再生頭出し制御フローについて説明する。
まず、「ＰＣ操作再生頭出しダイアログ」を表示し、再生の開始時間（操作時間）を入力する（ステップＳ１８０１）。起動中のＡＰＬプログラムを終了させる（ステップＳ１８０２）。
「ＰＣ操作再生データポインタ」にＰＣ操作記録ファイル「タイトル記録」の「次記録データポインタ」を設定する（ステップＳ１８０３）。

「ＰＣ操作再生データポインタ」が「０」である場合、最終データを示す（ステップＳ１８０４）。
ＰＣ操作記録データにおける「操作時間」が、「開始時間」に達するまで再生を続行する（ステップＳ１８０５）。音声記録データは再生しない（ステップＳ１８０６）。ＰＣ操作記録を再生する（ステップＳ１８０７）。
「ＰＣ操作再生データポインタ」へＰＣ操作記録データ「次記録データポインタ」を設定する（ステップＳ１８０８）。

次に、図３７に示すＰＣ操作記録再生制御フローについて説明する。ＰＣ操作記録データが入力値として渡される。
まず、プログラム起動パケット実行制御を実行する（ステップＳ１９０１）。

マウスデータ記録時、マウスデータを再生ＡＰＬプログラムへ渡す（ステップＳ１９０２）。
キーボードデータ記録時、キーボードデータを再生ＡＰＬプログラムへ渡す（ステップＳ１９０３）。
音声データ記録時、音声データをスピーカへ出力する（ステップＳ１９０４）。
ウィンドウ情報記録時、ウィンドウ情報記録再生制御を実行する（ステップＳ１９０５）。
ファイル入力情報記録時、ファイル入力記録再生制御を実行する（ステップＳ１９０６）。

次に、図３８に示すプログラム起動記録再生制御フローについて説明する。プログラム起動記録データが入力値として渡される。
まず、起動するＡＰＬプログラムを検索する（ステップＳ２００１）。プログラムが検索できない場合、「プログラム検索ダイアログボックス」を表示する（ステップＳ２００２）。

ＡＰＬファイル付きである場合、ＡＰＬファイルを作業領域に作成、プログラム起動記録のファイルデータを保存する（ステップＳ２００３）。
作業領域に作成したＡＰＬファイルパスによりプログラムを起動する（ステップＳ２００４）。

次に、図３９に示すウィンドウ情報記録再生制御フローについて説明する。
ウィンドウ情報記録データが入力値として渡される。
まず、表示中の全ウィンドウ情報を取得する（ステップＳ２１０１）。ウィンドウ表示である表示中ウィンドウに表示ウィンドウが存在するのを確認する（ステップＳ２１０２）。

ウィンドウ消去時、ウィンドウ消去である表示中ウィンドウに消去ウィンドウがないのを確認する（ステップＳ２１０３）。
ウィンドウ移動時、ウィンドウを左上原点座標、幅、高さに表示変更する（ステップＳ２１０４）。

次に、図４０に示すファイル入力記録再生制御フローについて説明する。ファイル入力パケットデータが入力値として渡される。
まず、ＡＰＬファイルを作業領域に作成、ファイル入力記録のファイルデータを保存する（ステップＳ２２０１）。表示中の全ウィンドウ情報を取得する（ステップＳ２２０２）。
ファイル名入力ウィンドウを検索し、ウィンドウ左上原点座標、幅、高さを取得する（ステップＳ２２０３）。

ファイル名入力ウィンドウ内マウスデータ（ボタンＯＮ）、マウスデータ（ボタンＯＦＦ）を作成再生し、ファイル名入力ウィンドウをアクティブにすることにより、コピー先ウィンドウとする（ステップＳ２２０４）。
作製したファイルパスを、ＡＰＬ共通参照領域（クリップボード）へコピーする（ステップＳ２２０５）。
ＯＳが提供するキーボードＩ／Ｆを介して「Ｃｏｎｔｒｏｌ＋Ｖ）、Ｅｎｔｅｒ」キーコードを出力する（ステップＳ２２０６）

次に、図４１に示すＰＣ操作再生開始制御フローについて説明する。ＰＣ操作再生開始制御プログラムはＯＳが提供する手段により起動される。
まず、「ＰＣ操作記録ファイルを開く」ダイアログを表示、再生するＰＣ操作記録ファイルを入力する（ステップＳ２３０１）。

ＰＣ操作記録ファイルから「タイトル記録」データを入力、ＰＣ操作記録再生ダイアログへ表示する（ステップＳ２３０２）。マウスデータを監視する（ステップＳ２３０３）。キーボードデータを監視する（ステップＳ２３０４）。
ＰＣ操作記録ファイルから「画面情報記録」を入力、画面の色数、画面領域を設定する（ステップＳ２３０５）。「ＰＣ操作再生制御」を起動する（ステップＳ２３０６）。「画面情報記録」データの「次記録データポインタ」を「ＰＣ操作再生データポインタ」へ設定する（ステップＳ２３０７）。

早送り間隔をデフォルト値（評価操作により得た最適値）に設定する（ステップＳ２３０８）。ＰＣ操作再生ツールバー制御を実行する（ステップＳ２３０９）。
「終了」ボタンにより、ＰＣ操作再生制御へ終了通知し、終了させる（ステップＳ２３１０）。
再生時に作成したＡＰＬファイルを削除する（ステップＳ２３１１）。

なお、上述した各フローについて、ＰＣ操作再生ツールバー制御（図３２、図３３）、ＰＣ操作再生制御（図３４）、ＰＣ操作コマ送り再生制御（図３５）、ＰＣ操作再生頭出し制御（図３６）、ＰＣ操作記録再生制御（図３７）、プログラム起動記録再生制御、ウィンドウ情報記録再生制御、ファイル入力再生制御（図４０）は、同様であるため記載を省略する。

このように、従来では画面表示画像データは画面の色数を２５６色に制限してもサイズはＸＧＡ（１０２４×７６８）で（１０２４×７６８×１）バイトになる。また、講演資料などを表示する汎用のプログラムはマウス操作、キーボード操作により画面表示を切り替えることになるがこの切り替わりを他のプログラム（ＰＣ操作記録プログラム等）に通知する手段を持っていないのが一般的である。このため、周期的に画面表示画像を保存することになり、記録データが膨大となっていた。

これに対し、本発明では、ＰＣを用い、資料表示による講演、会議のＰＣ操作を、プログラム起動情報、マウス座標情報、キーコード情報、ウィンドウ情報、ファイル入力情報、音声情報として記録、再生する。
このことにより、本発明によれば、画面表示画像データを保存することなく講義、講演などを再現することができ、ＰＣを用いた講演、会議を再生することができるので出席者以外への周知、簡単にＰＣ操作説明を作成できる等の効果がある。

また、従来では、ＸＧＡ（１０２４×７６８）で記録、ＳＶＧＡ（８００×６００）で再生すると表示されない部分が生じることになっていた。
これに対し、本発明では、講演、会議、ＰＣ操作開始時、画面情報（色数（Ｔｒｕｅ Ｃｏｌｏｒ等）、表示領域（１０２４×７６８等））を取得記録する。
このことにより、本発明によれば、画面設定を記録ＰＣと再生ＰＣで統一され正確に再生できるため、出席者以外への周知、簡単にＰＣ操作説明を作成できる等の効果がある。

また、従来では、ＰＣ毎にデスクトップの内容（プログラム起動アイコン）が異なるのが一般的であり、記録時のダブルクリック操作を再生ＰＣで実行すると必要なプログラムが実行されず正確に再生できなくなっていた。

これに対し、デスクトップ上でクリックの後ダブルクリック許容時間内に新たなクリックがあった時、ダブルクリック操作としてマウスデータを記録しない。
このことにより、本発明によれば、記録中にダブルクリックによるプログラム起動を可能にすることができ、デスクトップ環境が異なる再生ＰＣにおいてダブルクリックにより不要なプログラムが起動されるのを防止でき、正確に再生できるため、出席者以外への周知、簡単にＰＣ操作説明を作成できる等の効果がある。

また、本発明では、ダブルクリック時ＯＳが提供するＩ／Ｆによりダブルクリックされたアイコンのファイルパスを取得、プログラム起動情報を記録する。
このことにより、ＰＣ操作記録中にＰＣの通常操作であるデスクトップアイコンのダブルクリックによりプログラム起動ができるため、記録操作の簡易化を図れる効果がある。

また、従来では、ＰＣ毎にタスクトレイに挿入されているプログラム起動アイコンが異なるのが一般的であり、記録時のタスクバー操作を再生ＰＣで実行すると必要なプログラムが実行されず正確に再生できなくなっていた。

これに対し、本発明では、タスクバーへのタッチ（クリックＯＮ）からデタッチ（クリックＯＦＦ）までの操作によるマウスデータを記録しない。
このことにより、本発明によれば、記録中にタスクトレイアイコンクリックによるプログラム起動を可能とすることができ、タスクバー環境が異なる再生ＰＣにおいてもタスクバー操作により不要なプログラムが起動されるのを防止でき、正確に再生できるため、出席者以外への周知、簡単にＰＣ操作説明を作成できる等の効果がある。

また、本発明では、タスクバーへのタッチによりＯＳが提供するＩ／Ｆにより起動されたプログラムのファイルパスを取得、プログラム起動情報を記録する。
このことにより、ＰＣ操作記録中にＰＣの通常操作であるタスクバー操作よりプログラム起動ができるため記録操作の簡易化を図れる効果がある。

また、従来では、ＰＣ毎にスタートメニューが異なるのが一般的であり、記録時のスタートメニュー操作を再生ＰＣで実行すると必要なプログラムが実行されず正確に再生できなくなっていた。

これに対し、本発明では、スタートボタンへタッチメニューが表示された場合、ボタンへのタッチからメニューが閉じるまでの操作によるマウスデータを記録しない。
このことにより、本発明によれば、記録中にスタートメニューよるプログラム起動を可能にすることができ、スタートメニューが異なる再生ＰＣにおいてスタートメニュー操作により不要なプログラムが起動されるのを防止でき正確に再生できるため出席者以外への周知、簡単にＰＣ操作説明を作成できる等の効果がある。

また、本発明では、上記した操作により全メニューが閉じた時、ＯＳが提供するＩ／Ｆにより起動されたプログラムのファイルパスを取得、プログラム起動情報を記録する。
このことにより、ＰＣ操作記録中にＰＣの通常操作であるスタートメニュー操作によりプログラム起動ができるため記録操作の簡易化を図れる効果がある。

また、従来では、ＰＣ操作記録プログラムを講演、会議資料表示ＡＰＬプログラムより先に起動する必要がある場合、間違えると終了させ再度やり直す手間が発生していた。
これに対し、本発明では、ＰＣ操作記録開始時、既にＡＰＬプログラムが起動されている場合、ＯＳが提供するＩ／ＦによりＡＰＬウィンドウのタイトル情報からプログラム、プログラムが入力しているファイルパスを取得、プログラム起動情報を記録する。
このことにより、本発明によれば、ＰＣ操作記録プログラムの起動順の間違いを解消することができ、ＰＣ操作記録プログラム実行前に記録対象となるプログラムが起動可能となるため、順序間違いによる誤操作を防止できるため、記録操作の簡易化を図れる効果がある。

また、従来では、ＰＣ毎にパフォーマンスが異なるのが一般的であり、記録時のボタンタッチ→メニュー表示→メニュー操作など一連の操作を再生ＰＣで実行するとメニューが表示される前にメニュー操作が実行されるなどが発生、正確に再生できなくなっていた。

これに対し、本発明では、ＡＰＬプログラムが新たなウィンドウ（ダイアログボックス、プルダウンメニュー等）を表示した時、ＯＳが提供するＩ／Ｆを介してウィンドウ情報を取得「ウィンドウ情報（表示）」を記録する。また、再生時、「ウィンドウ情報（表示）」によりウィンドウの表示を確認する
このことにより、本発明によれば、ＰＣパフォーマンスなどの違いにより実行結果が異なることを防止することができ、ＰＣ環境の違い（パフォーマンス、実行中プログラム等）による動作結果の違いを防止でき正確に再生できるため、出席者以外への周知、簡単にＰＣ操作説明を作成できる等の効果がある。

また、従来では、ＰＣ毎にパフォーマンスが異なるのが一般的であり、記録時のボタンタッチ→ダイアログ消去→別操作などの一連の操作を再生ＰＣで実行するとダイアログが消去される前に操作が実行されダイアログへの操作となるなどが発生、正確に再生できなくなっていた。

これに対し、本発明では、ＡＰＬプログラムが表示中のウィンドウ（ダイアログボックス、プルダウンメニュー等）を閉じた時、「ウィンドウ情報（消去）」を記録する。また、再生時「ウィンドウ情報（消去）」によりウィンドウの消去を確認する。
このことにより、本発明によれば、ＰＣパフォーマンスなどの違いにより実行結果が異なることを防止することができ、上述した各種の効果を得ることができる。

また、従来では、ＰＣ毎にディスクのファイル構造が異なるのが一般的であり、「ファイルを開く」ダイアログボックス操作を再生ＰＣで同様に（同座標マウスクリック、キーボード入力）再現しても必要なファイルが開かれず正確に再生できなくなっていた。

これに対し、本発明では、「ファイルを開く」ダイアログボックスが表示された時、ダイアログボックス操作のマウスデータ、キーボードデータを記録しない。
このことにより、本発明によれば、不要なファイルが開かれるのを防止することができ、ディスク構成、名称が異なる再生ＰＣで「ファイルを開く」操作が実行され不要なファイルが開かれのを防止でき正確に再生できるため、出席者以外への周知、簡単にＰＣ操作説明を作成できる等の効果がある。

また、従来では、記録中にファイルを開く度ＰＣ操作記録ツールバーへのボタンタッチなどにより入力ファイルの記録操作が必要である場合、操作が煩わしくなるばかりか忘れると正確な再生ができなくなっていた。

これに対し、本発明では、ＯＳが提供するＩ／Ｆを介して「ファイルを開く」ダイアログボックスにより入力されるファイルパスの取得が可能なダイアログが表示された時、ファイルパスを取得、「ファイル入力情報」を記録する。
このことにより、本発明によれば、記録中にファイルを開く操作を可能にすることができ、ＰＣ操作記録中にＰＣの通常操作であるファイル入力ができるため記録操作の簡易化を図れる効果がある。

また、従来では、「ファイルを開く」ダイアログボックス操作により入力されたファイルパス情報の取得はＯＳが提供する標準のダイアログボックスを用いる場合に限り可能となっている。ＡＰＬが標準外のダイアログボックスによりファイルを開くと何のファイルを開いたか不明となり正確な再生ができなくなっていた。

これに対し、本発明では、ＯＳが提供するＩ／Ｆを介して「ファイルを開く」ダイアログボックスにより入力されるファイルパスの取得ができないダイアログが表示された場合、ＡＰＬが表示するダイアログを最小化、ＰＣ操作記録プログラムが「ファイルを開く」ダイアログボックスを表示、ＡＰＬが開くファイルパスを取得、「ファイル入力情報」を記録する。
また、こうして取得したファイルパスをＡＰＬの「ファイルを開く」ダイアログボックス、ファイル名入力領域へ出力することによりＡＰＬファイルを開く
このことにより、本発明によれば、記録中にファイルを開く操作を可能にすることができ、上述した各効果を得ることができる。

また、従来では、記録中に不明な「ファイルを開く」ダイアログによりファイル入力操作が実行されると、ファイルを開く操作がそのまま記録されることになり、この操作を再生ＰＣが実行しても必要なファイルが開かれず正確に再生ができなくなっていた。

これに対し、本発明では、プログラム起動時、ファイルオープンダイアログボックスが登録されているか自動判定、登録されていない場合登録制御を実行する。
このことにより、本発明によれば、記録中にファイルを開く操作を可能にすることができ、ディスク構成、名称が異なる再生ＰＣで「ファイルを開く」操作が実行されて不要なファイルが開かれのを防止でき、正確に再生できるため、出席者以外への周知、簡単にＰＣ操作説明を作成できる等の効果がある。

また、一般に、会議中に記録すると機密がもれ問題となる。あるいは、本題とはそれ記録する必要がない雑談をすることがある。また、前の内容を確認したいこともしばしば生じる。

これに対し、本発明では、ＰＣ操作記録中に記録制御を中断、通常のＰＣ操作、あるいはＰＣ操作記録データを再生できる。
このことにより、本発明によれば、記録中に中断再生できるようにすることができ、記録を中断、再開することが可能となるため、ＰＣ操作記録の利便性の向上を図ることができる。

また、従来では、中断中に記録中のプログラムへの操作が実行されると記録開始時中断時の状態へ戻す必要があり正確に戻さないと記録内容が中断時からの操作となり正確に再生できなくなっていた。

これに対し、本発明では、ＰＣ操作記録中断時、実行中の全ＡＰＬウィンドウを最小化、再開時再表示する。
このことにより、本発明によれば、中断中に間違って操作されるのを防止することができ、中断中に記録中のプログラムが実行され中断状態と異なる状態となることを防止でき正確に再生できるため出席者以外への周知、簡単にＰＣ操作説明を作成できる等の効果がある。

また、本発明では、実際のＰＣ操作間隔により再生するため、講演、会議等が実際に実施された内容と同様に再生できるためＰＣ操作再生の効果向上を図ることができる。

また、従来では、ツールバーを操作、ダイアログボックスを表示する操作を記録、これを逆に再生してもダイアログボックスは閉じず、逆再生することはできなかった。しかし、確認、理解を深めるために同じ箇所を繰り返し再生したい場合がある。

これに対し、本発明は、ＰＣ操作再生時間を前に戻すとき実行中のＡＰＬを終了、再生開始時まで先頭から記録データ（音声データを除く）連続再生する。
このことにより、本発明によれば、同じ箇所を繰り返し再生可能とすることができ、講演、会議を特定の（指定された？）位置から再現することができるため重要項目の周知徹底、確認ができるためＰＣ操作再生の効果向上を図ることができる。

また、従来では、画面の表示内容と音声データが異なると内容の理解が困難となる場合があった。
これに対し、本発明では、ＰＣ操作記録をコマ送り再生する場合、記録単位に再生、音声データである場合音声出力開始から終了までの記録データを操作間隔で再生する。
このことにより、本発明によれば、画面内容と音声を一致させることができ、音声データが画面内容にリンクして出力されるため、ＰＣ操作再生の効果向上を図ることができる。

また、従来では、ＰＣ会議の特定箇所を検索したい場合、コマ送りでは時間がかかりすぎ、早送り再生が早すぎると検索できないことになっていた。
これに対し、本発明では、ＰＣ操作記録を早送り再生する場合、音声データを再生せず記録単位に再生する間隔を調整することができる。
このことにより、本発明によれば、再現箇所の検索を容易にすることができ、再生位置を高速に検索できるためＰＣ操作再生の効果向上を図ることができる。

本発明の各実施形態としてのシステム構成を示す図である。 表示一体型座標入力装置１を用いた構成を示す図である。 光遮断方式による座標検知方式を説明するための図である。 本実施形態で用いられるタブレットＰＣ３の構成を示す図である。 電磁誘導方式による座標検知方式を示す図である。 本実施形態としてのＰＣ操作記録再生方式を概念的に示す図である。 本実施形態としてのＰＣ操作記録再生方式によるＰＣ操作記録データを示す図である。 プログラム起動監視における画面表示を示す図である。 ウィンドウ表示監視における画面表示を示す図である。 ファイルオープン監視における画面表示を示す図である。 ファイルオープンダイアログボックス登録における画面表示を示す図である。 会議、講演資料などでの上書き処理における画面表示を示す図である。 ＰＣ操作記録における画面表示を示す図である。 ＰＣ操作記録の中断における画面表示を示す図である。 ＰＣ操作再生における画面表示を示す図である。 ＰＣ操作記録制御におけるデータの相関を示す図である。 ＰＣ操作再生制御におけるデータの相関を示す図である。 ＰＣ操作記録開始制御の動作を示すフローチャートである。 マウスデータ入出力制御の動作を示すフローチャートである。 ＡＰＬ起動監視制御の動作を示すフローチャートである。 ＰＣ操作記録ツールバー制御の動作を示すフローチャートである。 デスクトップ制御の動作を示すフローチャートである。 タスクバー制御の動作を示すフローチャートである。 ＡＰＬマウス操作制御の動作を示すフローチャートである。 ファイルオープンダイアログ登録制御の動作を示すフローチャートである。 ウィンドウ監視制御の動作を示すフローチャートである。 ファイルパス取得制御の動作を示すフローチャートである。 キーボード入出力制御の動作を示すフローチャートである。 音声データ入出力制御の動作を示すフローチャートである。 ＰＣ操作記録保存制御の動作を示すフローチャートである。 ＰＣ操作記録中断制御の動作を示すフローチャートである。 ＰＣ操作再生ツールバー制御の動作を示す第１のフローチャートである。 ＰＣ操作再生ツールバー制御の動作を示す第２のフローチャートである。 ＰＣ操作再生制御の動作を示すフローチャートである。 ＰＣ操作コマ送り再生制御の動作を示すフローチャートである。 ＰＣ操作再生頭出し制御の動作を示すフローチャートである。 ＰＣ操作記録再生制御の動作を示すフローチャートである。 プログラム起動記録再生制御の動作を示すフローチャートである。 ウィンドウ情報記録再生制御の動作を示すフローチャートである。 ファイル入力記録再生制御の動作を示すフローチャートである。 ＰＣ操作再生開始制御の動作を示すフローチャートである。

符号の説明

１ 表示一体型座標入力装置
１１ 座標入力装置
２、５ ＰＣ
３ タブレットＰＣ
４ プロジェクタ

Claims (16)

1. 操作内容を記録する操作記録コンピュータを備えたコンピュータシステムにおけるコンピュータ操作記録再生方法において、
   前記操作記録コンピュータに接続された操作入力装置または前記操作記録コンピュータによる操作内容を、画像データ以外の少なくともプログラム起動情報およびウィンドウ情報を含めて再生可能に記録する記録工程と、
   前記記録工程により記録された操作内容を再生する再生工程と、を備え、
   前記記録工程では、アプリケーションプログラムにより画面表示されるウィンドウ外で前記操作記録コンピュータに接続された操作入力装置または前記操作記録コンピュータによるクリック操作の後にダブルクリック許容時間内に新たなクリックがあった場合に、ダブルクリック操作としてマウスデータを記録せず、前記操作記録コンピュータのＯＳが提供するＩ／Ｆ（ＡＰＩ）によりダブルクリックされたアイコンのファイルパスを取得することで前記プログラム起動情報を記録することを特徴とするコンピュータ操作記録再生方法。
2. 前記記録工程では、前記操作内容を、操作画面における入力時の座標情報を含めて記録することを特徴とする請求項１記載のコンピュータ操作記録再生方法。
3. 前記記録工程では、前記操作内容を、キー入力におけるキーコード情報を含めて記録することを特徴とする請求項１または２記載のコンピュータ操作記録再生方法。
4. 前記記録工程では、前記操作内容を、指定された時間における音声情報を含めて記録することを特徴とする請求項１から３の何れか１項に記載のコンピュータ操作記録再生方法。
5. 前記記録工程では、前記操作内容を、表示画面の情報を含めて記録することを特徴とする請求項１から４の何れか１項に記載のコンピュータ操作記録再生方法。
6. 前記表示画面の情報は、当該表示画面における表示領域情報を含むことを特徴とする請求項５記載のコンピュータ操作記録再生方法。
7. 前記表示画面の情報は、当該表示画面における色数情報を含むことを特徴とする請求項５または６記載のコンピュータ操作記録再生方法。
8. 前記記録工程では、表示画面におけるタスクバー上でタッチからデタッチまでの操作がされた場合に、マウスデータを記録せずに、前記操作記録コンピュータの前記ＯＳが提供するＩ／Ｆ（ＡＰＩ）により当該タッチで起動されたプログラムのファイルパスを取得することで前記プログラム起動情報を記録することを特徴とする請求項１から７の何れか１項に記載のコンピュータ操作記録再生方法。
9. 前記記録工程では、表示画面でスタートボタンからタッチメニューが表示された場合、ボタンへのタッチからメニューが閉じるまでの操作によるマウスデータを記録しないことを特徴とする請求項１から８の何れか１項に記載のコンピュータ操作記録再生方法。
10. 前記記録工程では、請求項１３記載の操作により全メニューが閉じた時、前記ＯＳが提供するＩ／Ｆ（ＡＰＩ）により起動されたプログラムのファイルパスを取得して前記プログラム起動情報を記録することを特徴とする請求項９記載のコンピュータ操作記録再生方法。
11. 前記記録工程では、アプリケーションプログラムが新たなウィンドウを表示した時、前記ＯＳが提供するＩ／Ｆ（ＡＰＩ）を介してウィンドウ情報を取得し、ダイアログボックスまたはメニューウィンドウが新たに表示されたことを示す「ウィンドウ情報（表示）」を記録することを特徴とする請求項１から１０の何れか１項に記載のコンピュータ操作記録再生方法。
12. 前記記録工程では、アプリケーションプログラムが表示中のウィンドウを閉じた時、表示されていたダイアログボックスまたはメニューウィンドウが閉じたことを示す「ウィンドウ情報（消去）」を記録することを特徴とする請求項１から１１の何れか１項に記載のコンピュータ操作記録再生方法。
13. 前記記録工程では、表示画面に「ファイルを開く」ダイアログボックスが表示された時、ダイアログボックス操作のマウスデータ、キーボードデータを記録しないことを特徴とする請求項１から１２の何れか１項に記載のコンピュータ操作記録再生方法。
14. 前記記録工程では、コンピュータ操作記録中断時、実行中の全アプリケーションウィンドウを最小化し、再開時に再表示することを特徴とする請求項１３記載のコンピュータ操作記録再生方法。
15. 前記再生工程では、記録時のコンピュータ操作間隔により再生することを特徴とする請求項１から１４の何れか１項に記載のコンピュータ操作記録再生方法。
16. 前記再生工程では、コンピュータ操作記録を早送り再生する場合、音声データを再生せず記録単位に再生する間隔を調整できるよう動作することを特徴とする請求項１から１５の何れか１項に記載のコンピュータ操作記録再生方法。

Images