JPH1021192A - 操作抽出方式およびマクロ作成方式 - Google Patents

Abstract

(57)【要約】 【課題】 一連のユーザ操作をマクロに変換する機能を
持ったシステムにおいて、マクロ化対象とする操作をユ
ーザが少ない負担で指定できるようにする。 【解決手段】 操作履歴格納部201 はユーザの全操作を
常時記録する。ユーザは、ディスプレイ上で行ったアプ
リケーションのデータのドラッグ等の一連の操作をマク
ロ化したい場合、操作した特定のデータを検索キーとし
て指定する。指定された検索キーに関するデータは検索
キー格納部202 に格納される。操作抽出部204 は、検索
キーのデータに対してユーザが行った操作を操作履歴か
ら抽出し、さらに、この抽出した操作に影響を与えた他
の操作を、アプリケーション上で許されている複数の異
なる種類の操作間の依存関係に関する情報を格納する操
作間依存関係ルール203 に基づき抽出することにより、
検索キーの内容に影響を与えた全ての操作を操作履歴か
ら抽出し、これをマクロ化対象の操作履歴として出力す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ユーザがアプリケ
ーション上で行った操作を記録し、記録した操作を実行
可能なマクロに変換して再利用する機能（以下、マクロ
機能と呼ぶ）を持ったシステムに関する。

【０００２】

【従来の技術】アプリケーション上で行ったユーザの操
作を実行可能なマクロに変換するマクロ機能を持ったシ
ステムにおいては、一般に、（１）マクロ化する操作を
ユーザが指定し、（２）指定された操作をシステムが一
般化し、（３）一般化した操作をシステムが実行可能な
コードに変換するというステップを経て、マクロが作成
される。本発明は、このうち上記（１）のマクロ化する
操作の指定においてユーザインタフェースの向上を図る
ことにある。

【０００３】従来、マクロ機能を持つシステムとして、
Ｍｏｎｄｒｉａｎ（参考文献：Ｌｉｅｂｅｒｍａｎ，
Ｈ．，“Ｍｏｎｄｒｉａｎ：Ａ Ｔｅａｃｈａｂｌｅ
Ｇｒａｐｈｉｃａｌ Ｅｄｉｔｏｒ”，Ｗａｔｃｈ Ｗ
ｈａｔ Ｉ Ｄｏ：Ｐｒｏｇｒａｍｍｉｎｇ ｂｙ Ｄ
ｅｍｏｎｓｔｒａｔｉｏｎ，１９９３，ｐｐ．３４１−
３５７）などがある。これらのシステムでは、マクロ化
する操作を指定するために、ユーザ自身が操作の記録の
開始および終了を指定する。すなわち、ユーザは、操作
記録の開始の指定のためのコマンドを呼び出し、マクロ
に変換すべき操作をシステムに示すためにアプリケーシ
ョン上のデータを実際に操作し、操作記録の終了の指定
のためのコマンドを呼び出す、というオペレーションを
行う。この方式を従来方式１と呼ぶ。

【０００４】また、マクロ機能を持つ他のシステムとし
て、操作記録の開始および終了の指定が不要である方式
（参考文献：Ｋｕｒｌａｎｄｅｒ Ｄ．ａｎｄ Ｆｅｉ
ｎｅｒ Ｓ．，“Ａ Ｈｉｓｔｏｒｙ−Ｂａｓｅｄ Ｍ
ａｃｒｏ Ｂｙ Ｅｘａｍｐｌｅ Ｓｙｓｔｅｍ”，Ｐ
ｒｏｃｅｅｄｉｎｇｓ ｏｆ ＵＩＳＴ’９２，１９９
２，ｐｐ．９９−１０６．）が考案されている。この方
式は、ユーザが行った全ての操作をシステムが自動的に
記録しておき、システムに記録された操作履歴の中から
ユーザがマクロ化する操作を選択するものである。この
方式を従来方式２と呼ぶ。

【０００５】

【発明が解決しようとする課題】上記の従来方式１で
は、ユーザは、マクロ化すべき操作、すなわち将来繰り
返されるであろう操作を予め想定し、その上でマクロを
作成しなければならない。しかしながら、ユーザは、過
去に行った操作と同様の操作を繰り返す場面になって初
めて、先ほどの操作を記録してマクロ化しておくべきだ
ったと気付くのが普通である。そのため、過去の操作を
再利用したいとユーザが考えても、その時点では再利用
したい操作は記録されておらず、マクロ機能は効果的に
使われていなかった。また、仮に将来繰り返されるであ
ろう操作を予め想定できたとしても、どのようなコマン
ドを使ってどのような順序でアプリケーション上のデー
タを操作すべきかを前もって考察し、その考察の結果通
りに正確にデータを操作しなければならない。これは、
ユーザにとってかなりの心理的な負担であった。

【０００６】上記の従来方式２では、ユーザはシステム
が記録した大量の操作履歴の中からマクロ化すべき操作
のみを目視により検索し、一つ一つ指定しなければなら
ない。これもユーザにとってかなりの負担であった。

【０００７】本発明の目的はこれらの課題を解決し、マ
クロ化対象とする操作をユーザが少ない負担で指定でき
るようにすることにある。

【０００８】

【課題を解決するための手段】本発明は、ユーザがアプ
リケーション上で行った一連の操作のうちマクロ化する
操作を抽出する方式において、ユーザの操作を記録する
操作履歴記憶手段と、操作履歴から特定の操作を検索す
るための検索キーとして指定されたデータに関する情報
を格納する検索キー格納手段と、アプリケーション上で
許されている複数の異なる種類の操作間の依存関係に関
する情報を格納する操作間依存関係格納手段と、検索キ
ーのデータに対してユーザが行った操作を操作履歴から
抽出し、さらに、抽出した操作に影響を与えた他の操作
を操作間依存関係に基づき抽出することにより、前記検
索キー格納手段に登録されたデータの内容に影響を与え
た全ての操作を操作履歴から抽出する操作抽出手段とを
備えることを特徴とする。

【０００９】また、本発明は、マクロ化する操作を検索
する際の検索キーとして、アプリケーション上で扱われ
るデータを利用することを特徴とする。

【００１０】さらに本発明のマクロ作成方式は、上記の
操作抽出方式によって抽出された操作を一般化してコー
ドに変換する手段を備えることを特徴とする。

【００１１】本発明によれば、システムはユーザの操作
を常に操作履歴記憶手段に記録している。そのため、ユ
ーザはマクロ化する操作の記録開始と終了の指定をする
必要はない。また、本発明によれば、特定データの内容
に影響を与えた全ての操作を操作履歴から自動的に一括
して抽出することが可能である。これにより、ユーザ
は、マクロ化する操作を指定するためにディスプレイ上
に表示されている特定データを操作の検索のための検索
キーとして利用することが可能となり、ユーザ自身で操
作履歴を見てマクロ化すべき操作を一つ一つ指定する必
要はなくなる。その結果として、マクロ作成におけるユ
ーザの負担を極めて軽くすることが可能である。

【００１２】

【発明の実施の形態】次に本発明の実施の形態の例につ
いて図面を参照して詳細に説明する。

【００１３】図１を参照すると、本発明を実施するため
のシステムの一実施例は、データを表示するための表示
装置１０１と、データを操作するためのマウスおよびキ
ーボードといった入力装置１０２と、ユーザの操作履歴
などを記憶するための記憶装置１０３と、これら表示装
置１０１，入力装置１０２及び記憶装置１０３を制御し
て処理を実行するコンピュータ１０４とから構成され
る。

【００１４】図２は図１のシステムの要部機能ブロック
図である。本実施例では、図２に示すように、記憶装置
１０３上に操作履歴格納部２０１，検索キー格納部２０
２を設け、さらに操作間依存関係ルール２０３を格納し
てある。また、これらに接続された操作抽出部２０４
と、ユーザが行った操作を操作履歴格納部２０１に登録
するユーザ操作登録部２０６と、検索キーとしてユーザ
から指定されたデータに関する情報を検索キー格納部２
０２に登録する検索キー登録部２０７とが設けられてい
る。

【００１５】操作履歴格納部２０１には、ユーザが行っ
た全ての操作がユーザ操作登録部２０６によって記録さ
れる。検索キー格納部２０２には、操作抽出部２０４に
おいて操作履歴から操作を検索（抽出）する際に利用さ
れる検索キーに関する情報が格納される。図２に示され
るように、検索キーは、検索キー登録部２０７を通じて
ユーザによって指定される他、操作抽出部２０４によっ
て追加される場合がある。操作間依存関係ルール２０３
には、アプリケーション上で許されているユーザの操作
において、複数の異なる操作間に依存関係がある場合は
その依存関係に関する情報が予め格納されている。操作
抽出部２０４では、検索キー格納部２０２に格納された
検索キーに対して行われたユーザの操作を操作履歴から
検索し、さらに、この検索した操作に影響を与えた他の
関連する操作を操作間依存関係ルール２０３を用いて操
作履歴から抽出する。

【００１６】以下では、操作履歴格納部２０１に記録さ
れるユーザ操作の形式、検索キー格納部２０２に格納さ
れる情報、および操作間依存関係ルール２０３について
順に説明した後、操作抽出部２０４での処理について説
明する。また、本実施例では、データベースやスプレッ
ドシートのような表形式ツールと電子メールとを有し、
データをマウスやキーボードを用いてユーザが直接操作
できるユーザインタフェースを持つアプリケーションソ
フトウェアを例に用いて説明する。

【００１７】図３は表示装置１０１上におけるユーザの
操作の例を示すものであり、図３の［１］−［１６］の
操作は、電子メールウィンドウ“Ｍａｉｌ１”から表
“Ｔａｂｌｅ１”および表“Ｔａｂｌｅ２”へのデータ
のコピー，表“Ｔａｂｌｅ１”から表“Ｔａｂｌｅ２”
へのデータのコピー，表“Ｔａｂｌｅ１”および表“Ｔ
ａｂｌｅ２”での文字入力といった操作を表している。

【００１８】これらの一連の操作は、ユーザ操作登録部
２０６によって全て操作履歴格納部２０１に記録され
る。図２に記載された操作履歴格納部２０１の内容は、
図３に示すユーザ操作が行われた場合に記録される情報
を示すものである。図２の操作履歴格納部２０１に示さ
れるように、操作履歴格納部２０１に記録された各ユー
ザ操作には、ユニークなＩＤ番号が与えられる（［１］
−［１６］）。また、操作は、操作の種類（テキスト選
択，テキスト入力，ドラッグ＆ドロップなど）と操作対
象となったデータを特定するための情報（ウィンドウ
名，操作が行われたオブジェクトの名前など）の組で表
現される。記録される操作の一般形を次に示す。操作
（ウィンドウ名，オブジェクトタイプ，オブジェクト
名，その他の情報）

【００１９】この「その他の情報」に含まれるべき情報
は、操作と操作されたオブジェクトのタイプに依存す
る。例えば、テキストエリア（ＴＥＸＴ_- ＡＲＥＡ）に
おいてテキスト選択（ｓｅｌｅｃｔ_- ｔｅｘｔ）操作が
行われた場合、選択されたテキストの先頭と末尾に関す
る情報、すなわち何文字目から何文字目まで選択された
かが記録される（図２の操作履歴格納部２０１の操作
［２］参照）。また、表（ＴＡＢＬＥ）においてセル選
択（ｓｅｌｅｃｔ_- ｃｅｌｌ）操作が行われた場合、選
択された表の行および列番号が記録される（図２の操作
履歴格納部２０１の操作［１０］参照）。

【００２０】図２に記載された検索キー格納部２０２の
内容に示されるように、検索キー格納部２０２には、検
索キーデータおよび操作ＩＤが格納される。検索キーデ
ータは、操作履歴格納部２０１に記録された操作履歴か
ら特定の操作を検索するための検索キーとなるデータに
関する情報であり、その検索キーをアプリケーション内
で特定するための情報（指定されたデータが存在するウ
ィンドウ名，オブジェクトタイプ，オブジェクト名な
ど）が格納される。操作ＩＤは、操作履歴内での検索範
囲を示すものである。格納された操作ＩＤがｉである場
合、操作抽出部２０４は、操作履歴の操作ＩＤが１以上
ｉ以下の範囲において検索キーに影響を及ぼした操作を
検索する（詳細は後述する）。

【００２１】ユーザが検索キーとなるデータを指定する
方法としては、例えば表示装置１０１の画面に表示され
ている図３のようなアプリケーションのデータ（例えば
或る表の或るセルに格納されたデータ，電子メールのウ
ィンドウに表示されたデータ等）をマウスで指示する方
法が採用できる。このような検索キーとなるデータがユ
ーザによって指定されると、検索キー登録部２０７が検
索キー格納部２０２に検索キーデータおよび操作ＩＤを
登録する。操作ＩＤには、その時点での操作履歴の最後
の操作のＩＤｎが記録される。これに加え、検索キー格
納部２０２には、操作抽出部２０４により検索キーが登
録される場合がある（詳細は後述する）。この場合、操
作ＩＤには１以上ｎ未満の値が格納される。図２の検索
キー格納部２０２に示されるように、検索キー格納部２
０２には複数の検索キーを登録可能であり、異なる検索
キーには異なる操作ＩＤを割り当てることが可能であ
る。

【００２２】次に記憶装置１０３に予め登録されている
操作間依存関係ルール２０３について説明する。データ
を直接操作可能なユーザインタフェースにおいては、複
数の操作の組み合わせで意味のある一つの作業となるこ
とがある。検索キーに影響を与えた全ての操作を操作履
歴から抽出するためには、検索キーそのものに対する操
作に加え、その操作と組み合わせて行われた関連する他
の操作も合わせて抽出する必要がある。操作間依存関係
ルール２０３は、複数の異なる操作間の依存関係を記述
しておくためのものである。

【００２３】例えばドラッグ＆ドロップ操作において
は、ドロップ操作を行うためには何らかのデータがドラ
ッグされていることが必要であるため、ドロップ操作が
操作抽出部２０４で抽出された場合は直前のドラッグ操
作も合わせて抽出するように、図２の操作間依存関係ル
ール２０３に示すルール１を操作間依存関係ルールの一
つとして登録する。また、ドラッグ操作を行うためには
ドラッグするデータが予め選択されていることが必要で
あるため、ドラッグ操作の直前の選択操作（ｓｅｌｅｃ
ｔ_- ｔｅｘｔ，ｓｅｌｅｃｔ_- ｃｅｌｌなど）も合わせ
て抽出するように、図２の操作間依存関係ルール２０３
に示すルール２を登録する。

【００２４】アプリケーション上で許されている操作の
中で互いに関連性を持つ一連の操作は、全て操作間依存
関係ルールとして登録されている必要がある。互いに関
連性を持った一連の操作の例としては、ドラッグ＆ドロ
ップ操作の他にコピー＆ペースト操作などがある。

【００２５】操作抽出部２０４では、検索キー格納部２
０２に格納された検索キーの内容に影響を与えた操作
を、操作履歴格納部２０１に格納された操作列から抽出
する。図４は、操作抽出部２０４での操作抽出アルゴリ
ズムを示すＰＡＤ図である。

【００２６】抽出処理は、操作履歴の末尾から先頭へ遡
って行われる（４０２）。Ａ［ｉ］が検索キーの内容を
変更した操作（ｄｒｏｐ_- ｏｎ，ｓｅｔ_- ｔｅｘｔな
ど）であり、かつ、操作Ａ［ｉ］で操作対象となったデ
ータＤ［ｉ］が検索キーであり、かつ、ｉが操作履歴の
検索範囲内である場合（４０３）、この操作に対してマ
ーキングを行う（４０４）。次に、マーキングされた操
作Ａ［ｉ］に関連する（影響を及ぼした）他の操作が存
在するか否かを調べるために、Ａ［ｉ］と操作間依存関
係ルールＲ［ｋ］の条件部とのマッチングを行う（４０
６）。マッチした場合は、ルールのアクション部に記述
された内容に従って、関連する操作Ａ［ｐ］に対してマ
ーキングを行う（４０７）。

【００２７】さらに、操作間依存関係ルールによって抽
出された操作Ａ［ｐ］において操作対象になったデータ
Ｄ［ｐ］の内容に影響を与えた操作を、Ａ［ｐ］以前の
操作の中から抽出する必要がある。例えば、ユーザがド
ラッグ＆ドロップ操作を行った場合、ドロップ先のデー
タの内容に影響を与えた全ての操作を操作履歴から抽出
するためには、ドラッグ元となったデータの内容に影響
を与えた操作も合わせて抽出しなければならない。そこ
で、Ｄ［ｐ］が検索キー格納部２０２に登録されていな
い場合（４０８）には、Ｄ［ｐ］を新たに検索キーとし
検索キー格納部２０２に登録し、ｐ−１を検索キー格納
部２０２の操作ＩＤに登録する（４０９）。これによ
り、Ｄ［ｐ］に影響を与えた操作が操作ＩＤが１以上ｐ
−１以下の範囲で検索され、抽出される。

【００２８】以上の処理を操作履歴の先頭まで繰り返し
た後、マーキングされた全ての操作を操作抽出部２０４
の出力とする。図２の抽出された操作列２０５はこのと
きの抽出結果の例を示すものである。以下、このような
操作列２０５が抽出される過程を説明する。なお、抽出
を開始する時点では、操作履歴格納部２０１には図２に
示した合計１６個の操作［１］〜［１６］が格納されて
おり、検索キー格納部２０２には図２に示した上２つの
データが格納されており、操作間依存関係ルール２０３
には図２に示した２つのルール１，２が格納されてい
る。

【００２９】先ず、Ａ［１６］は、ドロップ操作なので
検索キーの内容を変更する操作であり、かつ、操作［１
６］で操作対象となったデータＤ［１６］は検索キー格
納部２０２に登録された表Ｔａｂｌｅ２の２行２列目の
データなので検索キーであり、かつ、ｉ＝１６は操作履
歴の検索範囲内であるため（４０３）、Ａ［１６］をマ
ーキングする（４０４）。そして、このＡ［１６］に対
してルール１，２を適用する。

【００３０】Ａ［１６］はルール１とマッチするので
（４０６）、ルール１により、関連する操作Ａ［１５］
をマーキングする（４０７）。また、操作Ａ［１５］で
操作対象となったデータＤ［１５］は電子メールＭａｉ
ｌ１のＦｒｏｍの０文字目から１６文字目までであり、
検索キー格納部２０２に登録されていないので（４０
８）、「Ｍａｉｌ１，ＴｅｘｔＡｒｅａ，Ｆｒｏｍ，
（０，１６）」の検索キーデータと「１４」の操作ＩＤ
とを検索キー格納部２０２に追加する（４０９）。

【００３１】更に、Ａ［１６］はルール２ともマッチす
るので（４０６）、ルール２により、関連する操作Ａ
［１４］をマーキングする（４０７）。なお、操作Ａ
［１４］で操作対象となったデータである電子メールＭ
ａｉｌ１のＦｒｏｍの０文字目から１６文字目までは、
既に検索キー格納部２０２に登録されているので、検索
キー格納部２０２への登録は行われない。

【００３２】その後のＡ［１５］からＡ［１３］までの
操作はステップ４０３の判断結果がＮｏとなる。そして
次のＡ［１２］が処理された時点で、Ａ［１６］が処理
された場合と同様にしてＡ［１２］，Ａ［１１］，Ａ
［１０］がマーキングされ、検索キー格納部２０２に、
「Ｔａｂｌｅ１，ＴＡＢＬＥ，ＭａｉｎＴａｂｌｅ，
（２，１）」の検索キーデータと「１０」の操作ＩＤと
が追加される。

【００３３】その後のＡ［１１］からＡ［５］までの操
作はステップ４０３の判断結果がＮｏとなる。そして、
次のＡ［４］が処理された時点で、Ａ［４］は、ドロッ
プ操作なので検索キーの内容を変更する操作であり、か
つ、操作［４］で操作対象となったデータＤ［４］は検
索キー格納部２０２に追加登録された表Ｔａｂｌｅ１の
２行１列目のデータなので検索キーであり、かつ、ｉ＝
４は操作履歴の検索範囲内であるため（４０３）、Ａ
［４］をマーキングする（４０４）。そして、このＡ
［４］に対してルール１，２を適用することにより、Ａ
［３］，Ａ［２］がマーキングされる。その後のＡ
［３］からＡ［１］までの操作はステップ４０３の判断
結果がＮｏとなる。この結果、マーキングされたＡ［１
６］，Ａ［１５］，Ａ［１４］，Ａ［１２］，Ａ［１
１］，Ａ［１０］，Ａ［４］，Ａ［３］，Ａ［２］が操
作抽出部２０４の出力として得られる。

【００３４】図５は本発明の操作抽出方式を適用したマ
クロ作成方式の構成図であり、５０１が図１ないし図４
を参照して説明した操作抽出方式を用いてマクロ化対象
となる操作を抽出する操作抽出装置、５０２は操作抽出
装置５０１で抽出された操作を一般化する操作一般化装
置、５０３は操作一般化装置で一般化された操作をシス
テムが実行可能なコード（プログラム）に変換するコー
ド変換装置である。このようにして実行可能なプログラ
ムに変換された後にマクロとして利用可能となる。一般
化の方式やコード化の方式は、前述した文献に記載され
ている技術を適用できるため、アプリケーションが対象
とする作業に適したものを用いればよい。

【００３５】

【発明の効果】以上説明したように本発明によれば、ユ
ーザから指定された特定のデータの作成に関連する（影
響を与えた）操作を、記録した操作履歴から一括して抽
出することが可能である。このため、マクロに変換すべ
き操作を指定するために、ユーザは自分自身で操作履歴
を見てマクロ化すべき操作を一つ一つ指定する必要がな
く、アプリケーション上で扱われるデータを指定するだ
けで、そのデータの操作に関連する操作を抽出できる。

【００３６】また、ユーザの操作を常に記録しているた
め、ユーザは操作記録の開始，終了を指定するための特
別なコマンドを呼び出す必要はなく、ユーザが過去の操
作を再利用したいと考えた任意の時点で、マクロ化すべ
き操作を操作履歴の中から最小限の手間で検索すること
ができる。

【００３７】このようなため、本発明をマクロ作成装置
に適用すれば、少ない負担でユーザがマクロを作成する
ことが可能となる。

【図面の簡単な説明】

【図１】本発明を適用したシステムの一例を示すブロッ
ク図である。

【図２】図１のシステムの要部機能ブロック図である。

【図３】ユーザ操作の例の説明図である。

【図４】操作抽出部の操作抽出アルゴリズムを示すＰＡ
Ｄ図である。

【図５】本発明の操作抽出方式を適用したマクロ作成装
置の構成図である。

【符号の説明】

１０１…表示装置 １０２…入力装置 １０３…記憶装置 １０４…コンピュータ ２０１…操作履歴格納部 ２０２…検索キー格納部 ２０３…操作間依存関係ルール ２０４…操作抽出部 ２０５…抽出された操作列 ２０６…ユーザ操作登録部 ２０７…検索キー登録部

Claims (3)

【特許請求の範囲】
1. 【請求項１】 ユーザがアプリケーション上で行った一
   連の操作のうちマクロ化する操作を抽出する方式におい
   て、 ユーザの操作を記録する操作履歴記憶手段と、 操作履歴から特定の操作を検索するための検索キーとし
   て指定されたデータに関する情報を格納する検索キー格
   納手段と、 アプリケーション上で許されている複数の異なる種類の
   操作間の依存関係に関する情報を格納する操作間依存関
   係格納手段と、 検索キーのデータに対してユーザが行った操作を操作履
   歴から抽出し、さらに、抽出した操作に影響を与えた他
   の操作を操作間依存関係に基づき抽出することにより、
   前記検索キー格納手段に登録されたデータの内容に影響
   を与えた全ての操作を操作履歴から抽出する操作抽出手
   段とを備えることを特徴とする操作抽出方式。
2. 【請求項２】 マクロ化する操作を検索する際の検索キ
   ーとして、アプリケーション上で扱われるデータを利用
   することを特徴とする請求項１記載の操作抽出方式。
3. 【請求項３】 ユーザがアプリケーション上で行った操
   作を実行可能なマクロに変換する機能を持ったシステム
   において、 請求項１または請求項２記載の操作抽出方式によって抽
   出された操作を一般化してコードに変換する手段を備え
   たマクロ作成方式。