JP5423596B2 - 情報処理装置および情報処理方法 - Google Patents

Description

本発明は、情報処理装置および情報処理方法に関する。

パーソナル・コンピュータ（ＰＣ）や携帯電話などのコンピュータの高機能化にともなって、その操作の選択肢や、操作の手順が増えている。ユーザはこれら大量の操作項目や手順を覚えていることができず、以前にユーザが行った操作方法や操作の流れ、操作の内容（設定した内容など）を思い出せないことが多々ある。また、コンピュータの機能が豊富で選択肢が多い分、複雑な操作だけでなく、単純な操作であっても思い出せない場合も生じている。

これらの問題を解決するために、操作画面をキーワード検索する機能や、よく実行する操作を優先的に表示する機能などが提案されている。

例えば、予めコンピュータの各操作画面のキーワードを抽出しておき、キーワードで操作画面を検索する機能がある。この機能によれば、ユーザが検索条件に指定したキーワードを含む操作画面を取得することができる。

また、操作履歴の前後関係に基づいて、次に行う可能性が高そうな操作方法を提示する機能や、メニューの表示項目を利用頻度順に並べ替える機能が提案されている。

特開平８−１３７６４８号公報 特開２００２−２１５２７８ 特開２００５−２８４９２６ 特開２００５−３５４６２４

操作画面をキーワード検索する方法では、ユーザが操作画面に含まれる適切なキーワードを思い出して検索条件を設定する必要があり、ユーザにとって、適切なキーワードを思い出すことが実際には難しいという問題がある。また、操作画面毎にキーワードを抽出して検索を行うので、ユーザが思い出したい操作画面とは無関係な操作画面（不適合な操作画面）も検索される可能性が高いという問題がある。
さらに、この方法では、予めキーワードや操作画面を抽出・保管しておき、個々の操作画面を検索して提示するので、操作全体の流れや、操作内容（過去に設定や変更などした操作の内容）を確認できないという問題もある。
また、よく実行する操作を優先的に表示する方法では、次に選択しそうな画面を提示するだけなので、操作全体の流れや、操作内容（過去に設定や変更などした操作の内容）を確認できないという問題がある。
このため、ユーザの操作に対応して、ユーザが行おうとしている操作を適切に予測して、予測した操作をユーザにより一層分かりやすい形で提示するユーザインターフェース装置およびユーザインターフェース方法が望まれている。

発明の一観点によれば、入力された操作情報が所定の操作条件を満たした時に、前記操作情報に関連する情報を抽出し、操作履歴として記憶する操作履歴抽出部と、前記操作履歴からキーワードを抽出し、前記キーワードを操作キーワードとして記憶する操作キーワード抽出部と、前記操作履歴を、所定のグループ化条件に基づいて操作履歴グループとしてグループ化し、前記操作履歴グループごとに前記操作キーワードに基づいてインデックスを生成し、生成された前記インデックスを記憶する操作インデックス生成部と、記憶されている前記インデックスと、最新の前記操作情報を含む前記操作履歴に関連するインデックスとを比較することにより、最新の前記操作情報に関連する前記操作履歴グループを検出する操作検索部と、検出された前記操作履歴グループを表示する操作表示部と、を備える情報処理装置が提供される。
発明の別の一観点によれば、入力された操作情報が所定の操作条件を満たした時に、前記操作情報に関連する情報を抽出し、操作履歴として記憶し、前記操作履歴からキーワードを抽出し、前記キーワードを操作キーワードとして記憶し、前記操作履歴を、所定のグループ化条件に基づいて操作履歴グループとしてグループ化し、前記操作履歴グループごとに前記操作キーワードに基づいてインデックスを生成し、生成された前記インデックスを記憶し、記憶されている前記インデックスと、最新の前記操作情報を含む前記操作履歴に関連するインデックスとを比較することにより、最新の前記操作情報に関連する前記操作履歴グループを検出し、検出された前記操作履歴グループを表示する情報処理方法が提供される。

上記の観点によれば、ユーザが適切な検索条件などを考えて設定する必要がなく、ユーザの現在のコンピュータの操作状況に近い過去の操作履歴を自動的に提示する。また、過去の操作履歴の提示は、一連の操作履歴を提示するため、ユーザは、提示された過去の操作履歴を参照して、過去の操作の流れや操作内容を容易に確認することができる。

図１は、第１実施形態の情報処理装置が構築されるコンピュータのハードウエア構成を示す図である。 図２は、第１実施形態の情報処理装置の構成を示す図である。 図３は、操作履歴抽出部における処理を示すフローチャートである。 図４は、検出対象の操作および保管しない操作の例を示す図である。 図５は、操作画面からのテキストデータの取得例を示す図である。 図６は、操作履歴データの構成例を示す図である。 図７は、操作インデックス生成部におけるグループ作成処理を示すフローチャートである。 図８は、操作履歴が同じグループであるかどうかの判断基準の例を示す図である。 図９は、操作履歴のグループの例を示す図である。 図１０は、操作インデックス生成部におけるインデックスを生成する処理を示すフローチャートである。 図１１は、操作履歴グループのインデックスの例を示す図である。 図１２は、操作履歴グループのインデックスを、操作画面のインデックスと操作対象のインデックスに分けて記憶した例を示す図である。 図１３は、インデックスデータにおけるインデックスの保管を模式的に示す図である。 図１４は、操作検索部における類似の操作を検索する処理を示すフローチャートである。 図１５は、グループを類似性が高い順に並び替えた例、およびベクトル空間方式を説明する図である。 図１６は、検索結果の提示例を示す図である。 図１７は、ユーザへ提示する操作画面の提示例を示す図である。 図１３は、第２実施形態の情報処理装置の構成を示す図である。

図１は、第１実施形態の情報処理装置が構築されるコンピュータのハードウエア構成を示す図である。

図１に示すように、コンピュータは、ＣＰＵ１と、ＲＯＭ２と、ＲＡＭ３と、記憶装置４と、Ｉ／Ｏ５と、Ｉ／Ｏ５に接続される入力装置６およびディスプレイ７と、通信インターフェース８と、内部バス９と、を有する。入力装置６は、例えばキーボード、マウス、タッチパネルなどである。図１に示すコンピュータの構成は広く知られているので、詳しい説明は省略するが、各種の異なる構成のコンピュータを使用可能である。

図２は、第１実施形態の情報処理装置の構成を示す図である。

図２に示すように、第１実施形態の情報処理装置は、操作履歴抽出部１１と、操作キーワード抽出部１２と、操作インデックス生成部１３と、操作検索部１４と、操作提示部１４と、を有する。これらの各部は、コンピュータ内に構築することも、また、コンピュータのプログラムとしてＲＡＭ３、記憶装置４または着脱可能なメディアに保管して、プログラムをロードして実行することもできる。

操作履歴抽出部１１、操作キーワード抽出部１２および操作インデックス生成部１３が生成する操作履歴データ２１、キーワードデータ２２および操作インデックスデータ２３は、相互に関連付けてデータベース２０として記憶装置４などに記憶され、検索可能に保持される。

図３は、操作履歴抽出部１１における処理を示すフローチャートである。

Ｓ１１で、操作履歴抽出部１１は、ユーザのコンピュータに対する操作を監視し、操作が行われた時に、その操作が検出対象の操作であるか判定し、検出対象の操作でなければ次の操作に対して再度Ｓ１１を行い、検出対象の操作であれば、Ｓ１２に進む。

ユーザがコンピュータに対して行った操作の内、操作履歴抽出部１１がどういった操作を検出するかは、予め定めておく。例えば、図４の（Ａ）に示すような、ユーザのマウスクリック、確定キーの入力、タッチ操作などは、検出対象の操作である。

Ｓ１２で、操作履歴抽出部１１は、上記の検出対象の操作を検出した時に、操作に関するメタデータを取得する。操作に関するメタデータは、例えば操作を一意に識別するＩＤ、操作日時、操作アプリケーション名、操作したユーザを一意に特定する操作ユーザＩＤ、操作を行った画面（操作画面）のビットマップデータ、操作対象、操作画面に含まれるテキスト（操作テキスト）、メールのメッセージＩＤ、ホームページのＵＲＬなどである。これにより，ユーザが操作をした時の状況を記録することができる。

操作アプリケーション名は、操作したアプリケーションを一意に定めることができる名前であり、アプリケーションの名前や、アプリケーションのファイルパス名などを用いる。

操作画面は、検出した操作を行ったコンピュータの画面である。コンピュータが、Microsoft社などのＯＳが動いているパーソナルコンピュータの場合は、操作画面はデスクトップの全画面や、操作しているウィンドウ画面やダイアログ画面などの画面である。

操作対象は、操作中の対象を一意に特定するための名前であり、ファイルのファイルパス、ホームページのＵＲＬ、メールのメッセージＩＤなどである。

操作テキストは、操作画面中に表示されている操作テキストのみを抽出して、操作対象のテキスト（操作対象テキスト）は含まないことが望ましい。例えば、コンピュータがMicrosoft社などのＯＳが動いているパーソナルコンピュータの場合、操作テキストはダイアログ画面に表示されているテキストおよびメニュー画面に表示されているテキストだけを取得する。この時、ユーザが操作画面に入力した設定内容などのテキストも抽出する。ただし、操作テキストとは別に、操作対象テキストを抽出するようにしてもよい。この場合、操作対象のファイルやホームページなどに含まれる全てのテキスト、もしくは、操作中の画面に表示されている操作対象のファイルやホームページなどのテキストを抽出する。

図５は、操作画面からのテキストデータの取得例を示す図である。上側に示した操作画面における、「オプション」、「一般」、「プライバシー」、「詳細」、「起動」、「ブラウザを起動するとき」、「ホームページ」、「ホームページアドレス」、「ダウンロード」、「ファイルのダウンロード時にダウンロードマネージャを表示」、「次のフォルダに保存」、「ダウンロード」、「ファイル毎に保存先を指定」をテキストとして取得する。

Ｓ１３で、操作履歴抽出部１１は、検出した操作が保管すべき操作であるかを判定し、保管すべき操作でない場合にはＳ１１に戻り、保管すべき操作の場合にはＳ１４に進む。

保管しない操作の例を、図４の（Ｂ）に示す。例えば、「キャンセル」ボタンを押して操作を取りやめた場合、マウスのクリックなど行ったが直前の操作と操作画面や操作画面のテキスト（画面内容）が変わらない操作の場合、ウィンドウ画面、ダイアログ画面、メニューなどに対する操作以外の操作など、マウスクリックなどの操作によってコンピュータの状態が変化しない場合、などである。この処理により、操作履歴として残す必要のない操作を除外することができ、操作履歴を検索する際の精度の向上や、操作履歴保管量の削減を行うことができる。

Ｓ１４で、操作履歴抽出部１１は、取得した操作メタデータを、操作履歴データ２１としてデータベース２０に保管（記憶）する。

図６は、操作履歴データ２１の構成例を示す図である。

図６に示すように、操作履歴データ２１は、操作ＩＤ、操作日時、操作アプリケーション、操作ユーザＩＤ、テキスト（操作画面中のテキストデータ）、操作画面、操作対象ファイル名、操作対象テキストなどを含む。上記のように、操作履歴データ２１が、操作対象テキストを含まない場合もあり得る。また、操作履歴データ２１が、他の項目を含む場合もあり得る。操作対象のテキストも保管することで、ホームページでの操作など、操作対象に対して直接操作を行う場合などの操作画面とそのテキストなどを取得することができる。

操作キーワード抽出部１２は、操作履歴抽出部１１で検出した操作の操作テキストや操作対象テキストを分かち書きして、各操作のキーワードを抽出する。操作テキストや操作対象テキストの分かち書きには、例えばn-gram方式や形態素解析方式を使用できる。n-gram方式は、テキストを予め定めた文字数単位で分割してキーワードを抽出する方法である。形態素解析方式は、テキストを文法に沿って、単語単位に分割してキーワードを抽出する方法である。これらの方法については広く知られているので説明は省略する。また、各操作のキーワードを抽出するのに、他の方法を使用することも可能である。抽出したキーワードは、キーワードデータ２２として、操作履歴データ２１と関連付けてデータベース２０に保管される。このとき、操作テキストと操作対象テキストは、別々に保管される。

操作キーワード抽出部１２は、操作インデックス生成部１３内に設けてもよい。

操作インデックス生成部１３は、操作キーワード抽出部１２が検出したキーワードに基づいて、操作履歴抽出部１１で検出した操作の検索用インデックスを作成する。インデックスは、複数の操作をまとめたグループ毎に作成するため、操作インデックス生成部１３は、まず操作をグループ分けする処理を行う。

図７は、操作インデックス生成部１３におけるグループ作成処理を示すフローチャートである。

操作インデックス生成部１３は、対象となる操作が、直前の操作の含まれるグループに属するかを判定する。ここで、それまでの操作のグループにはｉ−１個の操作が既に含まれ、直前の操作履歴ｉ−１はそのグループに属しており、対象となる操作を操作履歴ｉで表す。

Ｓ２１で、操作インデックス生成部１３は、ｉが所定の値Ｍより小さいかを判定し、Ｍより小さければＳ２２に進み、小さくなければ終了する。この処理は、操作回数が大きすぎるグループを作らないための処理である。操作回数が大きすぎるグループは、検索が難しく、ユーザに適切な操作を提示できなくなるため、操作回数がＭより大きなグループは作成しない。

Ｓ２２で、操作インデックス生成部１３は、操作履歴ｉのメタデータを取得する。

Ｓ２３で、操作インデックス生成部１３は、後述する判断基準にしたがって、操作履歴ｉは、操作履歴ｉ−１と同じグループであるかを判定し、同じグループであればＳ２４に進み、同じグループでなければＳ２５に進む。

Ｓ２４で、操作インデックス生成部１３は、操作履歴ｉを操作履歴ｉ−１と同じグループに登録し、Ｓ２１に戻る。

Ｓ２５で、操作インデックス生成部１３は、新しいグループを作成して、そのグループに操作履歴ｉを登録し、Ｓ２１に戻る。

Ｓ２３における判断基準は、予め定められる。

図８は、操作履歴が同じグループであるかどうかの判断基準の例を示す図である。例えば、現在の操作履歴ｉと直前の操作履歴ｉ−１との操作日時の時間差が予め定めた時間内、例えば５秒以内である場合、現在の操作履歴ｉは直前の操作履歴ｉ−１と同じグループであると判断する。他にも、現在の操作履歴ｉと直前の操作履歴ｉ−１とは同じアプリケーションに対する操作で、その操作日時の時間差が予め定めた時間内である場合、現在の操作履歴ｉと直前の操作履歴ｉ−１とは、同じグループであると判断することもできる。さらに、現在の操作履歴ｉと直前の操作履歴ｉ−１とは同じアプリケーションに対する操作で、同じメニューやダイアログから派生した操作である（現在の操作は，直前の操作でダイアログ中のボタンを押して現れた画面に対する操作である場合など）場合、現在の操作履歴ｉと直前の操作履歴ｉ−１とは同じグループであると判断することもできる。

求めたグループは、そのグループに含まれる操作履歴を表すＩＤと合わせて一旦保管する。

図９は、操作履歴のグループの例を示す図である。操作履歴のグループＩＤごとに、グループに含まれる操作履歴の操作ＩＤを記憶する。

つづいて、操作インデックス生成部１３は、操作履歴のグループ毎に、各グループの操作履歴のキーワードを取得して、インデックスを生成する。インデックスは、操作検索部１４での処理方法に合わせて作成する。操作検索部１４でブーリアン方式の検索を行う場合、インデックスは各グループに含まれるキーワードの有無がわかるように、転置インデックスを作成する。操作検索部１４でベクトル空間方式の検索を行う場合は、インデックスは各グループに含まれるキーワード毎に重みづけて、各グループのベクトルを作成する。キーワードの重みは、キーワードの統計量から求める。キーワードの統計量は、操作履歴全体に対する大局的な統計量や、各グループに対する局所的な統計量などを用いる。大局的な統計量の代表例としては、あるキーワードがどれだけのグループに含まれているかを表すＤＦ(Document Frequency)がある。局所的な統計量の代表例としては、あるキーワードがあるグループ内に何個出現したかを表すＴＦ(Term Frequency)がある。重みは、これらＤＦやＴＦをそのまま使用することもあるし、ＤＦの逆数(IDF:Inverse Document Frequency)とＴＦを乗じたＴＦ・ＩＤＦを用いることもある。

インデックスは、操作テキスト（操作画面のテキスト）と操作対象のテキストとで、別々に作成する。操作対象のテキストを用いて検索しない場合は、操作対象のテキストのインデックスを作成する必要はない。

図１０は、操作インデックス生成部１３におけるインデックスを生成する処理を示すフローチャートである。

Ｓ３１で、操作インデックス生成部１３は、インデックスを生成する対象グループの番号ｊが所定の値Ｎより小さいかを判定する。これは、インデックスを生成する対象グループ数を制限するために行う。グループ数が大きすぎるグループは、検索が難しく、ユーザに適切な操作を提示できなくなるため、グループ数がＮより大きな場合には、インデックスを生成しない。なお、インデックスを生成してからの経過時間が長いグループや検索された時に選択される頻度が低いグループは順次削除し、新しいグループについてインデックスを生成できるようにしてもよい。

Ｓ３２で、操作インデックス生成部１３は、グループｊに含まれる操作履歴データ２１のメタデータからテキストを取得する。

Ｓ３３で、操作インデックス生成部１３は、グループｊに含まれるキーワードデータ２２からキーワードを取得する。

Ｓ３３で、操作インデックス生成部１３は、各キーワードをキーワードの発生頻度などで重みづける。

Ｓ３４で、操作インデックス生成部１３は、重みづけたキーワードを、グループｊのインデックスデータ２３としてデータベース２０に保管する。

図１１は、操作履歴グループのインデックスの例を示す図である。グループごとに、重みをつけたキーワードを記憶する。

図１２は、操作履歴グループのインデックスを、操作画面のインデックスと操作対象のインデックスに分けて記憶した例を示す図である。操作対象のインデックスは、各操作履歴で重複しない操作対象のテキストのみを用いる。図示の例では、操作履歴のグループ１に含まれる操作履歴１、２、３、４の操作対象のテキストは、すべて同じ内容なので、走査履歴１の操作対象のテキストのみを用いる。

図１３は、インデックスデータ２３におけるインデックスの保管を模式的に示す図である。図１３に示すように、操作履歴のインデックスは、グループごとに記憶される。

操作検索部１４は、ユーザの現在の操作状況に近い操作履歴を検索する。ユーザの現在の操作状況は、最新の操作履歴を含む操作履歴のグループのインデックス（操作クエリ）を用いる。操作クエリと、操作履歴のグループのインデックスとを比較評価して、現在の操作状況に近い操作履歴を検索する。

図１４は、操作検索部１４における類似の操作を検索する処理を示すフローチャートである。ここで、最新の操作履歴を含む操作履歴のグループ以外にＮ個のグループが存在し、最新の操作履歴を含む操作履歴のグループがＮ＋１番目のグループになるものとする。

Ｓ４１で、操作検索部１４は、最新の操作履歴のグループＮ＋１のインデックスを取得する。取得したインデックスは、現在の操作内容を表す。

Ｓ４２で、操作検索部１４は、グループの番号（ＩＤ）を示すｊがＮ＋１より小さいか判定し、小さければＳ４３に進み、小さくなければＳ４４に進む。

Ｓ４３で、操作検索部１４は、グループｊのインデックスと、グループＮ＋１のインデックスの類似性を評価した後、Ｓ４１に戻る。

Ｓ４４で、操作検索部１４は、評価したＮ個のグループを、類似性が基準値以上、すなわち類似性がある程度高いグループについて、類似性が高い順に並び替える。

図１５の（Ａ）は、グループを類似性が高い順に並び替えた例を示す。ｊ＝５、６、３、１の順で類似性が劣化する。

操作クエリと操作履歴のグループの比較評価には、例えばブーリアン方式やベクトル空間方式を用いる。

ブーリアン方式は，検索クエリに含まれるキーワードが、操作履歴のグループのインデックスに含まれるかどうかを評価する方法である。検索クエリに含まれるキーワードが、操作履歴のグループのインデックスに含まれる数や種類が多いほど、高く評価する（評価値が高くなる）。

ベクトル空間方式では、検索クエリのベクトルと、操作履歴のグループのベクトルとの類似性を評価する。

図１５の（Ｂ）は、ベクトル空間方式を説明する図である。ここでは、見やすくするために、キーワードが、「プライバシー」、「印刷」および「時間」の３つである場合を示しているが、これに限定されず、キーワードは何個でもよい。図示の例は、最新の操作履歴を含む操作履歴のグループがｊ＝１０で、他に９個のグループが存在する場合を示す。

類似性は、ベクトルの内積や、コサイン係数で評価する。内積やコサイン係数の値が大きいほど、検索クエリと操作履歴のグループとが近く、評価が高いことを表す。

比較評価した結果、操作履歴のグループを評価の高い順に並べて、操作提示部へ渡す。

操作履歴のインデックスが、操作テキストのインデックスと、操作対象のテキストのインデックスとから成る場合、検索はインデックス毎に行った後、その結合和を、次の式にしたがって求める。

グループＸの評価結果 = α（操作クエリとグループＸの操作テキストのインデックスの評価結果）＋β（操作クエリとグループＸの操作対象のテキストのインデックスの評価結果）
（ただし、α＋β＝１、０≦α，β≦１、αとβは予め定める）
操作提示部１５は、操作検索部１４で検索した操作履歴のグループをユーザへ提示する。検索した操作履歴のグループは、その最も評価の高い操作履歴のグループのみを提示することもできるし、操作履歴のグループを評価結果の高い順に並べて提示することもできる。また、検索した操作履歴のグループは、そのグループに含まれる操作を時系列順に再生することもできる。操作履歴のグループの再生は、最初から最後までを自動的に再生することや、ユーザの指示に従って順番に再生することができる。

図１６は、検索結果の提示例を示す。この提示例は、操作履歴のグループを、検索した時の類似性が高い順にリスト表示した例である。ユーザは、リストから確認したい操作履歴を選択して、その詳細を知ることができる。例えば，図１６の検索結果で操作履歴のグループＩＤ５を選んだ場合、図１７の（Ａ）に示すように、その操作履歴のグループに含まれる操作の画面を時系列順にユーザへ提示する。また、ユーザへの画面提示は、図１７の（Ｂ）に示すように、自動的に操作画面を切り替えながら示して、ユーザが画面毎に次の画面を表示するかどうかを指示し、その指示に応じて表示する操作画面を切り替えてもよい。

図１８は、第２実施形態の情報処理装置の構成を示す図である。

第２実施形態では、ユーザが使用するクライアント（端末）１０１は、ネットワーク１０３を介してサーバ１００に接続される。サーバ１００およびクライアント１０１は、それぞれ図１に示したコンピュータと類似の構成を有する。

第２実施形態の情報処理装置は、第１実施形態と同様に、操作履歴抽出部１１と、操作キーワード抽出部１２と、操作インデックス生成部１３と、操作検索部１４と、操作提示部１５と、を有する。操作履歴抽出部１１および操作提示部１５は、クライアント１０１に設けられる。操作キーワード抽出部１２、操作インデックス生成部１３および操作検索部１４は、サーバ１００に設けられる。サーバ１００には、さらに操作履歴保管部３１が設けられる。履歴保管部３１は、クライアント１０１に設けられた操作履歴抽出部１１からネットワーク１０３を介して送信された操作履歴を受信し、操作キーワード抽出部１２に出力すると共に、操作履歴データ２１としてデータベースに保管（記憶）する。第２実施形態における操作履歴抽出部１１および履歴保管部３１は、共同して第１実施形態の操作履歴抽出部１１と同様の処理を行う。他の部分は、ユーザに提示するデータをネットワーク１０３を介して送信する以外は、第１実施形態と同じである。

なお、サーバ１００には複数のクライアント１０１が接続される場合があり、その場合には、操作履歴のグループは、操作履歴のユーザＩＤを用いてユーザ毎に生成する。その後、操作検索部１４で、現在のクライアントでの操作状況に近い操作履歴を検索する。検索する操作履歴は、操作クエリと同じユーザＩＤの操作履歴のグループに絞ってもよく、サーバ１００に保管されている全ての操作履歴のグループでもよい。

以上説明したように、第１および第２実施形態の情報処理装置によれば、ユーザが過去に行った操作の履歴を保管し、ユーザの一連の操作全体の流れや、操作内容（過去に設定や変更などした操作の内容）を記録する。さらに、ユーザの現在の操作の履歴から操作を探すための検索条件を自動的に生成し、ユーザが過去に行った操作の履歴をグループ分けして、グループ毎に検索することで、高精度に過去の操作を検索する。これにより、ユーザが過去に行った操作を提示して、その操作の流れや操作の内容を提示することができる。

このように、ユーザが過去に行った操作の流れや内容を、ユーザが検索条件を指定する必要がなく簡単に且つ高精度に探し出して提示することが可能になるので、ユーザは、過去に行った操作を思い出したり、操作内容を確認することが容易に行える。

具体的には、ユーザが適切な検索条件などを考えて設定する必要がなく、ユーザの現在のコンピュータの操作状況に近い過去の操作履歴を自動的に提示することができ、また提示された過去の操作履歴を参照して、ユーザは過去の操作の流れや操作内容を確認することができる。

さらに、これまでは、事前に全ての操作画面毎にテキスト情報を取得していたが、個々の画面毎に取得しているために、操作の手順などが時系列で並んだ形では取得できていなかった。また、これまでは、事前に操作画面毎のテキスト情報を取得しているために，ユーザが設定した内容や実際のアプリケーションの状況に合わせて表示内容が変化したケースなどの操作画面の情報を取得できていなかった。これに対して第１および第２実施形態では、ユーザが実際に操作を行っている画面やそのテキストを自動的に検出して取得することができ、その手順の流れやユーザが実際に扱ったテキストを取得して、操作画面や操作画面の検索に用いることができる。

さらに、ユーザの操作として保管する必要がない操作を取り除くことができ、操作画面の検索精度の向上（無関係な操作のテキストによるゴミの発生の防止）や、操作履歴として保管するメタデータを削減することができる。

さらに、ユーザが操作したメニューやダイアログの画面に表示されているテキストだけでなく、その操作の対象となるファイルやメール、ホームページなどのテキストも取得して検索の対象とすることができる。アプリケーション、特にホームページなどでは、操作用にメニューやダイアログを表示せず、操作対象の情報の画面の中で操作に関する設定なども行うケースがある。こういったケースであっても、テキスト情報を抽出して、操作履歴検索の対象とすることができる。また、操作の内容と操作対象とが密接に関連している場合などに、操作対象のテキストも扱うことで操作履歴の検索精度を向上することもできる。

さらに、ユーザの操作をグループ分けして操作のインデックスを生成することにより、操作を一連の操作のまとまりで検索できるようになり、検索精度が向上する。これまでは、操作画面毎に個々のインデックスを生成していたので、操作の全体的なまとまりとして検索することができず、検索精度が低く、不適合な画面が検索されることがあったが、第１および第２実施形態ではこのようなことの発生が低減できる。

さらに、操作のグループを状況に応じて作成することができる。例えば、複数のアプリケーションにまたがった操作を行うことが多い場合は、時間単位による分類のみを行って操作をまとめることができる。また、一つのアプリケーション内だけの操作を行うことが多い場合は、アプリケーション毎に絞って、時間単位によるグループ分けを行うことができる。操作の前後関係がメニューやダイアログなどのつながりで明確な場合は、その前後関係を用いて明確に操作をグループ分けできる。さらに、操作履歴をサーバで保管している場合は、ユーザ毎に操作をグループ分けすることで、他人の操作が混ざらないようにすることができる。なお、これらの条件を組み合わせて、より高精度に操作をグループ分けすることもできる。

さらに、操作のグループの検索用インデックスを、操作を行った画面によるインデックスと、操作の対象となる情報のテキストとで別々に生成することができ、両者を明確に分類することで、インデックスが混在して検索精度が低下するのを防ぐことができる。

さらに、現在の操作の状況に近い過去の操作履歴を、類似性が高い順に自動的に評価することができる。ユーザは、現在の状況に応じた検索条件を自分で考える必要がない。

さらに、ユーザのコンピュータの状況に応じた操作履歴の検索を行うことができる。コンピュータの処理能力が低い場合は、ブーリアン方式で高速に検索することができる。一方、コンピュータの処理能力に余裕がある場合は、ベクトル空間方式により、高精度に操作履歴を検索することができる。

さらに、検索した操作履歴をユーザに提示することができる。ユーザは、提示された操作履歴を選択して、過去の操作履歴を確認することができる。

さらに、ユーザは過去の操作履歴の流れを時系列順に確認することができる。これにより、ユーザは操作の手順や操作の設定内容を確認して、その内容を参考にして現在の操作を進めることができる。

さらに、ユーザは、操作履歴をサーバへ保管して、サーバに保管された操作履歴を検索することができる。これにより、ユーザはサーバを共有している他人の操作履歴も保管することができるようになり、ユーザ間の操作のノウハウを共有することができる。

以上、実施形態を説明したが、ここに記載したすべての例や条件は、発明および技術に適用する発明の概念の理解を助ける目的で記載されたものであり、特に記載された例や条件は発明の範囲を制限することを意図するものではなく、明細書のそのような例の構成は発明の利点および欠点を示すものではない。発明の実施形態を詳細に記載したが、各種の変更、置き換え、変形が発明の精神および範囲を逸脱することなく行えることが理解されるべきである。

１１ 操作履歴抽出部
１２ 操作キーワード抽出部
１３ 操作インデックス生成部
１４ 操作検索部
１５ 操作提示部
２０ データベース
２１ 操作履歴データ
２２ キーワードデータ
２３ 操作インデックスデータ

Claims (6)

1. 入力された操作情報が所定の操作条件を満たした時に、前記操作情報に関連する情報を抽出し、操作履歴として記憶する操作履歴抽出部と、
   前記操作履歴からキーワードを抽出し、前記キーワードを操作キーワードとして記憶する操作キーワード抽出部と、
   前記操作履歴を、所定のグループ化条件に基づいて操作履歴グループとしてグループ化し、前記操作履歴グループごとに前記操作キーワードに基づいてインデックスを生成し、生成された前記インデックスを記憶する操作インデックス生成部と、
   記憶されている前記インデックスと、最新の前記操作情報を含む前記操作履歴に関連するインデックスとを比較することにより、最新の前記操作情報に関連する前記操作履歴グループを検出する操作検索部と、
   検出された前記操作履歴グループを表示する操作表示部と、
   を備えることを特徴とする情報処理装置。
2. 前記所定の操作条件は、マウスクリック、確定キー入力およびタッチ操作の少なくとも１つを含む請求項１記載の情報処理装置。
3. 前記操作履歴は、操作日時、操作アプリケーション名、操作ユーザＩＤ、操作画面、操作対象、操作画面に表示されている操作テキストの少なくとも１つを含む請求項１または２記載の情報処理装置。
4. 前記操作キーワード抽出部は、前記抽出したユーザの操作の操作テキストおよび操作対象テキストを分かち書きして、前記キーワードを抽出する請求項１から３のいずれか記載の情報処理装置。
5. 前記所定のグループ化条件は、操作日時の時間差が所定の時間内である操作の場合、同一アプリケーションに対する連続した操作である場合、または同一メニューから派生した操作である場合に、同一グループと判定する請求項１から４のいずれか記載の情報処理装置。
6. 入力された操作情報が所定の操作条件を満たした時に、前記操作情報に関連する情報を抽出し、操作履歴として記憶し、
   前記操作履歴からキーワードを抽出し、前記キーワードを操作キーワードとして記憶し、
   前記操作履歴を、所定のグループ化条件に基づいて操作履歴グループとしてグループ化し、前記操作履歴グループごとに前記操作キーワードに基づいてインデックスを生成し、生成された前記インデックスを記憶し、
   記憶されている前記インデックスと、最新の前記操作情報を含む前記操作履歴に関連するインデックスとを比較することにより、最新の前記操作情報に関連する前記操作履歴グループを検出し、
   検出された前記操作履歴グループを表示する、
   ことを特徴とする情報処理方法。