JP5358945B2

JP5358945B2 - 情報処理装置、情報処理システム、および情報処理プログラム

Info

Publication number: JP5358945B2
Application number: JP2007333342A
Authority: JP
Inventors: 晃雅小村; 義文松永; 秀人湯澤; 宏行服部
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2007-12-25
Filing date: 2007-12-25
Publication date: 2013-12-04
Anticipated expiration: 2027-12-25
Also published as: JP2009157537A

Description

本発明は、主たる作業に関する情報に対して関連する電子メール、電子文書、画像、web(ウエブ)ページなどの情報を表示する情報処理装置、情報処理システム、および情報処理プログラムに関する。より詳しくは、作業者に負担をかけることなく、主たる情報に対して関連情報を表示することが可能な情報処理装置、情報処理システム、および情報処理プログラムに関する。

従来から、主たる情報に対する関連情報の表示(提示)に関しては、情報の表示手法に特徴のある方法およびシステムが知られている。

例えば、ＰＣ(パーソナルコンピュータ)上でキーボードなどの入力装置からテキスト入力を行なっている際に、システムが、その入力内容の一部の文字列をキーワードとして認識し、各種のデータベースからキーワード検索を行い、入力内容から取得したキーワードを含む情報を、関連情報として提示するものが提案されている（例えば、特許文献１参照）。

また、ユーザが閲覧あるいは作業中の電子情報に対して、システムが予め保有しているキーワードデータベースの中のキーワードについて出現の有無を照合し、ユーザが閲覧あるいは作業中の電子情報の中に出現したキーワードを元にして、システムがデータベースからキーワード検索を行い、関連情報を抽出して提示する手法が提案されている。この手法に関しては、キーワードとする文字列とその文字列に関連する情報が対になって事前に登録されているシステム（例えば、特許文献２参照）や、表示内容から自然言語処理により重要キーワードを抽出し、そのキーワードを元にして各種のデータベースからキーワード検索を行って、関連情報を抽出して提示するもの（例えば、特許文献３参照）などが提案されている。また、ユーザ本人が過去に取り扱った電子情報の内容について、予め自然言語処理により出現頻度の高いキーワードを抽出してデータベース化しておき、そのキーワードを用いてユーザが閲覧あるいは作業中の電子情報の中に出現したキーワードを選択し、データベースから自動的にキーワード検索を行い、関連情報を抽出して表示するものが提案されている（例えば、特許文献４参照）。

さらに、表示されている情報に予め付与されている属性情報やその他のメタ情報をキーワードとして、データベースから自動的にキーワード検索を行い、関連情報を抽出して提示するものが提案されている（例えば、特許文献５参照）。

特開平１１−０８５７９５号公報特開平１０−１４３５２２号公報特開平１１−２３８０７４号公報特開２００１−３１２５１５号公報特開２００５−１４１５０７号公報

しかしながら、従来技術では、作業者に負担がかかり、適切な関連情報が表示されない場合がある。

本発明は、上記の問題を鑑みてなされたもので、その目的は、閲覧あるいは作業中の電子情報に対して、作業者に負担をかけることなく、システムが適切に関連する電子情報を表示することが可能な情報処理装置、情報処理システム、情報処理プログラムを提供することにある。

前記課題を解決するために、本発明に係る情報処理装置は、情報を表示する複数のウインドウのうち、どのウインドウがいつアクティブ化したかを示す情報を含む操作処理状態を記憶して管理する管理手段と、前記管理手段の管理内容に基づいて前記複数のウインドウのうち、主たる作業をする主ウインドウを判定する第１の判定手段と、前記複数のウインドウのうち、前記主ウインドウに関連するウインドウを、前記管理手段に記憶されている各ウインドウのアクティブ化が前記第１の判定手段により主ウインドウと判定されたウインドウのアクティブ化からどのくらい前あるいは後かを示す距離と前記主ウインドウからの異なる距離でアクティブ化された回数の加重平均とに基づき判定する第２の判定手段と、前記第２の判定手段の判定結果に基づいて前記主ウインドウと関連するウインドウを表示する表示制御手段とを備える。これにより、作業者に負担をかけることなく、主表示領域に関連する適切な表示領域を表示できる。また、これにより、複数の作業をするウインドウの操作処理の時間的間隔と回数の加重平均に基づいて関連情報を表示するウインドウの主ウインドウに対する関連度の大小関係をより詳細に設定できる。

本発明に係る情報処理装置では、前記第２の判定手段は、前記距離を前記主ウインドウの直前または直後にアクティブ化されたことを示す回数に基づいて判定することを特徴としている。これにより、作業するウインドウの操作処理の時間的間隔が最も短い場合の回数に基づいて関連情報の関連度の大小関係が明確にできる。

本発明に係る情報処理装置では、前記第１の判定手段は、前記管理手段の管理内容に基づき、判定区間の開始からの累積アクティブ時間に基づき主ウインドウを判定し、前記主ウインドウの累積アクティブ時間が一定時間変化しない場合に判定区間を終了するとともに新たな判定区間を開始し、前記第２の判定手段は、前記主ウインドウの判定区間内での距離に基づき前記主ウインドウに関連するウインドウを判定することを特徴としている。これにより、作業するウインドウの操作処理が行われなくなったことを検出して判定期間の終了と、新たな判定期間の開始を設定できる。

本発明に係る情報処理システムは、情報を表示する複数のウインドウのうち、どのウインドウがいつアクティブ化したかを示す情報を含む操作処理状態を記憶して管理する管理手段と、前記管理手段の管理内容に基づいて前記複数のウインドウのうち、主たる作業をする主ウインドウを判定する第１の判定手段と、前記複数のウインドウのうち、前記主ウインドウに関連するウインドウを、前記管理手段に記憶されている各ウインドウのアクティブ化が前記第１の判定手段により主ウインドウと判定されたウインドウのアクティブ化からどのくらい前あるいは後かを示す距離と前記主ウインドウからの異なる距離でアクティブ化された回数の加重平均とに基づき判定する第２の判定手段と、前記第１および第２の判定手段の判定結果に基づいて前記主ウインドウと、前記主ウインドウと関連するウインドウとを異なる表示画面に表示する表示制御手段と、を具備する。これにより、作業者に負担をかけることなく、主表示領域に関連する適切な表示領域を表示できる。また、これにより、複数の作業をするウインドウの操作処理の時間的間隔と回数の加重平均に基づいて関連情報を表示するウインドウの主ウインドウに対する関連度の大小関係をより詳細に設定できる。

本発明に係る情報処理プログラムは、コンピュータを、情報を表示する複数のウインドウのうち、どのウインドウがいつアクティブ化したかを示す情報を含む操作処理状態を記憶して管理する管理手段、前記管理手段の管理内容に基づいて前記複数のウインドウのうち、主たる作業をする主ウインドウを判定する第１の判定手段、前記複数のウインドウのうち、前記主ウインドウに関連するウインドウを、前記管理手段に記憶されている各ウインドウのアクティブ化が前記第１の判定手段により主ウインドウと判定されたウインドウのアクティブ化からどのくらい前あるいは後かを示す距離と前記主ウインドウからの異なる距離でアクティブ化された回数の加重平均とに基づき判定する第２の判定手段、前記第２の判定手段の判定結果に基づいて前記主ウインドウと関連するウインドウを表示する表示制御手段として機能させるためのものである。これにより、作業者に負担をかけることなく、主表示領域に関連する適切な表示領域を表示できる。また、これにより、複数の作業をするウインドウの操作処理の時間的間隔と回数の加重平均に基づいて関連情報を表示するウインドウの主ウインドウに対する関連度の大小関係をより詳細に設定できる。

本発明によれば、作業者に負担をかけることなく、主表示領域に関連する適切な表示領域を表示できる。

以下、本発明の最良の実施形態について図面を参照して説明する。

次に述べる本発明の実施例におけるワーク(作業または業務ともいう)は、情報処理装置で行われる主たる作業がＰＣ(パーソナルコンピュータに代表される情報処理装置)を用いた個人ワークであり、主たる作業に並行して提示(表示)される情報が電子メール又は文書情報である場合について説明する。文書情報とは、主にテキストから構成される一般文書である。情報処理装置として多層ワーク支援装置１０で説明する。なお、提示の用語は、画面表示などの可視表示、シートなどへの印刷をする永久可視表示および音声出力などの可聴表示を含む表示と同様な意味で用いる。なお、以下に説明する情報処理装置として多層ワーク支援装置１０は、複数のディスプレイとそれらに接続された一つ以上のＰＣ(制御装置)から構成されている。本発明では、制御装置は一つでも複数でも問わない。また、本明細書で、主たる作業の主たるは、並行して実施している複数の作業の中で最も従事時間が長いものを示す。

図１は、本発明の実施例に係る多層ワーク支援装置１０のハードウエアの外観的構成例を説明する。同図に示すように、多層ワーク支援装置１０は、３つの表示ディスプレイ１４(１４ａ〜１４ｃ)、表示対象を指定する制御用ボタン群が配置された情報アクセス装置(入力装置)１６(１６ａ，１６ｂ)、及び入出力インターフェイス（ＩＦ）２２をさらに有する。また、多層ワーク支援装置１０は、所定の音を出力する可聴表示用のスピーカ（不図示）等も有する。

表示ディスプレイ１４ａ〜１４ｃは、装置本体１２の正面に設けられており、横方向に配列されている。表示ディスプレイ１４ａ〜１４ｃは、例えば同一の画面サイズの表示画面を持つ液晶ディスプレイである。表示ディスプレイ１４は、後述する制御装置１００により制御されて、所定の情報を表示画面上に表示する可視表示装置である。表示ディスプレイの用語は、表示装置、表示部ともいう。

なお、表示ディスプレイ１４は、仮想的なコンピュータのディスプレイであってもよい。また、表示ディスプレイ１４は、ＣＲＴ（カソードレイチーブ）、ＰＤＰ(プラズマディスプレイパネル)等の上述した液晶表示装置以外の表示装置から構成されてもよく、それぞれが互いに異なる画面サイズであってもよい。この他の表示装置としては、スピーカやヘッドフォンから音声などの音情報を出力する可聴表示装置(不図示)も含み、さらに用紙等のシート状の媒体に情報を永久可視表示(印刷)するプリンタ等の永久可視表示装置(不図示)も含んでもよい。

情報アクセス装置１６ａ，１６ｂは、ユーザに対して表示ディスプレイ１４の手前であって、装置本体１２の左側及び右側の双方に設けられている。情報アクセス装置１６は、制御装置１００により制御されて、所定の情報を表示し、さらに、ユーザからの入力を受け付けて制御装置１００に対して出力する。情報アクセス装置１６は、キートップの表示が柔軟にできるものが好ましく、例えばタッチパネルが考えられる。さらに、情報アクセス装置１６は、制御装置１００等からの表示情報を表示する表示画面を持ち、その表示画面上に表示され、キートップの形状や案内表示も自由に変えられ、その案内表示も容易な仮想的なキー入力部としてもよい。

なお、情報アクセス装置１６は、装置本体１２の左側及び右側のいずれかに設けられてもよい。

情報アクセス装置１６には、複数のボタン１８が設けられており、制御用ボタン群は、これらのボタン１８により構成される。ボタン１８には、表示対象あるいは演算の指定など、所定の動作が割り当てられており、情報アクセス装置１６は、ボタン１８が押下されることにより、ユーザから所望の指定を受け付ける。

なお、ボタン１８の属性、ボタン１８が押下されたときの動作等は、後で詳述する。

情報アクセス装置１６ａ，１６ｂの間には、所定の物が載置される載置部２０が設けられており、この載置部２０の上面には、ＰＣ等の入力装置２６が載置されてもよい。ここで、入力装置２６は、例えば、キーボードやマウス等の位置指示装置等を含み、通信ケーブル２４を介して入出力ＩＦ２２と接続されて、多層ワーク支援装置１０の制御装置１００と、データを通信する。すなわち、入力装置２６は、キー等の操作により、アプリケーションプログラム(ソフトウエア)の実行を指示するための実行指示（コマンド）情報や各種情報をユーザが入力するキーボード、このキーボートと共に表示装置(表示ディスプレイ１４他)と協働してユーザインターフェースを構成するマウスを含み、さらに、原稿に記載された文書等を光学的に読み取る光学式読取装置（スキャナ）を含んでもよい。

図２は、多層ワーク支援装置１０において用いられるコンピュータシステム(情報処理装置)のハードウエア構成例を示すブロック図である。

図２に示すように、多層ワーク支援装置１０は、制御装置１００(１００ａ〜１００ｅ)、及び中継装置１１２を有し、制御装置１００ａ〜１００ｅのそれぞれは、ＣＰＵ１０４及びメモリ１０６を含む処理装置１０２、通信ＩＦ１０８、及び記憶装置１１０を有する。

制御装置１００において、通信ＩＦ１０８は、中継装置１１２を介して、他の制御装置１００、外部の入力装置２６、及びネットワーク２と、所定のデータを通信する。

ＣＰＵ（Central Processing Unit）１０４は、メモリ(主記憶装置)１０６に記憶されたプログラムに従い各部を制御する。

メモリ(主記憶装置)１０６は、ＲＯＭまたはＲＡＭを含み、文書作成編集処理や、ウインドウの判定処理などの各種処理およびテキスト読み上げ処理などの多層ワーク支援のための処理などの情報処理を行うプログラムやＣＰＵ１０４で演算処理されたデータ等をワーク領域に記憶する。さらに好ましくは、表示装置（１０４他）にイメージを表示するためのイメージバッファを含む。

記憶装置１１０は、例えばＨＤＤ(ハードディスク駆動)装置で代表される磁気デイスク装置等の磁気記憶装置あるいはＣＤ装置、ＤＶＤ装置などの光ディスク装置等の光記憶装置であり、データを記憶し及び読み出す(再生)する。さらに、フラッシュメモリ等の半導体記憶装置で構成されてもよい。さらに、記憶装置１１０は、ネットワーク等を介して収集された大量のデータを蓄積してもよい。

このように、制御装置１００は、プログラムの実行による情報処理、及びネットワークを介して他の制御装置１００等との間の通信が可能なコンピュータとしての構成部分を有する。

中継装置１１２は、制御装置１００の間で送信及び受信されるデータを中継し、また、入力装置２６及びネットワーク２を介して接続される外部のコンピュータ（不図示）と、入出力ＩＦ２２を介して通信を行う。なお、この中継装置１１２は、サーバとして実現してもよく、また、制御装置１００がＰＣなどのネットワークアドレスを有する形で実現される場合には、中継装置１１２を介さず、直接P to P(ピアツーピア)方式で制御装置同士が接続されてもよい。

また、制御装置１００ａは、第１の表示ディスプレイ１４ａに表示される情報を制御し、制御装置１００ｂは、第２の表示ディスプレイ１４ｂに表示される情報を制御し、制御装置１００ｃは、第３の表示ディスプレイ１４ｃに表示される情報を制御する。制御装置１００ｄは、第１の情報アクセス装置１６ａに表示される情報を制御し、その表示に従う第１の情報アクセス装置１６ａからの入力を受け付ける。同様に、制御装置１００ｅは、第２の情報アクセス装置１６ｂに表示される情報を制御し、その表示に従う第２の情報アクセス装置１６ｂからの入力を受け付ける。このように、表示ディスプレイ１４ａ〜１４ｃ及び情報アクセス装置１６ａ，１６ｂは、それぞれ異なる制御装置１００により制御される。制御装置１００は、通常のＰＣで実現されてもよい。

さらに、制御装置１００ａは、第２の表示ディスプレイ１４ｂ、第３の表示ディスプレイ１４ｃ、及び情報アクセス装置１６ａ，１６ｂに対して、所定の情報を表示させる。この場合、制御装置１００ａは、例えば、制御装置１００ｂとデータを通信して、第２の表示ディスプレイ１４ｂに情報を表示させる。また、制御装置１００ａは、情報アクセス装置１６ａ，１６ｂから入力されたデータを、制御装置１００ｄ，１００ｅを介して受け付ける。制御装置１００ｂ〜１００ｅもまた、同様にして、いずれの表示ディスプレイ１４等に対しても情報を表示させ、いずれの情報アクセス装置１６からデータを受け付ける。

なお、いずれかの制御装置１００が、複数の表示ディスプレイ１４及び情報アクセス装置１６を制御してもよいし、これらの全てを制御してもよい。また、１つの制御装置１００には、複数のＣＰＵ１０４及びメモリ１０６が含まれてもよい。

以上のように、情報処理装置の主要部としての制御装置１００を、上記のように、複数台を用いて、情報処理装置(コンピュータシステム)を構成してもよいし、今後、マルチプロセッサやマルチコアプロセッサが発達し、一台の制御装置１００が多層ワーク支援のための処理能力を十分持てば、1台の制御装置１００で情報処理装置を構成してもよい。以下、説明を簡単にするため、1台に機能を集約した制御装置１００を持つ制御装置１００ｘで情報処理装置の機能的な構成を説明する(参照符号１００のｘは１台でも複数台の連携システムでも良い意味を示す)。

図３は本実施例の情報処理装置の機能的な構成を示すブロック図である。同図において、制御装置１００ｘは、入力情報のうち、ウインドウの判定に必要な情報の履歴を記憶して管理する履歴記憶部５０a、関連度を記憶する関連度記憶部５０b、これらの記憶内容を管理する管理部５０、管理部５０内の記憶内容に基づいて作業者の主たる作業を行う主表示領域としての主ウインドウを判定する第１判定部５１、主ウインドウに関連するウインドウを関連度により判定する第２の判定部５２、および第２の判定部の判定結果に基づいて複数の表示領域としてのウインドウの表示制御を行う表示制御部５３を含んで構成される。

可視表示部６１は、表示制御部５３の制御に基づいて表示画面上等に可視情報を表示するもので、前述の多層ワーク支援装置１０では、表示ディスプレイ１４（１４a〜１４c）などの表示画面等に表示する。

可聴表示部６２は表示制御部５３で例えば主ウインドウの表示に並行して表示される文書に含むテキストに対応した読み上げ内容が合成音声情報として作成され、作成された合成音声情報をスピーカまたはヘッドフォンなどにより出力する。

永久可視表示部６３は、表示制御部５３の制御に基づいて記録媒体としてのシート等に情報を印刷する。

本実施例の情報処理装置の制御装置１００ｘは、その代表例としての多層ワーク支援装置１０で示したように複数の制御装置１００の連携で実現してもよし、単一の制御装置１００で強力な処理能力の有するマルチプロセッサやマルチコア等によるＣＰＵを含む制御装置により実現してもよい。ここでは、下記のように、機能的に説明する。

まず、管理部５０による表示領域としてのウインドウの操作履歴等の管理について説明する。日常業務において、表示状態がアクティブになったウインドウに表示されている情報について、それらの表示時間を記録する。このデータは、たとえば図４に示すような形式で履歴記憶部５０aに記憶保存され、管理部５０により管理される。なお、履歴記憶部５０aには、後述する複数の表示領域としてのウインドウに対する操作履歴(ログ)等に基づく管理情報(データ)が記憶される。すなわち、入力装置(不図示)からの入力情報(操作情報等)や後述する視線入力装置からの入力情報(視線情報等)に基づいて、操作履歴の管理情報(例えば、後述する図4乃至図6で示すデータ構造等)が公知の操作検出部(不図示)等と協働して第1の判定部51等で作成され、管理部５０を介して履歴記憶部５０aに記憶される。

履歴記憶部５０aに記憶され、管理部５０で管理される操作履歴管理情報としてのアクティブウインドウ管理表を図4に示す。同図は、システムの操作ログに記載された情報(上記操作検出部で検出された情報)を元にして、あるウインドウがアクティブになった時刻が丸印で示されており、時系列に記録されている。このテーブルでは、次のウインドウがアクティブになる時刻までは、先にアクティブとなったウインドウがアクティブな状態を継続していることを表す。

なお、初期設定においては、昼休憩などのように、ワーカーが明らかにアクティブウインドウを利用していないと考えられる時間帯は、管理表から除外されている。ただし、このような時間帯であっても多忙なワーカー(作業者またはユーザともいう)は、仕事をしていることが考えられるし、逆に業務時間中に、一時的にＰＣ（本実施例では、図１乃至図３で例示した情報処理装置）ワークから離れる場合もある。そこで、ワーカーによるマニュアル操作で、アクティブウインドウ認識の作動と停止を行うことができるスイッチが準備されていてもよい。このスイッチとしては、たとえば、アクティブウインドウの認識を行うアプリケーションソフトウエアのショートカットアイコンとしてデスクトップや、メニューバーの中などに設置されていることなどが挙げられる。

図４に示したアクティブウインドウ管理表は、基本的には、ＰＣの起動から電源OFFまでを１単位として１つの表で管理し、ＰＣの起動中にアクティブ化されたウインドウに表示された新たな情報は、次々と表に追加されていく形式で管理される。

次に、図４の表をグラフに表すと図５のようになる。このアクティブ状態に関するデータは、ユーザが作業、閲覧中の時間についてのみ有効とするために、このグラフから判るように、標準設定では昼休憩など事前にわかっている離席時間は自動的に削除されることが好ましい。なお、ユーザが作業している状態を特定するのは、マニュアル操作でも制御できることが好ましく、特定キー（たとえばCtrl、Shiftなど）に対して、操作ログに作業開始および中断を入力する機能を設定しておくことができる。なお、作業終了については、ＰＣの電源がOFFになることで検知(検出)することができる。また、操作ログに記録される、ウインドウ表示が閉じられたり同じアプリケーションウインドウ内で別な情報に変更されたりした時刻で、表示ウインドウの終了時刻を検知することも好ましい。

次に、このように管理された履歴情報に基づいて、主表示領域としての主ウインドウ(メインウインドウ)を判定する第１の判定部による判定処理について説明する。

図４の管理データあるいは、図５のグラフから、ある時間におけるメインウインドウを特定する。システムがメインウインドウの判定を行う際には、最初に判定区間を決定する。判定区間の開始時間は任意でよいが、一般的には、最初の判定区間については、ＰＣを起動した時点で開始される。一方、判定を行う区間の終了時間は、後述する方法により設定される。そして、ある判定区間の終了時間は、判定すべき次の区間の開始時間となる。

次に、判定を行う区間の終了時間の決定方法について説明する。図６には、図４あるいは図５のデータをもとに、各ウインドウについて、一定時間ごとに算出した累積アクティブ時間をグラフに示した。図６は、算出タイミングが５分間隔の場合のグラフである。この算出タイミングは、必ずしも５分間隔である必要は無いが、判定を行う区間の終了時間の決定に対して、５分程度が好ましいと考えられる。

メインウインドウは、判定区間の開始から一定時間ごとに算出した累積アクティブ時間が最も長いウインドウを都度メインウインドウと認定する。従って、判定開始直後は、メインウインドウは定まらず、時間の経過と共に変化する可能性が高い。しかしメインウインドウは、ワーカーが編集、マウス操作、スクロール操作などを行う割合が高いウインドウであり、しばらく作業を続けているとアクティブ化されている累積時間が最も高い状態が継続されるようになり、メインウインドウは１つのウインドウに収束する。

このような状態で累積アクティブ時間の算出を続けていると、最初の作業が終了した時点で、メインウインドウの切替えが生じる。しかし、図６に示すように、累積アクティブ時間は一旦最大値を示すとアクティブ化されていなくてもその値が維持されるために、作業も切替えによるメインウインドウの移行を検知できない。そこで、メインウインドウの判定ならびに、後述する、関連ウインドウの判定を適切に行うために、本システムは一連の作業を１単位として判定を行う。この方法は、たとえば、算出タイミングごとに継続してメインウインドウであると判定されたウインドウについて、その累積時間が一定時間変化しないときに、判定区間が終了したと判断し、新たなメインウインドウの判定を開始する。図６では、9：20移行、ウインドウAがメインウインドウであるという判定が継続するが、11：30移行にウインドウAの累積アクティブ時間の増加がなくなる。そこで、継続して１５分以上変化がない場合に判定区間を終了し、その時刻から、改めて次の区間について、ウインドウのアクティブ化時間の累積を行う。そこで、継続して１５分以上、累積アクティブ時間が増加しないことを認識するために、算出間隔は少なくとも１５分以下であり、できるかぎり短いほうが好ましい。しかしながら、非常に短時間の算出間隔は、判定精度の向上が殆どないにもかかわらず、データ量が膨大となるという問題がある。従って、1ウインドウに対する標準的な従事時間に応じた設定が好ましい。この値は、ワーカーや業務内容に応じて、使用者が自由に設定変更できることが好ましい。

また、判定区間の終了時刻を決定するための、累積アクティブ時間の増加が見られない状態の継続時間の設定も、ユーザは自由に変更できることが好ましい。なお、あまり短時間の設定とすると、メインウインドウへの作業に必要な参考資料の検索とその内容確認など、非メインウインドウで時間を要する作業を行った場合に、判定区間が終了したと判断してしまい、後述の関連情報ウインドウの判定が一連の作業全体を見ることなく行われてしまうという問題がある。一方、あまり長く設定しすぎると、すでに１つの作業が完了し次の作業に移行しているにもかかわらず、新たな判定を開始できない。従って、上記と同様に作業内容に応じた設定変更ができることが好ましい。

なお、システムは、次の作業におけるメインウインドウ判定区間において検知したメインウインドウが、判定区間の開始以前にすでにアクティブ化されていることを図４あるいは図５に示す管理表から読み取ることで、判定開始時刻を遡って設定することもできる。具体的には、図６において11：30分から１５分間のメインウインドウ（A）の累積時間増加を確認できず、11：45に判定区間の終了および、次の判定区間の開始を設定したとき、11：45以降にメインウインドウと判定されるウインドウFのアクティブ化開始時刻である11：35に判定開始時刻を遡って設定しても良い。

以上、メインウインドウの判定を、ウインドウのアクティブ状態の検知(検出)を元にして行うことを説明したが、次に、図１及び図２で述べた多層ワーク支援装置に代表されるマルチＰＣ、すなわち情報処理システムとして、複数の制御装置がある場合におけるメインウインドウの判定処理について補足説明をする。

マルチＰＣ(制御装置)の場合には、複数のＰＣ(制御装置)ごとにアクティブな状態のウインドウが存在する。そこで、ワーカーはどのアクティブウインドウに対峙して業務を行っているかを判定する必要がある。この代表的な方法としては、視線入力装置などが有効に活用できる。ＵＳＢ(ユニバーサル・シリアル・バス)接続などによる一般的な視線入力装置が知られており、それらを利用することが出来る。また、複数ＰＣに渡って単一のマウスによる操作が可能である場合は、マウスコントロールの存在するＰＣからの信号を表示しているディスプレイのアクティブウインドウを全ＰＣの中のアクティブウインドウであると判定することもできる。また、マウス操作や、キーボード入力などが実行されているＰＣのアクティブウインドウを、全ＰＣの中のアクティブウインドウであると判定することもできる。

次に、主表示領域としての主ウインドウ(メインウインドウ)に関連するウインドウ(表示領域)を判定する第２の判定部の判定処理について説明する。

メインウインドウに対する関連ウインドウの判定処理では、メインウインドウと判定区間が決定されたら、その区間内にアクティブ化された他のすべてのウインドウについて、メインウインドウとの関連性を評価(判定)する。ここでは、後日、メインウインドウとして表示されたウインドウに対して、関連情報を自動的に表示する際の候補ウインドウを判定する。従って、ある判定区間で使用された関連ウインドウのうち、相対的に関連度が高いウインドウを判定する。

第２の判定部５２は、履歴記憶部５０aに記憶され管理部５０で管理されている履歴管理情報からメインウインドウに対する各ウインドウの関連度を算出し（後述する）、管理部50を介して関連度管理情報としての関連度管理表を関連度記憶部５０bに記憶する。関連度記憶部５０bに記憶されて管理部５０で管理される管理表(管理情報)の構造例を図７に示す。同図は、メインウインドウに対する関連ウインドウの関連度(関連性)を評価(判定)するために用いる表である。この表は、各ウインドウが、ある判定区間の中で、メインウインドウと判定されたウインドウとどのくらい関連性があるのかを、出現回数で示した。ここで、メインウインドウとの関連性は、メインウインドウのアクティブ化からどのくらい前あるいは後でアクティブ化されたかを、メインウインドウからの距離と定義した。たとえば、メインウインドウがアクティブ化した直前と直後にアクティブ化された場合は、それぞれ距離を１とする。また、メインウインドウがアクティブ化される２つ前と２つ後にアクティブ化された場合は、距離を２とする。そして、あるウインドウがアクティブ化されたとき、その前後で最も近いメインウインドウとの距離を算出して、出現回数を調べた。

例えば、履歴記憶部５０aに記憶された履歴情報としての管理データのうち、図４に示す管理テーブルにおいて、9：00〜11：45が判定区間であり、その区間のメインウインドウはウインドウAであった。このとき、ウインドウCは、9：40と10：25にアクティブ化されている。そこで、9：40にアクティブ化されたときは、その前にメインウインドウAがアクティブ化されてから１番目にアクティブ化されているので、距離は1が１回である。また、9：40にアクティブ化されたときは、その後にメインウインドウAが１番目にアクティブ化されているので、距離は1が１回である。一方、10：25にアクティブ化されたときは、その前にメインウインドウAがアクティブ化されてから１番目にアクティブ化されているので、距離は1が１回である。また、10：25にアクティブ化されたときは、その後にメインウインドウAがウインドウDを挟んで2番目にアクティブ化されているので、距離は2が１回である。従って、合計すると距離１が3回、距離２が１回となる。

このような判定を、判定区間についてすべてのウインドウについて行った結果が図７に表す。ここで、メインウインドウAは、距離が０でありその出現回数は７回であり、ウインドウBからEの算出に使用する出現回数の半分の値となっている（距離０なので、前後という二重カウントがないため）。

次に、この出現回数を基に、第２の判定部５２が、各ウインドウのメインウインドウに対する関連度を算出する。

第一の例は、距離１の出現回数に対するすべてのウインドウの出現回数の割合で評価する方法が挙げられる。この値を図７の関連度１の欄に示した。ここでは、各ウイドウの関連度は、関連度＝〔各ウインドウの距離１の出現回数〕／〔全ウインドウの出現回数〕の式で計算される。例えば、ウインドウB、C、D、Eの全出現回数が１４回であるので、距離１の出現回数が４回のウインドウBの関連度１は、29％となる。また、ウインドウCとDは距離１の出現回数が3回なので関連度１は21％、ウインドウEは距離１の出現回数が2回なので関連度１は14％となる。従って、ウインドウAに対する関連資料としては、ウインドウB、CとD、Eという順番で関連度が深いと判定する。従って、システムは、後日、ウインドウAが表示されたとき、関連ウインドウを１画面自動的に表示する際はウインドウBを、また、２画面自動的に表示する際はウインドウBとCまたはDを表示する。なお、関連度が全く同じだった場合は、同一ディスプレイ(表示画面)に並べて表示することや、表示内容を確認してからユーザの操作により一方だけを表示することなどができる。また、別な算出方法による関連度の値で順序を判定することもできる。

次に、第２の判定部５２による別な関連度の算定方法を図8を参照して説明する。

この方法は、距離１だけでなく、すべての距離の出現回数を考慮した関連度の算出を行う。図８に示すように、各距離に対して重み付けのための係数を設定して、関連度を計算した値を、関連度２の欄に示した。すなわち、〔関連度〕＝〔距離毎の[出現回数×重み係数]の和〕／〔〔重み係数の和〕×〔全ウインドウの出現回数〕〕の式で計算される。たとえば、重み係数を距離１は10、距離2は5、距離３は2、距離4は１と設定した場合、ウインドウBの関連度２は16％、ウインドウCとDの関連度２は14％、ウインドウEの関連度２は8％となる。この場合は、関連度１と関連度２で順序が変化しなかったので、どちらの値を用いてもよい。

一方、図９には別なウインドウに関する出現率を示した。この場合は、関連度１の順序がL、NとO、Mであるのに対して、関連度２の順序はM、L、N、Oであり、どちらの関連度を用いるかをユーザは選択することができる。なお、重み付けの係数も、今回の値に限られることはなく、ユーザが任意に設定することができる。

このように、関連度が算出されたウインドウは、関連度１に関する関連度管理表を表す図１０および関連度２に関する関連度管理表を表す図１１に示すように、メインウインドウと関連ウインドウについて、関連度の情報が蓄積される。そして、例えば、関連度１に関する関連度管理表を表す図１２に示すように、新たな作業によって過去にデータを持つメインウインドウに対する関連ウインドウの関連度が算出された場合、データの累積が行われて、メインウインドウに対する統合された関連度のデータが算出され、関連度記憶部５０bに保存される。具体的には、関連度１に関して統合された関連度を表す図１３に示すように、図１０のウインドウAに対する関連度１のデータ（出現回数14回分）に、図１２に示すウインドウAに対する新たな関連度１のデータ（出願回数20回分）が加算され、合計34回の出現回数に対する出現割合に修正される。なお、ウインドウGやHのように、以前のデータに出現回数がなく関連度の値がないウインドウは、出現回数の積算はせず、図１３の統合管理表の値は図１２に示す値に等しい。

このように、第１の判定部５１によるメインウインドウの判定および第２の判定部によるメインウインドウに対する関連するウインドウの判定がなされると、この判定結果が、表示制御部５３に通知され、通知された判定結果に基づいて、表示制御部５３により、可視表示部６１、可聴表示部６２、永久表示部６３のうちのいずれかが選択され、例えば、可視表示部６１の表示画面上にメインウインドウおよびメインウインドウに関連するウインドウが表示される。

上述したように、あるウインドウに対して、過去のワーカーのウインドウ操作をもとに、累積的な関連度を算出して関連情報(関連ウインドウ)を選定する機能により、ワーカーが作業中に作業ウインドウ(メインウインドウ)を表示すると、自動的にその関連情報を表示するウインドウが表示される。

図１４には、マルチディスプレイ作業における関連情報の表示形式の１例を示す。ここで用いる表示装置は、図1および図２を参照して説明した多層ワーク支援装置に代表されるマルチディスプレイ型の情報処理装置の場合には、例えば１つのディスプレイに作業用資料のウインドウが表示されると、関連度の高い情報ウインドウが、周囲に配置された別なディスプレイに表示される。最も関連度の高い情報ウインドウが、たとえば左画面に表示され、次に関連度の高い情報ウインドウが右画面に表示される。図１４の例では、３つの表示ディスプレイ１４(１４ａ〜１４ｃ)のうち、左画面(表示ディスプレイ１４a)に最も関連度の高いウインドウ、右画面(表示ディスプレイ１４b)に2番目に関連度の高いウインドウが表示される。なお、情報アクセス装置１６(１６a,１６b)のボタン１８には、表示ディスプレイ１４(１４a,１４b)に表示されるウインドウに対応して、すばやく入力操作できるように、作業ボタン群(１８a)や機能ボタン群(１８b)が表示画面上からその案内表示をもとに入力できるように仮想的に設けられている(例えば、表示画面に設けられたタッチパネル等による仮想ボタンなどの入力や位置指示装置による操作入力)。

図１５には別な表示形式を示した。この実施例では、一つの画面、例えば、左画面(表示ディスプレイ１４a)に関連情報ウインドウの一覧が表示される。表示形式は、図１５に示すようにサムネイル(縮小画像)表示でもよいし、あるいは、図１６に示すような資料のタイトル名のリスト表示や、図１７に示すようなアイコン表示でもよい。これらの資料一覧表示は、図１５乃至図１７に示すように、関連度が高い順に示されているかまたは、関連度が表示されており、ユーザは、それらの中から必要な資料を選択して周囲の別な画面あるいは、作業画面(メインウインドウ)以外の複数の画面(例えば、右画面；表示ディスプレイ１４b)他に表示することができる。

また、図１８には別な表示例を示した。この場合は、一つの画面に表示された作業ウインドウに関連する情報ウインドウは、図１４の表示例と同様に一つずつ別なディスプレイに表示される。さらに、関連度に関するデータベース(関連度記憶部５０bまたは他の外部データベース)から、関連情報として表示されたウインドウをメインインドウとした場合の関連情報（二次的関連情報）を、第２の判定部５２および表示制御部５３により、可視表示装置６１としての同一ディスプレイ(図１８の例では、表示ディスプレイ１４a)上に並べて表示することができる。表示の仕方は、図１８に示したようにすべて同一サイズであっても良いし、図１９に示すように、作業画面の関連情報のウインドウサイズが、二次的関連情報ウインドウよりも相対的に大きく表示されても良い。また、二次的関連情報はサムネイル表示、タイトルリスト表示、アイコン表示などであってもよい。

一方、一般的な構成である１ディスプレイの装置の場合は、作業ウインドウを表示した画面に、関連情報ウインドウを表示することになる。この場合、作業ウインドウに対する処理を阻害しないことが好ましく、サムネイル表示、タイトルリスト表示、アイコン表示などの形式で表示され、選択された時点でウインドウ表示されることが望ましい。なお、作業ウインドウへの処理を阻害しない程度のウインドウ表示を行うこともできる。

次に、多重ワーク(多層ワーク)への応用について述べる。

本発明の情報処理装置は、あるウインドウに関連する情報表示ウインドウとして、作業者による両者の処理間隔が短い場合に、その関連性が高いと判断して、後日関連情報ウインドウとして表示する。しかし、図１および図２を参照して述べた多層ワーク支援装置を使用して、複数の作業を並行して処理している作業者の場合、複数の表示装置で複数の異なる作業ウインドウを開き、頻繁に処理対象を切替えて作業していることが考えられる。この場合に収集された関連度のデータは、関連情報ではなく多重ワーク可能なタスク組み合わせの難易度として取り扱うことができる。すなわち、関連度が高いとされるウインドウは、連続して切替えが行われた作業ウインドウであり、多重ワークが容易なタスクの組み合わせを意味している。従って、後日、作業者がある作業ウインドウを表示したときには、同時処理が可能な組み合わせの別な作業ウインドウを表示するので、多層ワーク支援装置にも容易に適用できる。

本発明は、複数の作業を並行して行うマルチタスク環境などの分野において、閲覧あるいは文書編集などの作業中の電子情報に対して、作業者に負担をかけることなく、システムが関連する電子情報を表示することが可能な情報処理装置、情報処理システム、情報処理プログラム等において利用される。

本発明の実施例に係る多層ワーク支援装置の構成例を示す図である。本発明の実施例に係る多層ワーク支援装置のハードウエア構成例を示すブロック図である。本発明の実施例に係る情報処理装置の機能的な構成例を示すブロック図である。本発明の実施例に係るアクティブウインドウの管理表を示す図である。本発明の実施例に係る各ウインドウのアクティブ状態を示すグラフである。所定間隔でサンプリングした場合のウインドウの累積アクティブ時間を示すグラフである。本発明の実施例に係る関連ウインドウの関連度を表で示す図である。本発明の実施例に係る集中度の他の判定処理を説明する関連ウインドウの別な関連度を表で示す図である。別なウインドウに関する２種類の関連度を表で示す図である。関連度１の関連度情報の蓄積データを表で示す図である。関連度２の関連度情報の蓄積データを表で示す図である。別な期間で算出された関連度データを表で示す図である。異なる期間の関連度データを統合したデータを示す表図である。マルチディスプレイ作業における関連情報の表示形式を示す説明図であるマルチディスプレイ作業でのサムネイルによる関連情報の表示形式を示す説明図である。マルチディスプレイ作業でのリストによる関連情報の表示形式を示す説明図である。マルチディスプレイ作業でのアイコンによる関連情報の表示形式を示す説明図である。マルチディスプレイ作業での２次的関連情報を含む関連情報の表示形式を示す図である。マルチディスプレイ作業での２次的関連情報を含む関連情報の別の表示形式を示す図である。

符号の説明

２：ネットワーク
１０：多層ワーク支援装置
１２：装置本体
１４：表示ディスプレイ
１６：情報アクセス装置
１８：ボタン
２０：載置部
２２：入出力ＩＦ
２４：通信ケーブル
２６：入力装置
２６f：フットスイッチ
５０：管理部
５０a:履歴記憶部
５０b:関連度記憶部
５１：第1の判定部
５２：第2の判定部
５３：表示制御部
６１：可視表示部
６２：可聴表示部
６３：永久可視表示部
１００、１００x：制御装置
１０２：処理装置
１０４：ＣＰＵ
１０６：メモリ
１１０：記憶装置
１１２：中継装置

Claims

情報を表示する複数のウインドウのうち、どのウインドウがいつアクティブ化したかを示す情報を含む操作処理状態を記憶して管理する管理手段と、
前記管理手段の管理内容に基づいて前記複数のウインドウのうち、主たる作業をする主ウインドウを判定する第１の判定手段と、
前記複数のウインドウのうち、前記主ウインドウに関連するウインドウを、前記管理手段に記憶されている各ウインドウのアクティブ化が前記第１の判定手段により主ウインドウと判定されたウインドウのアクティブ化からどのくらい前あるいは後かを示す距離と前記主ウインドウからの異なる距離でアクティブ化された回数の加重平均とに基づき判定する第２の判定手段と、
前記第２の判定手段の判定結果に基づいて前記主ウインドウと関連するウインドウを表示する表示制御手段とを備えることを特徴とする情報処理装置。
前記第２の判定手段は、前記距離を前記主ウインドウの直前または直後にアクティブ化されたことを示す回数に基づいて判定することを特徴とする請求項１に記載の情報処理装置。
前記第１の判定手段は、前記管理手段の管理内容に基づき、判定区間の開始からの累積アクティブ時間に基づき主ウインドウを判定し、前記主ウインドウの累積アクティブ時間が一定時間変化しない場合に判定区間を終了するとともに新たな判定区間を開始し、
前記第２の判定手段は、前記主ウインドウの判定区間内での距離に基づき前記主ウインドウに関連するウインドウを判定することを特徴とする請求項１に記載の情報処理装置。
情報を表示する複数のウインドウのうち、どのウインドウがいつアクティブ化したかを示す情報を含む操作処理状態を記憶して管理する管理手段と、
前記管理手段の管理内容に基づいて前記複数のウインドウのうち、主たる作業をする主ウインドウを判定する第１の判定手段と、
前記複数のウインドウのうち、前記主ウインドウに関連するウインドウを、前記管理手段に記憶されている各ウインドウのアクティブ化が前記第１の判定手段により主ウインドウと判定されたウインドウのアクティブ化からどのくらい前あるいは後かを示す距離と前記主ウインドウからの異なる距離でアクティブ化された回数の加重平均とに基づき判定する第２の判定手段と、
前記第１および第２の判定手段の判定結果に基づいて前記主ウインドウと、前記主ウインドウと関連するウインドウとを異なる表示画面に表示する表示制御手段と、
を具備する情報処理システム。
コンピュータを、
情報を表示する複数のウインドウのうち、どのウインドウがいつアクティブ化したかを示す情報を含む操作処理状態を記憶して管理する管理手段、
前記管理手段の管理内容に基づいて前記複数のウインドウのうち、主たる作業をする主ウインドウを判定する第１の判定手段、
前記複数のウインドウのうち、前記主ウインドウに関連するウインドウを、前記管理手段に記憶されている各ウインドウのアクティブ化が前記第１の判定手段により主ウインドウと判定されたウインドウのアクティブ化からどのくらい前あるいは後かを示す距離と前記主ウインドウからの異なる距離でアクティブ化された回数の加重平均とに基づき判定する第２の判定手段、
前記第２の判定手段の判定結果に基づいて前記主ウインドウと関連するウインドウを表示する表示制御手段
として機能させるための情報処理プログラム。