JP6957973B2 - 情報処理装置、情報処理システムおよびプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理システム、プログラムに関する。

アプリケーションソフトウェアを使用する際の説明書（マニュアル）を作成するなどの目的で、表示装置に表示されたウィンドウ画面のキャプチャを行なうときがある。そしてキャプチャを行なった画像情報を後から検索等することができるように、画像情報に検索などに必要な付加情報を付与する場合がある。

特許文献１には、画像情報相互間の関連度、類似度についての利用者による判断情報（例えば「画像Ａとの関連度合は、画像Ｂより画像Ｃの方が大である」）にもとづいて、属性項目の追加、削除を行なう条件を、ＩＦ〜ＴＨＥＮ〜形式のルールで記述し、常時、ＩＦ以下の条件を監視し、成立した場合にはＴＨＥＮ以下の処理を実行する仕組みを、検索処理インタフエース部に追加する画像情報記憶検索方式が開示されている。

特開昭６３−３７４７５号公報

しかしながらキャプチャした画像が多くなると、付加情報をユーザが入力する手間が多大となる。これを解決するための従来技術の一例として、画像情報相互間の関連度、類似度についての利用者による判断情報に基づいて、属性項目の追加、削除を行なう条件を監視する仕組みを、検索処理インタフエース部に追加する方法では、画像を基に類似度等を判断するため、作成された付加情報の精度が低下することがある。そのため精度を向上させるためには、ユーザによる付加情報の検証が必要となり、その結果、ユーザの手間が軽減されないことになる。またユーザにとって必要な付加情報が含まれるとは限らず、欠落が生じやすい。その結果、キャプチャ画像の検索、活用をしにくくなる。
本発明は、ウィンドウ画面のキャプチャを行なう際に、ウィンドウ画面のキャプチャ画像の情報に対し必要な付加情報を関連付けて記録することができる情報処理装置等を提供することを目的とする。

請求項１に記載の発明は、表示画面中に表示される複数のウィンドウ画面のキャプチャを行なう際に、当該ウィンドウ画面のキャプチャ画像の情報を取得する取得部と、前記キャプチャ画像の情報と複数の前記ウィンドウ画面の相互関係を示す関係情報とを関連付ける関連部と、ユーザがキャプチャ画像の検索を行なう際に、前記関係情報を基に検索した結果として、当該関係情報を可視化し、複数の前記ウィンドウ画面の相互関係を前記表示画面に表示する可視化部と、を備え、前記取得部は、前記ウィンドウ画面の状態に関する情報をさらに取得し、前記関連部は、前記ウィンドウ画面の状態に関する情報の中のテキストベースの情報を基に、複数の前記ウィンドウ画面同士の類似度を求め、当該類似度を基に複数の当該ウィンドウ画面をグルーピングした結果を、前記関係情報として関連付け、前記可視化部は、前記グルーピングした結果を可視化し、複数の前記ウィンドウ画面の相互関係として前記表示画面に表示する情報処理装置である。
請求項２に記載の発明は、前記取得部は、前記表示画面に表示される複数の前記ウィンドウ画面が重なり合うときは、それぞれを重なり合わない状態に分けて前記キャプチャ画像の情報を取得することを特徴とする請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記関連部は、重なり合った複数の前記ウィンドウ画面のレイヤ構造を抽出した結果をさらに関連付けることを特徴とする請求項２に記載の情報処理装置である。
請求項４に記載の発明は、前記関連部は、前記ウィンドウ画面のキャプチャ画像の情報を基に、複数の前記ウィンドウ画面のレイヤ構造を抽出した結果を、前記関係情報として関連付け、前記可視化部は、前記レイヤ構造を可視化し、複数の前記ウィンドウ画面の相互関係として前記表示画面に表示することを特徴とする請求項１に記載の情報処理装置である。
請求項５に記載の発明は、前記取得部は、前記ウィンドウ画面の状態に関する情報をさらに取得し、前記関連部は、前記ウィンドウ画面の状態に関する情報を基に、複数の前記ウィンドウ画面同士の操作順序を求めた結果を、前記関係情報として関連付け、前記可視化部は、前記操作順序を可視化し、複数の前記ウィンドウ画面の相互関係として前記表示画面に表示することを特徴とする請求項１に記載の情報処理装置である。
請求項６に記載の発明は、前記取得部は、前記ウィンドウ画面の状態に関する情報をさらに取得し、前記関連部は、前記ウィンドウ画面の状態に関する情報を基に、複数の前記ウィンドウ画面同士の親子関係を求めた結果を、前記関係情報として関連付け、前記可視化部は、前記親子関係を可視化し、複数の前記ウィンドウ画面の相互関係として前記表示画面に表示することを特徴とする請求項１に記載の情報処理装置である。
請求項７に記載の発明は、複数のウィンドウ画面を表示画面中に表示する表示装置と、前記表示装置に表示される複数の前記ウィンドウ画面のキャプチャを行なう情報処理装置と、を備え、前記情報処理装置は、前記表示画面中に表示される複数の前記ウィンドウ画面のキャプチャを行なう際に、当該ウィンドウ画面のキャプチャ画像の情報を取得する取得部と、前記キャプチャ画像の情報と複数の前記ウィンドウ画面の相互関係を示す関係情報とを関連付ける関連部と、ユーザがキャプチャ画像の検索を行なう際に、前記関係情報を基に検索した結果として、当該関係情報を可視化し、複数の前記ウィンドウ画面の相互関係を前記表示画面に表示する可視化部と、を備え、前記取得部は、前記ウィンドウ画面の状態に関する情報をさらに取得し、前記関連部は、前記ウィンドウ画面の状態に関する情報の中のテキストベースの情報を基に、複数の前記ウィンドウ画面同士の類似度を求め、当該類似度を基に複数の当該ウィンドウ画面をグルーピングした結果を、前記関係情報として関連付け、前記可視化部は、前記グルーピングした結果を可視化し、複数の前記ウィンドウ画面の相互関係として前記表示画面に表示する情報処理システムである。
請求項８に記載の発明は、コンピュータに、表示画面中に表示される複数のウィンドウ画面のキャプチャを行なう際に、当該ウィンドウ画面のキャプチャ画像の情報を取得する取得機能と、前記キャプチャ画像の情報と複数の前記ウィンドウ画面の相互関係を示す関係情報とを関連付ける関連機能と、ユーザがキャプチャ画像の検索を行なう際に、前記関係情報を基に検索した結果として、当該関係情報を可視化し、複数の前記ウィンドウ画面の相互関係を前記表示画面に表示する機能と、を実現させ、前記取得機能は、前記ウィンドウ画面の状態に関する情報をさらに取得し、前記関連機能は、前記ウィンドウ画面の状態に関する情報の中のテキストベースの情報を基に、複数の前記ウィンドウ画面同士の類似度を求め、当該類似度を基に複数の当該ウィンドウ画面をグルーピングした結果を、前記関係情報として関連付け、複数の前記ウィンドウ画面の相互関係を前記表示画面に表示する機能は、前記グルーピングした結果を可視化し、複数の前記ウィンドウ画面の相互関係として前記表示画面に表示するプログラムである。

請求項１の発明によれば、ウィンドウ画面のキャプチャを行なう際に、ウィンドウ画面のキャプチャ画像の情報に対し必要な付加情報を関連付けて記録することができる情報処理装置を提供できる。また、キャプチャ後に、ウィンドウ画面の相互関係を把握することができ、効率的にユーザが希望するキャプチャ画像を探し出すことができる。さらに、関係情報を直観的に把握することができる。また、キャプチャ後に、ウィンドウ画面の類似度を把握することができ、効率的にユーザが希望するキャプチャ画像を探し出すことができる。
請求項２の発明によれば、複数のウィンドウ画面が重なり合っていても、キャプチャ画像に欠落が生じにくく、再度キャプチャをやり直す作業を行なわなくてすむ。
請求項３の発明によれば、キャプチャ後に、これらのウィンドウ画面のレイアウトの状態を直観的に把握することができ、効率的にユーザが希望するキャプチャ画像を探し出すことができる。
請求項４の発明によれば、キャプチャ後に、ウィンドウ画面のレイアウトの状態を把握することができ、効率的にユーザが希望するキャプチャ画像を探し出すことができる。
請求項５の発明によれば、キャプチャ後に、ウィンドウ画面の操作順序を再現し把握することができ、効率的にユーザが希望するキャプチャ画像を探し出すことができる。
請求項６の発明によれば、キャプチャ後に、ウィンドウ画面の親子関係を把握することができ、効率的にユーザが希望するキャプチャ画像を探し出すことができる。
請求項７の発明によれば、ウィンドウ画面のキャプチャを行なう際に、キャプチャ後に、キャプチャ画像の情報に対し検索等に必要な付加情報を付与することができる情報処理システムが提供できる。また、キャプチャ後に、ウィンドウ画面の相互関係を把握することができ、効率的にユーザが希望するキャプチャ画像を探し出すことができる。さらに、関係情報を直観的に把握することができる。また、キャプチャ後に、ウィンドウ画面の類似度を把握することができ、効率的にユーザが希望するキャプチャ画像を探し出すことができる。
請求項８の発明によれば、ウィンドウ画面のキャプチャを行なう際に、ウィンドウ画面のキャプチャ画像の情報に対し必要な情報を関連付けて記録することができる機能をコンピュータにより実現できる。また、キャプチャ後に、ウィンドウ画面の相互関係を把握することができ、効率的にユーザが希望するキャプチャ画像を探し出すことができる。さらに、関係情報を直観的に把握することができる。また、キャプチャ後に、ウィンドウ画面の類似度を把握することができ、効率的にユーザが希望するキャプチャ画像を探し出すことができる。

本実施の形態における情報処理システムの構成例を示す図である。 本実施の形態における情報処理装置の機能構成例を表すブロック図である。 （ａ）〜（ｄ）は、解析部が複数のウィンドウ画面についてレイヤ構成情報を作成する方法を示した図である。 （ａ）〜（ｄ）は、解析部が複数のウィンドウ画面について操作順序情報を作成する方法を示した図である。 （ａ）〜（ｃ）は、解析部が複数のウィンドウ画面についてグルーピング情報を作成する方法を示した図である。 （ａ）〜（ｃ）は、解析部が複数のウィンドウ画面について親子関係情報を作成する方法を示した図である。 情報処理装置の動作について説明したフローチャートである。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

＜情報処理システム全体の説明＞
図１は、本実施の形態における情報処理システム１の構成例を示す図である。
図示するように本実施の形態の情報処理システム１は、表示装置２０に表示される画像の画像情報を作成する情報処理装置１０と、情報処理装置１０により作成された画像情報が入力され、この画像情報に基づき画像を表示する表示装置２０と、情報処理装置１０に対しユーザが種々の情報を入力するための入力装置３０とを備える。

情報処理装置１０は、情報処理装置の一例であり、例えば、所謂汎用のパーソナルコンピュータ（ＰＣ）である。そして、情報処理装置１０は、ＯＳ（Operating System）による管理下において、各種アプリケーションソフトウェアを動作させることで、画像情報の作成等が行われるようになっている。

表示装置２０は、表示画面２１に画像を表示する。表示装置２０は、例えばＰＣ用の液晶ディスプレイ、液晶テレビあるいはプロジェクタなど、加法混色にて画像を表示する機能を備えたもので構成される。したがって、表示装置２０における表示方式は、液晶方式に限定されるものではない。なお、図１に示す例では、表示装置２０内に表示画面２１が設けられているが、表示装置２０として例えばプロジェクタを用いる場合、表示画面２１は、表示装置２０の外部に設けられたスクリーン等となる。

入力装置３０は、キーボードやマウス等で構成される。入力装置３０は、アプリケーションソフトウェアの起動、終了や、詳しくは後述するが、ブラウザ等のアプリケーションソフトウェアに対しブックマークの選択の指示を入力するのに使用する。

情報処理装置１０および表示装置２０は、ＤＶＩ（Digital Visual Interface）を介して接続されている。なお、ＤＶＩに代えて、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やDisplayPort等を介して接続するようにしてもかまわない。
また情報処理装置１０と入力装置３０とは、例えば、ＵＳＢ（Universal Serial Bus）を介して接続されている。なお、ＵＳＢに代えて、ＩＥＥＥ１３９４やＲＳ−２３２Ｃ等を介して接続されていてもよい。

なお本実施の形態における情報処理システム１は、図１の形態に限られるものではない。例えば、情報処理システム１としてタブレット端末を例示することができる。この場合、タブレット端末は、タッチパネルを備え、このタッチパネルにより画像の表示を行なうとともにユーザの指示が入力される。即ち、タッチパネルが、表示装置２０および入力装置３０として機能する。また同様に表示装置２０および入力装置３０を統合した装置として、タッチモニタを用いることもできる。これは、上記表示装置２０の表示画面２１としてタッチパネルを使用したものである。この場合、情報処理装置１０により画像情報が作成され、この画像情報に基づきタッチモニタに画像が表示される。そしてユーザは、このタッチモニタをタッチ等することで指示を入力する。

このような情報処理システム１において、表示装置２０では、複数のウィンドウ画面を表示画面２１中に表示する。ここでウィンドウ画面とは、各機能の実行の際に割り当てられる画面の領域を指しており、ウィンドウ画面の最小単位は、アプリケーションごとであってもよいし、各アプリケーション内における機能ごとであっても良い。ユーザは、表示画面２１を見ながら入力装置３０を操作し、アプリケーションソフトウェアを操作する指示を入力する。これにより情報処理装置１０は、ユーザの指示に対応した処理を行なう。また情報処理装置１０は、ユーザによる予め定められた操作を受け付けると、表示装置２０に表示される複数のウィンドウ画面のキャプチャを行なう。予め定められた操作は、この処理に割り当てられたホットキーを押下することにより行なうことができる。例えば、入力装置３０としてキーボードを使用した場合、「Print Screen」キーを押下したり、「Alt」キーと「Print Screen」キーとを同時に押下するとウィンドウ画面のキャプチャが行われる。
そして情報処理装置１０は、キャプチャを行なうことで得られた画像情報（画像データ）に関連付けて、ウィンドウ画面の状態に関する情報を取得して保存する。このウィンドウ画面に関する情報は、上述した付加情報に対応する。

＜情報処理装置１０の説明＞
図２は、本実施の形態における情報処理装置１０の機能構成例を表すブロック図である。なお図２では情報処理装置１０が有する種々の機能のうち本実施の形態に関係するものを選択して図示している。
図示するように本実施の形態の情報処理装置１０は、取得部１１と、解析部１２と、関連部１３と、保存部１４と、可視化部１５とを備える。

取得部１１は、表示画面２１中に表示される複数のウィンドウ画面のキャプチャを行なう際に、ウィンドウ画面のキャプチャ画像の情報およびウィンドウ画面の状態に関する情報を取得する。

このうち「ウィンドウ画面の状態に関する情報」は、主にテキストベースの情報である。具体的には、対象となるウィンドウ画面についての、実行モジュール名（あるいはプロセス名やタイトル名）、親のモジュール名（あるいはプロセス名やタイトル名）、操作していたファイル名、ＯＳの情報（ＯＳの種類やバージョンなど）、ユーザの情報（ユーザ名、ユーザＩＤなど）である。よってウィンドウ画面の状態に関する情報は、ウィンドウ画面についての属性情報であると考えることもできる。ここでＯＳの情報が含まれるのは、ＯＳによりＵＩ（User Interface）が変わるためである。またユーザの情報が含まれるのは、ユーザによって制限（アクセス制限等）があるためである。なおここで「対象となるウィンドウ画面」とは、ユーザがキャプチャしようとしているアクティブなウィンドウ画面である。即ち、マルチウィンドウ環境において、ユーザによる入力や操作の対象となっているウィンドウ画面である。

また「ウィンドウ画面のキャプチャ画像の情報」は、対象となるウィンドウ画面および対象となるウィンドウ画面の背面に存在するウィンドウ画面のモジュール名（あるいはプロセス名やタイトル名）や画像情報（画像データ）である。ここで「対象となるウィンドウ画面の背面に存在するウィンドウ画面」とは、アクティブでないその他のウィンドウ画面である。なお本実施の形態でウィンドウ画面と言った場合、ダイアログ画面も含まれる。

このとき取得部１１は、表示画面２１に表示される複数のウィンドウ画面が重なり合うときは、それぞれを重なり合わない状態に分けてキャプチャ画像の情報を取得する。
これにより、複数のウィンドウ画面が重なり合っていても、キャプチャ画像に欠落が生じにくく、再度キャプチャをやり直す作業を行なわなくてすむ。

解析部１２は、キャプチャ画像の情報およびウィンドウ画面の状態に関する情報の解析を行なう。また可視化部１５は、解析部１２により解析された解析結果を可視化して表示画面２１に表示する。
このとき解析部１２は、例えば、複数のウィンドウ画面の相互関係を示す関係情報を作成する。この場合、可視化部１５は、この関係情報を可視化して表示画面２１に再現する。またこれは、可視化部１５は、ウィンドウ画面の状態に関する情報を基に、複数のウィンドウ画面の相互関係を可視化して表示画面２１に再現する、と言うこともできる。

以下、関係情報について詳述する。ここでは、解析部１２が、関係情報として、レイヤ構成情報、操作順序情報、グルーピング情報、親子関係情報を作成する場合についてそれぞれ説明を行なう。

（レイヤ構成情報）
本実施の形態では、解析部１２は、ウィンドウ画面のキャプチャ画像の情報を基に、複数のウィンドウ画面のレイヤ構造を抽出した結果であるレイヤ構成情報を関係情報として作成する。この場合、解析部１２は、重なり合った複数のウィンドウ画面のレイヤ構造を抽出してレイヤ構成情報を作成する。

図３（ａ）〜（ｄ）は、解析部１２が複数のウィンドウ画面についてレイヤ構成情報を作成する方法を示した図である。
図３（ａ）は、モジュールＡ、モジュールＢ、およびモジュールＣによる３つのウィンドウ画面が表示画面２１に表示されている場合を示している。
図３（ａ）の状態からキャプチャを行なう場合、図３（ｂ）に示すように、取得部１１が、上述したようにこれらのウィンドウ画面がそれぞれを重なり合わない状態に分けてキャプチャ画像の情報を取得する。
そして解析部１２は、図３（ａ）に示すこれらのウィンドウ画面の重なりの状態から、各ウィンドウ画面のレイヤ構造を抽出する。

さらに解析部１２は、図３（ｃ）に示すようなレイヤ構造を抽出した結果であるレイヤ構成情報を作成する。
図３（ｃ）では、モジュールＡ、モジュールＢ、およびモジュールＣのモジュール名として、それぞれ「DocuWorks Desk」、「[Dialog]DocuWorks Desk」、「検索」が作成され、そしてレイヤ構造としてレイヤ番号が作成されている。この場合、レイヤ番号が小さいほど、下層のレイヤであり、大きいほど、上層のレイヤであることを意味し、ウィンドウ画面の重なりの順序を表す。この場合、「０」が最も下層のレイヤであり、「２」が最も上層のレイヤである。そして「１」は、これらの間にあるレイヤであることを示している。また図示はしていないが、レイヤ構成情報として、それぞれのウィンドウ画面がどのように重なり合っていたか、あるいはそれぞれのウィンドウ画面の座標位置などを作成してもよい。

また可視化部１５は、このレイヤ構成情報を基に、ウィンドウ画面の重なりの状態を可視化して再現する。
図３（ｄ）は、レイヤ構成情報を基に、ウィンドウ画面の重なりの状態を可視化して再現したビュワー画面を示している。即ち、ウィンドウ画面の重なり具合が再現して表示されている。
これによりキャプチャ後に、これらのウィンドウ画面のレイアウトの状態を直観的に把握することができ、効率的にユーザが希望するキャプチャ画像を探し出すことができる。

（操作順序情報）
本実施の形態では、解析部１２は、ウィンドウ画面の状態に関する情報を基に、複数のウィンドウ画面同士の操作順序を表す操作順序情報を関係情報として作成する。

図４（ａ）〜（ｄ）は、解析部１２が複数のウィンドウ画面について操作順序情報を作成する方法を示した図である。
図４（ａ）〜（ｃ）は、（ａ）→（ｂ）→（ｃ）の順でページめくりをする場合を示している。
ここでは解析部１２は、ウィンドウ画面の状態に関する情報として、それぞれのウィンドウ画面のモジュール名（あるいはプロセス名やタイトル名）および作成日時を取得する。

図４（ｄ）は、１つのウィンドウ画面について解析部１２が取得したタイトル名と作成日時の例を示した図である。複数のウィンドウ画面同士の操作順序は、ウィンドウ画面の作成順序と同様であると考えられる。よって解析部１２は、この作成日時を基にそれぞれのウィンドウ画面同士の操作順序を判断し、操作順序情報を作成する。

また可視化部１５は、この操作順序情報を基に、ウィンドウ画面の操作順序を可視化して再現する。操作順序を可視化するには、例えば、図４（ａ）〜（ｃ）の画像を操作順に表示してもよく、Paper UIを利用したりアニメーションを利用してもよい。
これによりキャプチャ後に、これらのウィンドウ画面の操作順序を再現し把握することができ、効率的にユーザが希望するキャプチャ画像を探し出すことができる。

（グルーピング情報）
本実施の形態では、解析部１２は、ウィンドウ画面の状態に関する情報を基に、複数のウィンドウ画面同士の類似度を求め、類似度を基に複数のウィンドウ画面をグルーピングした結果であるグルーピング情報を関係情報として作成する。

図５（ａ）〜（ｃ）は、解析部１２が複数のウィンドウ画面についてグルーピング情報を作成する方法を示した図である。
ここで図５（ａ）は、類似度を求める１つのウィンドウ画面を示している。そして解析部１２は、図５（ｂ）に示すようなウィンドウ画面の状態に関する情報を取得する。ここでは、解析部１２が、タイトル名、親のタイトル名、プロセス名、ファイル名、ＯＳバージョン、ソフトウェアバージョン、ユーザ名、直近の操作履歴、作成日時を取得した例を示している。

そして解析部１２は、これらの情報を基に複数のウィンドウ画面同士の類似度を求める。つまり解析部１２は、これらの情報が複数のウィンドウ画面同士でどの程度一致するかにより類似度を求める。このとき類似度が判断できる手法であれば、特に制限なく用いることができる。例えば、ｋ−ｍｅａｎｓ法でクラスタを形成し、それぞれのクラスタを１つのグループとしてグルーピングしてもよい。

また可視化部１５は、このグルーピング情報を基に、ウィンドウ画面同士の関係を可視化して再現する。
図５（ｃ）は、グルーピング情報を基に、ウィンドウ画面同士の類似度を可視化して再現した画面を示している。ここでは、ウィンドウ画面同士を結ぶ線の色により類似度が示され、例えば、グレー→赤→オレンジ→緑の順に類似度が高いようにする。
ウィンドウ画面の類似度を可視化するには、このようにメタファー（metaphor）を用いてもよく、Tree Map、Tree View、Network Graphなどを用いてもよい。
これによりキャプチャ後に、これらのウィンドウ画面の類似度を直観的に把握することができ、効率的にユーザが希望するキャプチャ画像を探し出すことができる。

（親子関係情報）
本実施の形態では、解析部１２は、ウィンドウ画面の状態に関する情報を基に、複数のウィンドウ画面同士の親子関係を求めた結果である親子関係情報を関係情報として作成する。ここで「ウィンドウ画面同士の親子関係」とは、あるモジュールが作成したウィンドウ画面から他のモジュールを呼び出してウィンドウ画面を作成したときに、先に作成されたウィンドウ画面を親のウィンドウ画面とし、後に作成されたウィンドウ画面を子のウィンドウ画面として、これらのウィンドウ画面についての関係を言う。

図６（ａ）〜（ｃ）は、解析部１２が複数のウィンドウ画面について親子関係情報を作成する方法を示した図である。
ここでは解析部１２は、ウィンドウ画面の状態に関する情報として、それぞれのウィンドウ画面のモジュール名（あるいはプロセス名やタイトル名）および親のモジュール名（あるいはプロセス名やタイトル名）を取得する。

図６（ａ）は、１つのウィンドウ画面について解析部１２が取得したモジュール名と親のモジュール名の例を示した図である。解析部１２は、この情報を基にそれぞれのウィンドウ画面同士の親子関係を判断し、親子関係情報を作成する。

図６（ｂ）は、親子関係情報の例を示した図である。ここでは、モジュール名が、「DocuWorks Desk」、「Search」、「[Dialog]DocuWorks Desk」、「Document Property」の４つのモジュールのウィンドウ画面の親子関係情報を示している。

また可視化部１５は、この親子関係情報を基に、ウィンドウ画面同士の親子関係を可視化して再現する。
図６（ｃ）は、グルーピング情報を基に、ウィンドウ画面同士の親子関係を可視化して再現した画面を示している。ここでは、モジュール名が「DocuWorks Desk」の親のウィンドウ画面の下に、モジュール名が「Search」および「Document Property」の子のウィンドウ画面が２つあることを示している。さらにモジュール名が「Search」のウィンドウ画面の下に、モジュール名が「[Dialog]DocuWorks Desk」の子のウィンドウ画面があることを示している。
これによりキャプチャ後に、これらのウィンドウ画面の親子関係を直観的に把握することができ、効率的にユーザが希望するキャプチャ画像を探し出すことができる。

図２に戻り、関連部１３は、キャプチャ画像の情報とウィンドウ画面の状態に関する情報とを関連付ける。また関連部１３は、解析部１２が作成したレイヤ構成情報、操作順序情報、グルーピング情報および親子関係情報をキャプチャ画像の情報に対しさらに関連付ける。

そして保存部１４は、キャプチャ画像の情報を文書ファイルとして保存する。このときキャプチャ画像の情報は、取得部１１で取得した状態で保存してもよく、予め定められた形式に変換して保存してもよい。

またウィンドウ画面の状態に関する情報（主にテキストべースの情報）は、属性情報として文書ファイルに追加する。さらに保存部１４は、解析部１２が作成した関係情報（レイヤ構成情報、操作順序情報、グルーピング情報、親子関係情報）についても、属性情報として文書ファイルに保存する。そして保存部１４は、取得部１１において、複数のウィンドウ画面が重なり合うときに、それぞれを重なり合わない状態に分けてキャプチャ画像の情報を取得した場合、これらをアノテーションとして保存する。つまり保存部１４は、これらの情報をキャプチャ画像の情報に紐付けて保存する。キャプチャ画像の情報に紐付けて保存された情報は、付加情報としてキャプチャ後にウィンドウ画面の検索、活用等を行なう際に有用となる。

また保存部１４は、操作順序情報に従い、キャプチャ画像を操作順序に即して並べ、保存するようにしてもよい。これによりユーザは、キャプチャ画像の閲覧時に、操作順で閲覧することができ、キャプチャ画像の把握がより容易になる。

＜情報処理装置１０の動作の説明＞
次に情報処理装置１０の動作について説明を行なう。
図７は、情報処理装置１０の動作について説明したフローチャートである。
まずユーザが、入力装置３０のホットキー等を操作することにより、情報処理装置１０に対し、表示画面２１に表示されているウィンドウ画面のキャプチャを行なうことを指示する（ステップ１０１）。

この場合、まず取得部１１が、ウィンドウ画面のキャプチャ画像の情報およびウィンドウ画面の状態に関する情報を取得する（ステップ１０２）。このとき取得部１１は、複数のウィンドウ画面が重なり合うときは、それぞれを重なり合わない状態に分けてキャプチャ画像の情報を取得する。

次に解析部１２は、図３で説明したような方法で、ウィンドウ画面のキャプチャ画像の情報を基に、複数のウィンドウ画面のレイヤ構造を抽出した結果であるレイヤ構成情報を作成する（ステップ１０３）。

また解析部１２は、図４で説明したような方法で、ウィンドウ画面の状態に関する情報を基に、複数のウィンドウ画面同士の操作順序を表す操作順序情報を作成する（ステップ１０４）。

さらに解析部１２は、図５で説明したような方法で、ウィンドウ画面の状態に関する情報を基に、複数のウィンドウ画面同士の類似度を求める（ステップ１０５）。そして解析部１２は、類似度を基に複数のウィンドウ画面をグルーピングした結果であるグルーピング情報を作成する（ステップ１０６）。

また解析部１２は、図６で説明したような方法で、ウィンドウ画面の状態に関する情報を基に、複数のウィンドウ画面同士の親子関係を求めた結果である親子関係情報を作成する（ステップ１０７）。

次に関連部１３が、キャプチャ画像の情報に対し、ウィンドウ画面の状態に関する情報を関連付ける。さらに関連部１３は、キャプチャ画像の情報に対し、解析部１２が作成した関係情報（レイヤ構成情報、操作順序情報、グルーピング情報、親子関係情報）をキャプチャ画像の情報に対し関連付ける（ステップ１０８）。

そして保存部１４が、キャプチャ画像の情報を文書ファイルとして保存する（ステップ１０９）。このとき保存部１４は、ウィンドウ画面の状態に関する情報（主にテキストべースの情報）を、属性情報として文書ファイルに追加する。さらに保存部１４は、解析部１２が作成した関係情報（レイヤ構成情報、操作順序情報、グルーピング情報、親子関係情報）を、属性情報として文書ファイルに保存する。そして保存部１４は、取得部１１において、複数のウィンドウ画面が重なり合うときに、それぞれを重なり合わない状態に分けてキャプチャ画像の情報を取得した場合、これらをアノテーションとして保存する。

なお可視化部１５は、ユーザからの要求により、解析部１２で作成した関係情報（レイヤ構成情報、操作順序情報、グルーピング情報、親子関係情報）を可視化して表示する（ステップ１１０）。

以上詳述した情報処理装置１０によれば、ウィンドウ画面のキャプチャを行なう際に、キャプチャ画像の情報に対し必要な情報を関連付けて記録することができる。これにより従来技術で画像を基にこのような情報を作成する場合、例えば、モジュール名（あるいはプロセス名やタイトル名）のような情報が欠落するが、本実施の形態では、付加情報として抽出される。また本実施の形態では、これを含む上述したウィンドウ画面の状態に関する情報（主にテキストべースの情報）が付加情報として保存される。その結果、ユーザがキャプチャ後に、検索等を行なう際に、必要な付加情報の欠落が生じにくくなる。

また本実施の形態の情報処理装置１０は、これらの付加情報をいわば自動的に作成するため、ユーザが記録する場合に比較して、記録忘れによる付加情報の欠落が生じにくい。

また本実施の形態の情報処理装置１０は、ウィンドウ画面の相互関係を表す関係情報（レイヤ構成情報、操作順序情報、グルーピング情報、親子関係情報）を取得する。ウィンドウ画面は非常に似ているものが多く、キャプチャ後にウィンドウ画面が何であったかの把握が困難であることがある。しかしユーザは、この関係情報を参照することで、ウィンドウ画面の相互関係を把握することができ、より効率的にユーザが希望するキャプチャ画像を探し出すことができる。また本実施の形態では、関係情報の可視化を行なうことができ、これによりユーザは、ウィンドウ画面の相互関係を直観的に把握することができる。

このように本実施の形態の情報処理装置１０によれば、キャプチャ画像の検索、活用がより容易となる。そしてユーザの手間を軽減することができ、キャプチャ画像の作り直しなどが生じにくくなる。

なお上述した例では、キャプチャを行なうウィンドウ画面は静止画であったが、これに限られるものではない。例えば、動画であってもよい。

＜プログラムの説明＞
ここで以上説明を行った本実施の形態における情報処理装置１０が行なう処理は、例えば、ブラウザ等のアプリケーションソフトウェアのプログラムとして用意される。

よって本実施の形態で、情報処理装置１０が行なう処理は、コンピュータに、表示画面２１中に表示される複数のウィンドウ画面のキャプチャを行なう際に、ウィンドウ画面のキャプチャ画像の情報およびウィンドウ画面の状態に関する情報を取得する取得機能と、キャプチャ画像の情報とウィンドウ画面の状態に関する情報とを関連付ける関連機能と、を実現させるためのプログラムとして捉えることもできる。

なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。

以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

１…情報処理システム、１０…情報処理装置、１１…取得部、１２…解析部、１３…関連部、１４…保存部、１５…可視化部、２０…表示装置、２１…表示画面、３０…入力装置

Claims (8)

1. 表示画面中に表示される複数のウィンドウ画面のキャプチャを行なう際に、当該ウィンドウ画面のキャプチャ画像の情報を取得する取得部と、
   前記キャプチャ画像の情報と複数の前記ウィンドウ画面の相互関係を示す関係情報とを関連付ける関連部と、
   ユーザがキャプチャ画像の検索を行なう際に、前記関係情報を基に検索した結果として、当該関係情報を可視化し、複数の前記ウィンドウ画面の相互関係を前記表示画面に表示する可視化部と、
   を備え、
   前記取得部は、前記ウィンドウ画面の状態に関する情報をさらに取得し、
   前記関連部は、前記ウィンドウ画面の状態に関する情報の中のテキストベースの情報を基に、複数の前記ウィンドウ画面同士の類似度を求め、当該類似度を基に複数の当該ウィンドウ画面をグルーピングした結果を、前記関係情報として関連付け、
   前記可視化部は、前記グルーピングした結果を可視化し、複数の前記ウィンドウ画面の相互関係として前記表示画面に表示する情報処理装置。
2. 前記取得部は、前記表示画面に表示される複数の前記ウィンドウ画面が重なり合うときは、それぞれを重なり合わない状態に分けて前記キャプチャ画像の情報を取得することを特徴とする請求項１に記載の情報処理装置。
3. 前記関連部は、重なり合った複数の前記ウィンドウ画面のレイヤ構造を抽出した結果をさらに関連付けることを特徴とする請求項２に記載の情報処理装置。
4. 前記関連部は、前記ウィンドウ画面のキャプチャ画像の情報を基に、複数の前記ウィンドウ画面のレイヤ構造を抽出した結果を、前記関係情報として関連付け、
   前記可視化部は、前記レイヤ構造を可視化し、複数の前記ウィンドウ画面の相互関係として前記表示画面に表示することを特徴とする請求項１に記載の情報処理装置。
5. 前記取得部は、前記ウィンドウ画面の状態に関する情報をさらに取得し、
   前記関連部は、前記ウィンドウ画面の状態に関する情報を基に、複数の前記ウィンドウ画面同士の操作順序を求めた結果を、前記関係情報として関連付け、
   前記可視化部は、前記操作順序を可視化し、複数の前記ウィンドウ画面の相互関係として前記表示画面に表示することを特徴とする請求項１に記載の情報処理装置。
6. 前記取得部は、前記ウィンドウ画面の状態に関する情報をさらに取得し、
   前記関連部は、前記ウィンドウ画面の状態に関する情報を基に、複数の前記ウィンドウ画面同士の親子関係を求めた結果を、前記関係情報として関連付け、
   前記可視化部は、前記親子関係を可視化し、複数の前記ウィンドウ画面の相互関係として前記表示画面に表示することを特徴とする請求項１に記載の情報処理装置。
7. 複数のウィンドウ画面を表示画面中に表示する表示装置と、
   前記表示装置に表示される複数の前記ウィンドウ画面のキャプチャを行なう情報処理装置と、
   を備え、
   前記情報処理装置は、
   前記表示画面中に表示される複数の前記ウィンドウ画面のキャプチャを行なう際に、当該ウィンドウ画面のキャプチャ画像の情報を取得する取得部と、
   前記キャプチャ画像の情報と複数の前記ウィンドウ画面の相互関係を示す関係情報とを関連付ける関連部と、
   ユーザがキャプチャ画像の検索を行なう際に、前記関係情報を基に検索した結果として、当該関係情報を可視化し、複数の前記ウィンドウ画面の相互関係を前記表示画面に表示する可視化部と、
   を備え、
   前記取得部は、前記ウィンドウ画面の状態に関する情報をさらに取得し、
   前記関連部は、前記ウィンドウ画面の状態に関する情報の中のテキストベースの情報を基に、複数の前記ウィンドウ画面同士の類似度を求め、当該類似度を基に複数の当該ウィンドウ画面をグルーピングした結果を、前記関係情報として関連付け、
   前記可視化部は、前記グルーピングした結果を可視化し、複数の前記ウィンドウ画面の相互関係として前記表示画面に表示する情報処理システム。
8. コンピュータに、
   表示画面中に表示される複数のウィンドウ画面のキャプチャを行なう際に、当該ウィンドウ画面のキャプチャ画像の情報を取得する取得機能と、
   前記キャプチャ画像の情報と複数の前記ウィンドウ画面の相互関係を示す関係情報とを関連付ける関連機能と、
   ユーザがキャプチャ画像の検索を行なう際に、前記関係情報を基に検索した結果として、当該関係情報を可視化し、複数の前記ウィンドウ画面の相互関係を前記表示画面に表示する機能と、
   を実現させ、
   前記取得機能は、前記ウィンドウ画面の状態に関する情報をさらに取得し、
   前記関連機能は、前記ウィンドウ画面の状態に関する情報の中のテキストベースの情報を基に、複数の前記ウィンドウ画面同士の類似度を求め、当該類似度を基に複数の当該ウィンドウ画面をグルーピングした結果を、前記関係情報として関連付け、
   複数の前記ウィンドウ画面の相互関係を前記表示画面に表示する機能は、前記グルーピングした結果を可視化し、複数の前記ウィンドウ画面の相互関係として前記表示画面に表示する
   プログラム。

Images