JP5428681B2 - 情報処理装置、情報処理プログラム、および情報処理方法 - Google Patents

情報処理装置、情報処理プログラム、および情報処理方法 Download PDF

Info

Publication number
JP5428681B2
JP5428681B2 JP2009209436A JP2009209436A JP5428681B2 JP 5428681 B2 JP5428681 B2 JP 5428681B2 JP 2009209436 A JP2009209436 A JP 2009209436A JP 2009209436 A JP2009209436 A JP 2009209436A JP 5428681 B2 JP5428681 B2 JP 5428681B2
Authority
JP
Japan
Prior art keywords
area
screen
item
graphic
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009209436A
Other languages
English (en)
Other versions
JP2011060018A (ja
Inventor
悟 ▲高▼橋
隆夫 毛利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2009209436A priority Critical patent/JP5428681B2/ja
Publication of JP2011060018A publication Critical patent/JP2011060018A/ja
Application granted granted Critical
Publication of JP5428681B2 publication Critical patent/JP5428681B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Description

本発明は、操作に関するログを取得する情報処理装置、情報処理プログラム、および情報処理方法に関する。
従来から、業務分析のために、アプリケーションが発行するログを用いて作業時間を計測することが行われている。ところが、対象となるアプリケーションがログを発行しないものであれば、何らかの手法により間接的にログを取得する必要がある。従来において、画面の画像データを所定時間前の画像データと比較して、画像データの一致不一致から画面の表示内容の切り替えタイミングを判断する手法がある。
また、予め定められた複数の業務項目について実際にかかった時間を計測する技術がある（たとえば、下記特許文献１参照。）。具体的には、計測装置は、特定の業務を開始する際の被測定者による特定の業務項目ボタンのクリックに応じて、時間計測を開始する。そして、計測装置は、特定の業務が終了して特定の業務項目の選択入力が行われると、特定の業務項目の時間計測の終了に関する情報を記録する。
また、対話システムの応答時間を測定する技術がある（たとえば、下記特許文献２参照。）。具体的には、測定装置は、ディスプレイに表示された画像情報の予め定められた第１の位置における画像情報の変化を検知し、その時刻をプログラムの動作開始時刻として記録する。そして、測定装置は、画像情報の予め定められた第２の位置における画像情報の変化を検知し、その時刻をプログラムの動作終了時刻として記録し、動作開始時刻と動作終了時刻から応答時間を計算する。
特開２００２−１０７４７３号公報 特開２００４−３８６１９号公報
しかしながら、上述した従来技術では、画面内に複数の枠（表示領域）を有し、一の枠内の項目群のいずれかを選択すると、他の枠内の表示内容が切り替わるアプリケーションにおける項目の選択操作に関するログを取得することが難しいという問題がある。
具体的には、画面全体の画像データの一致不一致から表示内容の切り替えタイミングを判断する従来手法では、各枠のスクロール操作による画面変化も検出してしまうため、項目の選択操作に関するログのみを正確に取得することが難しいという問題がある。
また、枠内の各項目に座標を与えて、項目の選択操作にともなう画面変化を検出することも考えられる。しかしながら、アプリケーションの種類、設定およびウィンドウサイズによって各枠の配置位置が異なるため、各項目の配置位置を一意に特定することが難しいという問題がある。
本発明は、上述した従来技術による問題点を解消するため、効率的かつ高精度に項目の選択操作に関するログを取得することができる情報処理装置、情報処理プログラム、および情報処理方法を提供することを目的とする。
上述した課題を解決し、目的を達成するため、開示の情報処理装置、情報処理プログラム、および情報処理方法は、画面内の複数の表示領域のうち、項目群を表示する項目領域と前記項目群から選ばれた項目に対応する情報を表示する情報領域とを特定し、所定の時間間隔で得られた前記画面の一連の表示内容のうち、任意の時刻における前記画面の表示内容と、前記任意の時刻以前の時刻における前記画面の表示内容とを比較し、比較された比較結果に基づいて、特定された項目領域と情報領域の表示内容がともに変化しているか否かを判定し、前記項目領域と前記情報領域の表示内容がともに変化していると判定された場合、前記任意の時刻と関連付けて前記項目領域内の一の項目から他の項目に切り替える選択操作に関する操作ログを出力することを要件とする。
本情報処理装置、情報処理プログラム、および情報処理方法によれば、効率的かつ高精度に項目の選択操作に関するログを取得することができるという効果を奏する。
本実施の形態の概要の一例を示す説明図である。 情報処理装置のハードウェア構成を示すブロック図である。 情報処理装置の機能的構成を示すブロック図である。 イベントＤＢの記憶内容の一例を示す説明図である。 画面ＤＢの記憶内容の一例を示す説明図である。 領域ＤＢの記憶内容の一例を示す説明図である。 操作ログＤＢの記憶内容の一例を示す説明図である。 レポート情報の具体例を示す説明図である。 特定部の機能的構成の一例を示すブロック図である。 リスト領域および本文領域の特徴を示す説明図である。 非背景色テーブルの記憶内容の一例を示す説明図である。 基準画面ＤＢの記憶内容の一例を示す説明図である。 選択リストＤＢの記憶内容の一例を示す説明図である。 判定部の機能的構成の一例を示すブロック図である。 画面差分の具体例を示す説明図（その１）である。 画面差分の具体例を示す説明図（その２）である。 画面差分の具体例を示す説明図（その３）である。 画面差分の具体例を示す説明図（その４）である。 画面差分の具体例を示す説明図（その５）である。 画面差分の具体例を示す説明図（その６）である。 画面差分の具体例を示す説明図（その７）である。 情報処理装置の情報処理手順の一例を示す説明図である。 イベントログ取得処理の具体的処理手順の一例を示すフローチャートである。 画面取得処理の具体的処理手順の一例を示すフローチャートである。 特定処理の具体的処理手順の一例を示すフローチャートである。 領域判定処理の具体的処理手順の一例を示すフローチャートである。 特徴判定処理の具体的処理手順の一例を示すフローチャート（その１）である。 特徴判定処理の具体的処理手順の一例を示すフローチャート（その２）である。 領域登録処理の具体的処理手順の一例を示すフローチャートである。 領域ＤＢの記憶内容の変遷例を示す説明図である。 判定処理の具体的処理手順の一例を示すフローチャート（その１）である。 判定処理の具体的処理手順の一例を示すフローチャート（その２）である。 判定処理の具体的処理手順の一例を示すフローチャート（その３）である。 基準画面登録処理の具体的処理手順の一例を示すフローチャートである。 操作ログ登録処理の具体的処理手順の一例を示すフローチャートである。 出力処理の具体的処理手順の一例を示すフローチャートである。
以下に添付図面を参照して、この発明にかかる情報処理装置、情報処理プログラム、および情報処理方法の好適な実施の形態を詳細に説明する。
（実施の形態の概要）
まず、本実施の形態の概要の一例について説明する。図１は、本実施の形態の概要の一例を示す説明図である。図１において、画面１００は、項目群を表示する項目領域Ｒ１と、項目群から選ばれた項目に対応する情報を表示する情報領域Ｒ２と、を含む複数ペイン構造である。
画面１００において、項目領域Ｒ１内の項目群の中から項目ｘが選択されている。このため、画面１００では、項目領域Ｒ１内の項目ｘが強調表示（ハイライト表示）されている。さらに、画面１００では、項目ｘに対応する情報Ｘが情報領域Ｒ２内に表示されている。
（１）画面１００において、項目領域Ｒ１内の項目ｘから項目ｙに切り替えるためのクリック操作が行われると、画面１００の表示内容が画面１１０の表示内容に変化する。具体的には、画面１１０では、項目ｙが選択された結果、項目領域Ｒ１内の項目ｙが強調表示され、項目ｙに対応する情報Ｙが情報領域Ｒ２内に表示されている。
（２）画面１００において、項目領域Ｒ１内の表示内容を切り替えるためのスクロール操作が行われると、画面１００の表示内容が画面１２０の表示内容に変化する。具体的には、画面１２０では、項目領域Ｒ１内の表示内容は変化しているが、選択されている項目ｘが切り替わっていないため、情報領域Ｒ２内の表示内容は変化していない。
そこで、本実施の形態では、画面内の項目領域Ｒ１と情報領域Ｒ２を特定し、情報領域Ｒ２の画面変化をともなう項目領域Ｒ１の画面変化を検知することで、情報領域Ｒ２の表示内容を切り替えるための項目の選択操作が行われたことを判断する。
画面１１０では、項目領域Ｒ１および情報領域Ｒ２の表示内容がともに変化しているため、情報領域Ｒ２の表示内容を切り替えるための項目の選択操作が行われたと判断される。一方、画面１２０では、項目領域Ｒ１の表示内容のみが変化しているため、情報領域Ｒ２の表示内容を切り替えるための項目の選択操作は行われていないと判断される。
このように、本実施の形態によれば、複数ペイン構造の画面内の項目領域Ｒ１と情報領域Ｒ２に着目して表示内容の変化を判断することで、効率的かつ高精度に情報領域Ｒ２の表示内容を切り替えるための項目の選択操作が行われたことを判断することができる。
（情報処理装置のハードウェア構成）
つぎに、本実施の形態にかかる情報処理装置２００のハードウェア構成について説明する。図２は、情報処理装置のハードウェア構成を示すブロック図である。図２において、情報処理装置２００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ‐Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、磁気ディスクドライブ２０４と、磁気ディスク２０５と、光ディスクドライブ２０６と、光ディスク２０７と、ディスプレイ２０８と、Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）２０９と、キーボード２１０と、マウス２１１と、スキャナ２１２と、プリンタ２１３と、を備えている。また、各構成部はバス２２０によってそれぞれ接続されている。
ここで、ＣＰＵ２０１は、情報処理装置２００の全体の制御を司る。ＲＯＭ２０２は、ブートプログラムなどのプログラムを記憶している。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。磁気ディスクドライブ２０４は、ＣＰＵ２０１の制御にしたがって磁気ディスク２０５に対するデータのリード／ライトを制御する。磁気ディスク２０５は、磁気ディスクドライブ２０４の制御で書き込まれたデータを記憶する。
光ディスクドライブ２０６は、ＣＰＵ２０１の制御にしたがって光ディスク２０７に対するデータのリード／ライトを制御する。光ディスク２０７は、光ディスクドライブ２０６の制御で書き込まれたデータを記憶したり、光ディスク２０７に記憶されたデータをコンピュータに読み取らせたりする。
ディスプレイ２０８は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。このディスプレイ２０８は、たとえば、ＣＲＴ、ＴＦＴ液晶ディスプレイ、プラズマディスプレイなどを採用することができる。
インターフェース（以下、「Ｉ／Ｆ」と略する。）２０９は、通信回線を通じてＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどのネットワーク２１４に接続され、このネットワーク２１４を介して他の装置に接続される。そして、Ｉ／Ｆ２０９は、ネットワーク２１４と内部のインターフェースを司り、外部装置からのデータの入出力を制御する。Ｉ／Ｆ２０９には、たとえばモデムやＬＡＮアダプタなどを採用することができる。
キーボード２１０は、文字、数字、各種指示などの入力のためのキーを備え、データの入力を行う。また、タッチパネル式の入力パッドやテンキーなどであってもよい。マウス２１１は、カーソルの移動や範囲選択、あるいはウィンドウの移動やサイズの変更などを行う。ポインティングデバイスとして同様に機能を備えるものであれば、トラックボールやジョイスティックなどであってもよい。
スキャナ２１２は、画像を光学的に読み取り、情報処理装置２００内に画像データを取り込む。なお、スキャナ２１２は、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）機能を持たせてもよい。また、プリンタ２１３は、画像データや文書データを印刷する。プリンタ２１３には、たとえば、レーザプリンタやインクジェットプリンタを採用することができる。
（情報処理装置の機能的構成）
つぎに、情報処理装置２００の機能的構成について説明する。図３は、情報処理装置の機能的構成を示すブロック図である。図３において、情報処理装置２００は、取得部３０１と、特定部３０２と、判定部３０３と、認識部３０４と、算出部３０５と、作成部３０６と、出力部３０７と、を含む構成である。この制御部となる機能（取得部３０１〜出力部３０７）は、具体的には、たとえば、図２に示したＲＯＭ２０２、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置に記憶されたプログラムをＣＰＵ２０１に実行させることにより、または、Ｉ／Ｆ２０９により、その機能を実現する。
取得部３０１は、監視対象となるアプリケーションの実行中に発生したイベント（事象）のログを取得する機能を有する。ここで、ログとは、監視対象となるアプリケーションが発行するものではなく、たとえば、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）が発行するイベントログである。イベントログは、たとえば、図２に示したキーボード２１０やマウス２１１を用いた操作入力に関するログである。
また、取得部３０１は、監視対象となるアプリケーションに割り当てられている画面（ウィンドウ）のウィンドウサイズを取得する機能を有する。監視対象となるアプリケーションとしては、たとえば、メールソフト、ＲＳＳ（ＲＤＦ Ｓｉｔｅ Ｓｕｍｍａｒｙ）リーダ、電子書籍などがある。なお、ウィンドウサイズは、たとえば、画面の縦方向のピクセル数と横方向のピクセル数によって表現される。
具体的には、たとえば、取得部３０１が、ログおよびウィンドウサイズを、ＯＳから取得してもよく、また、監視対象となるアプリケーションを実行中の外部のコンピュータ装置から取得してもよい。なお、取得されたログおよびウィンドウサイズは、たとえば、図４に示す操作イベントＤＢ４００に記憶される。
ここで、イベントＤＢ４００の記憶内容について説明する。図４は、イベントＤＢの記憶内容の一例を示す説明図である。図４において、イベントＤＢ４００は、ログＩＤ、クリック時刻、クリック座標およびウィンドウサイズのフィールド項目を有する。各フィールド項目に情報を設定することで、イベント情報４００−１〜４００−ｎがレコードとして記憶されている。
ログＩＤは、イベントログを識別する識別子である。クリック時刻は、クリックイベントの発生時刻である。クリック座標は、クリックイベントのクリック座標であり、たとえば、画面上での位置を特定する座標である。ウィンドウサイズは、クリックイベント発生時のアプリケーションに割り当てられた画面の大きさである。
なお、イベント情報４００−１〜４００−ｎは、クリック時刻が古いものから順にイベントＤＢ４００に記憶されている。また、イベントＤＢ４００は、たとえば、図２に示したＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置に記憶されている。
図３の説明に戻り、取得部３０１は、所定の時間間隔Ｔで画面の画像データを取得する機能を有する。ここで、画像データとは、画面に表示されている画面イメージのバイナリデータである。具体的には、たとえば、取得部３０１が、画面の画像データを、ＯＳから取得してもよく、また、監視対象となるアプリケーションを実行中の外部のコンピュータ装置から取得してもよい。なお、時間間隔Ｔは、任意に設定可能である（たとえば、１秒間隔、０．３秒間隔など）。取得された画像データは、たとえば、図５に示す画面ＤＢ５００に記憶される。
ここで、画面ＤＢ５００の記憶内容について説明する。図５は、画面ＤＢの記憶内容の一例を示す説明図である。図５において、画面ＤＢ５００は、画面ＩＤ、取得時刻および画像データのフィールド項目を有する。各フィールド項目に情報を設定することで、画面情報５００−１〜５００−ｍがレコードとして記憶されている。
画面ＩＤは、画像データを識別する識別子である。取得時刻は、画像データの取得時刻である。画像データは、画面イメージのバイナリデータである。なお、画面情報５００−１〜５００−ｍは、取得時刻が古いものから順に画面ＤＢ５００に記憶されている。また、画面ＤＢ５００は、たとえば、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置に記憶されている。
図３の説明に戻り、特定部３０２は、画面内の複数の表示領域のうち、項目群を表示する項目領域と項目群から選ばれた項目に対応する情報を表示する情報領域とを特定する機能を有する。ここで、表示領域とは、画面（ウィンドウ）を区切って分割された表示枠（ペイン）である。項目とは、たとえば、リスト（見出し）、インデックスなどである。情報とは、各項目に対応付けられている文章、グラフ、数式、表、絵などである。
具体的には、たとえば、特定部３０２が、取得された取得結果に基づいて、ウィンドウ内の複数の表示領域のうち、項目領域および情報領域を特定する。なお、特定部３０２の具体的な処理内容については図９を用いて後述する。また、特定された特定結果は、たとえば、図６に示す領域ＤＢ６００に記憶される。
以下の説明では、監視対象となるアプリケーションを「メールソフト」、項目を「メールのリスト」、項目に対応する情報を「メールの本文」とする。また、項目領域を「リスト領域」、情報領域を「本文領域」と表記する。
ここで、領域ＤＢ６００の記憶内容について説明する。図６は、領域ＤＢの記憶内容の一例を示す説明図である。図６において、領域ＤＢ６００は、クリック時刻、リスト領域範囲、本文領域範囲およびウィンドウサイズのフィールド項目を有する。各フィールド項目に情報を設定することで、画面内のリスト領域および本文領域に関する領域データ（たとえば、領域データ６００−１）がレコードとして記憶されている。
クリック時刻とは、領域データを新規登録する際に基準となったクリックイベントの発生時刻である。リスト領域範囲とは、画面内のリスト領域の位置を特定する情報である。ここでは、リスト領域範囲が、リスト領域を示す矩形の対角頂点の座標によって表現されている。
本文領域範囲とは、画面内の本文領域の位置を特定する情報である。ここでは、本文領域範囲が、本文領域を示す矩形の対角頂点の座標によって表現されている。ウィンドウサイズとは、領域データを新規登録する際に基準となったクリックイベントの発生時刻でのウィンドウサイズである。なお、領域ＤＢ６００は、たとえば、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置に記憶されている。
図３の説明に戻り、判定部３０３は、特定された画面内のリスト領域および本文領域の表示内容がともに変化しているか否かを判定する機能を有する。具体的には、たとえば、判定部３０３が、時間間隔Ｔで得られた画面の一連の表示内容のうち、任意の時刻における画面の表示内容と、任意の時刻以前の時刻における画面の表示内容とを比較する。
そして、判定部３０３が、比較された比較結果に基づいて、任意の時刻の画面において、リスト領域および本文領域の表示内容がともに変化しているか否かを判定する。ここで、任意の時刻以前の時刻における画面の表示内容は、たとえば、後述する「基準画面ＳＰ」と「前回のハイライト範囲」によって定義される。なお、判定部３０３の具体的な処理内容については図１４を用いて後述する。また、判定された判定結果は、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置に記憶される。
認識部３０４は、リストに表示されている文字列を認識する機能を有する。具体的には、たとえば、認識部３０４が、既存の文字認識技術を利用して、リストに表示されている文字列を認識することができる。なお、認識された認識結果は、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置に記憶される。
出力部３０７は、リスト領域と本文領域の表示内容がともに変化していると判定された場合、任意の時刻と関連付けてリスト領域内の一のリストから他のリストに切り替える選択操作に関する操作ログを出力する機能を有する。
具体的には、たとえば、出力部３０７が、一のリストから他のリストに切り替える選択操作に関する操作ログを図７に示す操作ログＤＢ７００に記録することにしてもよい。また、操作ログには、認識された認識結果（リストに表示されている文字列）を含むことにしてもよい。
図７は、操作ログＤＢの記憶内容の一例を示す説明図である。図７において、操作ログＤＢ７００は、操作ログＩＤ、選択時刻および文字列のフィールド項目を有する。各フィールド項目に情報を設定することで、一のリストから他のリストに切り替える選択操作に関する操作ログＯＬ1〜ＯＬsがレコードとして記憶されている。
なお、操作ログＯＬ1〜ＯＬsは、記録時刻が古いものから順に操作ログＤＢ７００に記憶されている。また、操作ログＤＢ７００は、たとえば、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶領域に記憶されている。
算出部３０５は、時系列に連続する第１および第２の時刻の操作ログに基づいて、第１の時刻に選択されているリストに対応する本文の表示時間を算出する機能を有する。具体的には、たとえば、算出部３０５が、操作ログＤＢ７００を参照して、操作ログＯＬ1の選択時刻と操作ログＯＬ2の選択時刻の差分を表示時間として求める。
これにより、文字列「業務連絡 山田四郎・・・」が表示されたリストに対応する本文の閲覧時間を推測することができる。ここで、閲覧時間とは、監視対象となるアプリケーション（たとえば、メールソフト）を使用しているユーザが情報（メールの本文）を閲覧するために要した時間である。なお、算出された算出結果は、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶領域に記憶される。
作成部３０６は、算出された算出結果に基づいて、リストに対応する本文の閲覧時間を示すレポート情報を作成する機能を有する。ここで、レポート情報の具体例について説明する。図８は、レポート情報の具体例を示す説明図である。図８において、レポート情報８００には、メールのリストごとの閲覧時間が示されている。レポート情報８００によれば、各リストから特定されるメールの本文を閲覧するために要したユーザの閲覧時間を把握することができる。
また、出力部３０７は、算出された算出結果を出力する機能を有する。具体的には、たとえば、出力部３０７が、作成されたレポート情報８００を出力することにしてもよい。なお、出力形式としては、たとえば、ディスプレイ２０８への表示、プリンタ２１３への印刷出力、Ｉ／Ｆ２０９による外部装置への送信がある。また、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶領域に記憶することとしてもよい。
（特定部の機能的構成）
つぎに、上記特定部３０２の機能的構成について説明する。図９は、特定部３０２の機能的構成の一例を示すブロック図である。図９において、特定部３０２は、選択部９０１と、第１の抽出部９０２と、第１の比較部９０３と、領域判定部９０４と、特徴判定部９０５と、を含む構成である。以下、メールソフトの画面内のリスト領域および本文領域を特定する場合を例に挙げて、各機能部９０１〜９０４の処理内容の一例を説明する。
選択部９０１は、イベントＤＢ４００から任意のイベントログＬｉを選択する（ｉ＝１，２，…，ｎ）。第１の抽出部９０２は、画面ＤＢ５００から、画像データの取得時刻がイベントログＬｉのクリック時刻直前の画面Ｐjの画像データを抽出する（ｊ＝１，２，…，ｍ）。
また、第１の抽出部９０２は、画面ＤＢ５００から、画像データの取得時刻がイベントログＬｉのクリック時刻直後の画面Ｐj+1の画像データを抽出する。なお、画像データの取得時刻がクリック時刻と一致する場合、その取得時刻をクリック時刻直前またはクリック時刻直後の時刻としてもよい。
第１の比較部９０３は、抽出された画面Ｐjの画像データと画面Ｐj+1の画像データとを比較する。具体的には、第１の比較部９０３は、画面Ｐjの画像データと画面Ｐj+1の画像データとの画面差分を抽出する。
ここで、画面差分とは、画面変化の有無をピクセル単位で示す情報である。ここでは、画面差分を、画面変化が有るところと無いところの境界線で囲まれた図形領域（線、矩形、円など）の集合とする。具体的には、たとえば、画面差分、各図形領域の範囲を特定する情報の集合である。なお、２つの画像データの画面差分を抽出する技術は既知のため説明を省略する。
領域判定部９０４は、抽出された画面差分にイベントログＬｉのクリック座標が含まれるか否かを判定する。また、領域判定部９０４は、クリック座標が画面差分に含まれる場合、画面差分のうちクリック座標を含む図形領域（以下、「第１図形領域」という）が規定サイズより大きいか否かを判定する。
ここで、規定サイズとは、リスト領域内のリストが選択された際に強調表示（ハイライト表示）される領域のサイズを規定するものである。具体的には、たとえば、規定サイズは、ハイライト表示される矩形領域の縦横のピクセル数（下限値、下限値および上限値など）によって表現される。より具体的には、たとえば、規定サイズは、「縦のピクセル数が５以上かつ横のピクセル数が３０以上」などである。
特定部３０２は、第１図形領域が規定サイズより大きい場合、第１図形領域をリスト領域として特定する。また、複数のリスト領域が特定された場合、特定部３０２は、複数のリスト領域を重ね合わせることにより、一つのリスト領域として特定する。ただし、複数のリスト領域の、領域が特定された時刻でのウィンドウサイズが同一の場合に限る。
また、領域判定部９０４は、画面差分のうち第１図形領域を除く残余の図形領域を本文領域候補として判定する。具体的には、たとえば、領域判定部９０４が、画面差分のうち第１図形領域を除く残余の図形領域全体を囲む矩形領域を本文領域候補として判定することにしてもよい。
特徴判定部９０５は、本文領域候補の特徴を判定する。具体的には、たとえば、特徴判定部９０５は、リスト領域および本文領域が有する領域の特徴に基づいて、本文領域候補がどちらの特徴に類似しているかを判定することにしてもよい。ここで、リスト領域および本文領域が有する領域の特徴について説明する。
図１０は、リスト領域および本文領域の特徴を示す説明図である。図１０において、メールソフトの画面（ウィンドウ）内に表示されるリスト領域１０１０と本文領域１０２０とが示されている。ここで、リスト領域１０１０には、メールの件名、差出人、受信時刻などの項目単位で文字列が表示されるため、縦方向に規則的な隙間ができる特徴がある。
一方、本文領域１０２０には、メールの本文は段落ごとに空行が入る場合が多いため、横方向に不規則な隙間（空行）ができる特徴がある。そこで、特徴判定部９０５は、本文領域候補に縦方向または横方向の隙間があるか否かを判定することで、本文領域候補の特徴を判定する。なお、以下の説明では、本文領域候補の縦方向のピクセル数をＨピクセルとし、横方向のピクセル数をＷピクセルとする。
具体的には、たとえば、まず、特徴判定部９０５は、ピクセル単位の列（または、行）ごとに、本文領域候補の縦方向（または、横方向）の非背景色のピクセル数を算出する。ただし、背景色は予め設定されている。ここで、隙間の列（または、行）は非背景色のピクセル数が「０」であり、文字のある列は非背景色のピクセル数が大きくなる。
そこで、特徴判定部９０５は、非背景色のピクセル数が急激に閾値ａ（たとえば、ａ＝０）以下となる境界を検出することで隙間を判定する。この際、文字間の隙間を項目間（または、空行）の隙間と判定することを回避するために、一定の幅でピクセル数が「０」となる列（または行）が一定数連続する場合に、隙間として判定する。
以下、本文領域候補の縦方向の隙間の有無を判定する場合を例に挙げて説明する。まず、特徴判定部９０５は、ピクセル単位の列ごとに、本文領域候補の縦方向の非背景色のピクセル数を算出する。なお、算出された非背景色のピクセル数は、たとえば、図１１に示す非背景色テーブル１１００に記憶される。
図１１は、非背景色テーブルの記憶内容の一例を示す説明図である。図１１において、非背景色テーブル１１００は、本文領域候補の列Ｆ0〜ＦW-1ごとに非背景色のピクセル数を有している。この場合、特徴判定部９０５は、非背景色テーブル１１００を参照して、隙間の境界を検出する。
具体的には、たとえば、特徴判定部９０５が、隣接列間で非背景色のピクセル数が、全列Ｆ0〜ＦW-1の非背景色のピクセル数の最大値のα％以上の値から閾値ａ以下となる列を隙間の境界として検出する。ここで、閾値ａを「ａ＝０」とし、非背景色のピクセル数の最大値を「１００」とし、上記αを「α＝５０」すると、たとえば、列Ｆ89が隙間の境界として検出される。
そして、特徴判定部９０５は、隙間の境界として検出された列から、非背景色のピクセル数が閾値ａ以下となる列が一定数β連続する場合に隙間として判定する。ここで、閾値ａを「ａ＝０」とし、一定数βを「４」とすると、列Ｆ89〜列Ｆ92までの４ピクセル連続して非背景色のピクセル数が閾値以下となるため隙間として判定される。
なお、ある列（たとえば、列Ｆ89）から最終列ＦW-1まで連続して非背景色のピクセル数が閾値ａ以下となる場合は、隙間として判定しないことにしてもよい。これにより、リスト領域（または、本文領域）内の空きスペースを項目間（空行）の隙間として判定することを回避することができる。
そして、特定部３０２は、縦方向の隙間がある場合、本文領域候補を本文領域ではない領域（たとえば、リスト領域）と判定する。一方、特定部３０２は、横方向の隙間がある場合、本文領域候補を本文領域と判定する。さらに、特定部３０２は、横方向および縦方向の隙間がいずれもない場合は、本文領域候補を本文領域ではない領域（たとえば、リスト領域）と判定する。
また、複数の本文領域が特定された場合、特定部３０２は、複数の本文領域を重ね合わせることにより、一つの本文領域として特定する。ただし、複数のリスト領域の、領域が特定された時刻でのウィンドウサイズが同一の場合に限る。
（判定部の機能的構成）
つぎに、上記判定部３０３の機能的構成について説明する。ここではまず、判定部３０３に用いられる各種ＤＢの記憶内容について説明する。図１２は、基準画面ＤＢの記憶内容の一例を示す説明図である。図１２において、基準画面ＤＢ１２００は、基準画面ＳＰの画像データＤを有している。
ここで、基準画面とは、任意の時刻における画面の比較対象となる画面である。具体的には、たとえば、基準画面は、任意の時刻直前に画面変化があった際の画面であり、リスト領域内のリストが選択されていない状態での画面である。なお、基準画面ＤＢ１２００への画像データＤの登録処理については、図３４に示すフローチャートを用いて後述する。
図１３は、選択リストＤＢの記憶内容の一例を示す説明図である。図１３において、選択リストＤＢ１３００は、リスト領域から選ばれたリストのハイライト範囲を有している。ここで、ハイライト範囲とは、リスト領域内のリストが選択された際にハイライト表示される領域の範囲である。
選択リストＤＢ１３００には、任意の時刻直前に選ばれたリストのハイライト範囲（前回のハイライト範囲）が登録されている。ただし、選択リストＤＢ１３００の記憶内容は、選択されるリストが切り替わると、その都度更新されることになる。なお、選択リストＤＢ１３００へのハイライト範囲の登録処理については、図３１に示すフローチャートを用いて後述する。
図１４は、判定部３０３の機能的構成の一例を示すブロック図である。図１４において、判定部３０３は、第２の抽出部１４０１と、第２の比較部１４０２と、第１の判断部１４０３と、第２の判断部１４０４と、第３の判断部１４０５と、登録部１４０６と、を含む構成である。
第２の抽出部１４０１は、画面ＤＢ５００から、任意の画面Ｐjの画像データを抽出する。また、第２の抽出部１４０１は、選択リストＤＢ１３００から、リストのハイライト範囲を抽出する。ここで抽出されるハイライト範囲は、任意の時刻直前に選択されていたリストのハイライト範囲（前回のハイライト範囲）である。
第２の比較部１４０２は、画面Ｐjの画像データと、基準画面ＤＢ１２００内の基準画面ＳＰの画像データＤとを比較する。具体的には、たとえば、第２の比較部１４０２が、画面Ｐjの画像データと基準画面ＳＰの画像データＤとの画面差分を抽出する。
第１の判断部１４０３は、抽出された画面差分のうち、規定サイズの画面差分がリスト領域内にあるか否かを判断する。なお、規定サイズとは、上述したように、リスト領域内のリストが選択された際にハイライト表示される領域のサイズを規定するものである。ここでは、規定サイズの画面差分を、規定サイズより大きい矩形の図形領域（以下、「矩形領域」という）とする。
具体的には、たとえば、第１の判断部１４０３が、領域ＤＢ６００内のリスト領域範囲を参照して、リスト領域内に矩形領域が存在するか否かを判断する。すなわち、第１の判断部１４０３が、矩形領域の存在を判断することで、リスト領域内のいずれかのリストが選択されているか否かを判断できる。
また、第１の判断部１４０３は、リスト領域内に矩形領域がある場合、抽出されたリストのハイライト範囲と矩形領域が一致するか否かを判断する。具体的には、たとえば、第１の判断部１４０３が、選択リストＤＢ１３００から抽出された前回のハイライト範囲と矩形領域の範囲が一致するか否かを判断する。すなわち、第１の判断部１４０３が、前回のハイライト範囲と矩形領域の一致不一致を判断することで、選択されるリストが切り替わったか否かを判断できる。
第２の判断部１４０４は、抽出された画面差分のうち、矩形領域を除く他の画面差分がリスト領域内にあるか否かを判断する。具体的には、たとえば、第２の判断部１４０４が、領域ＤＢ６００内のリスト領域範囲を参照して、リスト領域内に矩形領域を除く他の画面差分が存在するか否かを判断する。すなわち、第２の判断部１４０４が、リスト領域内の矩形領域以外の画面差分の存在を判断することで、リスト領域の表示内容がスクロールされたか否かを判断できる。
第３の判断部１４０５は、抽出された画面差分のうち、本文領域内の画面差分があるか否かを判断する。具体的には、たとえば、第３の判断部１４０５が、領域ＤＢ６００内の本文領域範囲を参照して、本文領域内に画面差分が存在するか否かを判断する。すなわち、第３の判断部１４０５が、本文領域内の画面差分の存在を判断することで、本文領域の表示内容がスクロールされたか否かを判断できる。
以下、図１５〜図１７を用いて、画面内のリスト領域および本文領域の表示内容がともに変化する画面変化について説明する。図１５〜図１７は、画面差分の具体例を示す説明図である。ただし、以下に説明する画面差分は、任意の時刻の画面Ｐjと基準画面ＳＰとの画面差分である。
＜第１の画面変化＞
判定部３０３は、前回のハイライト範囲と矩形領域の範囲が一致しないと判断され、かつ、他の画面差分がリスト領域内にないと判断された場合、リスト領域と本文領域の表示内容がともに変化していると判定する。図１５において、リスト領域Ｒ１と本文領域Ｒ２の表示内容がともに変化する場合の画面差分１５００が示されている。
画面差分１５００は、前回のハイライト範囲と今回のハイライト範囲が一致しない場合の画面差分である。ここでは、ユーザの操作入力により、リスト領域Ｒ１内のリストを切り替える選択操作（クリックイベント）が行われたため、本文領域Ｒ２の表示内容が変化している。
この場合、登録部１４０６は、矩形領域をリストのハイライト範囲として選択リストＤＢ１３００に登録する。すなわち、前回のハイライト範囲と今回のハイライト範囲が一致しないため、今回のハイライト範囲を以降参照するハイライト範囲として選択リストＤＢ１３００に登録する。
＜第２の画面変化＞
判定部３０３は、前回のハイライト範囲と矩形領域の範囲が一致すると判断され、かつ、他の画面差分がリスト領域内にあると判断された場合、リスト領域と本文領域の表示内容がともに変化していると判定する。図１６において、リスト領域Ｒ１と本文領域Ｒ２の表示内容がともに変化する場合の画面差分１６００が示されている。
画面差分１６００は、前回のハイライト範囲と今回のハイライト範囲が一致するにも関わらず、リスト領域Ｒ１と本文領域Ｒ２の表示内容がともに変化する場合の画面差分である。ここでは、ユーザの操作入力により、リスト領域Ｒ１の表示内容がスクロールされ、さらに、リストを切り替える選択操作（クリックイベント）が行われたため、本文領域Ｒ２の表示内容が変化している。
この場合、登録部１４０６は、画面Ｐjのリスト領域内のリストが選択されていない状態での画面を基準画面ＳＰとして基準画面ＤＢ１２００に登録する。すなわち、リスト領域の表示内容がスクロールされたため、現在着目している画面Ｐjを用いて基準画面ＳＰを更新する。
なお、登録部１４０６は、矩形領域をリストのハイライト範囲として選択リストＤＢ１３００に登録することにしてもよい。ここでは、前回のハイライト範囲と今回のハイライト範囲が一致するが、今回のハイライト範囲を以降参照するハイライト範囲として選択リストＤＢ１３００に登録してもよい。
＜第３の画面変化＞
判定部３０３は、前回のハイライト範囲と矩形領域の範囲が一致しないと判断され、かつ、他の画面差分がリスト領域内にあると判断され、かつ、本文領域内の画面差分があると判断された場合、リスト領域と本文領域の表示内容がともに変化していると判定する。図１７において、リスト領域Ｒ１と本文領域Ｒ２の表示内容がともに変化する場合の画面差分１７００が示されている。
画面差分１７００は、前回のハイライト範囲と今回のハイライト範囲が一致しない場合の画面差分である。ここでは、ユーザの操作入力により、リスト領域Ｒ１の表示内容がスクロールされ、さらに、リストを切り替える選択操作（クリックイベント）が行われたため、本文領域Ｒ２の表示内容が変化している。
この場合、登録部１４０６は、矩形領域をリストのハイライト範囲として選択リストＤＢ１３００に登録する。すなわち、前回のハイライト範囲と今回のハイライト範囲が一致しないため、今回のハイライト範囲を以降参照するハイライト範囲として選択リストＤＢ１３００に登録する。
また、登録部１４０６は、画面Ｐjのリスト領域内のリストが選択されていない状態での画面を基準画面ＳＰとして基準画面ＤＢ１２００に登録する。すなわち、リスト領域の表示内容がスクロールされたため、現在着目している画面Ｐjを用いて基準画面ＳＰを更新する。
つぎに、図１８〜図２１を用いて、画面内のリスト領域および本文領域のいずれか一方の表示内容が変化する、または、リスト領域および本文領域の表示内容がともに変化しない画面変化について説明する。図１８〜図２１は、画面差分の具体例を示す説明図である。
＜第４の画面変化＞
判定部３０３は、ハイライト範囲と矩形領域の範囲が一致しないと判断され、かつ、他の画面差分がリスト領域内にあると判断され、かつ、本文領域内の画面差分がないと判断された場合、リスト領域と本文領域の表示内容がともに変化していると判定しない。図１８において、リスト領域Ｒ１の表示内容のみが変化する場合の画面差分１８００が示されている。
画面差分１８００は、前回のハイライト範囲と今回のハイライト範囲が一致しない場合の画面差分である。ここでは、ユーザの操作入力により、リスト領域Ｒ１の表示内容をスクロールする選択操作のみが行われたため、本文領域Ｒ２の表示内容は変化していない。
この場合、登録部１４０６は、矩形領域をリストのハイライト範囲として選択リストＤＢ１３００に登録する。すなわち、前回のハイライト範囲と今回のハイライト範囲が一致しないため、今回のハイライト範囲を以降参照するハイライト範囲として選択リストＤＢ１３００に登録する。
また、登録部１４０６は、画面Ｐjのリスト領域内のリストが選択されていない状態での画面を基準画面ＳＰとして基準画面ＤＢ１２００に登録する。すなわち、リスト領域の表示内容がスクロールされたため、現在着目している画面Ｐjを用いて基準画面ＳＰを更新する。
＜第５の画面変化＞
判定部３０３は、ハイライト範囲と矩形領域の範囲が一致すると判断され、かつ、他の画面差分がリスト領域内にないと判断され、かつ、本文領域内の画面差分があると判断された場合、リスト領域と本文領域の表示内容がともに変化していると判定しない。図１９において、本文領域Ｒ２の表示内容のみが変化する場合の画面差分１９００が示されている。
画面差分１９００は、前回のハイライト範囲と今回のハイライト範囲が一致する場合の画面差分である。ここでは、ユーザの操作入力により、本文領域Ｒ２の表示内容をスクロールする選択操作のみが行われたため、リスト領域Ｒ１の表示内容は変化しない。
この場合、リスト領域Ｒ１の表示内容が変化していないため、基準画面ＳＰの更新は不要である。ただし、登録部１４０６は、画面Ｐjのリスト領域内のリストが選択されていない状態での画面を基準画面ＳＰとして基準画面ＤＢ１２００に登録することにしてもよい。
＜第６の画面変化＞
判定部３０３は、リスト領域内に矩形領域がないと判断され、かつ、他の画面差分がリスト領域内にあると判断された場合、リスト領域と本文領域の表示内容がともに変化していると判定しない。図２０において、リスト領域Ｒ１の表示内容のみが変化する場合の画面差分２０００が示されている。
画面差分２０００は、リスト領域内にハイライト範囲が存在しない場合の画面差分である。ここでは、ユーザの操作入力により、リスト領域Ｒ１の表示内容をスクロール（選択リストが非表示）する選択操作のみが行われたため、本文領域Ｒ２の表示内容は変化しない。
この場合、登録部１４０６は、空データをリストのハイライト範囲として選択リストＤＢ１３００に登録する。すなわち、選択リストが非表示でハイライト範囲が存在しないため、空データを以降参照するハイライト範囲として選択リストＤＢ１３００に登録する。
また、登録部１４０６は、画面Ｐjのリスト領域内のリストが選択されていない状態での画面を基準画面ＳＰとして基準画面ＤＢ１２００に登録する。すなわち、リスト領域の表示内容がスクロールされたため、現在着目している画面Ｐjを用いて基準画面ＳＰを更新する。
＜第７の画面変化＞
判定部３０３は、リスト領域内に矩形領域がないと判断され、かつ、他の画面差分がリスト領域内にないと判断され、かつ、本文領域内の画面差分があると判断された場合、リスト領域と本文領域の表示内容がともに変化していると判定しない。図２１において、本文領域Ｒ２の表示内容のみが変化する場合の画面差分２１００が示されている。
画面差分２１００は、リスト領域Ｒ１内にハイライト範囲が存在しない場合の画面差分である。ここでは、ユーザの操作入力により、本文領域Ｒ２の表示内容をスクロール（選択リストが非表示の状態でのスクロール）する選択操作のみが行われたため、リスト領域Ｒ１の表示内容は変化しない。
この場合、登録部１４０６は、空データをリストのハイライト範囲として選択リストＤＢ１３００に登録する。すなわち、選択リストが非表示でハイライト範囲が存在しないため、空データを以降参照するハイライト範囲として選択リストＤＢ１３００に登録する。
（情報処理装置の情報処理手順）
つぎに、情報処理装置２００の情報処理手順について説明する。図２２は、情報処理装置の情報処理手順の一例を示す説明図である。図２２のフローチャートにおいて、まず、取得部３０１により、メールソフトのプロセスが起動したか否かを判断する（ステップＳ２２０１）。
ここで、プロセスが起動するのを待って（ステップＳ２２０１：Ｎｏ）、起動した場合（ステップ２２０１：Ｙｅｓ）、各種ＤＢ４００，５００，６００，１２００，１３００を初期化する（ステップＳ２２０２）。具体的には、各種ＤＢ４００，５００，６００の記憶内容をリセットし、基準画面ＤＢ１２００に仮の画像データ（たとえば、白一色の矩形画像）を登録し、選択リスト１３００に空データを登録する。
このあと、取得部３０１により、イベントログ取得処理の実行を開始し（ステップＳ２２０３）、画面取得処理の実行を開始する（ステップＳ２２０４）。そして、特定部３０２により、イベントログ取得処理および画面取得処理の実行が終了したか否かを判断する（ステップＳ２２０５）。
ここで、実行が終了するのを待って（ステップＳ２２０５：Ｎｏ）、終了した場合（ステップＳ２２０５：Ｙｅｓ）、特定部３０２により、画面内のリスト領域および本文領域を特定する特定処理を実行する（ステップＳ２２０６）。
そして、判定部３０３により、特定された画面内のリスト領域および本文領域の表示内容がともに変化しているか否かを判定する判定処理を実行する（Ｓ２２０７）。最後に、出力部３０７により、レポート情報を出力する出力処理を実行して（ステップＳ２２０８）、本フローチャートによる一連の処理を終了する。
なお、上述した情報処理手順の開始に先立って、情報処理装置２００が、監視対象となるプロセスの名称をメールソフトの設計ファイルから取得することにしてもよい。これにより、複数のメールソフトがインストールされている環境下において、監視対象となるメールソフトを特定することができる。
＜イベントログ取得処理手順＞
つぎに、図２２に示したステップＳ２２０３のイベントログ取得処理の具体的な処理手順について説明する。図２３は、イベントログ取得処理の具体的処理手順の一例を示すフローチャートである。
図２３のフローチャートにおいて、まず、取得部３０１により、アプリケーションの実行中に発生したイベント（事象）のイベントログを取得して（ステップＳ２３０１）、取得したイベントログがクリックイベントか否かを判断する（ステップＳ２３０２）。
ここで、クリックイベントの場合（ステップＳ２３０２：Ｙｅｓ）、取得部３０１により、アプリケーションに割り当てられている画面のウィンドウサイズを取得する（ステップＳ２３０３）。一方、クリックイベントではない場合（ステップＳ２３０２：Ｎｏ）、ステップＳ２３０５に移行する。
そして、取得部３０１により、取得したイベントログに含まれるクリック時刻、クリック座標およびウィンドウサイズをイベントＤＢ４００に登録する（ステップＳ２３０４）。この結果、イベントＤＢ４００に新たなイベント情報がレコードとして登録されることになる。
このあと、取得部３０１により、メールソフトのプロセスが終了したか否かを判断して（ステップＳ２３０５）、プロセスが終了していない場合（ステップＳ２３０５：Ｎｏ）、ステップＳ２３０１に戻る。一方、プロセスが終了した場合（ステップＳ２３０５：Ｙｅｓ）、本フローチャートによる一連の処理を終了する。
＜画面取得処理手順＞
つぎに、図２２に示したステップＳ２２０４の画面取得処理の具体的な処理手順について説明する。図２４は、画面取得処理の具体的処理手順の一例を示すフローチャートである。
図２４のフローチャートにおいて、まず、取得部３０１により、アプリケーションに割り当てられている画面の画像データを取得して（ステップＳ２４０１）、取得した画像データを取得時刻と関連付けて画面ＤＢ５００に登録する（ステップＳ２４０２）。
このあと、取得部３０１により、一定時間Ｔ待機して（ステップＳ２４０３）、メールソフトのプロセスが終了したか否かを判断する（ステップＳ２４０４）。ここで、プロセスが終了していない場合（ステップＳ２４０４：Ｎｏ）、ステップＳ２４０１に戻る。一方、プロセスが終了した場合（ステップＳ２４０４：Ｙｅｓ）、本フローチャートによる一連の処理を終了する。
＜特定処理手順＞
つぎに、図２２に示したステップＳ２２０６の特定処理の具体的な処理手順について説明する。図２５は、特定処理の具体的処理手順の一例を示すフローチャートである。図２５のフローチャートにおいて、まず、選択部９０１により、「ｉ＝１」として（ステップＳ２５０１）、イベントＤＢ４００からイベントログＬｉを選択する（ステップＳ２５０２）。
このあと、第１の抽出部９０２により、選択されたイベントログＬｉからクリック時刻を特定する（ステップＳ２５０３）。そして、第１の抽出部９０２により、画面ＤＢ５００にクリック時刻前後の画像データがあるか否かを判断する（ステップＳ２５０４）。ここで、クリック時刻前後の画像データがない場合（ステップＳ２５０４：Ｎｏ）、ステップＳ２５１２に移行する。
一方、クリック時刻前後の画像データがある場合（ステップＳ２５０４：Ｙｅｓ）、第１の抽出部９０２により、画面ＤＢ５００から、画像データの取得時刻がイベントログＬｉのクリック時刻直前の画面Ｐjの画像データを抽出する（ステップＳ２５０５）。また、第１の抽出部９０２により、画面ＤＢ５００から、画像データの取得時刻がイベントログＬｉのクリック時刻直後の画面Ｐj+1の画像データを抽出する（ステップＳ２５０６）。
つぎに、第１の比較部９０３により、選択されたイベントログＬｉからクリック座標およびウィンドウサイズを特定する（ステップＳ２５０７）。そして、第１の比較部９０３により、画面Ｐjの画像データと画面Ｐj+1の画像データとの画面差分を抽出する（ステップＳ２５０８）。
このあと、領域判定部９０４により、領域判定処理を実行して（ステップＳ２５０９）、特定部３０２により、リスト領域および本文領域が特定されたか否かを判断する（ステップＳ２５１０）。ここで、リスト領域および本文領域が特定されなかった場合（ステップＳ２５１０：Ｎｏ）、ステップＳ２５１２に移行する。
一方、リスト領域および本文領域が特定された場合（ステップＳ２５１０：Ｙｅｓ）、特定部３０２により、領域登録処理を実行する（ステップ２５１１）。そして、選択部９０１により、ｉをインクリメントして（ステップＳ２５１２）、「ｉ＞ｎ」か否かを判断する（ステップＳ２５１３）。
ここで、「ｉ≦ｎ」の場合（ステップＳ２５１３：Ｎｏ）、ステップＳ２５０２に戻る。一方、「ｉ＞ｎ」の場合（ステップＳ２５１３：Ｙｅｓ）、図２２に示したステップＳ２２０７に移行する。
＜領域判定処理手順＞
つぎに、図２５に示したステップＳ２５０９の領域判定処理の具体的な処理手順について説明する。図２６は、領域判定処理の具体的処理手順の一例を示すフローチャートである。図２６のフローチャートにおいて、まず、領域判定部９０４により、図２５に示したステップＳ２５０８において抽出された画面差分にイベントログＬｉのクリック座標が含まれるか否かを判定する（ステップＳ２６０１）。
ここで、クリック座標が含まれない場合は（ステップＳ２６０１：Ｎｏ）、図２５に示したステップＳ２５１０に移行する。一方、クリック座標が含まれる場合（ステップＳ２６０１：Ｙｅｓ）、領域判定部９０４により、画面差分からクリック座標を含む第１図形領域を抽出する（ステップＳ２６０２）。
そして、領域判定部９０４により、第１図形領域が規定サイズより大きいか否かを判定する（ステップＳ２６０３）。ここで、規定サイズより小さい場合は（ステップＳ２６０３：Ｎｏ）、図２５に示したステップＳ２５１０に移行する。
一方、規定サイズより大きい場合（ステップＳ２６０３：Ｙｅｓ）、特定部３０２により、第１図形領域をリスト領域として特定する（ステップＳ２６０４）。このあと、領域判定部９０４により、画面差分のうち第１図形領域を除く残余の図形領域全体を囲む矩形領域を本文領域候補として判定する（ステップＳ２６０５）。
ここで、矩形領域が本文領域候補として判定されなかった場合（ステップＳ２６０６：Ｎｏ）、図２５に示したステップＳ２５１０に移行する。一方、矩形領域が本文領域候補として判定された場合（ステップＳ２６０６：Ｙｅｓ）、領域判定部９０４により、画面差分から本文領域候補を抽出する（ステップＳ２６０７）。
そして、特徴判定部９０５により、本文領域候補の特徴を判定する特徴判定処理を実行する（ステップＳ２６０８）。このあと、特定部３０２により、本文領域候補は本文領域と判定されたか否かを判断する（ステップＳ２６０９）。ここで、本文領域と判定されなかった場合（ステップＳ２６０９：Ｎｏ）、図２５に示したステップＳ２５１０に移行する。
一方、本文領域と判定された場合（ステップＳ２６０９：Ｙｅｓ）、特定部３０２により、本文領域候補を本文領域として特定して（ステップＳ２６１０）、図２５に示したステップＳ２５１０に移行する。
＜特徴判定処理手順＞
つぎに、図２６に示したステップＳ２６０８の特徴判定処理の具体的な処理手順について説明する。なお、以下の説明において、本領域候補の任意の列を「列Ｆp」と表記し（ｐ＝０，１，…，Ｗ−１）、任意の行を「行Ｒq」と表記する（ｑ＝０，１，…，Ｈ−１）。
図２７および図２８は、特徴判定処理の具体的処理手順の一例を示すフローチャートである。図２７のフローチャートにおいて、まず、特徴判定部９０５により、本文領域候補の列ごとに、非背景色のピクセル数を算出する（ステップＳ２７０１）。そして、特徴判定部９０５により、「ｐ＝０」とし（ステップＳ２７０２）、列Ｆpを選択する（ステップＳ２７０３）。
つぎに、特徴判定部９０５により、列Ｆpの非背景色のピクセル数は全列Ｆ0〜ＦW-1の非背景色のピクセル数の最大値のα％以上か否かを判断する（ステップＳ２７０４）。ここで、α％未満の場合（ステップＳ２７０４：Ｎｏ）、ステップＳ２７０８に移行する。
一方、α％以上の場合（ステップＳ２７０４：Ｙｅｓ）、特徴判定部９０５により、非背景色のピクセル数が閾値ａ以下となる列が、列Ｆpからβ以上連続するか否かを判断する（ステップＳ２７０５）。ここで、β以上連続しない場合（ステップＳ２７０５：Ｎｏ）、ステップＳ２７０８に移行する。
一方、β以上連続する場合（ステップＳ２７０５：Ｙｅｓ）、特徴判定部９０５により、最終列ＦW-1まで連続して非背景色のピクセル数が閾値ａ以下となるか否かを判断する（ステップＳ２７０６）。
ここで、最終列ＦW-1まで連続して閾値ａ以下とならない場合（ステップＳ２７０６：Ｎｏ）、特徴判定部９０５により、本文領域候補をリスト領域として判定して（ステップＳ２７０７）、図２６に示したステップＳ２６０９に移行する。
一方、最終列ＦW-1まで連続して閾値ａ以下となる場合（ステップＳ２７０６：Ｙｅｓ）、特徴判定部９０５により、ｐをインクリメントして（ステップＳ２７０８）、「ｐ＞Ｗ−１−β」か否かを判断する（ステップＳ２７０９）。
ここで、「ｐ≦Ｗ−１−β」の場合（ステップＳ２７０９：Ｎｏ）、ステップＳ２７０３に戻る。一方、「ｐ＞Ｗ−１−β」の場合（ステップＳ２７０９：Ｙｅｓ）、図２８にステップＳ２８０１に移行する。
図２８のフローチャートにおいて、まず、特徴判定部９０５により、本文領域候補の行ごとに、非背景色のピクセル数を算出する（ステップＳ２８０１）。そして、特徴判定部９０５により、「ｑ＝０」とし（ステップＳ２８０２）、行Ｒqを選択する（ステップＳ２８０３）。
つぎに、特徴判定部９０５により、行Ｒqの非背景色のピクセル数は全行Ｒ0〜行ＲH-1の非背景色のピクセル数の最大値のα％以上か否かを判断する（ステップＳ２８０４）。ここで、α％未満の場合（ステップＳ２８０４：Ｎｏ）、ステップＳ２８０８に移行する。
一方、α％以上の場合（ステップＳ２８０４：Ｙｅｓ）、特徴判定部９０５により、非背景色のピクセル数が閾値ａ以下となる行が、行Ｒqからβ以上連続するか否かを判断する（ステップＳ２８０５）。ここで、β以上連続しない場合（ステップＳ２８０５：Ｎｏ）、特徴判定部９０５により、ｑをインクリメントして（ステップＳ２８０８）、「ｑ＞Ｈ−１−β」か否かを判断する（ステップＳ２８０９）。
ここで、「ｑ≦Ｈ−１−β」の場合（ステップＳ２８０９：Ｎｏ）、ステップＳ２８０３に戻る。一方、「ｑ＞Ｈ−１−β」の場合（ステップＳ２８０９：Ｙｅｓ）、特徴判定部９０５により、本文領域候補をリスト領域として判定して（ステップＳ２８１０）、図２６に示したステップＳ２６０９に移行する。
また、ステップＳ２８０５において、β以上連続する場合（ステップＳ２８０５：Ｙｅｓ）、特徴判定部９０５により、最終行ＲH-1まで連続して非背景色のピクセル数が閾値ａ以下となるか否かを判断する（ステップＳ２８０６）。
ここで、最終行ＲH-1まで連続して閾値ａ以下とならない場合（ステップＳ２８０６：Ｎｏ）、特徴判定部９０５により、本文領域候補を本文領域として判定して（ステップＳ２８０７）、図２６に示したステップＳ２６０９に移行する。一方、最終行ＲH-1まで連続して閾値ａ以下となる場合（ステップＳ２８０６：Ｙｅｓ）、ステップＳ２８１０に移行する。
＜領域登録処理手順＞
つぎに、図２５に示したステップＳ２５１１の領域登録処理の具体的な処理手順について説明する。図２９は、領域登録処理の具体的処理手順の一例を示すフローチャートである。図２９のフローチャートにおいて、まず、特定部３０２により、領域ＤＢ６００の記憶内容は空か否かを判断する（ステップＳ２９０１）。
ここで、空の場合（ステップＳ２９０１：Ｙｅｓ）、ステップＳ２９０８に移行する。一方、空ではない場合（ステップＳ２９０１：Ｎｏ）、特定部３０２により、領域ＤＢ６００から最後尾の領域データを選択する（ステップＳ２９０２）。そして、特定部３０２により、選択された領域データのウィンドウサイズは、図２５に示したステップＳ２５０７において特定されたウィンドウサイズと同じか否かを判断する（ステップＳ２９０３）。
ここで、ウィンドウサイズが違う場合（ステップＳ２９０３：Ｎｏ）、ステップＳ２９０８に移行する。一方、ウィンドウサイズが同じ場合（ステップＳ２９０３：Ｙｅｓ）、特定部３０２により、選択された領域データのリスト領域と、特定されたリスト領域の両方を含む新たなリスト領域範囲を算出する（ステップＳ２９０４）。なお、特定されたリスト領域とは、図２６に示したステップＳ２６０４において特定されたリスト領域である。
このあと、特定部３０２により、選択された領域データの本文領域と、特定された本文領域の両方を含む新たな本文領域範囲を算出する（ステップＳ２９０５）。なお、特定された本文領域とは、図２６に示したステップＳ２６１０において特定された本文領域である。
そして、特定部３０２により、新たなリスト領域範囲と本文領域範囲が重なるか否かを判断する（ステップＳ２９０６）。ここで、重ならない場合（ステップＳ２９０６：Ｎｏ）、特定部３０２により、新たなリスト領域範囲と本文領域範囲を設定して領域ＤＢ６００の最後尾の領域データを更新して（ステップＳ２９０７）、図２５に示したステップＳ２５１２に移行する。
一方、重なる場合（ステップＳ２９０６：Ｙｅｓ）、特定部３０２により、図２５に示したステップＳ２５０３とステップＳ２５０７において特定されたクリック時刻とウィンドウサイズを設定して新たな領域データを領域ＤＢ６００に登録する（ステップＳ２９０８）。
そして、特定部３０２により、登録された領域データに、図２６に示したステップＳ２６０４において特定されたリスト領域範囲を設定する（ステップＳ２９０９）。また、特定部３０２により、登録された領域データに、図２６に示したステップＳ２６１０において特定された本文領域範囲を設定して（ステップＳ２９１０）、図２５に示したステップＳ２５１２に移行する。
ここで、領域ＤＢ６００の記憶内容の変遷について説明する。図３０は、領域ＤＢの記憶内容の変遷例を示す説明図である。図３０において、「（１）→（２）」では、新たなリスト領域範囲が設定されて領域データ６００−１が更新されている（図２９に示したステップＳ２９０７の処理）。また、図３０において、「（２）→（３）」では、新たな領域データ６００−２が領域ＤＢ６００に登録されている（図２９に示したステップＳ２９０８〜Ｓ２９１０の処理）。
＜判定処理手順＞
つぎに、図２２に示したステップＳ２２０７の判定処理の具体的な処理手順について説明する。図３１〜図３３は、判定処理の具体的処理手順の一例を示すフローチャートである。
図３１のフローチャートにおいて、まず、第２の抽出部１４０１により、「ｊ＝１」として（ステップＳ３１０１）、画面ＤＢ５００から画面Ｐjの画像データを抽出する（ステップＳ３１０２）。そして、第２の抽出部１４０１により、基準画面ＤＢ１２００から基準画面ＳＰの画像データＤを抽出する（ステップＳ３１０３）。
このあと、第２の抽出部１４０１は、選択リストＤＢ１３００からリストのハイライト範囲（以下、「前回のハイライト範囲」という）を抽出する（ステップＳ３１０４）。そして、第２の比較部１４０２により、領域ＤＢ６００から画面Ｐjの取得時刻以前の最新の領域データを特定する（ステップＳ３１０５）。
つぎに、第２の比較部１４０２により、画面Ｐjの画像データと基準画面ＳＰの画像データＤとの画面差分を抽出する（ステップＳ３１０６）。そして、第１の判断部１４０３により、抽出された画面差分のうち、特定された領域データのリスト領域範囲に、規定サイズの画面差分（以下、「矩形領域」という）があるか否かを判断する（ステップＳ３１０７）。
ここで、矩形領域がある場合（ステップＳ３１０７：Ｙｅｓ）、判定部３０３により、矩形領域をリストのハイライト範囲として選択リストＤＢ１３００に登録する（ステップＳ３１０８）。そして、第２の判断部１４０４により、リスト領域範囲に矩形領域を除く他の画面差分があるか否かを判断する（ステップＳ３１０９）。
ここで、他の画面差分がある場合（ステップＳ３１０９：Ｙｅｓ）、登録部１４０６により、基準画面ＳＰの画像データＤを更新する基準画面登録処理を実行して（ステップＳ３１１０）、図３２に示すステップＳ３２０１に移行する。一方、他の画面差分がない場合（ステップＳ３１０９：Ｎｏ）、図３３に示すステップＳ３３０１に移行する。
また、ステップＳ３１０７において、矩形領域がない場合（ステップＳ３１０７：Ｎｏ）、登録部１４０６により、選択リストＤＢ１３００に空データを登録する（ステップＳ３１１１）。そして、第２の判断部１４０４により、リスト領域範囲に矩形領域を除く他の画面差分があるか否かを判断する（ステップＳ３１１２）。
ここで、他の画面差分がない場合（ステップＳ３１１２：Ｎｏ）、ステップＳ３１１４に移行する。一方、他の画面差分がある場合（ステップＳ３１１２：Ｙｅｓ）、登録部１４０６により、基準画面ＳＰの画像データＤを更新する基準画面登録処理を実行する（ステップＳ３１１３）。
そして、第２の抽出部１４０１により、ｊをインクリメントして（ステップＳ３１１４）、「ｊ＞ｍ」か否かを判断する（ステップＳ３１１５）。ここで、「ｊ≦ｍ」の場合（ステップＳ３１１５：Ｎｏ）、ステップＳ３１０２に戻る。一方、「ｊ＞ｍ」の場合（ステップＳ３１１５：Ｙｅｓ）、図２２に示したステップＳ２２０８に移行する。
つぎに、図３２のフローチャートにおいて、まず、第１の判断部１４０３により、矩形領域（以下、「今回のハイライト範囲」という）と前回のハイライト範囲が一致するか否かを判断する（ステップＳ３２０１）。
ここで、一致する場合（ステップＳ３２０１：Ｙｅｓ）、ステップＳ３２０３に移行する。一方、一致しない場合（ステップＳ３２０１：Ｎｏ）、第３の判断部１４０５により、領域データの本文領域範囲に画面差分があるか否かを判断する（ステップＳ３２０２）。
ここで、画面差分がある場合（ステップＳ３２０２：Ｙｅｓ）、操作ログ登録処理を実行して（ステップＳ３２０３）、図３１に示したステップＳ３１１４に移行する。一方、画面差分がない場合（ステップＳ３２０２：Ｎｏ）、図３１に示したステップＳ３１１４に移行する。
つぎに、図３３のフローチャートにおいて、まず、第１の判断部１４０３により、今回のハイライト範囲と前回のハイライト範囲が一致するか否かを判断する（ステップＳ３３０１）。ここで、一致しない場合（ステップＳ３３０１：Ｎｏ）、操作ログ登録処理を実行して（ステップＳ３３０２）、図３１に示したステップＳ３１１４に移行する。一方、一致する場合（ステップＳ３３０１：Ｙｅｓ）、図３１に示したステップＳ３１１４に移行する。
＜基準画面登録処理手順＞
つぎに、図３１に示したステップＳ３１１０，Ｓ３１１３の基準画面登録処理の具体的な処理手順について説明する。図３４は、基準画面登録処理の具体的処理手順の一例を示すフローチャートである。図３４のフローチャートにおいて、まず、登録部１４０６により、抽出された画面差分からハイライト範囲を表わす矩形領域を抽出する（ステップＳ３４０１）。
ここで、矩形領域が抽出されなかった場合（ステップＳ３４０２：Ｎｏ）、ステップＳ３４０４に移行する。一方、矩形領域が抽出された場合（ステップＳ３４０２：Ｙｅｓ）、登録部１４０６により、画面Ｐjの矩形領域の背景色と文字色を修正してハイライト表示されていない状態に変換する（ステップＳ３４０３）。
そして、登録部１４０６により、画面Ｐjの画像データを基準画面ＳＰの画像データＤとして基準画面ＤＢ１２００に登録して（ステップＳ３４０４）、図３２に示したステップＳ３２０１または図３１に示したステップＳ３１１４に移行する。
＜操作ログ登録処理手順＞
つぎに、図３２に示したステップＳ３２０３および図３３に示したステップＳ３３０２の操作ログ登録処理の具体的な処理手順について説明する。図３５は、操作ログ登録処理の具体的処理手順の一例を示すフローチャートである。
図３５のフローチャートにおいて、まず、認識部３０４により、抽出された画面差分からハイライト範囲を表わす矩形領域を抽出する（ステップＳ３５０１）。そして、認識部３０４により、抽出された矩形領域から文字列を認識する（ステップＳ３５０２）。
このあと、出力部３０７により、画面の取得時刻を特定し（ステップＳ３５０３）、認識された文字列と取得時刻を操作ログＤＢ７００に登録して（ステップＳ３５０４）、図３１に示したステップＳ３１１４に移行する。なお、取得時刻は選択時刻として操作ログＤＢ７００に登録される。
＜出力処理手順＞
つぎに、図２２に示したステップＳ２２０８の出力処理の具体的な処理手順について説明する。図３６は、出力処理の具体的処理手順の一例を示すフローチャートである。なお、以下の説明において、任意の操作ログを「操作ログＯＬk」と表記する（ｋ＝１，２，…，ｓ）。
図３６のフローチャートにおいて、まず、算出部３０５が、「ｋ＝１」として（ステップＳ３６０１）、操作ログＤＢ７００から操作ログＯＬkを選択する（ステップＳ３６０２）。つぎに、算出部３０５により、操作ログＯＬkの選択時刻Ｔkを特定し（ステップＳ３６０３）、操作ログＯＬk+1の選択時刻Ｔk+1を特定する（ステップＳ３６０４）。
そして、算出部３０５により、操作ログＯＬkの選択時刻Ｔkと操作ログＯＬk+1の選択時刻Ｔk+1との差分を閲覧時間として算出する（ステップＳ３６０５）。このあと、作成部３０６により、操作ログＯＬkの文字列と算出された閲覧時間を用いてレポート情報を作成する（ステップＳ３６０６）。
このあと、算出部３０５により、ｋをインクリメントして（ステップＳ３６０７）、「ｋ＞ｓ」か否かを判断する（ステップＳ３６０８）。ここで、「ｋ≦ｓ」の場合（ステップＳ３６０８：Ｎｏ）、ステップＳ３６０２に戻る。一方、「ｋ＞ｓ」の場合（ステップＳ３６０８:Ｙｅｓ）、出力部３０７により、作成されたレポート情報を出力して（ステップＳ３６０９）、本フローチャートによる一連の処理を終了する。
以上説明したように、本実施の形態によれば、画面内のリスト領域と本文領域を特定し、本文領域の画面変化をともなうリスト領域の画面変化を判断することで、一のリストから他のリストに切り替える選択操作に関する操作ログを取得することができる。これにより、アプリケーションから発行されるログを必要とすることなく、効率的かつ高精度にリストの選択操作が行われたことを判断することができる。
また、本実施の形態によれば、時系列に連続して取得された操作ログの取得時刻を用いて、一のリストから他のリストに切り替わるまでの本文の表示時間を算出することで、本文の閲覧時間を推測することができる。
また、本実施の形態によれば、リスト領域内に規定サイズの画面差分があり、かつ、リスト領域内に他の画面差分がない場合に、リスト領域と本文領域の表示内容がともに変化していると判定する。これにより、リスト領域でのスクロール操作をともなわないリストの選択操作が行われたことを判断することができる。
また、本実施の形態によれば、前回のハイライト範囲と今回のハイライト範囲が一致し、かつ、リスト領域内に他の画面差分がある場合に、リスト領域と本文領域の表示内容がともに変化していると判定する。これにより、リスト領域でのスクロール操作により、前回のハイライト範囲と今回のハイライト範囲が偶然一致する場合であっても、リストの選択操作が行われたことを判断することができる。
また、本実施の形態によれば、リスト領域内に規定サイズの画面差分があり、かつ、リスト領域内に他の画面差分があり、かつ、本文領域内に画面差分がある場合に、リスト領域と本文領域の表示内容がともに変化していると判定する。このように、本文領域の画面変化も判断することで、リスト領域でのスクロール操作により画面変化が発生し、リストの選択操作が行われたと誤って判断してしまうことを回避することができる。
また、本実施の形態によれば、ハイライト範囲に表示されている文字列を認識して操作ログと関連付けて出力することで、閲覧対象となるメールの本文を特定するために必要となる情報を提供することができる。
また、本実施の形態によれば、時系列に連続する画面の表示内容の差分を表わす図形領域の集合のうち、クリック座標を含む規定サイズより大きい第１図形領域をリスト領域として特定することで、リスト領域の配置位置を正確に特定することができる。
また、本実施の形態によれば、時系列に連続する画面の表示内容の差分を表わす図形領域の集合のうち、リスト領域および本文領域が有する特徴に基づいて、第１図形領域を除く残余の図形領域の特徴を判定することで、本文領域の配置位置を正確に特定することができる。
これらのことから、本情報処理装置、情報処理プログラム、および情報処理方法によれば、監視対象となるアプリケーションがログを発行しないものやログの取得機能をプラグインできないものであっても、効率的かつ高精度にリストの選択操作に関する操作ログを取得することができる。
なお、本実施の形態で説明した情報処理方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本情報処理プログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また本情報処理プログラムは、インターネット等のネットワークを介して配布してもよい。
上述した実施の形態に関し、さらに以下の付記を開示する。
（付記１）画面内の複数の表示領域のうち、項目群を表示する項目領域と前記項目群から選ばれた項目に対応する情報を表示する情報領域とを特定する特定手段と、
所定の時間間隔で得られた前記画面の一連の表示内容のうち、任意の時刻における前記画面の表示内容と、前記任意の時刻以前の時刻における前記画面の表示内容とを比較する比較手段と、
前記比較手段によって比較された比較結果に基づいて、前記特定手段によって特定された項目領域と情報領域の表示内容がともに変化しているか否かを判定する判定手段と、
前記判定手段によって前記項目領域と前記情報領域の表示内容がともに変化していると判定された場合、前記任意の時刻と関連付けて前記項目領域内の一の項目から他の項目に切り替える選択操作に関する操作ログを出力する出力手段と、
を備えることを特徴とする情報処理装置。
（付記２）前記出力手段によって時系列に連続する第１および第２の時刻の操作ログが出力された結果、当該第１および第２の時刻の操作ログに基づいて、前記第１の時刻に選択されている項目に対応する情報の表示時間を算出する算出手段を備え、
前記出力手段は、前記算出手段によって算出された表示時間を出力することを特徴とする付記１に記載の情報処理装置。
（付記３）前記比較結果に基づいて、前記任意の時刻における前記画面の表示内容と、前記任意の時刻以前の時刻における前記画面の表示内容との差分を表わす画面差分のうち、規定サイズの画面差分が前記項目領域内にあるか否かを判断する第１の判断手段と、
前記画面差分のうち、前記規定サイズの画面差分を除く他の画面差分が前記項目領域内にあるか否かを判断する第２の判断手段と、を備え、
前記判定手段は、前記第１の判断手段によって前記規定サイズの画面差分が前記項目領域内にあると判断され、かつ、前記第２の判断手段によって前記他の画面差分が前記項目領域内にないと判断された場合、前記項目領域と前記情報領域の表示内容がともに変化していると判定することを特徴とする付記１または２に記載の情報処理装置。
（付記４）前記第１の判断手段は、前記比較結果に基づいて、前記任意の時刻に選択されていた前記項目の配置位置と、前記任意の時刻以前の時刻に選択されていた前記項目の配置位置とが一致するか否かを判断し、
前記判定手段は、前記第１の判断手段によって前記項目の配置位置が一致すると判断され、かつ、前記第２の判断手段によって前記他の画面差分が前記項目領域内にあると判断された場合、前記項目領域と前記情報領域の表示内容がともに変化していると判定することを特徴とする付記３に記載の情報処理装置。
（付記５）前記画面差分のうち前記情報領域内の画面差分があるか否かを判断する第３の判断手段を備え、
前記判定手段は、前記第１の判断手段によって前記規定サイズの画面差分が前記項目領域内にあると判断され、かつ、前記第２の判断手段によって前記他の画面差分が前記項目領域内にあると判断され、かつ、前記第３の判断手段によって前記情報領域内の画面差分があると判断された場合、前記項目領域と前記情報領域の表示内容がともに変化していると判定することを特徴とする付記３または４に記載の情報処理装置。
（付記６）前記規定サイズの画面差分に含まれる文字列を認識する認識手段を備え、
前記出力手段は、前記認識手段によって認識された文字列を前記操作ログと関連付けて出力することを特徴とする付記３〜５のいずれか一つに記載の情報処理装置。
（付記７）前記画面の一連の表示内容のうち、任意の選択操作があった時刻直前に得られた前記画面の表示内容と、前記選択操作があった時刻直後に得られた前記画面の表示内容との差分を表わす図形領域の集合のうち、前記選択操作による選択位置を含む図形領域があるか否かを判定する第１の領域判定手段と、
前記第１の領域判定手段によって前記選択位置を含む図形領域があると判定された場合、当該図形領域が規定サイズか否かを判定する第２の領域判定手段と、を備え、
前記特定手段は、前記第２の領域判定手段によって前記図形領域が規定サイズと判定された場合、当該図形領域を前記項目領域として特定することを特徴とする付記１〜６のいずれか一つに記載の情報処理装置。
（付記８）前記特定手段は、前記規定サイズとなる図形領域が複数判定された場合、当該複数の図形領域を重ね合わせた図形領域を前記項目領域として特定することを特徴とする付記７に記載の情報処理装置。
（付記９）前記図形領域の集合のうち、前記選択操作による選択位置を含む図形領域を除く残余の図形領域の特徴を判定する特徴判定手段を備え、
前記特定手段は、前記特徴判定手段によって判定された判定結果に基づいて、前記残余の図形領域を前記本文領域として特定することを特徴とする付記７または８に記載の情報処理装置。
（付記１０）前記特徴判定手段は、前記残余の図形領域のピクセル単位の列ごとの背景色のピクセル数または／および行ごとの背景色のピクセル数に基づいて、前記残余の図形領域の特徴を判定することを特徴とする付記９に記載の情報処理装置。
（付記１１）コンピュータを、
画面内の複数の表示領域のうち、項目群を表示する項目領域と前記項目群から選ばれた項目に対応する情報を表示する情報領域とを特定する特定手段、
所定の時間間隔で得られた前記画面の一連の表示内容のうち、任意の時刻における前記画面の表示内容と、前記任意の時刻以前の時刻における前記画面の表示内容とを比較する比較手段、
前記比較手段によって比較された比較結果に基づいて、前記特定手段によって特定された項目領域と情報領域の表示内容がともに変化しているか否かを判定する判定手段、
前記判定手段によって前記項目領域と前記情報領域の表示内容がともに変化していると判定された場合、前記任意の時刻と関連付けて前記項目領域内の一の項目から他の項目に切り替える選択操作に関する操作ログを出力する出力手段、
として機能させることを特徴とする情報処理プログラム。
（付記１２）前記出力手段によって時系列に連続する第１および第２の時刻の操作ログが出力された結果、当該第１および第２の時刻の操作ログに基づいて、前記第１の時刻に選択されている項目に対応する情報の表示時間を算出する算出手段を備え、
前記出力手段は、前記算出手段によって算出された表示時間を出力することを特徴とする付記１１に記載の情報処理プログラム。
（付記１３）前記コンピュータを、
前記比較結果に基づいて、前記任意の時刻における前記画面の表示内容と、前記任意の時刻以前の時刻における前記画面の表示内容との差分を表わす画面差分のうち、規定サイズの画面差分が前記項目領域内にあるか否かを判断する第１の判断手段、
前記画面差分のうち、前記規定サイズの画面差分を除く他の画面差分が前記項目領域内にあるか否かを判断する第２の判断手段、として機能させ、
前記判定手段は、前記第１の判断手段によって前記規定サイズの画面差分が前記項目領域内にあると判断され、かつ、前記第２の判断手段によって前記他の画面差分が前記項目領域内にないと判断された場合、前記項目領域と前記情報領域の表示内容がともに変化していると判定することを特徴とする付記１１または１２に記載の情報処理プログラム。
（付記１４）前記第１の判断手段は、前記比較結果に基づいて、前記任意の時刻に選択されていた前記項目の配置位置と、前記任意の時刻以前の時刻に選択されていた前記項目の配置位置とが一致するか否かを判断し、
前記判定手段は、前記第１の判断手段によって前記項目の配置位置が一致すると判断され、かつ、前記第２の判断手段によって前記他の画面差分が前記項目領域内にあると判断された場合、前記項目領域と前記情報領域の表示内容がともに変化していると判定することを特徴とする付記１３に記載の情報処理プログラム。
（付記１５）前記コンピュータを、
前記画面差分のうち前記情報領域内の画面差分があるか否かを判断する第３の判断手段として機能させ、
前記判定手段は、前記第１の判断手段によって前記規定サイズの画面差分が前記項目領域内にあると判断され、かつ、前記第２の判断手段によって前記他の画面差分が前記項目領域内にあると判断され、かつ、前記第３の判断手段によって前記情報領域内の画面差分があると判断された場合、前記項目領域と前記情報領域の表示内容がともに変化していると判定することを特徴とする付記１３または１４に記載の情報処理プログラム。
（付記１６）前記コンピュータを、
前記規定サイズの画面差分に含まれる文字列を認識する認識手段として機能させ、
前記出力手段は、前記認識手段によって認識された文字列を前記操作ログと関連付けて出力することを特徴とする付記１３〜１５のいずれか一つに記載の情報処理プログラム。
（付記１７）前記コンピュータを、
前記画面の一連の表示内容のうち、任意の選択操作があった時刻直前に得られた前記画面の表示内容と、前記選択操作があった時刻直後に得られた前記画面の表示内容との差分を表わす図形領域の集合のうち、前記選択操作による選択位置を含む図形領域があるか否かを判定する第１の領域判定手段、
前記第１の領域判定手段によって前記選択位置を含む図形領域があると判定された場合、当該図形領域が規定サイズか否かを判定する第２の領域判定手段、として機能させ、
前記特定手段は、前記第２の領域判定手段によって前記図形領域が規定サイズと判定された場合、当該図形領域を前記項目領域として特定することを特徴とする付記１１〜１６のいずれか一つに記載の情報処理プログラム。
（付記１８）前記特定手段は、前記規定サイズとなる図形領域が複数判定された場合、当該複数の図形領域を重ね合わせた図形領域を前記項目領域として特定することを特徴とする付記１７に記載の情報処理プログラム。
（付記１９）前記コンピュータを、
前記図形領域の集合のうち、前記選択操作による選択位置を含む図形領域を除く残余の図形領域の特徴を判定する特徴判定手段として機能させ、
前記特定手段は、前記特徴判定手段によって判定された判定結果に基づいて、前記残余の図形領域を前記本文領域として特定することを特徴とする付記１７または１８に記載の情報処理プログラム。
（付記２０）前記特徴判定手段は、前記残余の図形領域のピクセル単位の列ごとの背景色のピクセル数または／および行ごとの背景色のピクセル数に基づいて、前記残余の図形領域の特徴を判定することを特徴とする付記１９に記載の情報処理プログラム。
（付記２１）コンピュータが、
画面内の複数の表示領域のうち、項目群を表示する項目領域と前記項目群から選ばれた項目に対応する情報を表示する情報領域とを特定する特定工程と、
所定の時間間隔で得られた前記画面の一連の表示内容のうち、任意の時刻における前記画面の表示内容と、前記任意の時刻以前の時刻における前記画面の表示内容とを比較する比較工程と、
前記比較工程によって比較された比較結果に基づいて、前記特定工程によって特定された項目領域と情報領域の表示内容がともに変化しているか否かを判定する判定工程と、
前記判定工程によって前記項目領域と前記情報領域の表示内容がともに変化していると判定された場合、前記任意の時刻と関連付けて前記項目領域内の一の項目から他の項目に切り替える選択操作に関する操作ログを出力する出力工程と、
を実行することを特徴とする情報処理方法。
（付記２２）前記コンピュータが、
前記出力工程（以下、「第１の出力工程」という）によって時系列に連続する第１および第２の時刻の操作ログが出力された結果、当該第１および第２の時刻の操作ログに基づいて、前記第１の時刻に選択されている項目に対応する情報の表示時間を算出する算出工程と、
前記算出工程によって算出された表示時間を出力する第２の出力工程と、
を実行することを特徴とする付記２１に記載の情報処理方法。
（付記２３）前記コンピュータが、
前記比較結果に基づいて、前記任意の時刻における前記画面の表示内容と、前記任意の時刻以前の時刻における前記画面の表示内容との差分を表わす画面差分のうち、規定サイズの画面差分が前記項目領域内にあるか否かを判断する第１の判断工程と、
前記画面差分のうち、前記規定サイズの画面差分を除く他の画面差分が前記項目領域内にあるか否かを判断する第２の判断工程と、を実行し、
前記判定工程は、前記第１の判断工程によって前記規定サイズの画面差分が前記項目領域内にあると判断され、かつ、前記第２の判断工程によって前記他の画面差分が前記項目領域内にないと判断された場合、前記項目領域と前記情報領域の表示内容がともに変化していると判定することを特徴とする付記２１または２２に記載の情報処理方法。
（付記２４）前記第１の判断工程は、前記比較結果に基づいて、前記任意の時刻に選択されていた前記項目の配置位置と、前記任意の時刻以前の時刻に選択されていた前記項目の配置位置とが一致するか否かを判断し、
前記判定工程は、前記第１の判断工程によって前記項目の配置位置が一致すると判断され、かつ、前記第２の判断工程によって前記他の画面差分が前記項目領域内にあると判断された場合、前記項目領域と前記情報領域の表示内容がともに変化していると判定することを特徴とする付記２３に記載の情報処理方法。
（付記２５）前記コンピュータが、
前記画面差分のうち前記情報領域内の画面差分があるか否かを判断する第３の判断工程を実行し、
前記判定工程は、前記第１の判断工程によって前記規定サイズの画面差分が前記項目領域内にあると判断され、かつ、前記第２の判断工程によって前記他の画面差分が前記項目領域内にあると判断され、かつ、前記第３の判断工程によって前記情報領域内の画面差分があると判断された場合、前記項目領域と前記情報領域の表示内容がともに変化していると判定することを特徴とする付記２３または２４に記載の情報処理方法。
（付記２６）前記コンピュータが、
前記規定サイズの画面差分に含まれる文字列を認識する認識工程を実行し、
前記出力工程は、前記認識工程によって認識された文字列を前記操作ログと関連付けて出力することを特徴とする付記２３〜２５のいずれか一つに記載の情報処理方法。
（付記２７）前記コンピュータが、
前記画面の一連の表示内容のうち、任意の選択操作があった時刻直前に得られた前記画面の表示内容と、前記選択操作があった時刻直後に得られた前記画面の表示内容との差分を表わす図形領域の集合のうち、前記選択操作による選択位置を含む図形領域があるか否かを判定する第１の領域判定工程と、
前記第１の領域判定工程によって前記選択位置を含む図形領域があると判定された場合、当該図形領域が規定サイズか否かを判定する第２の領域判定工程と、を実行し、
前記特定工程は、前記第２の領域判定工程によって前記図形領域が規定サイズと判定された場合、当該図形領域を前記項目領域として特定することを特徴とする付記２１〜２６のいずれか一つに記載の情報処理方法。
（付記２８）前記特定工程は、前記規定サイズとなる図形領域が複数判定された場合、当該複数の図形領域を重ね合わせた図形領域を前記項目領域として特定することを特徴とする付記２７に記載の情報処理方法。
（付記２９）前記コンピュータが、
前記図形領域の集合のうち、前記選択操作による選択位置を含む図形領域を除く残余の図形領域の特徴を判定する特徴判定工程を実行し、
前記特定工程は、前記特徴判定工程によって判定された判定結果に基づいて、前記残余の図形領域を前記本文領域として特定することを特徴とする付記２７または２８に記載の情報処理方法。
（付記３０）前記特徴判定工程は、前記残余の図形領域のピクセル単位の列ごとの背景色のピクセル数または／および行ごとの背景色のピクセル数に基づいて、前記残余の図形領域の特徴を判定することを特徴とする付記２９に記載の情報処理方法。
２００ 情報処理装置
３０１ 取得部
３０２ 特定部
３０３ 判定部
３０４ 認識部
３０５ 算出部
３０６ 作成部
３０７ 出力部
４００ イベントＤＢ
５００ 画面ＤＢ
６００ 領域ＤＢ
７００ 操作ログＤＢ
９０１ 選択部
９０２ 第１の抽出部
９０３ 第１の比較部
９０４ 領域判定部
９０５ 特徴判定部
１２００ 基準画面ＤＢ
１３００ 選択リストＤＢ
１４０１ 第２の抽出部
１４０２ 第２の比較部
１４０３ 第１の判断部
１４０４ 第２の判断部
１４０５ 第３の判断部
１４０６ 登録部

Claims (10)

  1. 画面内の複数の表示領域のうち、項目群を表示する項目領域と前記項目群から選ばれた項目に対応する情報を表示する情報領域とを特定する特定手段と、
    所定の時間間隔で得られた前記画面の一連の表示内容のうち、いずれかの時刻における前記画面の表示内容と、前記いずれかの時刻直前に画面変化があった際の前記画面の表示内容とを比較する比較手段と、
    前記比較手段によって比較された比較結果に基づいて、前記いずれかの時刻における前記画面内の前記特定手段によって特定された前記項目領域の表示内容と前記情報領域の表示内容とがともに変化しているか否かを判定する判定手段と、
    前記判定手段によって前記項目領域の表示内容と前記情報領域の表示内容とがともに変化していると判定された場合に、前記いずれかの時刻と関連付けて前記項目領域内の一の項目から他の項目に切り替える選択操作に関する操作ログを出力し、前記判定手段によって前記項目領域の表示内容と前記情報領域の表示内容とがともに変化していると判定されなかった場合には、前記いずれかの時刻に関連する操作ログを出力しない出力手段と、
    を備えることを特徴とする情報処理装置。
  2. 前記画面の一連の表示内容のうち、いずれかの選択操作があった時刻直前に得られた前記画面の表示内容と、前記選択操作があった時刻直後に得られた前記画面の表示内容との差分を表わす図形領域の集合のうち、前記選択操作による選択位置を含む図形領域があるか否かを判定する第１の領域判定手段と、
    前記第１の領域判定手段によって前記選択位置を含む図形領域があると判定された場合、当該図形領域が規定サイズか否かを判定する第２の領域判定手段と、
    前記図形領域の集合のうち、前記選択操作による選択位置を含む図形領域を除く残余の図形領域の特徴を判定する特徴判定手段と、を備え、
    前記特定手段は、
    前記第２の領域判定手段によって前記図形領域が規定サイズと判定された場合、当該図形領域を前記項目領域として特定するとともに、前記特徴判定手段によって判定された判定結果に基づいて、前記残余の図形領域を前記情報領域として特定することを特徴とする請求項１に記載の情報処理装置。
  3. 前記出力手段によって時系列に連続する第１および第２の時刻の操作ログが出力された結果、当該第１および第２の時刻の操作ログに基づいて、前記第１の時刻に選択されている項目に対応する情報の表示時間を算出する算出手段を備え、
    前記出力手段は、
    前記算出手段によって算出された表示時間を出力することを特徴とする請求項１または２に記載の情報処理装置。
  4. 前記比較結果に基づいて、前記いずれかの時刻における前記画面の表示内容と、前記いずれかの時刻直前に画面変化があった際の前記画面の表示内容との差分を表わす画面差分のうち、規定サイズの画面差分が前記項目領域内にあるか否かを判断する第１の判断手段と、
    前記画面差分のうち、前記規定サイズの画面差分を除く他の画面差分が前記項目領域内にあるか否かを判断する第２の判断手段と、を備え、
    前記判定手段は、
    前記第１の判断手段によって前記規定サイズの画面差分が前記項目領域内にあると判断され、かつ、前記第２の判断手段によって前記他の画面差分が前記項目領域内にないと判断された場合、前記項目領域の表示内容と前記情報領域の表示内容とがともに変化していると判定することを特徴とする請求項１〜３のいずれか一つに記載の情報処理装置。
  5. 前記第１の判断手段は、
    前記比較結果に基づいて、前記いずれかの時刻に選択されていた前記項目の配置位置と、前記いずれかの時刻直前に画面変化があった際に選択されていた前記項目の配置位置とが一致するか否かを判断し、
    前記判定手段は、
    前記第１の判断手段によって前記項目の配置位置が一致すると判断され、かつ、前記第２の判断手段によって前記他の画面差分が前記項目領域内にあると判断された場合、前記項目領域の表示内容と前記情報領域の表示内容とがともに変化していると判定することを特徴とする請求項４に記載の情報処理装置。
  6. 前記画面差分のうち前記情報領域内の画面差分があるか否かを判断する第３の判断手段を備え、
    前記判定手段は、
    前記第１の判断手段によって前記規定サイズの画面差分が前記項目領域内にあると判断され、かつ、前記第２の判断手段によって前記他の画面差分が前記項目領域内にあると判断され、かつ、前記第３の判断手段によって前記情報領域内の画面差分があると判断された場合、前記項目領域の表示内容と前記情報領域の表示内容とがともに変化していると判定することを特徴とする請求項４または５に記載の情報処理装置。
  7. コンピュータを、
    画面内の複数の表示領域のうち、項目群を表示する項目領域と前記項目群から選ばれた項目に対応する情報を表示する情報領域とを特定する特定手段、
    所定の時間間隔で得られた前記画面の一連の表示内容のうち、いずれかの時刻における前記画面の表示内容と、前記いずれかの時刻直前に画面変化があった際の前記画面の表示内容とを比較する比較手段、
    前記比較手段によって比較された比較結果に基づいて、前記いずれかの時刻における前記画面内の前記特定手段によって特定された前記項目領域の表示内容と前記情報領域の表示内容とがともに変化しているか否かを判定する判定手段、
    前記判定手段によって前記項目領域の表示内容と前記情報領域の表示内容とがともに変化していると判定された場合に、前記いずれかの時刻と関連付けて前記項目領域内の一の項目から他の項目に切り替える選択操作に関する操作ログを出力し、前記判定手段によって前記項目領域の表示内容と前記情報領域の表示内容とがともに変化していると判定されなかった場合には、前記いずれかの時刻に関連する操作ログを出力しない出力手段、
    として機能させることを特徴とする情報処理プログラム。
  8. 前記コンピュータを、
    前記画面の一連の表示内容のうち、いずれかの選択操作があった時刻直前に得られた前記画面の表示内容と、前記選択操作があった時刻直後に得られた前記画面の表示内容との差分を表わす図形領域の集合のうち、前記選択操作による選択位置を含む図形領域があるか否かを判定する第１の領域判定手段、
    前記第１の領域判定手段によって前記選択位置を含む図形領域があると判定された場合、当該図形領域が規定サイズか否かを判定する第２の領域判定手段、
    前記図形領域の集合のうち、前記選択操作による選択位置を含む図形領域を除く残余の図形領域の特徴を判定する特徴判定手段としてさらに機能させ、
    前記特定手段は、
    前記第２の領域判定手段によって前記図形領域が規定サイズと判定された場合、当該図形領域を前記項目領域として特定するとともに、前記特徴判定手段によって判定された判定結果に基づいて、前記残余の図形領域を前記情報領域として特定することを特徴とする請求項７に記載の情報処理プログラム。
  9. コンピュータが、
    画面内の複数の表示領域のうち、項目群を表示する項目領域と前記項目群から選ばれた項目に対応する情報を表示する情報領域とを特定する特定工程と、
    所定の時間間隔で得られた前記画面の一連の表示内容のうち、いずれかの時刻における前記画面の表示内容と、前記いずれかの時刻直前に画面変化があった際の前記画面の表示内容とを比較する比較工程と、
    前記比較工程によって比較された比較結果に基づいて、前記いずれかの時刻における前記画面内の前記特定工程によって特定された前記項目領域の表示内容と前記情報領域の表示内容とがともに変化しているか否かを判定する判定工程と、
    前記判定工程によって前記項目領域の表示内容と前記情報領域の表示内容とがともに変化していると判定された場合に、前記いずれかの時刻と関連付けて前記項目領域内の一の項目から他の項目に切り替える選択操作に関する操作ログを出力し、前記判定工程によって前記項目領域の表示内容と前記情報領域の表示内容とがともに変化していると判定されなかった場合には、前記いずれかの時刻に関連する操作ログを出力しない出力工程と、
    を実行することを特徴とする情報処理方法。
  10. 前記コンピュータが、
    前記画面の一連の表示内容のうち、いずれかの選択操作があった時刻直前に得られた前記画面の表示内容と、前記選択操作があった時刻直後に得られた前記画面の表示内容との差分を表わす図形領域の集合のうち、前記選択操作による選択位置を含む図形領域があるか否かを判定する第１の領域判定工程と、
    前記第１の領域判定工程によって前記選択位置を含む図形領域があると判定された場合、当該図形領域が規定サイズか否かを判定する第２の領域判定工程と、
    前記図形領域の集合のうち、前記選択操作による選択位置を含む図形領域を除く残余の図形領域の特徴を判定する特徴判定工程と、をさらに実行し、
    前記特定工程は、
    前記第２の領域判定工程によって前記図形領域が規定サイズと判定された場合、当該図形領域を前記項目領域として特定するとともに、前記特徴判定工程によって判定された判定結果に基づいて、前記残余の図形領域を前記情報領域として特定することを特徴とする請求項９に記載の情報処理方法。
JP2009209436A 2009-09-10 2009-09-10 情報処理装置、情報処理プログラム、および情報処理方法 Expired - Fee Related JP5428681B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009209436A JP5428681B2 (ja) 2009-09-10 2009-09-10 情報処理装置、情報処理プログラム、および情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009209436A JP5428681B2 (ja) 2009-09-10 2009-09-10 情報処理装置、情報処理プログラム、および情報処理方法

Publications (2)

Publication Number Publication Date
JP2011060018A JP2011060018A (ja) 2011-03-24
JP5428681B2 true JP5428681B2 (ja) 2014-02-26

Family

ID=43947564

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009209436A Expired - Fee Related JP5428681B2 (ja) 2009-09-10 2009-09-10 情報処理装置、情報処理プログラム、および情報処理方法

Country Status (1)

Country Link
JP (1) JP5428681B2 (ja)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5852720A (en) * 1996-08-16 1998-12-22 Compaq Computer Corp. System for storing display data during first time period prior to failure of computer and during second time period after reset of the computer
JP2001356936A (ja) * 2000-04-11 2001-12-26 Fujitsu Ltd Ｇｕｉ系プログラムのテスト支援装置および支援方法
JP4822166B2 (ja) * 2000-10-17 2011-11-24 日本電気株式会社 Ｇｕｉ評価システムとそのｇｕｉ評価方法、及びｇｕｉ評価プログラムを記録した記録媒体
JP2003085527A (ja) * 2001-09-14 2003-03-20 Sony Corp 情報作成方法、情報作成装置およびネットワーク情報処理システム
JP2004038619A (ja) * 2002-07-04 2004-02-05 Hitachi Ltd 応答時間自動測定方法および装置
JP3851261B2 (ja) * 2002-12-05 2006-11-29 秀樹 西本 データ処理システム、データ処理装置、データ処理用プログラム
JP4530995B2 (ja) * 2006-01-17 2010-08-25 三菱電機株式会社 情報処理装置及び操作ログ収集方法及び操作ログ収集プログラム
JP4842917B2 (ja) * 2007-12-07 2011-12-21 富士通株式会社 後続処理の自動処理プログラム，後続処理の自動処理装置および後続処理の自動処理方法
JP2009163370A (ja) * 2007-12-28 2009-07-23 Noritsu Koki Co Ltd キャプチャーソフトウエアプログラム及びキャプチャー装置
JP2009175970A (ja) * 2008-01-23 2009-08-06 Noritsu Koki Co Ltd ソフトウェア自動再現プログラム

Also Published As

Publication number Publication date
JP2011060018A (ja) 2011-03-24

Similar Documents

Publication Publication Date Title
EP1457917B1 (en) Apparatus and methods for converting network drawings from raster format to vector format
JP5663866B2 (ja) 情報処理装置及び情報処理プログラム
RU2631168C2 (ru) Способы и устройства, которые преобразуют изображения документов в электронные документы с использованием trie-структуры данных, содержащей непараметризованные символы для определения слов и морфем на изображении документа
JP4347677B2 (ja) 帳票ｏｃｒプログラム、方法及び装置
EP2107505B1 (en) Character recognition device
US20090110288A1 (en) Document processing apparatus and document processing method
JP6912714B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
RU2640322C2 (ru) Способы и системы эффективного автоматического распознавания символов
EP0654750A2 (en) Method for analyzing data defining an image
RU2648638C2 (ru) Способы и системы эффективного автоматического распознавания символов, использующие множество кластеров эталонов символов
KR100582039B1 (ko) 문자 인식 장치
JP4630911B2 (ja) 文書分類装置、文書分類方法およびそれらの方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP5428681B2 (ja) 情報処理装置、情報処理プログラム、および情報処理方法
CN114283190A (zh) 梁线拼接方法、装置、设备及存储介质
RU2625533C1 (ru) Устройства и способы, которые строят иерархически упорядоченную структуру данных, содержащую непараметризованные символы, для преобразования изображений документов в электронные документы
US11392260B2 (en) Display control device, display control method, and display control program
CN112835774B (zh) 显卡性能的可视化方法及装置、设备、计算机可读存储介质
RU2582064C1 (ru) Способы и системы эффективного автоматического распознавания символов с использованием леса решений
RU2625020C1 (ru) Устройства и способы, которые порождают параметризованные символы для преобразования изображений документов в электронные документы
JP6007720B2 (ja) 情報処理装置及び情報処理プログラム
JP5200719B2 (ja) Ｗｅｂアプリケーション検査プログラム、テスト実行装置、およびテスト実行方法
JP2001331763A (ja) 表認識方法
JP2019211941A (ja) マニュアル処理装置、マニュアル処理方法、およびマニュアル処理プログラム
JP2022051198A (ja) Ｏｃｒ処理装置、ｏｃｒ処理方法、及びプログラム
JP6136837B2 (ja) データ処理プログラム、およびデータ処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120510

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131118

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5428681

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees