JP5428681B2 - 情報処理装置、情報処理プログラム、および情報処理方法 - Google Patents
情報処理装置、情報処理プログラム、および情報処理方法 Download PDFInfo
- Publication number
- JP5428681B2 JP5428681B2 JP2009209436A JP2009209436A JP5428681B2 JP 5428681 B2 JP5428681 B2 JP 5428681B2 JP 2009209436 A JP2009209436 A JP 2009209436A JP 2009209436 A JP2009209436 A JP 2009209436A JP 5428681 B2 JP5428681 B2 JP 5428681B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- screen
- item
- graphic
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Description
まず、本実施の形態の概要の一例について説明する。図1は、本実施の形態の概要の一例を示す説明図である。図1において、画面100は、項目群を表示する項目領域R1と、項目群から選ばれた項目に対応する情報を表示する情報領域R2と、を含む複数ペイン構造である。
つぎに、本実施の形態にかかる情報処理装置200のハードウェア構成について説明する。図2は、情報処理装置のハードウェア構成を示すブロック図である。図2において、情報処理装置200は、CPU(Central Processing Unit)201と、ROM(Read‐Only Memory)202と、RAM(Random Access Memory)203と、磁気ディスクドライブ204と、磁気ディスク205と、光ディスクドライブ206と、光ディスク207と、ディスプレイ208と、I/F(Interface)209と、キーボード210と、マウス211と、スキャナ212と、プリンタ213と、を備えている。また、各構成部はバス220によってそれぞれ接続されている。
つぎに、情報処理装置200の機能的構成について説明する。図3は、情報処理装置の機能的構成を示すブロック図である。図3において、情報処理装置200は、取得部301と、特定部302と、判定部303と、認識部304と、算出部305と、作成部306と、出力部307と、を含む構成である。この制御部となる機能(取得部301〜出力部307)は、具体的には、たとえば、図2に示したROM202、RAM203、磁気ディスク205、光ディスク207などの記憶装置に記憶されたプログラムをCPU201に実行させることにより、または、I/F209により、その機能を実現する。
つぎに、上記特定部302の機能的構成について説明する。図9は、特定部302の機能的構成の一例を示すブロック図である。図9において、特定部302は、選択部901と、第1の抽出部902と、第1の比較部903と、領域判定部904と、特徴判定部905と、を含む構成である。以下、メールソフトの画面内のリスト領域および本文領域を特定する場合を例に挙げて、各機能部901〜904の処理内容の一例を説明する。
つぎに、上記判定部303の機能的構成について説明する。ここではまず、判定部303に用いられる各種DBの記憶内容について説明する。図12は、基準画面DBの記憶内容の一例を示す説明図である。図12において、基準画面DB1200は、基準画面SPの画像データDを有している。
判定部303は、前回のハイライト範囲と矩形領域の範囲が一致しないと判断され、かつ、他の画面差分がリスト領域内にないと判断された場合、リスト領域と本文領域の表示内容がともに変化していると判定する。図15において、リスト領域R1と本文領域R2の表示内容がともに変化する場合の画面差分1500が示されている。
判定部303は、前回のハイライト範囲と矩形領域の範囲が一致すると判断され、かつ、他の画面差分がリスト領域内にあると判断された場合、リスト領域と本文領域の表示内容がともに変化していると判定する。図16において、リスト領域R1と本文領域R2の表示内容がともに変化する場合の画面差分1600が示されている。
判定部303は、前回のハイライト範囲と矩形領域の範囲が一致しないと判断され、かつ、他の画面差分がリスト領域内にあると判断され、かつ、本文領域内の画面差分があると判断された場合、リスト領域と本文領域の表示内容がともに変化していると判定する。図17において、リスト領域R1と本文領域R2の表示内容がともに変化する場合の画面差分1700が示されている。
判定部303は、ハイライト範囲と矩形領域の範囲が一致しないと判断され、かつ、他の画面差分がリスト領域内にあると判断され、かつ、本文領域内の画面差分がないと判断された場合、リスト領域と本文領域の表示内容がともに変化していると判定しない。図18において、リスト領域R1の表示内容のみが変化する場合の画面差分1800が示されている。
判定部303は、ハイライト範囲と矩形領域の範囲が一致すると判断され、かつ、他の画面差分がリスト領域内にないと判断され、かつ、本文領域内の画面差分があると判断された場合、リスト領域と本文領域の表示内容がともに変化していると判定しない。図19において、本文領域R2の表示内容のみが変化する場合の画面差分1900が示されている。
判定部303は、リスト領域内に矩形領域がないと判断され、かつ、他の画面差分がリスト領域内にあると判断された場合、リスト領域と本文領域の表示内容がともに変化していると判定しない。図20において、リスト領域R1の表示内容のみが変化する場合の画面差分2000が示されている。
判定部303は、リスト領域内に矩形領域がないと判断され、かつ、他の画面差分がリスト領域内にないと判断され、かつ、本文領域内の画面差分があると判断された場合、リスト領域と本文領域の表示内容がともに変化していると判定しない。図21において、本文領域R2の表示内容のみが変化する場合の画面差分2100が示されている。
つぎに、情報処理装置200の情報処理手順について説明する。図22は、情報処理装置の情報処理手順の一例を示す説明図である。図22のフローチャートにおいて、まず、取得部301により、メールソフトのプロセスが起動したか否かを判断する(ステップS2201)。
つぎに、図22に示したステップS2203のイベントログ取得処理の具体的な処理手順について説明する。図23は、イベントログ取得処理の具体的処理手順の一例を示すフローチャートである。
つぎに、図22に示したステップS2204の画面取得処理の具体的な処理手順について説明する。図24は、画面取得処理の具体的処理手順の一例を示すフローチャートである。
つぎに、図22に示したステップS2206の特定処理の具体的な処理手順について説明する。図25は、特定処理の具体的処理手順の一例を示すフローチャートである。図25のフローチャートにおいて、まず、選択部901により、「i=1」として(ステップS2501)、イベントDB400からイベントログLiを選択する(ステップS2502)。
つぎに、図25に示したステップS2509の領域判定処理の具体的な処理手順について説明する。図26は、領域判定処理の具体的処理手順の一例を示すフローチャートである。図26のフローチャートにおいて、まず、領域判定部904により、図25に示したステップS2508において抽出された画面差分にイベントログLiのクリック座標が含まれるか否かを判定する(ステップS2601)。
つぎに、図26に示したステップS2608の特徴判定処理の具体的な処理手順について説明する。なお、以下の説明において、本領域候補の任意の列を「列Fp」と表記し(p=0,1,…,W−1)、任意の行を「行Rq」と表記する(q=0,1,…,H−1)。
つぎに、図25に示したステップS2511の領域登録処理の具体的な処理手順について説明する。図29は、領域登録処理の具体的処理手順の一例を示すフローチャートである。図29のフローチャートにおいて、まず、特定部302により、領域DB600の記憶内容は空か否かを判断する(ステップS2901)。
つぎに、図22に示したステップS2207の判定処理の具体的な処理手順について説明する。図31〜図33は、判定処理の具体的処理手順の一例を示すフローチャートである。
つぎに、図31に示したステップS3110,S3113の基準画面登録処理の具体的な処理手順について説明する。図34は、基準画面登録処理の具体的処理手順の一例を示すフローチャートである。図34のフローチャートにおいて、まず、登録部1406により、抽出された画面差分からハイライト範囲を表わす矩形領域を抽出する(ステップS3401)。
つぎに、図32に示したステップS3203および図33に示したステップS3302の操作ログ登録処理の具体的な処理手順について説明する。図35は、操作ログ登録処理の具体的処理手順の一例を示すフローチャートである。
つぎに、図22に示したステップS2208の出力処理の具体的な処理手順について説明する。図36は、出力処理の具体的処理手順の一例を示すフローチャートである。なお、以下の説明において、任意の操作ログを「操作ログOLk」と表記する(k=1,2,…,s)。
所定の時間間隔で得られた前記画面の一連の表示内容のうち、任意の時刻における前記画面の表示内容と、前記任意の時刻以前の時刻における前記画面の表示内容とを比較する比較手段と、
前記比較手段によって比較された比較結果に基づいて、前記特定手段によって特定された項目領域と情報領域の表示内容がともに変化しているか否かを判定する判定手段と、
前記判定手段によって前記項目領域と前記情報領域の表示内容がともに変化していると判定された場合、前記任意の時刻と関連付けて前記項目領域内の一の項目から他の項目に切り替える選択操作に関する操作ログを出力する出力手段と、
を備えることを特徴とする情報処理装置。
前記出力手段は、前記算出手段によって算出された表示時間を出力することを特徴とする付記1に記載の情報処理装置。
前記画面差分のうち、前記規定サイズの画面差分を除く他の画面差分が前記項目領域内にあるか否かを判断する第2の判断手段と、を備え、
前記判定手段は、前記第1の判断手段によって前記規定サイズの画面差分が前記項目領域内にあると判断され、かつ、前記第2の判断手段によって前記他の画面差分が前記項目領域内にないと判断された場合、前記項目領域と前記情報領域の表示内容がともに変化していると判定することを特徴とする付記1または2に記載の情報処理装置。
前記判定手段は、前記第1の判断手段によって前記項目の配置位置が一致すると判断され、かつ、前記第2の判断手段によって前記他の画面差分が前記項目領域内にあると判断された場合、前記項目領域と前記情報領域の表示内容がともに変化していると判定することを特徴とする付記3に記載の情報処理装置。
前記判定手段は、前記第1の判断手段によって前記規定サイズの画面差分が前記項目領域内にあると判断され、かつ、前記第2の判断手段によって前記他の画面差分が前記項目領域内にあると判断され、かつ、前記第3の判断手段によって前記情報領域内の画面差分があると判断された場合、前記項目領域と前記情報領域の表示内容がともに変化していると判定することを特徴とする付記3または4に記載の情報処理装置。
前記出力手段は、前記認識手段によって認識された文字列を前記操作ログと関連付けて出力することを特徴とする付記3〜5のいずれか一つに記載の情報処理装置。
前記第1の領域判定手段によって前記選択位置を含む図形領域があると判定された場合、当該図形領域が規定サイズか否かを判定する第2の領域判定手段と、を備え、
前記特定手段は、前記第2の領域判定手段によって前記図形領域が規定サイズと判定された場合、当該図形領域を前記項目領域として特定することを特徴とする付記1〜6のいずれか一つに記載の情報処理装置。
前記特定手段は、前記特徴判定手段によって判定された判定結果に基づいて、前記残余の図形領域を前記本文領域として特定することを特徴とする付記7または8に記載の情報処理装置。
画面内の複数の表示領域のうち、項目群を表示する項目領域と前記項目群から選ばれた項目に対応する情報を表示する情報領域とを特定する特定手段、
所定の時間間隔で得られた前記画面の一連の表示内容のうち、任意の時刻における前記画面の表示内容と、前記任意の時刻以前の時刻における前記画面の表示内容とを比較する比較手段、
前記比較手段によって比較された比較結果に基づいて、前記特定手段によって特定された項目領域と情報領域の表示内容がともに変化しているか否かを判定する判定手段、
前記判定手段によって前記項目領域と前記情報領域の表示内容がともに変化していると判定された場合、前記任意の時刻と関連付けて前記項目領域内の一の項目から他の項目に切り替える選択操作に関する操作ログを出力する出力手段、
として機能させることを特徴とする情報処理プログラム。
前記出力手段は、前記算出手段によって算出された表示時間を出力することを特徴とする付記11に記載の情報処理プログラム。
前記比較結果に基づいて、前記任意の時刻における前記画面の表示内容と、前記任意の時刻以前の時刻における前記画面の表示内容との差分を表わす画面差分のうち、規定サイズの画面差分が前記項目領域内にあるか否かを判断する第1の判断手段、
前記画面差分のうち、前記規定サイズの画面差分を除く他の画面差分が前記項目領域内にあるか否かを判断する第2の判断手段、として機能させ、
前記判定手段は、前記第1の判断手段によって前記規定サイズの画面差分が前記項目領域内にあると判断され、かつ、前記第2の判断手段によって前記他の画面差分が前記項目領域内にないと判断された場合、前記項目領域と前記情報領域の表示内容がともに変化していると判定することを特徴とする付記11または12に記載の情報処理プログラム。
前記判定手段は、前記第1の判断手段によって前記項目の配置位置が一致すると判断され、かつ、前記第2の判断手段によって前記他の画面差分が前記項目領域内にあると判断された場合、前記項目領域と前記情報領域の表示内容がともに変化していると判定することを特徴とする付記13に記載の情報処理プログラム。
前記画面差分のうち前記情報領域内の画面差分があるか否かを判断する第3の判断手段として機能させ、
前記判定手段は、前記第1の判断手段によって前記規定サイズの画面差分が前記項目領域内にあると判断され、かつ、前記第2の判断手段によって前記他の画面差分が前記項目領域内にあると判断され、かつ、前記第3の判断手段によって前記情報領域内の画面差分があると判断された場合、前記項目領域と前記情報領域の表示内容がともに変化していると判定することを特徴とする付記13または14に記載の情報処理プログラム。
前記規定サイズの画面差分に含まれる文字列を認識する認識手段として機能させ、
前記出力手段は、前記認識手段によって認識された文字列を前記操作ログと関連付けて出力することを特徴とする付記13〜15のいずれか一つに記載の情報処理プログラム。
前記画面の一連の表示内容のうち、任意の選択操作があった時刻直前に得られた前記画面の表示内容と、前記選択操作があった時刻直後に得られた前記画面の表示内容との差分を表わす図形領域の集合のうち、前記選択操作による選択位置を含む図形領域があるか否かを判定する第1の領域判定手段、
前記第1の領域判定手段によって前記選択位置を含む図形領域があると判定された場合、当該図形領域が規定サイズか否かを判定する第2の領域判定手段、として機能させ、
前記特定手段は、前記第2の領域判定手段によって前記図形領域が規定サイズと判定された場合、当該図形領域を前記項目領域として特定することを特徴とする付記11〜16のいずれか一つに記載の情報処理プログラム。
前記図形領域の集合のうち、前記選択操作による選択位置を含む図形領域を除く残余の図形領域の特徴を判定する特徴判定手段として機能させ、
前記特定手段は、前記特徴判定手段によって判定された判定結果に基づいて、前記残余の図形領域を前記本文領域として特定することを特徴とする付記17または18に記載の情報処理プログラム。
画面内の複数の表示領域のうち、項目群を表示する項目領域と前記項目群から選ばれた項目に対応する情報を表示する情報領域とを特定する特定工程と、
所定の時間間隔で得られた前記画面の一連の表示内容のうち、任意の時刻における前記画面の表示内容と、前記任意の時刻以前の時刻における前記画面の表示内容とを比較する比較工程と、
前記比較工程によって比較された比較結果に基づいて、前記特定工程によって特定された項目領域と情報領域の表示内容がともに変化しているか否かを判定する判定工程と、
前記判定工程によって前記項目領域と前記情報領域の表示内容がともに変化していると判定された場合、前記任意の時刻と関連付けて前記項目領域内の一の項目から他の項目に切り替える選択操作に関する操作ログを出力する出力工程と、
を実行することを特徴とする情報処理方法。
前記出力工程(以下、「第1の出力工程」という)によって時系列に連続する第1および第2の時刻の操作ログが出力された結果、当該第1および第2の時刻の操作ログに基づいて、前記第1の時刻に選択されている項目に対応する情報の表示時間を算出する算出工程と、
前記算出工程によって算出された表示時間を出力する第2の出力工程と、
を実行することを特徴とする付記21に記載の情報処理方法。
前記比較結果に基づいて、前記任意の時刻における前記画面の表示内容と、前記任意の時刻以前の時刻における前記画面の表示内容との差分を表わす画面差分のうち、規定サイズの画面差分が前記項目領域内にあるか否かを判断する第1の判断工程と、
前記画面差分のうち、前記規定サイズの画面差分を除く他の画面差分が前記項目領域内にあるか否かを判断する第2の判断工程と、を実行し、
前記判定工程は、前記第1の判断工程によって前記規定サイズの画面差分が前記項目領域内にあると判断され、かつ、前記第2の判断工程によって前記他の画面差分が前記項目領域内にないと判断された場合、前記項目領域と前記情報領域の表示内容がともに変化していると判定することを特徴とする付記21または22に記載の情報処理方法。
前記判定工程は、前記第1の判断工程によって前記項目の配置位置が一致すると判断され、かつ、前記第2の判断工程によって前記他の画面差分が前記項目領域内にあると判断された場合、前記項目領域と前記情報領域の表示内容がともに変化していると判定することを特徴とする付記23に記載の情報処理方法。
前記画面差分のうち前記情報領域内の画面差分があるか否かを判断する第3の判断工程を実行し、
前記判定工程は、前記第1の判断工程によって前記規定サイズの画面差分が前記項目領域内にあると判断され、かつ、前記第2の判断工程によって前記他の画面差分が前記項目領域内にあると判断され、かつ、前記第3の判断工程によって前記情報領域内の画面差分があると判断された場合、前記項目領域と前記情報領域の表示内容がともに変化していると判定することを特徴とする付記23または24に記載の情報処理方法。
前記規定サイズの画面差分に含まれる文字列を認識する認識工程を実行し、
前記出力工程は、前記認識工程によって認識された文字列を前記操作ログと関連付けて出力することを特徴とする付記23〜25のいずれか一つに記載の情報処理方法。
前記画面の一連の表示内容のうち、任意の選択操作があった時刻直前に得られた前記画面の表示内容と、前記選択操作があった時刻直後に得られた前記画面の表示内容との差分を表わす図形領域の集合のうち、前記選択操作による選択位置を含む図形領域があるか否かを判定する第1の領域判定工程と、
前記第1の領域判定工程によって前記選択位置を含む図形領域があると判定された場合、当該図形領域が規定サイズか否かを判定する第2の領域判定工程と、を実行し、
前記特定工程は、前記第2の領域判定工程によって前記図形領域が規定サイズと判定された場合、当該図形領域を前記項目領域として特定することを特徴とする付記21〜26のいずれか一つに記載の情報処理方法。
前記図形領域の集合のうち、前記選択操作による選択位置を含む図形領域を除く残余の図形領域の特徴を判定する特徴判定工程を実行し、
前記特定工程は、前記特徴判定工程によって判定された判定結果に基づいて、前記残余の図形領域を前記本文領域として特定することを特徴とする付記27または28に記載の情報処理方法。
301 取得部
302 特定部
303 判定部
304 認識部
305 算出部
306 作成部
307 出力部
400 イベントDB
500 画面DB
600 領域DB
700 操作ログDB
901 選択部
902 第1の抽出部
903 第1の比較部
904 領域判定部
905 特徴判定部
1200 基準画面DB
1300 選択リストDB
1401 第2の抽出部
1402 第2の比較部
1403 第1の判断部
1404 第2の判断部
1405 第3の判断部
1406 登録部
Claims (10)
- 画面内の複数の表示領域のうち、項目群を表示する項目領域と前記項目群から選ばれた項目に対応する情報を表示する情報領域とを特定する特定手段と、
所定の時間間隔で得られた前記画面の一連の表示内容のうち、いずれかの時刻における前記画面の表示内容と、前記いずれかの時刻直前に画面変化があった際の前記画面の表示内容とを比較する比較手段と、
前記比較手段によって比較された比較結果に基づいて、前記いずれかの時刻における前記画面内の前記特定手段によって特定された前記項目領域の表示内容と前記情報領域の表示内容とがともに変化しているか否かを判定する判定手段と、
前記判定手段によって前記項目領域の表示内容と前記情報領域の表示内容とがともに変化していると判定された場合に、前記いずれかの時刻と関連付けて前記項目領域内の一の項目から他の項目に切り替える選択操作に関する操作ログを出力し、前記判定手段によって前記項目領域の表示内容と前記情報領域の表示内容とがともに変化していると判定されなかった場合には、前記いずれかの時刻に関連する操作ログを出力しない出力手段と、
を備えることを特徴とする情報処理装置。 - 前記画面の一連の表示内容のうち、いずれかの選択操作があった時刻直前に得られた前記画面の表示内容と、前記選択操作があった時刻直後に得られた前記画面の表示内容との差分を表わす図形領域の集合のうち、前記選択操作による選択位置を含む図形領域があるか否かを判定する第1の領域判定手段と、
前記第1の領域判定手段によって前記選択位置を含む図形領域があると判定された場合、当該図形領域が規定サイズか否かを判定する第2の領域判定手段と、
前記図形領域の集合のうち、前記選択操作による選択位置を含む図形領域を除く残余の図形領域の特徴を判定する特徴判定手段と、を備え、
前記特定手段は、
前記第2の領域判定手段によって前記図形領域が規定サイズと判定された場合、当該図形領域を前記項目領域として特定するとともに、前記特徴判定手段によって判定された判定結果に基づいて、前記残余の図形領域を前記情報領域として特定することを特徴とする請求項1に記載の情報処理装置。 - 前記出力手段によって時系列に連続する第1および第2の時刻の操作ログが出力された結果、当該第1および第2の時刻の操作ログに基づいて、前記第1の時刻に選択されている項目に対応する情報の表示時間を算出する算出手段を備え、
前記出力手段は、
前記算出手段によって算出された表示時間を出力することを特徴とする請求項1または2に記載の情報処理装置。 - 前記比較結果に基づいて、前記いずれかの時刻における前記画面の表示内容と、前記いずれかの時刻直前に画面変化があった際の前記画面の表示内容との差分を表わす画面差分のうち、規定サイズの画面差分が前記項目領域内にあるか否かを判断する第1の判断手段と、
前記画面差分のうち、前記規定サイズの画面差分を除く他の画面差分が前記項目領域内にあるか否かを判断する第2の判断手段と、を備え、
前記判定手段は、
前記第1の判断手段によって前記規定サイズの画面差分が前記項目領域内にあると判断され、かつ、前記第2の判断手段によって前記他の画面差分が前記項目領域内にないと判断された場合、前記項目領域の表示内容と前記情報領域の表示内容とがともに変化していると判定することを特徴とする請求項1〜3のいずれか一つに記載の情報処理装置。 - 前記第1の判断手段は、
前記比較結果に基づいて、前記いずれかの時刻に選択されていた前記項目の配置位置と、前記いずれかの時刻直前に画面変化があった際に選択されていた前記項目の配置位置とが一致するか否かを判断し、
前記判定手段は、
前記第1の判断手段によって前記項目の配置位置が一致すると判断され、かつ、前記第2の判断手段によって前記他の画面差分が前記項目領域内にあると判断された場合、前記項目領域の表示内容と前記情報領域の表示内容とがともに変化していると判定することを特徴とする請求項4に記載の情報処理装置。 - 前記画面差分のうち前記情報領域内の画面差分があるか否かを判断する第3の判断手段を備え、
前記判定手段は、
前記第1の判断手段によって前記規定サイズの画面差分が前記項目領域内にあると判断され、かつ、前記第2の判断手段によって前記他の画面差分が前記項目領域内にあると判断され、かつ、前記第3の判断手段によって前記情報領域内の画面差分があると判断された場合、前記項目領域の表示内容と前記情報領域の表示内容とがともに変化していると判定することを特徴とする請求項4または5に記載の情報処理装置。 - コンピュータを、
画面内の複数の表示領域のうち、項目群を表示する項目領域と前記項目群から選ばれた項目に対応する情報を表示する情報領域とを特定する特定手段、
所定の時間間隔で得られた前記画面の一連の表示内容のうち、いずれかの時刻における前記画面の表示内容と、前記いずれかの時刻直前に画面変化があった際の前記画面の表示内容とを比較する比較手段、
前記比較手段によって比較された比較結果に基づいて、前記いずれかの時刻における前記画面内の前記特定手段によって特定された前記項目領域の表示内容と前記情報領域の表示内容とがともに変化しているか否かを判定する判定手段、
前記判定手段によって前記項目領域の表示内容と前記情報領域の表示内容とがともに変化していると判定された場合に、前記いずれかの時刻と関連付けて前記項目領域内の一の項目から他の項目に切り替える選択操作に関する操作ログを出力し、前記判定手段によって前記項目領域の表示内容と前記情報領域の表示内容とがともに変化していると判定されなかった場合には、前記いずれかの時刻に関連する操作ログを出力しない出力手段、
として機能させることを特徴とする情報処理プログラム。 - 前記コンピュータを、
前記画面の一連の表示内容のうち、いずれかの選択操作があった時刻直前に得られた前記画面の表示内容と、前記選択操作があった時刻直後に得られた前記画面の表示内容との差分を表わす図形領域の集合のうち、前記選択操作による選択位置を含む図形領域があるか否かを判定する第1の領域判定手段、
前記第1の領域判定手段によって前記選択位置を含む図形領域があると判定された場合、当該図形領域が規定サイズか否かを判定する第2の領域判定手段、
前記図形領域の集合のうち、前記選択操作による選択位置を含む図形領域を除く残余の図形領域の特徴を判定する特徴判定手段としてさらに機能させ、
前記特定手段は、
前記第2の領域判定手段によって前記図形領域が規定サイズと判定された場合、当該図形領域を前記項目領域として特定するとともに、前記特徴判定手段によって判定された判定結果に基づいて、前記残余の図形領域を前記情報領域として特定することを特徴とする請求項7に記載の情報処理プログラム。 - コンピュータが、
画面内の複数の表示領域のうち、項目群を表示する項目領域と前記項目群から選ばれた項目に対応する情報を表示する情報領域とを特定する特定工程と、
所定の時間間隔で得られた前記画面の一連の表示内容のうち、いずれかの時刻における前記画面の表示内容と、前記いずれかの時刻直前に画面変化があった際の前記画面の表示内容とを比較する比較工程と、
前記比較工程によって比較された比較結果に基づいて、前記いずれかの時刻における前記画面内の前記特定工程によって特定された前記項目領域の表示内容と前記情報領域の表示内容とがともに変化しているか否かを判定する判定工程と、
前記判定工程によって前記項目領域の表示内容と前記情報領域の表示内容とがともに変化していると判定された場合に、前記いずれかの時刻と関連付けて前記項目領域内の一の項目から他の項目に切り替える選択操作に関する操作ログを出力し、前記判定工程によって前記項目領域の表示内容と前記情報領域の表示内容とがともに変化していると判定されなかった場合には、前記いずれかの時刻に関連する操作ログを出力しない出力工程と、
を実行することを特徴とする情報処理方法。 - 前記コンピュータが、
前記画面の一連の表示内容のうち、いずれかの選択操作があった時刻直前に得られた前記画面の表示内容と、前記選択操作があった時刻直後に得られた前記画面の表示内容との差分を表わす図形領域の集合のうち、前記選択操作による選択位置を含む図形領域があるか否かを判定する第1の領域判定工程と、
前記第1の領域判定工程によって前記選択位置を含む図形領域があると判定された場合、当該図形領域が規定サイズか否かを判定する第2の領域判定工程と、
前記図形領域の集合のうち、前記選択操作による選択位置を含む図形領域を除く残余の図形領域の特徴を判定する特徴判定工程と、をさらに実行し、
前記特定工程は、
前記第2の領域判定工程によって前記図形領域が規定サイズと判定された場合、当該図形領域を前記項目領域として特定するとともに、前記特徴判定工程によって判定された判定結果に基づいて、前記残余の図形領域を前記情報領域として特定することを特徴とする請求項9に記載の情報処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009209436A JP5428681B2 (ja) | 2009-09-10 | 2009-09-10 | 情報処理装置、情報処理プログラム、および情報処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009209436A JP5428681B2 (ja) | 2009-09-10 | 2009-09-10 | 情報処理装置、情報処理プログラム、および情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011060018A JP2011060018A (ja) | 2011-03-24 |
JP5428681B2 true JP5428681B2 (ja) | 2014-02-26 |
Family
ID=43947564
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009209436A Expired - Fee Related JP5428681B2 (ja) | 2009-09-10 | 2009-09-10 | 情報処理装置、情報処理プログラム、および情報処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5428681B2 (ja) |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5852720A (en) * | 1996-08-16 | 1998-12-22 | Compaq Computer Corp. | System for storing display data during first time period prior to failure of computer and during second time period after reset of the computer |
JP2001356936A (ja) * | 2000-04-11 | 2001-12-26 | Fujitsu Ltd | Gui系プログラムのテスト支援装置および支援方法 |
JP4822166B2 (ja) * | 2000-10-17 | 2011-11-24 | 日本電気株式会社 | Gui評価システムとそのgui評価方法、及びgui評価プログラムを記録した記録媒体 |
JP2003085527A (ja) * | 2001-09-14 | 2003-03-20 | Sony Corp | 情報作成方法、情報作成装置およびネットワーク情報処理システム |
JP2004038619A (ja) * | 2002-07-04 | 2004-02-05 | Hitachi Ltd | 応答時間自動測定方法および装置 |
JP3851261B2 (ja) * | 2002-12-05 | 2006-11-29 | 秀樹 西本 | データ処理システム、データ処理装置、データ処理用プログラム |
JP4530995B2 (ja) * | 2006-01-17 | 2010-08-25 | 三菱電機株式会社 | 情報処理装置及び操作ログ収集方法及び操作ログ収集プログラム |
JP4842917B2 (ja) * | 2007-12-07 | 2011-12-21 | 富士通株式会社 | 後続処理の自動処理プログラム,後続処理の自動処理装置および後続処理の自動処理方法 |
JP2009163370A (ja) * | 2007-12-28 | 2009-07-23 | Noritsu Koki Co Ltd | キャプチャーソフトウエアプログラム及びキャプチャー装置 |
JP2009175970A (ja) * | 2008-01-23 | 2009-08-06 | Noritsu Koki Co Ltd | ソフトウェア自動再現プログラム |
-
2009
- 2009-09-10 JP JP2009209436A patent/JP5428681B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011060018A (ja) | 2011-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5663866B2 (ja) | 情報処理装置及び情報処理プログラム | |
RU2631168C2 (ru) | Способы и устройства, которые преобразуют изображения документов в электронные документы с использованием trie-структуры данных, содержащей непараметризованные символы для определения слов и морфем на изображении документа | |
JP4347677B2 (ja) | 帳票ocrプログラム、方法及び装置 | |
EP2107505B1 (en) | Character recognition device | |
US20090110288A1 (en) | Document processing apparatus and document processing method | |
RU2640322C2 (ru) | Способы и системы эффективного автоматического распознавания символов | |
CA2118344C (en) | Using a category to analyze an image showing a graphical representation | |
RU2648638C2 (ru) | Способы и системы эффективного автоматического распознавания символов, использующие множество кластеров эталонов символов | |
KR100582039B1 (ko) | 문자 인식 장치 | |
RU2625533C1 (ru) | Устройства и способы, которые строят иерархически упорядоченную структуру данных, содержащую непараметризованные символы, для преобразования изображений документов в электронные документы | |
JP5428681B2 (ja) | 情報処理装置、情報処理プログラム、および情報処理方法 | |
CN114283190A (zh) | 梁线拼接方法、装置、设备及存储介质 | |
CN112835774B (zh) | 显卡性能的可视化方法及装置、设备、计算机可读存储介质 | |
RU2582064C1 (ru) | Способы и системы эффективного автоматического распознавания символов с использованием леса решений | |
RU2625020C1 (ru) | Устройства и способы, которые порождают параметризованные символы для преобразования изображений документов в электронные документы | |
JP6007720B2 (ja) | 情報処理装置及び情報処理プログラム | |
JP5200719B2 (ja) | Webアプリケーション検査プログラム、テスト実行装置、およびテスト実行方法 | |
JP2001331763A (ja) | 表認識方法 | |
JP2019211941A (ja) | マニュアル処理装置、マニュアル処理方法、およびマニュアル処理プログラム | |
JP2024104248A (ja) | ワイヤーハーネス図面の電子化プログラム、ワイヤーハーネス図面の電子化方法および情報処理装置 | |
JP3678523B2 (ja) | 建設図面認識方法及び建設図面認識装置 | |
JP2013077080A (ja) | 分析支援プログラム、分析支援方法、分析支援装置およびシステム | |
JP6136837B2 (ja) | データ処理プログラム、およびデータ処理方法 | |
JP2021182313A (ja) | 検出方法、および検出プログラム | |
JP3472038B2 (ja) | 文書エレメントの論理的な識別方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120510 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130329 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131118 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5428681 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |