JP7235110B2 - 操作ログ取得装置、操作ログ取得方法および操作ログ取得プログラム - Google Patents

操作ログ取得装置、操作ログ取得方法および操作ログ取得プログラム Download PDF

Info

Publication number
JP7235110B2
JP7235110B2 JP2021525456A JP2021525456A JP7235110B2 JP 7235110 B2 JP7235110 B2 JP 7235110B2 JP 2021525456 A JP2021525456 A JP 2021525456A JP 2021525456 A JP2021525456 A JP 2021525456A JP 7235110 B2 JP7235110 B2 JP 7235110B2
Authority
JP
Japan
Prior art keywords
image
event
occurrence
area
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021525456A
Other languages
English (en)
Other versions
JPWO2020250320A1 (ja
Inventor
公雄 土川
健 増田
史拓 横瀬
佐也香 八木
有記 卜部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2020250320A1 publication Critical patent/JPWO2020250320A1/ja
Application granted granted Critical
Publication of JP7235110B2 publication Critical patent/JP7235110B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/86—Event-based monitoring
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Description

本発明は、操作ログ取得装置、操作ログ取得方法および操作ログ取得プログラムに関する。
業務分析において、操作手順をフローチャート形式で表示する方法が有効である。これは、サービスや商品を顧客に提供する業務を考えた場合、同一サービス・商品を提供するためのシステムの操作手順はサービスや商品ごとに決められており、それはマニュアルなどで操作者に共有されている。
また、初心者に対しては、研修や熟練者による指導により操作手順は教え込まれるので、同一商品・サービスを処理する手順は、同じ操作手順となるはずである。しかし、現実には、顧客が注文後に注文内容を変更する、商品が欠品となる、操作者の操作誤りなど、当初に想定しなかった様々なイレギュラーな事象が発生するのが通常であり、これらのイレギュラーな事象に予めすべての操作手順を規定しておくことは現実的ではないし、仮に規定できたとしても、操作者が全ての操作パターンを覚えて適切に手順を選択するのは困難である。
このため、実際には、同一商品・サービスであっても注文ごとに操作手順は様々であることが一般的である。業務改善を目的とした業務実態の把握においては、これらイレギュラーな事象も含めて全ての操作パターンを網羅的に把握することが重要である。なぜなら、イレギュラー事象は手順が明確化されていないため、進め方を調べたりあるいは業務の責任者に進め方を確認する必要があったり、操作手順に誤りが発生する可能性が高く、通常の操作パターンよりも時間がかかることが多いからである。
このような状況において、操作手順をフローチャート形式で表示する方法が有効である。例えば、各注文に対して、操作者の操作時刻、操作の種類（以下、操作種別）、注文を特定する情報（以下、注文ＩＤ）を記録した操作ログを入力として、注文ごとに操作手順を並べてそれらを重ね合わせてフロー表示することで、注文ごとの操作手順の違いを明確化する仕組みが提案されている。
また、分析者が見たい粒度で操作ログを取得する仕組みとして、例えば、ＧＵＩアプリケーションの操作画面を対象に、イベントの発生時に、操作画面を構成するＧＵＩ部品の属性値を取得し、イベントの発生前後での変更箇所を発見する技術が知られている。これにより、変更のあったイベントのみ抽出すると同時に操作箇所を特定することができる。
しかし、実際の業務においては、メール、Ｗｅｂ、業務システム、Ｗｏｒｄ、Ｅｘｃｅｌ、スケジューラなど多様なアプリケーションを利用しながら業務を進めることが一般的であり、これら全てのアプリケーションの実行環境に応じたＧＵＩ部品の属性値の取得及び変更箇所を特定する仕組みを開発する必要があるが、実際には非常にコストが高く現実的ではない。仮に対象のアプリケーションについて開発しても、対象の実行環境にバージョンアップに伴う仕様変更が発生すると、それにあわせた改造が必要となる。また、近年、コンピュータ資源の有効活用やセキュリティ対策を目的に、企業内ではシンクライアント環境が普及している。これは実際にユーザが行う操作を行う端末（以下、クライアント端末）にはアプリケーションがインストールされておらず、クライアント端末と接続された別の端末（サーバ）にアプリケーションがインストールされていて、クライアント端末にはアプリケーションが提供する操作画面が画像として表示され、ユーザはその表示された画像を通してサーバ側のアプリケーションを操作するものである。この場合、実際にユーザが操作を行う端末には操作画面が画像として表示されるため、クライアント端末から上記記載のＧＵＩ部品の属性値を取得することは不可能である。
また、キーボード入力、マウスクリックのイベントを活用して操作ログを取得する仕組みが提案されている。これは、マウスクリック、キーボードのエンターキー入力のイベントをトリガーにして各タスクに事前に指定された条件を満たすイベントのみを操作ログとして記録するものである。この仕組みを用いることで、分析に不要なイベントを省きつつ、分析者が必要なイベントのみ抽出することができる。
特開２０１５－１５３２１０号公報 特開２０１３－１５９９７号公報
小笠原ほか、「業務の実行履歴を活用した業務プロセス可視化・分析システムの開発」、NTT技術ジャーナル、2009.2、P40-P43
しかしながら、従来の技術では、アプリケーションの実行環境によらずに、分析者にとって意味のあるイベントを取得可能にすることができない場合があるという課題があった。
上述した課題を解決し、目的を達成するために、本発明の操作ログ取得装置は、所定の操作を実行する際の操作画面の特徴的な領域の画像である判定画像と、前記所定の操作を実行した際にイベントが発生する可能性があるイベント発生領域と、操作種別を特定する操作種別特定情報と、前記所定の操作が実行された際に取得する取得画像領域とを関連付けて記憶する記憶部と、前記イベントの発生を検知した場合に、当該イベントの発生時刻と、当該イベントの発生位置と、操作画面のキャプチャ画像とを取得するイベント検知部と、前記イベント検知部によって取得されたキャプチャ画像に前記判定画像がマッチする領域が存在するか判定し、マッチする領域が存在する場合には、前記判定画像のイベント発生領域を取得し、前記イベントの発生位置が前記イベント発生領域に含まれる場合には、前記取得画像領域の画像キャプチャである操作画像を取得し、前記判定画像に対応する操作種別特定情報と前記イベントの発生時刻と前記操作画像とを関連付けて操作ログとして記録する判定部とを有すること特徴とする。
本発明によれば、アプリケーションの実行環境によらずに、分析者にとって意味のあるイベントを取得することができるという効果を奏する。
図１は、第１の実施形態に係る操作ログ取得装置の構成の一例を示す図である。 図２は、操作画面の一例を示す図である。 図３は、操作画面の一例を示す図である。 図４は、操作種別管理テーブルの一例を示す図である。 図５は、判定画像１の一例を示す図である。 図６は、判定画像２の一例を示す図である。 図７は、判定画像３の一例を示す図である。 図８は、注文ＩＤ取得方法管理テーブルの一例を示す図である。 図９は、判定画像４の一例を示す図である。 図１０は、抽出された注文ＩＤの画像の一例を示す図である。 図１１は、操作手順の一例を示す図である。 図１２は、キャプチャ画像１の一例を示す図である。 図１３は、キャプチャ画像２の一例を示す図である。 図１４は、キャプチャ画像３の一例を示す図である。 図１５は、キャプチャ画像４の一例を示す図である。 図１６は、キャプチャ画像５の一例を示す図である。 図１７は、キャプチャ画像６の一例を示す図である。 図１８は、キャプチャ画像７の一例を示す図である。 図１９は、キャプチャ画像８の一例を示す図である。 図２０は、キャプチャ画像９の一例を示す図である。 図２１は、キャプチャ画像１０の一例を示す図である。 図２２は、操作ログとして記録された操作画像１の一例を示す図である。 図２３は、操作ログとして記録される操作画像２の一例を示す図である。 図２４は、操作ログとして記録される操作画像３の一例を示す図である。 図２５は、操作ログとして記録される操作画像５の一例を示す図である。 図２６は、操作ログとして記録される操作画像７の一例を示す図である。 図２７は、操作ログとして記録される操作画像８の一例を示す図である。 図２８は、操作ログとして記録される操作画像９の一例を示す図である。 図２９は、操作ログとして記録される操作画像１０の一例を示す図である。 図３０は、操作ログの一例を示す図である。 図３１は、第１の実施形態に係る操作ログ取得装置におけるイベント検知部の処理の流れの一例を示すフローチャートである。 図３２は、第１の実施形態に係る操作ログ取得装置における判定部の処理の流れの一例を示すフローチャートである。 図３３は、操作ログ取得プログラムを実行するコンピュータを示す図である。
以下に、本願に係る操作ログ取得装置、操作ログ取得方法および操作ログ取得プログラムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態により本願に係る操作ログ取得装置、操作ログ取得方法および操作ログ取得プログラムが限定されるものではない。
［第１の実施形態］
以下の実施の形態では、第１の実施形態に係る操作ログ取得装置１０の構成、操作ログ取得装置１０の処理の流れを順に説明し、最後に第１の実施形態による効果を説明する。
［操作ログ取得装置の構成］
まず、図１を用いて、操作ログ取得装置１０の構成について説明する。図１は、第１の実施形態に係る操作ログ取得装置１０の構成の一例を示す図である。図１に示すように、この操作ログ取得装置１０は、入力部１１、出力部１２、制御部１３および記憶部１４を有する。以下に操作ログ取得装置１０が有する各部の処理を説明する。
入力部１１は、キーボードやマウス等の入力デバイスを用いて実現され、操作者による入力操作に対応して、制御部１３に対して各種指示情報を入力する。出力部１２は、液晶ディスプレイなどの表示装置、プリンタ等の印刷装置、情報通信装置、スピーカ等によって実現される。例えば、出力部１２は、図２および図３に例示するような操作画面を出力する。図２および図３は、操作画面の一例を示す図である。なお、図２に例示する操作画面１０１は、サービスＡを選択すると、図３に例示する操作画面１０２のように変化する。また、出力部１２は、後述する操作ログ記憶部１４ｃに記憶された操作ログを出力する。
また、記憶部１４は、制御部１３による各種処理に必要なデータおよびプログラムを格納する。記憶部１４は、操作種別管理テーブル記憶部１４ａ、注文ＩＤ取得方法管理テーブル記憶部１４ｂおよび操作ログ記憶部１４ｃを有する。例えば、記憶部１４は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置などである。
操作種別管理テーブル記憶部１４ａは、所定の操作を実行する際の操作画面の特徴的な領域の画像である判定画像と、所定の操作を実行した際にイベントが発生する可能性があるイベント発生領域と、操作種別を特定する操作種別特定情報と、所定の操作が実行された際に取得する取得画像領域とを関連付けた操作種別管理テーブルを記憶する。
ここでイベント発生領域は、操作画面の画像の中での判定画像のマッチ領域の左上からの距離（X,Y）と大きさと形状（矩形、円形）とで指定するものとする。また、取得画像領域は、操作画面の中での判定画像のマッチ領域の左上からの距離（X,Y）と大きさと形状（矩形、円形）とで指定するものとする。
例えば、操作種別管理テーブル記憶部１４ａは、図４に例示するように、各操作種別の判定条件を一意に識別するための情報である操作種別ＩＤと、操作種別特定情報と、判定画像と、発生領域の距離と、発生領域の大きさと、発生領域の形状と、操作画像の距離と、操作画像の大きさと、操作画像の形状とを関連付けて記憶する。
また、操作種別管理テーブル記憶部１４ａは、操作種別管理テーブルにおける判定画像のデータも記憶しているものとする。例えば、図４の例では、操作種別管理テーブルにおいて判定画像１～３が記録されているので、操作種別管理テーブル記憶部１４ａは、判定画像１～３の画像データを記憶する。ここで、判定画像について、図５～図７に例示する。図５～図７は、判定画像の一例を示す図である。図５では判定画像１を例示し、図６では判定画像２を例示し、図７では判定画像３を例示しているものとする。
注文ＩＤ取得方法管理テーブル記憶部１４ｂは、予め注文ＩＤを取得するためのルールとして注文ＩＤ取得方法管理テーブルを記憶する。具体的には、注文ＩＤ取得方法管理テーブルは、操作画面の中で注文ＩＤを取得するための方法を管理し、注文ＩＤの表示領域を指定するための情報を保持する。例えば、注文ＩＤ取得方法管理テーブルは、注文ＩＤが表示される際の特徴的な画像である判定画像と、判定画像のマッチ領域の左上からの距離（X,Y）と大きさと形状（矩形、円形）とで指定するものとする。
例えば、注文ＩＤ取得方法管理テーブル記憶部１４ｂは、図８に例示するように、注文ＩＤ取得方法ＩＤと、判定画像と、位置と、大きさと、形状とを関連付けた操作種別管理テーブルを記憶する。
また、注文ＩＤ取得方法管理テーブル記憶部１４ｂは、注文ＩＤ取得方法管理テーブルにおける判定画像のデータも記憶しているものとする。例えば、図８の例では、注文ＩＤ取得方法管理テーブルにおいて判定画像４が記録されているので、注文ＩＤ取得方法管理テーブル記憶部１４ｂは、判定画像４の画像データを記憶する。ここで、判定画像４について図９に例示する。図９は、判定画像の一例を示す図である。また、後述する注文ＩＤ取得部１３ｃによって抽出される注文ＩＤの画像を図１０に例示する。図１０は、抽出された注文ＩＤの画像の一例を示す図である。図１０の例では、注文ＩＤ（案件ＩＤ）が「１１１１１１」の画像を例示している。
制御部１３は、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する。例えば、制御部１３は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などの電子回路やＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路である。また、制御部１３は、イベント検知部１３ａ、判定部１３ｂおよび注文ＩＤ取得部１３ｃを有する。
イベント検知部１３ａは、イベントの発生を検知した場合に、当該イベントの発生時刻と、当該イベントの発生位置と、操作画面のキャプチャ画像とを取得する。例えば、イベント検知部１３ａは、キーボード入力、マウスクリックのイベントの発生を検知する機能と、イベントを検知すると、操作画面のキャプチャ画像を取得し、イベント発生時刻と、イベント発生位置と、操作画面のキャプチャ画像とを判定部に通知する機能を具備する。
イベント検知部１３ａは、イベントの発生検知について、例えばＷｉｎｄｏｗｓ（登録商標）ＯＳであればグローバルフックを用いることで実現可能である。同様に、イベント検知部１３ａは、イベント発生位置について、例えばマウスクリックであれば、グローバルフックにより取得可能である。
また、イベント検知部１３ａは、例えばキーボード入力について、ＯＳから入力位置を汎用的に取得する手段が存在しない場合もあるが、通常キーボード入力は文字列の入力を伴うので、イベントの発生前後のキャプチャ画像を比較することで、イベントの発生位置を特定することが可能である。なお、変化が生じるのは一点ではなく面的に広がりを持つが、そこに含まれる座標であればどこでもよい。また、キーボード入力には、Tabキー、方向キー、shiftキー等入力を伴わない操作も存在するが、これらは分析において意味を持たないことが多いので、本実施形態においては無視するものとする。
判定部１３ｂは、イベント検知部１３ａによって取得されたキャプチャ画像に判定画像がマッチする領域が存在するか判定し、マッチする領域が存在する場合には、判定画像のイベント発生領域を取得し、イベントの発生位置がイベント発生領域に含まれる場合には、取得画像領域の画像キャプチャである操作画像を取得し、判定画像に対応する操作種別特定情報とイベント発生時刻と操作画像とを関連付けて操作ログとして操作ログ記憶部１４ｃに記録する。
例えば、判定部１３ｂは、イベント検知部１３ａから通知を受け取る機能を具備する。また、判定部１３ｂは、通知を受け取ると、通知された画像に操作種別管理テーブルに記録された判定画像がマッチする領域が存在するか判定し、該当する判定画像についてそのマッチ位置からイベント発生領域を算出し、当該イベントの発生位置がイベント発生領域に含まれる場合、当該操作種別に紐つく取得画像領域の画像キャプチャ（操作画像）を取得し、当該判定画像の操作種別特定情報とイベントの発生時刻と、操作画像とを操作ログとして記録する機能を具備する。ただし、判定部１３ｂは、同一操作種別へのイベントが連続する場合には、最後に発生したイベントについてのみ記録の対象とする。なお、判定部１３ｂは、操作ログについて、例えばＣＳＶ形式でファイルに出力してもよいし、表形式でエクセル、データベースに記録してもよい。
注文ＩＤ取得部１３ｃは、操作画面が表示された際に、予め設定されたルールに基づいて操作画面から注文を特定する情報を取得し、取得した情報を操作ログとして記憶部に記録する。例えば、注文ＩＤ取得部１３ｃは、注文ＩＤ取得方法管理テーブル記憶部１４ｂに記憶されたルールを取得し、該ルールに従い、操作画面から注文ＩＤ（案件ＩＤ）の画像を取得し、画像から注文ＩＤを特定し、注文ＩＤを操作ログとして操作ログ記憶部１４ｃに記録する。
ここで、以下、図２に例示した操作画面１０１を対象に、操作者が図１１に例示する操作手順２０８のように操作を実施した場合における処理の流れを詳細に説明する。本実施形態においては、分析にとって意味のある操作種別として、以下の操作種別を想定するものとする。
氏名ラベルの右側にあるテキストボックスへ文字列を入力する操作（以下、操作種別１）
県名ラベルの右側にあるプルダウンから特定の県名を選択する操作（以下、操作種別２）
住所ラベルの右側にあるテキストボックスへ文字列を入力する操作への文字列の入力する操作（以下、操作種別３）
サービス種別ラジオボタンからサービス種別Ａを選択する操作（以下、操作種別４）
サービス種別ラジオボタンからサービス種別Ｂを選択する操作（以下、操作種別５）
サービス種別ラジオボタンからサービス種別Ｃを選択する操作（以下、操作種別６）
削除ボタンをクリックする操作（以下、操作種別７）
保存ボタンをクリックする操作（以下、操作種別８）
登録ボタンをクリックする操作（以下、操作種別９）
サービス付加情報Ａラベルの直下にあるテキストボックスへ文字列を入力する操作（以下、操作種別１０）
これらの操作種別について、操作種別管理テーブル１０３が記録されているとする。判定画像の選定においては、イベントの内容が対象のアプリケーションに通知され、その内容が操作画面に反映されるまでにはある一定の時間がかかるため、判定画像の選定はイベント検知のタイミングや操作内容が操作画面に反映されるまでの時間を考慮して、判定画像を選択する必要がある。また、同様に、操作画像は操作内容を確認するためのものであるので、操作内容が操作画面に反映された後のタイミングで取得する必要があるため、イベント検知後一定間隔遅延させてから取得するのが望ましい。
続いて、本実施形態における注文ＩＤの取得方法を説明する。例えば、注文ＩＤ取得部１３ｃは、操作画面１０１、１０２においては、案件ＩＤの隣に表示される案件ＩＤのラベル表示領域を判定画像として採用する。予め、注文ID取得方法管理テーブル１０４として設定しておく。なお、本実施例においては、取得方法は１つのみ記載しているが、複数あっても問題ない。その場合、マッチする領域が存在するまで取得処理を繰り返すことになる。
続いて、注文ＩＤ取得の処理を説明する。注文ＩＤ取得部１３ｃは、注文ＩＤ取得方法テーブルから、注文ＩＤ取得方法として、判定画像４と操作画面の表示位置と矩形情報とを取得し、続いて、操作画面１０１のキャプチャ画像を取得し、判定画像４のマッチ領域を探索する。
本実施形態においては、注文ＩＤ取得部１３ｃは、マッチ領域が存在し、マッチ領域の左上の座標として、(9,10)を取得する。続いて、左上（29,10）、右下（49,20）の矩形領域の画像を抽出し、画像３０１を取得する。なお、注文ＩＤ取得方法管理テーブルに複数の取得方法が存在する場合には、判定画像がマッチするまで上記処理を繰り返し実行する。
以下に、図１２～図２１を用いて、操作手順２０８の手順に従って操作者が操作画面１０１を操作した際の動作を説明する。図１２～図２１は、キャプチャ画像の一例を示す図である。図１２～図２１に例示する各キャプチャ画像は、操作手順２０８の各操作１～操作１０がそれぞれ実行されるたびに変化する操作画面１０１のキャプチャ画像である。
まず、操作１が実施されると、イベント検知部１３ａは、発生時刻「9:58」、イベント発生位置（40,30）を検知し、その際の操作画面のキャプチャ画像として、キャプチャ画像１（図１２参照）を取得し、発生時刻「9:58」、イベント発生位置（40,30）と、キャプチャ画像１を判定部１３ｂへ通知する。
続いて、判定部１３ｂは、通知されたキャプチャ画像１に、操作種別管理テーブルに記録された判定画像が存在するかを判定し、画像が存在する判定画像１および判定画像２について、それぞれイベントの発生位置を算出する。
判定部１３ｂは、判定画像１については、マッチ位置の左上の座標は(10,20)であるので、操作種別に指定された位置と大きさと形状を考慮して表示領域を算出し、操作種別１は左上(30,23)、右下(80,31)の矩形領域、操作種別２は左上(30,35)、右下(67,43)の矩形領域、操作種別３は左上(30,47)、右上(80,55)の矩形領域、操作種別４は(53,64)を中心とした円形領域、操作種別５は(53,71)を中心とした円形領域、操作種別６は(53,77)を中心とした円形領域を得る。
また、判定部１３ｂは、判定画像２については、マッチ位置の左上の座標は(8,81)であるので、操作種別に指定された位置と大きさと形状を考慮して表示領域を算出し、操作種別７は左上(9,83)、右下(29,93)の矩形領域、操作種別８は左上(41,83)、右下(61,93)の矩形領域、操作種別９は左上(73,83)、右上(93,93)の矩形領域を得る。
また、判定部１３ｂは、通知されたイベント発生位置（40,30）は操作種別１の領域に含まれるので、イベント発生時刻と、操作種別１と、マッチ位置(10,20)を起点に(0,0)移動して、大きさ(70,11)の矩形領域のキャプチャ画像である図２２に例示する操作画像１を操作ログとして記録する。図２２は、操作ログとして記録された操作画像１の一例を示す図である。
続いて、操作２が実施されると、イベント検知部１３ａは、イベントの発生時刻「10:00」とキャプチャ画像２（図１３参照）を取得する。また、イベント検知部１３ａは、イベント発生位置について、当該イベント発生時のキャプチャ画像２と前回のイベント発生時のキャプチャ画像１とを比較し、イベント発生位置として（78,26）を得る。そして、イベント検知部１３ａは、発生時刻「10:00」と、イベント発生位置(78,26)と、キャプチャ画像２を判定部へ通知する。
続いて、判定部１３ｂは、通知されたキャプチャ画像２に、操作種別管理テーブルに記録された判定画像が存在するかを判定し、画像が存在する判定画像１および判定画像２について、それぞれイベントの発生位置を算出する。
判定部１３ｂは、判別画像１については、マッチ位置の左上の座標は(10,20)であるので、操作種別に指定された位置と大きさと形状を考慮して表示領域を算出し、操作種別１は左上(30,23)、右下(80,31)の矩形領域、操作種別２は左上(30,35)、右下(67,43)の矩形領域、操作種別３は左上(30,47)、右上(80,55)の矩形領域、操作種別４は(53,64)を中心とした円形領域、操作種別５は(53,71)を中心とした円形領域、操作種別６は(53,77)を中心とした円形領域を得る。
また、判定部１３ｂは、判別画像２については、マッチ位置の左上の座標は(8,81)であるので、操作種別に指定された位置と大きさと形状を考慮して表示領域を算出し、操作種別７は左上(9,83)、右下(29,93)の矩形領域、操作種別８は左上(41,83)、右下(61,93)の矩形領域、操作種別９は左上(73,83)、右上(93,93)の矩形領域を得る。
また、判定部１３ｂは、通知されたイベント発生位置（78,26）は操作種別１の領域に含まれるので、イベント発生時刻と、操作種別１と、マッチ位置(10,20)を起点に(0,0)移動して、大きさ(70,11)の矩形領域のキャプチャ画像である図２３に例示する操作画像２を操作ログとして記録する。図２３は、操作ログとして記録される操作画像２の一例を示す図である。このとき、判定部１３ｂは、操作２の直前の操作１と同じ操作種別であるので、操作１の記録を操作ログから削除する。
続いて、操作３が実施されると、イベント検知部１３ａは、イベントの発生時刻「10:01」とキャプチャ画像３（図１４参照）を取得する。また、イベント検知部１３ａは、イベント発生位置について、当該イベント発生時のキャプチャ画像３と前回のイベント発生時のキャプチャ画像２とを比較し、イベント発生位置として（78,26）を得る。そして、イベント検知部１３ａは、発生時刻「10:01」と、イベント発生位置(78,26)と、キャプチャ画像３を判定部へ通知する。
続いて、判定部１３ｂは、通知されたキャプチャ画像３に、操作種別管理テーブルに記録された判定画像が存在するかを判定し、画像が存在する判定画像１および判定画像２について、それぞれイベントの発生位置を算出する。
判定部１３ｂは、判別画像１については、マッチ位置の左上の座標は(10,20)であるので、操作種別に指定された位置と大きさと形状を考慮して表示領域を算出し、操作種別１は左上(30,23)、右下(80,31)の矩形領域、操作種別２は左上(30,35)、右下(67,43)の矩形領域、操作種別３は左上(30,47)、右上(80,55)の矩形領域、操作種別４は(53,64)を中心とした円形領域、操作種別５は(53,71)を中心とした円形領域、操作種別６は(53,77)を中心とした円形領域を得る。
また、判定部１３ｂは、判別画像２については、マッチ位置の左上の座標は(8,81)であるので、操作種別に指定された位置と大きさと形状を考慮して表示領域を算出し、操作種別７は左上(9,83)、右下(29,93)の矩形領域、操作種別８は左上(41,83)、右下(61,93)の矩形領域、操作種別９は左上(73,83)、右上(93,93)の矩形領域を得る。
また、判定部１３ｂは、通知されたイベント発生位置（78,26）は操作種別１の領域に含まれるので、イベント発生時刻と、操作種別１と、マッチ位置(10,20)を起点に(0,0)移動して、大きさ(70,11)の矩形領域のキャプチャ画像である図２４に例示する操作画像３を操作ログとして記録する。図２４は、操作ログとして記録される操作画像３の一例を示す図である。このとき、判定部１３ｂは、操作３の直前の操作２と同じ操作種別であるので、操作２の記録を操作ログから削除する。
続いて、操作４が実施されると、イベント検知部１３ａは、発生時刻「11:00」、イベント発生位置（10,10）を検知し、その際の操作画面のキャプチャ画像として、キャプチャ画像４（図１５参照）を取得し、発生時刻「11:00」、イベント発生位置（10,10）と、キャプチャ画像４を判定部１３ｂへ通知する。
続いて、判定部１３ｂは、通知されたキャプチャ画像４に、操作種別管理テーブルに記録された判定画像が存在するかを判定し、画像が存在する判定画像１および判定画像２について、それぞれイベントの発生位置を算出する。
判定部１３ｂは、判別画像１については、マッチ位置の左上の座標は(10,20)であるので、操作種別に指定された位置と大きさと形状を考慮して表示領域を算出し、操作種別１は左上(30,23)、右下(80,31)の矩形領域、操作種別２は左上(30,35)、右下(67,43)の矩形領域、操作種別３は左上(30,47)、右上(80,55)の矩形領域、操作種別４は(53,64)を中心とした円形領域、操作種別５は(53,71)を中心とした円形領域、操作種別６は(53,77)を中心とした円形領域を得る。
また、判定部１３ｂは、判別画像２については、マッチ位置の左上の座標は(8,81)であるので、操作種別に指定された位置と大きさと形状を考慮して表示領域を算出し、操作種別７は左上(9,83)、右下(29,93)の矩形領域、操作種別８は左上(41,83)、右下(61,93)の矩形領域、操作種別９は左上(73,83)、右上(93,93)の矩形領域を得る。
そして、判定部１３ｂは、通知されたイベント発生位置（10,10）はいずれの操作種別のイベント発生位置にも含まれないので、操作ログには記録しない。
続いて、操作５が実施されると、イベント検知部１３ａは、発生時刻「11:01」、イベント発生位置（55,40）を検知し、その際の操作画面のキャプチャ画像として、キャプチャ画像５（図１６参照）を取得し、発生時刻「11:01」、イベント発生位置（55,40）と、キャプチャ画像５を判定部１３ｂへ通知する。
続いて、判定部１３ｂは、通知されたキャプチャ画像５に、操作種別管理テーブルに記録された判定画像が存在するかを判定し、画像が存在する判定画像１および判定画像２について、それぞれイベントの発生位置を算出する。そして、判定部１３ｂは、判別画像１については、マッチ位置の左上の座標は(10,20)であるので、操作種別に指定された位置と大きさと形状を考慮して表示領域を算出し、操作種別１は左上(30,23)、右下(80,31)の矩形領域、操作種別２は左上(30,35)、右下(67,43)の矩形領域、操作種別３は左上(30,47)、右上(80,55)の矩形領域、操作種別４は(53,64)を中心とした円形領域、操作種別５は(53,71)を中心とした円形領域、操作種別６は(53,77)を中心とした円形領域を得る。
また、判定部１３ｂは、判別画像２については、マッチ位置の左上の座標は(8,81)であるので、操作種別に指定された位置と大きさと形状を考慮して表示領域を算出し、操作種別７は左上(9,83)、右下(29,93)の矩形領域、操作種別８は左上(41,83)、右下(61,93)の矩形領域、操作種別９は左上(73,83)、右上(93,55)の矩形領域を得る。
そして、判定部１３ｂは、通知されたイベント発生位置（55,40）は操作種別２の領域に含まれるので、イベント発生時刻と、操作種別２と、マッチ位置(10,20)を起点に(0,15)移動して、大きさ(50,11)の矩形領域のキャプチャ画像である図２５に例示する操作画像５を操作ログとして記録する。図２５は、操作ログとして記録される操作画像５の一例を示す図である。
続いて、操作６が実施されると、イベント検知部１３ａは、発生時刻「11:02」、イベント発生位置（45,60）を検知し、その際の操作画面のキャプチャ画像として、キャプチャ画像６（図１７参照）を取得し、発生時刻「11:02」、イベント発生位置（45,60）と、キャプチャ画像６を判定部１３ｂへ通知する。
続いて、判定部１３ｂは、通知されたキャプチャ画像６に、操作種別管理テーブルに記録された判定画像が存在するかを判定し、画像が存在する判定画像２について、イベントの発生位置を算出する。そして、判定部１３ｂは、判別画像２については、マッチ位置の左上の座標は(8,81)であるので、操作種別に指定された位置と大きさと形状を考慮して表示領域を算出し、操作種別７は左上(9,83)、右下(29,93)の矩形領域、操作種別８は左上(41,83)、右下(61,93)の矩形領域、操作種別９は左上(73,83)、右上(93,93)の矩形領域を得る。
そして、判定部１３ｂは、通知されたイベント発生位置（45,60）はいずれの操作種別のイベント発生位置にも含まれないので、操作ログには記録しない。
続いて、操作７が実施されると、イベント検知部１３ａは、発生時刻「11:10」、イベント発生位置（52,65）を検知し、その際の操作画面のキャプチャ画像として、キャプチャ画像７（図１８を参照）を取得し、発生時刻「11:10」、イベント発生位置（52,65）と、キャプチャ画像７を判定部１３ｂへ通知する。
続いて、判定部１３ｂは、通知されたキャプチャ画像７に、操作種別管理テーブルに記録された判定画像が存在するかを判定し、画像が存在する判定画像１および判定画像２について、それぞれイベントの発生位置を算出する。そして、判定部１３ｂは、判別画像１については、マッチ位置の左上の座標は(10,20)であるので、操作種別に指定された位置と大きさと形状を考慮して表示領域を算出し、操作種別１は左上(30,23)、右下(80,31)の矩形領域、操作種別２は左上(30,35)、右下(67,43)の矩形領域、操作種別３は左上(30,47)、右上(80,55)の矩形領域、操作種別４は(53,64)を中心とした円形領域、操作種別５は(53,71)を中心とした円形領域、操作種別６は(53,77)を中心とした円形領域を得る。
また、判定部１３ｂは、判別画像２については、マッチ位置の左上の座標は(8,81)であるので、操作種別に指定された位置と大きさと形状を考慮して表示領域を算出し、操作種別７は左上(9,83)、右下(29,93)の矩形領域、操作種別８は左上(41,83)、右下(61,93)の矩形領域、操作種別９は左上(73,83)、右上(93,93)の矩形領域を得る。
そして、判定部１３ｂは、通知されたイベント発生位置（52,65）は操作種別４の領域に含まれるので、イベント発生時刻と、操作種別４と、マッチ位置(10,20)を起点に(0,40)移動して、大きさ(68,20)の矩形領域のキャプチャ画像である図２６を例示する操作画像７を操作ログとして記録する。図２６は、操作ログとして記録される操作画像７の一例を示す図である。
続いて、操作８が実施されると、イベント検知部１３ａは、発生時刻「11:12」、イベント発生位置（50,90）を検知し、その際の操作画面のキャプチャ画像として、キャプチャ画像８（図１９を参照）を取得し、発生時刻「11:12」、イベント発生位置（50,90）と、キャプチャ画像８を判定部１３ｂへ通知する。
続いて、判定部１３ｂは、通知されたキャプチャ画像８に、操作種別管理テーブルに記録された判定画像が存在するかを判定し、画像が存在する判定画像１、判定画像２および判定画像３について、それぞれイベントの発生位置を算出する。そして、判定部１３ｂは、判別画像１については、マッチ位置の左上の座標は(10,20)であるので、操作種別に指定された位置と大きさと形状を考慮して表示領域を算出し、操作種別１は左上(30,23)、右下(80,31)の矩形領域、操作種別２は左上(30,35)、右下(67,43)の矩形領域、操作種別３は左上(30,47)、右上(80,55)の矩形領域、操作種別４は(53,64)を中心とした円形領域、操作種別５は(53,71)を中心とした円形領域、操作種別６は(53,77)を中心とした円形領域を得る。
また、判定部１３ｂは、判別画像２については、マッチ位置の左上の座標は(8,97)であるので、操作種別に指定された位置と大きさと形状を考慮して表示領域を算出し、操作種別７は左上(9,83)、右下(29,109)の矩形領域、操作種別８は左上(41,83)、右下(61,109)の矩形領域、操作種別９は左上(73,83)、右上(93,109)の矩形領域を得る。
また、判定部１３ｂは、判別画像３については、マッチ位置の左上の座標は(8,59)であるので、操作種別に指定された位置と大きさと形状を考慮して表示領域を算出し、操作種別１０は左上(8,79)、右下(78,96)の矩形領域を得る。
そして、判定部１３ｂは、通知されたイベント発生位置（50,90）は操作種別１０の領域に含まれるので、イベント発生時刻と、操作種別１０と、マッチ位置(8,59)を起点に(0,20)移動して、大きさ(70,17)の矩形領域のキャプチャ画像である図２７に例示する操作画像８を操作ログとして記録する。図２７は、操作ログとして記録される操作画像８の一例を示す図である。
続いて、操作９が実施されると、イベント検知部１３ａは、発生時刻「11:18」、イベント発生位置（78,92）を検知し、その際の操作画面のキャプチャ画像として、キャプチャ画像９（図２０を参照）を取得し、発生時刻「11:18」、イベント発生位置（78,92）と、キャプチャ画像９を判定部１３ｂへ通知する。
続いて、判定部１３ｂは、通知されたキャプチャ画像９に、操作種別管理テーブルに記録された判定画像が存在するかを判定し、画像が存在する判定画像１、判定画像２および判定画像３について、それぞれイベントの発生位置を算出する。そして、判定部１３ｂは、判別画像１については、マッチ位置の左上の座標は(10,20)であるので、操作種別に指定された位置と大きさと形状を考慮して表示領域を算出し、操作種別１は左上(30,23)、右下(80,31)の矩形領域、操作種別２は左上(30,35)、右下(67,43)の矩形領域、操作種別３は左上(30,47)、右上(80,55)の矩形領域、操作種別４は(53,64)を中心とした円形領域、操作種別５は(53,71)を中心とした円形領域、操作種別６は(53,77)を中心とした円形領域を得る。
また、判定部１３ｂは、判別画像２については、マッチ位置の左上の座標は(8,97)であるので、操作種別に指定された位置と大きさと形状を考慮して表示領域を算出し、操作種別７は左上(9,83)、右下(29,109)の矩形領域、操作種別８は左上(41,83)、右下(61,109)の矩形領域、操作種別９は左上(73,83)、右上(93,109)の矩形領域を得る。
また、判定部１３ｂは、判別画像３については、マッチ位置の左上の座標は(8,59)であるので、操作種別に指定された位置と大きさと形状を考慮して表示領域を算出し、操作種別１０は左上(8,79)、右下(78,96)の矩形領域を得る。
続いて、判定部１３ｂは、通知されたイベント発生位置（50,90）は操作種別１０の領域に含まれるので、イベント発生時刻と、操作種別１０と、マッチ位置(8,59)を起点に(0,20)移動して、大きさ(70,17)の矩形領域のキャプチャ画像である図２８に例示する操作画像９を操作ログとして記録する。図２８は、操作ログとして記録される操作画像９の一例を示す図である。このとき、操作９の直前の操作８と同じ操作種別であるので、操作８の記録を操作ログから削除する。
続いて、操作１０が実施されると、イベント検知部１３ａは、発生時刻「12:18」、イベント発生位置（85,102）を検知し、その際の操作画面のキャプチャ画像として、キャプチャ画像１０（図２１を参照）を取得し、発生時刻「12:18」、イベント発生位置（85,102）と、キャプチャ画像１０を判定部１３ｂへ通知する。
続いて、判定部１３ｂは、通知されたキャプチャ画像１０に、操作種別管理テーブルに記録された判定画像が存在するかを判定し、画像が存在する判定画像１、判定画像２および判定画像３について、それぞれイベントの発生位置を算出する。判定部１３ｂは、判別画像１については、マッチ位置の左上の座標は(10,20)であるので、操作種別に指定された位置と大きさと形状を考慮して表示領域を算出し、操作種別１は左上(30,23)、右下(80,31)の矩形領域、操作種別２は左上(30,35)、右下(67,43)の矩形領域、操作種別３は左上(30,47)、右上(80,55)の矩形領域、操作種別４は(53,64)を中心とした円形領域、操作種別５は(53,71)を中心とした円形領域、操作種別６は(53,77)を中心とした円形領域を得る。
また、判定部１３ｂは、判別画像２については、マッチ位置の左上の座標は(8,97)であるので、操作種別に指定された位置と大きさと形状を考慮して表示領域を算出し、操作種別７は左上(9,83)、右下(29,109)の矩形領域、操作種別８は左上(41,83)、右下(61,109)の矩形領域、操作種別９は左上(73,83)、右上(93,109)の矩形領域を得る。
また、判定部１３ｂは、判別画像３については、マッチ位置の左上の座標は(8,59)であるので、操作種別に指定された位置と大きさと形状を考慮して表示領域を算出し、操作種別１０は左上(8,79)、右下(78,96)の矩形領域を得る。
そして、判定部１３ｂは、通知されたイベント発生位置（85,102）は操作種別９の領域に含まれるので、イベント発生時刻と、操作種別９と、マッチ位置(8,97)を起点に(64,1)移動して、大きさ(22,12)の矩形領域のキャプチャ画像である図２９に例示する操作画像１０を操作ログとして記録する。図２９は、操作ログとして記録される操作画像１０の一例を示す図である。
このように、操作ログ取得装置１０は、操作１～１０について、上記した処理を行うことで、結果として、図３０に例示するような操作ログ７０１を出力する。図３０は、操作ログの一例を示す図である。操作ログは、ＣＳＶ形式でファイルで出力してもよいし、表形式でエクセル、データベースに出力してもよい。
［操作ログ取得装置の処理手順］
次に、図３１および図３２を用いて、第１の実施形態に係る操作ログ取得装置１０による処理手順の例を説明する。図３１は、第１の実施形態に係る操作ログ取得装置におけるイベント検知部の処理の流れの一例を示すフローチャートである。図３２は、第１の実施形態に係る操作ログ取得装置における判定部の処理の流れの一例を示すフローチャートである。
まず、図３１を用いて、イベント検知部１３ａの処理について説明する。図３１に例示するように、操作ログ取得装置１０のイベント検知部１３ａは、イベントの発生を監視する（ステップＳ１０１）。そして、イベント検知部１３ａは、イベントを検知すると（ステップＳ１０２）、イベント発生時刻、イベント発生位置、操作画面のキャプチャ画像を取得し、イベント発生時刻、イベント発生位置、キャプチャ画像を判定部１３ｂへ通知する（ステップＳ１０３）。その後、イベント検知部１３ａは、ステップＳ１０１に戻り、上記の処理を繰り返す。
次、図３２を用いて、判定部１３ｂの処理について説明する。図３２に例示するように、操作ログ取得装置１０の判定部１３ｂは、イベント検知部１３ａからのイベント発生時刻、イベント発生位置およびキャプチャ画像を含む通知を受信すると（ステップＳ２０１）、操作種別管理テーブルに未処理の操作種別ＩＤが存在するか判定する（ステップＳ２０２）。
この結果、判定部１３ｂは、操作種別管理テーブルに未処理の操作種別ＩＤが存在しないと判定した場合には（ステップＳ２０２否定）、そのまま処理を終了する。また、判定部１３ｂは、操作種別管理テーブルに未処理の操作種別ＩＤが存在すると判定した場合には（ステップＳ２０２肯定）、未処理の操作種別ＩＤを取得し、キャプチャ画像に操作種別ＩＤの判定画像がマッチする領域があるか判定する（ステップＳ２０３）。
この結果、判定部１３ｂは、キャプチャ画像に操作種別ＩＤの判定画像がマッチする領域がないと判定した場合には（ステップＳ２０３否定）、ステップＳ２０２の処理に戻る。また、判定部１３ｂは、キャプチャ画像に操作種別ＩＤの判定画像がマッチする領域があると判定した場合には（ステップＳ２０３肯定）、当該操作種別ＩＤのイベント発生領域を算出し、通知されたイベントがこの領域に含まれるか判定する（ステップＳ２０４）。
この結果、判定部１３ｂは、通知されたイベントがイベント発生領域に含まれないと判定した場合には（ステップＳ２０４否定）、ステップＳ２０２の処理に戻る。また、判定部１３ｂは、通知されたイベントがイベント発生領域に含まれると判定した場合には（ステップＳ２０４肯定）、当該操作種別に紐つく取得画像領域の画像キャプチャである操作画像を取得し、操作種別特定情報とイベント発生時刻と操作画像とを記録する（ステップＳ２０５）。
そして、判定部１３ｂは、直前の記録の操作種別特定情報と同一か判定し（ステップＳ２０６）、直前の記録の操作種別特定情報と同一であると判定した場合には（ステップＳ２０６肯定）、操作ログから直前の記録を削除し（ステップＳ２０７）、処理を終了する。また、判定部１３ｂは、直前の記録の操作種別特定情報と同一でないと判定した場合には（ステップＳ２０６否定）、そのまま処理を終了する。
［第１の実施形態の効果］
このように、第１の実施形態に係る操作ログ取得装置１０は、所定の操作を実行する際の操作画面の特徴的な領域の画像である判定画像と、所定の操作を実行した際にイベントが発生する可能性があるイベント発生領域と、操作種別を特定する操作種別特定情報と、所定の操作が実行された際に取得する取得画像領域とを関連付けて記憶する記憶部１４を有する。そして、操作ログ取得装置１０は、イベントの発生を検知した場合に、当該イベントの発生時刻と、当該イベントの発生位置と、操作画面のキャプチャ画像とを取得する。続いて、操作ログ取得装置１０は、取得したキャプチャ画像に判定画像がマッチする領域が存在するか判定し、マッチする領域が存在する場合には、画像のイベント発生領域を取得し、イベントの発生位置がイベント発生領域に含まれる場合には、取得画像領域の画像キャプチャである操作画像を取得し、判定画像に対応する操作種別特定情報とイベントの発生時刻と操作画像とを関連付けて操作ログとして記憶部１４に記録する。このため、操作ログ取得装置１０は、アプリケーションの実行環境によらずに、分析者にとって意味のあるイベントを取得することが可能である。
つまり、操作ログ取得装置１０では、例えば、操作画面のキャプチャ画像とイベント発生位置といった特定の環境に依存せず汎用的に取得可能な情報のみを用いることで、アプリケーションの種別によらずあらゆるアプリケーションについて、操作ログを取得することが可能である。また、操作ログ取得装置１０では、操作画面上の画像と関連付けて取得するイベントを指定することで、分析者が直感的にイベントの種別を指定でき、さらに分析者が操作を特定しやすい表現で操作ログとして記録することが可能となる。
［システム構成等］
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。上記の実施形態の説明では、操作ログ取得装置上で表示された操作画面におけるイベントの発生を検知し、操作ログを記録する場合を説明したが、これに限定されるものではない。例えば、操作ログ取得装置が、他の端末上で表示された操作画面のイベントを検知し、操作ログを記録するようにしてもよい。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
また、本実施の形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
［プログラム］
図３３は、操作ログ取得プログラムを実行するコンピュータを示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。
メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１０５１、キーボード１０５２に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１０６１に接続される。
ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、操作ログ取得装置１０の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、装置における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid State Drive）により代替されてもよい。
また、上述した実施の形態の処理で用いられるデータは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して実行する。
なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク、ＷＡＮを介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
１０ 操作ログ取得装置
１１ 入力部
１２ 出力部
１３ 制御部
１３ａ イベント検知部
１３ｂ 判定部
１３ｃ 注文ＩＤ取得部
１４ 記憶部
１４ａ 操作種別管理テーブル記憶部
１４ｂ 注文ＩＤ取得方法管理テーブル記憶部
１４ｃ 操作ログ記憶部

Claims (4)

  1. 所定の操作を実行する際の操作画面の特徴的な領域の画像である判定画像と、操作種別ごとにそれぞれ異なるイベント発生領域であって、前記所定の操作を実行した際にイベントが発生する可能性があるイベント発生領域と、操作種別を特定する操作種別特定情報と、前記所定の操作が実行された際に取得する取得画像領域とを関連付けて記憶する記憶部と、
    前記イベントの発生を検知した場合に、当該イベントの発生時刻と、前記操作画面におけるイベントの発生位置と、操作画面のキャプチャ画像とを取得するイベント検知部と、
    前記イベント検知部によって取得されたキャプチャ画像に前記判定画像がマッチする領域が存在するか判定し、マッチする領域が存在する場合には、各操作種別に対応する前記判定画像のイベント発生領域をそれぞれ取得し、前記イベントの発生位置が取得したイベント発生領域のうちのいずれかの前記イベント発生領域に含まれる場合には、前記取得画像領域の画像キャプチャである操作画像を取得し、前記判定画像に対応する操作種別特定情報と前記イベントの発生時刻と前記操作画像とを関連付けて操作ログとして記録する判定部と
    を有すること特徴とする操作ログ取得装置。
  2. 前記操作画面が表示された際に、予め設定されたルールに基づいて前記操作画面から注文を特定する情報を取得し、取得した情報を前記操作ログとして前記記憶部に記録することを特徴とする請求項１に記載の操作ログ取得装置。
  3. 操作ログ取得装置によって実行される操作ログ取得方法であって、
    前記操作ログ取得装置は、所定の操作を実行する際の操作画面の特徴的な領域の画像である判定画像と、操作種別ごとにそれぞれ異なるイベント発生領域であって、前記所定の操作を実行した際にイベントが発生する可能性があるイベント発生領域と、操作種別を特定する操作種別特定情報と、前記所定の操作が実行された際に取得する取得画像領域とを関連付けて記憶する記憶部を有し、
    前記イベントの発生を検知した場合に、当該イベントの発生時刻と、前記操作画面におけるイベントの発生位置と、操作画面のキャプチャ画像とを取得するイベント検知工程と、
    前記イベント検知工程によって取得されたキャプチャ画像に前記判定画像がマッチする領域が存在するか判定し、マッチする領域が存在する場合には、各操作種別に対応する前記判定画像のイベント発生領域をそれぞれ取得し、前記イベントの発生位置が取得したイベント発生領域のうちのいずれかの前記イベント発生領域に含まれる場合には、前記取得画像領域の画像キャプチャである操作画像を取得し、前記判定画像に対応する操作種別特定情報と前記イベントの発生時刻と前記操作画像とを関連付けて操作ログとして記録する判定工程と
    を含むこと特徴とする操作ログ取得方法。
  4. 所定の操作を実行する際の操作画面の特徴的な領域の画像である判定画像と、操作種別ごとにそれぞれ異なるイベント発生領域であって、前記所定の操作を実行した際にイベントが発生する可能性があるイベント発生領域と、操作種別を特定する操作種別特定情報と、前記所定の操作が実行された際に取得する取得画像領域とを関連付けて記憶部に格納する格納ステップと、
    前記イベントの発生を検知した場合に、当該イベントの発生時刻と、前記操作画面におけるイベントの発生位置と、操作画面のキャプチャ画像とを取得するイベント検知ステップと、
    前記イベント検知ステップによって取得されたキャプチャ画像に前記判定画像がマッチする領域が存在するか判定し、マッチする領域が存在する場合には、各操作種別に対応する前記判定画像のイベント発生領域をそれぞれ取得し、前記イベントの発生位置が取得したイベント発生領域のうちのいずれかの前記イベント発生領域に含まれる場合には、前記取得画像領域の画像キャプチャである操作画像を取得し、前記判定画像に対応する操作種別特定情報と前記イベントの発生時刻と前記操作画像とを関連付けて操作ログとして記録する判定ステップと
    をコンピュータに実行させることを特徴とする操作ログ取得プログラム。
JP2021525456A 2019-06-11 2019-06-11 操作ログ取得装置、操作ログ取得方法および操作ログ取得プログラム Active JP7235110B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/023167 WO2020250320A1 (ja) 2019-06-11 2019-06-11 操作ログ取得装置、操作ログ取得方法および操作ログ取得プログラム

Publications (2)

Publication Number Publication Date
JPWO2020250320A1 JPWO2020250320A1 (ja) 2020-12-17
JP7235110B2 true JP7235110B2 (ja) 2023-03-08

Family

ID=73781686

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021525456A Active JP7235110B2 (ja) 2019-06-11 2019-06-11 操作ログ取得装置、操作ログ取得方法および操作ログ取得プログラム

Country Status (3)

Country Link
US (1) US20220342794A1 (ja)
JP (1) JP7235110B2 (ja)
WO (1) WO2020250320A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022168331A1 (ja) * 2021-02-08 2022-08-11 日本電信電話株式会社 操作ログ生成装置および操作ログ生成方法
WO2022195784A1 (ja) * 2021-03-17 2022-09-22 日本電信電話株式会社 分類装置、分類方法、および、分類プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004240759A (ja) 2003-02-06 2004-08-26 Nippon Telegr & Teleph Corp <Ntt> 操作の書き取り方法、プログラム及び該プログラムを記録した記録媒体
JP2011181007A (ja) 2010-03-03 2011-09-15 Nippon Telegr & Teleph Corp <Ntt> アプリケーション状態認識方法、装置及びプログラム
JP2013015997A (ja) 2011-07-04 2013-01-24 Kddi Corp 業務フロー解析のための操作履歴取得方法およびプログラム
JP2017102847A (ja) 2015-12-04 2017-06-08 日本電気株式会社 情報処理システム、中継装置、方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004240759A (ja) 2003-02-06 2004-08-26 Nippon Telegr & Teleph Corp <Ntt> 操作の書き取り方法、プログラム及び該プログラムを記録した記録媒体
JP2011181007A (ja) 2010-03-03 2011-09-15 Nippon Telegr & Teleph Corp <Ntt> アプリケーション状態認識方法、装置及びプログラム
JP2013015997A (ja) 2011-07-04 2013-01-24 Kddi Corp 業務フロー解析のための操作履歴取得方法およびプログラム
JP2017102847A (ja) 2015-12-04 2017-06-08 日本電気株式会社 情報処理システム、中継装置、方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
土川 公雄 他，レガシ環境にも適応可能な業務ログ抽出方法の検討，電子情報通信学会技術研究報告，第109巻 第378号，社団法人電子情報通信学会，2010年01月14日，第13頁-第18頁，ISSN:0913-5685

Also Published As

Publication number Publication date
WO2020250320A1 (ja) 2020-12-17
US20220342794A1 (en) 2022-10-27
JPWO2020250320A1 (ja) 2020-12-17

Similar Documents

Publication Publication Date Title
US11811805B1 (en) Detecting fraud by correlating user behavior biometrics with other data sources
US10884891B2 (en) Interactive detection of system anomalies
US9448908B2 (en) System and method for model based session management
CN107688664B (zh) 图表生成方法、装置、计算机设备和存储介质
US9904517B2 (en) System and method for automatic modeling of an application
TWI726749B (zh) 診斷網路系統是否已受到駭客入侵的方法及相關的連動式資料圖框產生方法
JP6260130B2 (ja) ジョブ遅延検知方法、情報処理装置、およびプログラム
CN109564566B (zh) 对调用应用的发现以用于控制文件水化行为
US11113137B2 (en) Error incident fingerprinting with unique static identifiers
US11315010B2 (en) Neural networks for detecting fraud based on user behavior biometrics
JP7235110B2 (ja) 操作ログ取得装置、操作ログ取得方法および操作ログ取得プログラム
CN111597553A (zh) 病毒查杀中的进程处理方法、装置、设备及存储介质
CN109213668B (zh) 操作记录方法、装置及终端
JP7380714B2 (ja) 操作ログ取得装置および操作ログ取得方法
JPWO2018042646A1 (ja) 分析システム及び分析方法
JP7173619B2 (ja) 脆弱性情報管理装置、脆弱性情報管理方法、およびプログラム
JP6695847B2 (ja) ソフトウェア部品管理システム、計算機
WO2022168331A1 (ja) 操作ログ生成装置および操作ログ生成方法
US20220345499A1 (en) Device management system, device management method, and recording medium having device management program recorded thereon
US11797707B2 (en) Non-transitory computer-readable recording medium having stored therein information processing program, information processing method, and information processing apparatus
CN114880713B (zh) 基于数据链路的用户行为分析方法、装置、设备及介质
US20210224408A1 (en) Non-transitory computer-readable recording medium having stored therein screen displaying program, method for screen displaying, and screen displaying apparatus
US20220253529A1 (en) Information processing apparatus, information processing method, and computer readable medium
JP6369333B2 (ja) ソフトウェア導入判定プログラム、ソフトウェア導入判定方法、およびソフトウェア導入判定装置
JP2021149474A (ja) 評価プログラム、評価方法および情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221013

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230206

R150 Certificate of patent or registration of utility model

Ref document number: 7235110

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150