WO2023238356A1 - 生成装置、生成方法及び生成プログラム - Google Patents

生成装置、生成方法及び生成プログラム Download PDF

Info

Publication number
WO2023238356A1
WO2023238356A1 PCT/JP2022/023374 JP2022023374W WO2023238356A1 WO 2023238356 A1 WO2023238356 A1 WO 2023238356A1 JP 2022023374 W JP2022023374 W JP 2022023374W WO 2023238356 A1 WO2023238356 A1 WO 2023238356A1
Authority
WO
WIPO (PCT)
Prior art keywords
captured image
generation
time
screen
captured
Prior art date
Application number
PCT/JP2022/023374
Other languages
English (en)
French (fr)
Inventor
美沙 深井
将志 田所
晴夫 大石
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2022/023374 priority Critical patent/WO2023238356A1/ja
Publication of WO2023238356A1 publication Critical patent/WO2023238356A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment

Definitions

  • the conventional technology has a problem in that it may not be possible to generate high-quality operation logs.
  • operation logs are acquired based on operation events such as clicks and key inputs, it is difficult to acquire logs for items that are displayed only by cursor movement (such as menus displayed by mouseover).
  • the present invention has been made in view of the above, and an object of the present invention is to generate high-quality operation logs.
  • FIG. 1 is a diagram showing an example of the configuration of a generation device according to the first embodiment.
  • FIG. 2 is a diagram illustrating a method for deleting a captured image.
  • FIG. 3 is a diagram showing an example of a difference image.
  • FIG. 4 is a diagram illustrating extraction of differences.
  • FIG. 5 is a diagram illustrating extraction of differences.
  • FIG. 6 is a diagram showing an example of the characteristics of the change.
  • FIG. 7 is a diagram illustrating a method for deleting an operation.
  • FIG. 8 is a diagram illustrating a method for adding operations.
  • FIG. 9 is a flowchart illustrating an example of the flow of acquisition processing.
  • FIG. 10 is a flowchart showing an example of the flow of extraction processing.
  • FIG. 11 is a flowchart showing an example of the flow of extraction processing.
  • FIG. 12 is a flowchart illustrating an example of the flow of generation processing.
  • FIG. 13 is a diagram illustrating an example of a computer
  • the work in the embodiment includes input work to a terminal device such as a PC (Personal Computer).
  • a terminal device such as a PC (Personal Computer).
  • business operations using a terminal device are performed by operating an input device such as a mouse, a keyboard, or a touch panel.
  • the operation log is data that associates a screen capture image with an operation event, which will be described later.
  • operation log generated by the generation device can be used, for example, in procedures such as business analysis, particularly process visualization and timeline visualization, as described in Non-Patent Document 1.
  • the operation log generated by the generation device may be used as data for learning a model (for example, a neural network) that automatically performs operations on the terminal device that imitate human input operations.
  • a model for example, a neural network
  • FIG. 1 is a diagram illustrating an example of the configuration of a generation device according to the first embodiment.
  • the generation device 10 is connected to a terminal device 20.
  • the terminal device 20 is a device such as a PC for a worker to perform work. Further, the generation device 10 does not need to be directly connected to the terminal device 20, as long as it can acquire information regarding operations on the terminal device 20 by any means.
  • the generation device 10 includes a communication section 11, a storage section 12, and a control section 13.
  • the storage unit 12 is a storage device such as an HDD (Hard Disk Drive), an SSD (Solid State Drive), or an optical disk. Note that the storage unit 12 may be a data-rewritable semiconductor memory such as a RAM (Random Access Memory), a flash memory, or an NVSRAM (Non Volatile Static Random Access Memory).
  • a RAM Random Access Memory
  • a flash memory or an NVSRAM (Non Volatile Static Random Access Memory).
  • the storage unit 12 stores an OS (Operating System) and various programs executed by the generation device 10.
  • the storage unit 12 stores operation log information 121 and learning information 122.
  • the operation log information 121 includes an operation log.
  • the operation log is information that associates screen capture images with operation events. The method of generating the operation log will be described later.
  • the control unit 13 controls the entire generation device 10.
  • the control unit 13 includes, for example, electronic circuits such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), and a GPU (Graphics Processing Unit), an ASIC (Application Specific Integrated Circuit), and an FPGA (Field Programmable Gate). Array) etc. It is an integrated circuit.
  • control unit 13 has an internal memory for storing programs and control data that define various processing procedures, and executes each process using the internal memory. Further, the control unit 13 functions as various processing units by running various programs.
  • control unit 13 includes an acquisition unit 131, an extraction unit 132, and a generation unit 133.
  • the acquisition unit 131 acquires multiple operation events that occur in response to operations on the screen of the terminal device 20 and multiple captured images of the screen.
  • the acquisition unit 131 can acquire operation events and captured images via the communication unit 11.
  • the operation event corresponding to the mouse operation includes information identifying the operated button or wheel, and the type of operation (click, press down, push up, scroll, etc.). Further, the operation event corresponding to the keyboard operation includes the type of the operated key.
  • the acquisition unit 131 captures a screen capture image from the terminal device 20, the time at which the captured image was acquired (time stamp), and the mouse cursor position at the time, at regular time intervals, regardless of the occurrence of an operation event. Get location.
  • the extraction unit 132 extracts, from among the plurality of captured images acquired by the acquisition unit 131, a captured image that satisfies a condition indicating that it is related to an operation.
  • the extraction unit 132 determines whether the captured image satisfies a condition indicating that it is related to the operation. Specifically, the extraction unit 132 determines whether a change related to the operation appears in the captured image to be extracted.
  • the extraction unit 132 deletes captured images in which only changes that are unrelated to the above-mentioned operations or have a small degree of association appear.
  • the extraction unit 132 may perform the extraction on the original captured image (the captured image 311 or 312 in the example of FIG. 3) or the generated difference image (the difference image 313 in the example of FIG. 3). You can also go to
  • FIG. 4 is a diagram illustrating extraction of differences.
  • the extraction unit 132 cuts out an image 323 that includes the entire portion where a difference occurs between the captured image 321 and the captured image 322.
  • the extraction unit 132 uses the cut out image to determine the captured image.
  • the extraction unit 132 can perform the determination based on one or more of the characteristics of the changed portion, the relationship between the changed portion and the position of the cursor, and the acquisition time of the captured image.
  • the extraction unit 132 can utilize the features shown in FIG. That is, the extraction unit 132 extracts the extracted capture image, the extracted difference image, the size of the range where the change occurs (for example, a rectangle whose sides are parallel to the X axis and the Y axis), the change position, and the similar change You can use the presence/absence and interval of capture image acquisition time.
  • FIG. 6 is a diagram showing an example of the characteristics of the change.
  • the extracting unit 132 extracts, from among the plurality of captured images, a captured image in which the characteristics of a portion where a change in the screen appears over time satisfies the condition. For example, the extraction unit 132 determines that the condition is satisfied when the characteristics shown in FIG. 6 are similar to the characteristics of changes caused by predetermined operations.
  • the extraction unit 132 may perform the determination using a machine learning model constructed based on the learning information 122. In this case, it is assumed that the machine learning model has already learned whether there is a relationship between features and operations using training data.
  • a machine learning model outputs a score representing the degree of similarity to an operation based on the input features.
  • the extraction unit 132 determines the corresponding captured image as a captured image related to the operation.
  • the extraction unit 132 extracts, from among the plurality of captured images, a captured image in which the distance between the position of the portion where the screen changes over time and the position where the cursor is indicated is equal to or greater than a threshold value.
  • the acquisition unit 131 can acquire the position of the cursor (for example, a mouse cursor and a cursor indicating a character input position) at the time when the captured image was acquired. This makes it possible to identify changes that occur without any operation.
  • the cursor for example, a mouse cursor and a cursor indicating a character input position
  • the cursor position is far from the change position, it is highly likely that the change occurred without any operation.
  • the cursor position is close to the change position, it is considered that the change is likely to have occurred in connection with an operation.
  • the extracting unit 132 extracts a captured image from among the plurality of captured images in which a change in the screen due to the passage of time appears, and in which the difference between the acquired time and the occurrence time of the nearest operation event is less than or equal to a threshold value. Extract images. This makes it possible to identify the relationship between screen changes and operations based on easily obtainable information such as time.
  • a change occurs in a short period of time, it is highly likely that an operation was performed. For example, in the case of a web advertisement, the same screen is displayed for a certain period of time. On the other hand, a worker may perform an operation to switch screens in a short period of time.
  • the generation unit 133 compares the acquisition time of the captured image extracted by the extraction unit 132 with the occurrence time of the operation event, and links the captured image and the operation event. As a result, the operation event and the captured images before and after the operation corresponding to the operation event are linked.
  • FIG. 7 is a diagram illustrating a method for deleting an operation.
  • deletion of an operation event or captured image by the generation unit 133 means excluding it from being added to the operation log.
  • Operation_1, operation_2, and operation_3 in FIG. 7 are operation events.
  • operation events and captured images are arranged in chronological order based on acquisition time or occurrence time.
  • the extraction unit 132 extracts the captured image_1 and the captured image_2, which was acquired after the captured image_1 and in which a change in the screen appeared for the first time after the acquisition time of the captured image_1. Then, the generation unit 133 generates an operation event other than operation_3, which is the operation event with the latest occurrence time, among the plurality of operation events that occurred between the acquisition time of capture image_1 and the acquisition time of capture image_2. Operation_2, which is , is excluded from the operation log. This allows you to exclude meaningless operation events from the operation log.
  • FIG. 8 is a diagram illustrating a method for adding operations.
  • Operation_1, operation_2, and operation_3 in FIG. 8 are operation events.
  • operation events and captured images are arranged in chronological order based on acquisition time or occurrence time.
  • operation_4 is an operation event generated by the generation unit 133.
  • the extraction unit 132 extracts the captured image_2 and the captured image_3, which was acquired after the captured image_2 and in which a change in the screen appeared for the first time after the acquisition time of the captured image_2. Then, if there is no operation event that occurred between the acquisition time of capture image_2 and the acquisition time of capture image_3, the generation unit 133 determines that the occurrence time is the same as the acquisition time of capture image_2 and the acquisition time of capture image_3. (including the acquisition time of capture image_3) is generated in a pseudo manner and added to the operation log.
  • the occurrence time is the acquisition time of capture image_3, the content of the operation is none or a predetermined operation content such as cursor movement, and the cursor position is the cursor coordinates at the time of capture_3 acquisition. Good too.
  • FIG. 9 is a flowchart showing an example of the flow of the acquisition process.
  • the acquisition process is a process performed by the acquisition unit 131.
  • steps S102 to S104 are repeated.
  • dropping the terminal device 20 means shutting down the terminal device 20, turning off the power of the terminal device 20, and the like.
  • the generation device 10 ends the process if the worker stops the process or if the worker drops the terminal device 20 (step S101, Yes).
  • step S104 the generation device 10 acquires the operation event of the terminal device 20.
  • the operation event includes the event type (mouse click, keyboard key press, etc.), the time of occurrence, the mouse cursor position at the time of occurrence, and the like.
  • step S202 the generation device 10 determines a target capture image.
  • step S203 determines whether there is a difference between the target captured image and the continuously acquired captured images.
  • FIG. 11 is a flowchart showing an example of the flow of the extraction process.
  • the extraction process is a process performed by the extraction unit 132.
  • the generation device 10 repeats steps S302 to S306 until all captured images acquired in the acquisition process are targeted (step S301, No).
  • the generation device 10 targets all captured images (step S301, Yes)
  • the generation device 10 ends the process.
  • step S302 the generation device 10 determines a target capture image.
  • the generation device 10 determines whether or not the difference has been extracted for the target captured image (step S303). Note that the extraction of the difference is performed by the process shown in FIG.
  • step S303 If the generation device 10 determines that the difference has been extracted (step S303, Yes), the generation device 10 generates a captured image of the target using information about the characteristics of the changed portion, the relationship between the changed portion and the cursor position, and the timing at which the change occurred. It is determined whether the captured image is related to the operation (step S304).
  • step S305 the generation device 10 determines that the target captured image is not a captured image related to an operation (step S305, No).
  • the process returns to step S301.
  • Step S305 If the generation device 10 determines that the target captured image is a captured image associated with an operation (Step S305, Yes), the generation device 10 extracts the captured image as an image associated with the operation (Step S306).
  • the generation device 10 determines whether or not there is a captured image extracted before the next operation event for the targeted operation event (step S403).
  • step S403, No If the generation device 10 determines that there is no captured image extracted before the next operation event (step S403, No), the process returns to step S401.
  • step S403 If the generation device 10 determines that there is a captured image extracted before the next operation event (step S403, Yes), the generation device 10 generates a captured image extracted at the time closest to the target operation event and the time when the operation event occurs. The captured images are linked (step S404).
  • step S405, No If the generation device 10 determines that two or more captured images do not exist between the target operation event and the next operation event (step S405, No), the process returns to step S401.
  • step S405 If the generation device 10 determines that two or more captured images exist between the target operation event and the next operation event (step S405, Yes), the generation device 10 generates an operation corresponding to the captured image (a pseudo-generated operation event). is added to the operation log (step S406).
  • the generation device 10 can generate operation logs automatically and with high precision. As a result, according to the embodiment, a high-quality operation log can be generated.
  • each component of each device shown in the drawings is functionally conceptual, and does not necessarily need to be physically configured as shown in the drawings.
  • the specific form of distributing and integrating each device is not limited to what is shown in the diagram, and all or part of the devices may be functionally or physically distributed or integrated in arbitrary units depending on various loads and usage conditions. Can be integrated and configured.
  • each processing function performed by each device is realized in whole or in part by a CPU (Central Processing Unit) and a program that is analyzed and executed by the CPU, or by hardware using wired logic. It can be realized as Note that the program may be executed not only by the CPU but also by another processor such as a GPU.
  • a CPU Central Processing Unit
  • the generation device 10 can be implemented by installing a generation program that executes the above generation process on a desired computer as packaged software or online software. For example, by causing the information processing device to execute the above generation program, the information processing device can be made to function as the generation device 10.
  • the information processing device referred to here includes a desktop or notebook personal computer.
  • information processing devices include mobile communication terminals such as smartphones, mobile phones, and PHSs (Personal Handyphone Systems), as well as slate terminals such as PDAs (Personal Digital Assistants).
  • the generation device 10 can also be implemented as a generation server device that uses a terminal device used by a user as a client and provides services related to the above generation process to the client.
  • the generation server device is implemented as a server device that provides a generation service that receives an operation event of a terminal device and a captured image as input, and outputs a generated operation log.
  • the generation server device may be implemented as a web server, or may be implemented as a cloud that provides services related to the above generation process through outsourcing.
  • FIG. 13 is a diagram showing an example of a computer that executes the generation program.
  • Computer 1000 includes, for example, a memory 1010 and a CPU 1020.
  • the computer 1000 also includes a hard disk drive interface 1030, a disk drive interface 1040, a serial port interface 1050, a video adapter 1060, and a network interface 1070. These parts are connected by a bus 1080.
  • the memory 1010 includes a ROM (Read Only Memory) 1011 and a RAM (Random Access Memory) 1012.
  • the ROM 1011 stores, for example, a boot program such as BIOS (Basic Input Output System).
  • Hard disk drive interface 1030 is connected to hard disk drive 1090.
  • Disk drive interface 1040 is connected to disk drive 1100.
  • Serial port interface 1050 is connected to, for example, mouse 1110 and keyboard 1120.
  • Video adapter 1060 is connected to display 1130, for example.
  • the hard disk drive 1090 stores, for example, an OS 1091, an application program 1092, a program module 1093, and program data 1094. That is, a program that defines each process of the generation device 10 is implemented as a program module 1093 in which computer-executable code is written.
  • Program module 1093 is stored in hard disk drive 1090, for example.
  • a program module 1093 for executing processing similar to the functional configuration of the generation device 10 is stored in the hard disk drive 1090.
  • the hard disk drive 1090 may be replaced by an SSD (Solid State Drive).
  • the setting data used in the processing of the embodiment described above is stored as program data 1094 in, for example, the memory 1010 or the hard disk drive 1090. Then, the CPU 1020 reads out the program module 1093 and program data 1094 stored in the memory 1010 and the hard disk drive 1090 to the RAM 1012 as necessary, and executes the processing of the embodiment described above.
  • program module 1093 and the program data 1094 are not limited to being stored in the hard disk drive 1090, but may be stored in a removable storage medium, for example, and read by the CPU 1020 via the disk drive 1100 or the like.
  • the program module 1093 and the program data 1094 may be stored in another computer connected via a network (LAN (Local Area Network), WAN (Wide Area Network), etc.). The program module 1093 and program data 1094 may then be read by the CPU 1020 from another computer via the network interface 1070.
  • LAN Local Area Network
  • WAN Wide Area Network

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

実施形態の生成装置（１０）は、取得部（１３１）、抽出部（１３２）及び生成部（１３３）を有する。取得部（１３１）は、端末装置（２０）の画面に対する操作に応じて発生する複数の操作イベントと、画面の複数のキャプチャ画像と、を取得する。抽出部（１３２）は、複数のキャプチャ画像のうち、操作と関連することを示す条件を満たすキャプチャ画像を抽出する。生成部（１３３）は、抽出部（１３２）によって抽出されたキャプチャ画像と、複数の操作イベントのうちキャプチャ画像に対応する操作イベントと、を対応付けた操作ログを生成する。

Description

生成装置、生成方法及び生成プログラム
　本発明は、生成装置、生成方法及び生成プログラムに関する。
　従来、端末利用業務における作業者の操作内容を記録した操作ログは、業務実態の把握のための業務分析、及び機械学習を用いた業務支援に用いられる（例えば、非特許文献１及び２を参照）。
　例えば、ＧＵＩアプリケーションの操作画面を対象とした操作ログの取得方法として、イベント発生時に、操作画面を構成するＧＵＩ部品の属性値を取得し、当該イベントの発生前後で変更箇所を発見する技術が知られている（例えば、特許文献１を参照）。
特開２０１５－１５３２１０号公報
横瀬ほか，「DX推進に貢献する業務可視化技術」NTT技術ジャーナル，2020　vol.32　No.2 M.　Fukai,　M.　Tadokoro,　and　H.　Oishi,　"Study　on　Automating　Decision-Making　by　Learning　Optimal　Processes　from　PC　Work,"　Proc.　The　22nd　Asia-Pacific　Network　Operations　and　Management　Symposium　(APNOMS　2021),　Sept.　2021.
　しかしながら、従来の技術には、高品質な操作ログを生成することができない場合があるという問題がある。
　例えば、多様なアプリケーションを用いて端末利用業務を行う場合、及びシンクライアント環境のような画面キャプチャとマウス、キーボードの操作情報のみしか取得できない場合においては、作業者の操作を正確に把握することが難しい。
　その理由の１つに、作業者が行う操作に、意味のないものが多く含まれることがある。ここで、操作が意味のあるものであるか否かを、端末装置の画面上に変化が発生するか否かから判別する方法が考えらえる。
　一方で、そのような方法を実施するためには、作業者の操作に対して、その前後の端末装置の画面を正しく取得する必要がある。しかしながら、操作前後の画面の取得には以下の２つの課題が存在する。
　第１の課題は、操作から一定時間前又は後のキャプチャ画像を取得して紐づける場合、読み込み時間等が原因で操作と関連する操作が取得できない可能性があるというものである。
　第２の課題は、一定時間ごとにキャプチャ画像を取得し、変化が起こったキャプチャ画像を後から操作と紐づける場合、操作と関連しない時計等の変化が操作と紐づけられる可能性があるというものである。
　また、操作ログはクリック、キー入力といった操作イベントを基に取得するため、カーソル移動のみにより表示される項目（マウスオーバで表示されるメニューなど）についてのログの取得は困難である。
　本発明は、上記に鑑みてなされたものであって、高品質な操作ログを生成することを目的とする。
　上述した課題を解決し、目的を達成するために、生成装置は、端末装置の画面に対する操作に応じて発生する複数の操作イベントと、前記画面の複数のキャプチャ画像と、を取得する取得部と、前記複数のキャプチャ画像のうち、前記操作と関連することを示す条件を満たすキャプチャ画像を抽出する抽出部と、前記抽出部によって抽出されたキャプチャ画像と、前記複数の操作イベントのうち前記キャプチャ画像に対応する操作イベントと、を対応付けた操作ログを生成する生成部と、を有することを特徴とする。
　本発明によれば、高品質な操作ログを生成することができる。
図１は、第１の実施形態の生成装置の構成例を示す図である。 図２は、キャプチャ画像の削除方法を説明する図である。 図３は、差分画像の一例を示す図である。 図４は、差分の切り出しについて説明する図である。 図５は、差分の切り出しについて説明する図である。 図６は、変化の特徴の一例を示す図である。 図７は、操作を削除する方法を説明する図である。 図８は、操作を追加する方法を説明する図である。 図９は、取得処理の流れの一例を示すフローチャートである。 図１０は、抽出処理の流れの一例を示すフローチャートである。 図１１は、抽出処理の流れの一例を示すフローチャートである。 図１２は、生成処理の流れの一例を示すフローチャートである。 図１３は、生成プログラムを実行するコンピュータの一例を示す図である。
　以下に、本願に係る生成装置、生成方法及び生成プログラムの実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下に説明する実施形態により限定されるものではない。
　例えば、実施形態における業務には、ＰＣ（Personal　Computer）等の端末装置への入力作業が含まれる。また、例えば、端末装置を用いた業務は、マウス、キーボード、タッチパネル等の入力装置の操作により行われる。
　実施形態の生成装置の操作ログを生成する。操作ログは、画面のキャプチャ画像と後述する操作イベントとを対応付けたデータである。
　また、生成装置によって生成された操作ログは、例えば非特許文献１に記載されているような業務分析、特にプロセス可視化及びタイムライン可視化といった手順において利用され得る。
　また、生成装置によって生成された操作ログは、人間の入力作業を模した操作を端末装置に対して自動的に行うモデル（例えばニューラルネットワーク）の学習用のデータとして用いられてもよい。
［第１の実施形態の構成］
　まず、図１を用いて、第１の実施形態に係る生成装置の構成について説明する。図１は、第１の実施形態に係る生成装置の構成の一例を示す図である。
　図１に示すように、生成装置１０は、端末装置２０と接続されている。端末装置２０は、作業者が業務を行うためのＰＣ等の装置である。また、生成装置１０は、端末装置２０と直接接続されていなくてもよく、端末装置２０に対する操作に関する情報を任意の手段で取得可能であればよい。
　ここで、生成装置１０の各部について説明する。図１に示すように、生成装置１０は、通信部１１、記憶部１２及び制御部１３を有する。
　通信部１１は、データの入力及び出力のためのインタフェースである。例えば、通信部１１はＮＩＣ（Network　Interface　Card）である。通信部１１は他の装置との間でデータの送受信を行うことができる。
　記憶部１２は、ＨＤＤ（Hard　Disk　Drive）、ＳＳＤ（Solid　State　Drive）、光ディスク等の記憶装置である。なお、記憶部１２は、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non　Volatile　Static　Random　Access　Memory）等のデータを書き換え可能な半導体メモリであってもよい。
　記憶部１２は、生成装置１０で実行されるＯＳ（Operating　System）や各種プログラムを記憶する。記憶部１２は、操作ログ情報１２１及び学習情報１２２を記憶する。
　操作ログ情報１２１は、操作ログを含む。操作ログは、画面のキャプチャ画像と操作イベントとを対応付けた情報である。操作ログの生成方法については後述する。
　学習情報１２２は、機械学習モデルを構築するためのパラメータ等の情報である。機械学習モデルは、例えば、機械学習モデルは、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional　neural　network）である。また、機械学習モデルは学習済みであってもよいし、未学習であってもよい。
　制御部１３は、生成装置１０全体を制御する。制御部１３は、例えば、ＣＰＵ（Central　Processing　Unit）、ＭＰＵ（Micro　Processing　Unit）、ＧＰＵ（Graphics　Processing　Unit）等の電子回路や、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路である。
　また、制御部１３は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、内部メモリを用いて各処理を実行する。また、制御部１３は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部１３は、取得部１３１、抽出部１３２及び生成部１３３を有する。
　取得部１３１は、端末装置２０の画面に対する操作に応じて発生する複数の操作イベントと、画面の複数のキャプチャ画像と、を取得する。取得部１３１は、通信部１１を介して操作イベント及びキャプチャ画像を取得することができる。
　取得部１３１は、操作イベントが発生したタイミングで当該操作イベントを取得する。例えば、操作イベントは、マウス操作及びキーボード操作に関する情報である。マウス操作には、マウスボタンの操作及びマウスホイールの操作が含まれる。キーボード操作には、キー入力が含まれる。
　マウス操作に対応する操作イベントには、操作されたボタン又はホイールを識別する情報、操作の種別（クリック、押し下げ、押し上げ、スクロール等）が含まれる。また、キーボード操作に対応する操作イベントには、操作されたキーの種別が含まれる。
　また、取得部１３１は、操作イベントとともに、当該操作イベントが発生した時刻（タイムスタンプ）、及び当該時刻におけるマウスカーソルの位置を取得する。
　また、取得部１３１は、操作イベントの発生にかかわらず、一定の時間間隔で、端末装置２０から画面のキャプチャ画像、当該キャプチャ画像が取得された時刻（タイムスタンプ）、及び当該時刻におけるマウスカーソルの位置を取得する。
　さらに、取得部１３１は、可能であれば、キャプチャ画像とともに、ウィンドウ識別情報等の詳細な情報を取得してもよい。
　抽出部１３２は、取得部１３１によって取得された複数のキャプチャ画像のうち、操作と関連することを示す条件を満たすキャプチャ画像を抽出する。
　生成部１３３は、抽出部１３２によって抽出されたキャプチャ画像と、複数の操作イベントのうちキャプチャ画像に対応する操作イベントと、を対応付けた操作ログを生成する。例えば、生成部１３３は、操作イベントのタイムスタンプと、キャプチャ画像のタイムスタンプとを比較し、操作イベントのタイムスタンプが示す時刻に最も近い時刻に取得されたキャプチャ画像を、当該操作イベントと紐づける。
　生成部１３３は、紐づけた操作イベントとキャプチャ画像を操作ログとして操作ログ情報１２１に追加する。
　ここで、抽出部１３２によるキャプチャ画像の抽出方法及び生成部１３３による操作ログの生成方法を詳細に説明する。
　まず、図２に示すように、抽出部１３２は、取得部１３１によって取得された複数のキャプチャ画像のうち、画面の変化が現れていないキャプチャ画像を削除する。図２は、キャプチャ画像の削除方法を説明する図である。抽出部１３２によるキャプチャ画像の削除は、キャプチャ画像を抽出対象から除外することを意味する。
　これは、作業者が操作を行った場合には、端末装置２０の画面上に何らかの変化が発生する可能性が高く、画面が変化しないタイミングで取得されたキャプチャ画像は作業者の操作と関係しないと推測されるためである。
　抽出部１３２は、図２のように、キャプチャ画像３０１、キャプチャ画像３０２、キャプチャ画像３０３、キャプチャ画像３０４を取得時刻の順（時系列）に並べる。
　そして、取得時刻が連続するキャプチャ画像３０２とキャプチャ画像３０３は同一であるため、抽出部１３２は、キャプチャ画像３０２には画面の変化が現れていないとみなし、キャプチャ画像３０２を削除する。この場合、抽出部１３２は、取得時刻が後のキャプチャ画像３０３を削除してもよい。
　続いて、抽出部１３２は、キャプチャ画像が操作と関連することを示す条件を満たすか否かを判定する。具体的には、抽出部１３２は、抽出対象のキャプチャ画像に、操作と関連する変化が現れているか否かを判別する。
　操作と関連しない、又は関連の度合いが小さい画面の変化には、例えば時刻の表示、Ｗｅｂ広告、システム又はＷｅｂサイトの動きのあるデザイン、タイムアウトによるメッセージの表示、読み込み中の表示、タスクバーの進捗表示、Ｗｅｂページの遷移中の表示等がある。
　抽出部１３２は、上記のような操作と関連しない、又は関連の度合いが小さい変化のみが現れているキャプチャ画像を削除する。
　そこで、抽出部１３２は、図３に示すように、差分画像を生成する。差分画像は、取得時刻が連続する２つのキャプチャ画像の差分を表現した画像である。
　例えば、抽出部１３２は、２つのキャプチャ画像の画素値の差分を算出し、絶対値を取り、当該絶対値を画像へと変換することで差分画像を生成する。
　図３に示すように、抽出部１３２は、キャプチャ画像３１１とキャプチャ画像３１２から、差分画像３１３を生成する。図３は、差分画像の一例を示す図である。
　キャプチャ画像３１１とキャプチャ画像３１２とでは、「特急線」というラベルが付されたチェックボックスへのフォーカスの有無、及び「路線バス」というラベルが付されたチェックボックスのチェックの有無が変化している。差分画像３１３では、当該変化があった箇所のみが表現されている。
　さらに、抽出部１３２は、差分画像を基に変化が発生している部分を特定し、切り出す。
　例えば、抽出部１３２は、切り出しは元のキャプチャ画像（図３の例ではキャプチャ画像３１１又はキャプチャ画像３１２）に対して行ってもよいし、生成した差分画像（図３の例では差分画像３１３）に対して行ってもよい。
　また、複数個所で差分が発生している場合、抽出部１３２は、図４のように差分が発生している箇所の全体を含む画像を切り出すことができる。図４は、差分の切り出しについて説明する図である。図４の例では、抽出部１３２は、キャプチャ画像３２１とキャプチャ画像３２２と間で差分が発生している箇所の全体を含む画像３２３を切り出している。
　また、複数個所で差分が発生している場合、抽出部１３２は、図５のように差分が発生している箇所を個別の画像に分解して切り出すことができる。図５は、差分の切り出しについて説明する図である。図５の例では、抽出部１３２は、キャプチャ画像３２１とキャプチャ画像３２２と間で差分が発生している箇所を画像３２４、画像３２５及び画像３２６として切り出している。
　抽出部１３２は、切り出した画像を用いて、キャプチャ画像の判別を行う。抽出部１３２は、変化部分の特徴、変化部分とカーソルの位置との関係、及びキャプチャ画像の取得時刻のうちの１つ以上に基づいて判別を行うことができる。
　この時点で、抽出部１３２は、図６に示す特徴を利用できるものとする。すなわち、抽出部１３２は、切り出したキャプチャ画像、切り出した差分画像、変化が発生している範囲（例えば、各辺がＸ軸とＹ軸に平行な矩形）のサイズ、変化位置、同様の変化の有無、キャプチャ画像の取得時刻の間隔を利用できる。図６は、変化の特徴の一例を示す図である。
（１．変化部分の特徴による判別方法）
　抽出部１３２は、複数のキャプチャ画像のうち、時間の経過による画面の変化が現れている部分の特徴が条件を満たすキャプチャ画像を抽出する。例えば、抽出部１３２は、図６に示す特徴が、事前に定められた操作による変化の特徴と類似している場合、条件を満たすと判定する。
　例えば、抽出部１３２は、学習情報１２２を基に構築された機械学習モデルを用いて判別を行ってもよい。この場合、機械学習モデルは、特徴と操作との関連の有無を教師データとして学習済みであるものとする。
　例えば、機械学習モデルは、入力された特徴を基に、操作との類似度を表すスコアを出力する。抽出部１３２は、スコアが閾値以上であった場合、対応するキャプチャ画像を操作に関連するキャプチャ画像を判別する。
　これにより、既知の特徴を利用して、精度良く画面の変化と操作との関連性を特定することができる。さらに、機械学習モデルを利用することで、学習により精度を向上させていくことができる。
（２．変化部分とカーソルの位置との関係による判別方法）
　抽出部１３２は、複数のキャプチャ画像のうち、時間の経過による画面の変化が現れている部分の位置とカーソルが示されている位置との距離が閾値以上であるキャプチャ画像を抽出する。
　なお、キャプチャ画像が取得された時刻のカーソル（例えば、マウスカーソル及び文字入力位置を示すカーソル）の位置は、取得部１３１によって取得可能である。これにより、操作によらずに発生した変化を特定することができる。
　例えば、カーソルの位置が変化位置から遠い場合、当該変化は操作によらずに発生したものである可能性が高いと考えられる。一方、カーソルの位置が変化位置と近い場合、当該変化は操作に関連して発生した可能性が高いと考えられる。
（３．キャプチャ画像の取得時刻による判別方法）
　抽出部１３２は、複数のキャプチャ画像のうち、時間の経過による画面の変化が現れているキャプチャ画像であって、取得された時刻と最も近い操作イベントの発生時刻との差が閾値以下であるキャプチャ画像を抽出する。これにより、時刻のような容易に取得可能な情報から、画面の変化と操作の関連性を特定することができる。
　例えば、短い時間で変化が発生している場合、操作が行われた可能性が高いと考えられる。例えば、Ｗｅｂ広告であれば一定時間同一の画面が表示される。一方で、作業者は短時間で画面を切り替える操作を行う場合がある。
　さらに、生成部１３３は、抽出部１３２によって抽出されたキャプチャ画像の取得時刻と操作イベントの発生時刻を比較し、キャプチャ画像と操作イベントを紐づける。これにより、操作イベントと、当該操作イベントに対応する操作の前後のキャプチャ画像が紐づけられる。
　このとき、生成部１３３は、図７に示すように、操作イベントが発生した後、次の操作イベントが発生するまでの間に端末装置２０の画面に変化がない場合、前に発生した操作イベントを意味のない操作とみなし、削除する。図７は、操作を削除する方法を説明する図である。
　なお、生成部１３３による操作イベント又はキャプチャ画像の削除は、操作ログへの追加対象から除外することを意味する。
　図７の操作＿１、操作＿２、操作＿３は操作イベントである。図７では、操作イベントとキャプチャ画像が、取得時刻又は発生時刻に基づき時系列で並べられている。
　抽出部１３２は、キャプチャ画像＿１と、キャプチャ画像＿１より後に取得され、キャプチャ画像＿１の取得時刻以降に、画面の変化が初めて現れたキャプチャ画像＿２と、を抽出する。そして、生成部１３３は、キャプチャ画像＿１の取得時刻とキャプチャ画像＿２の取得時刻との間に発生した複数の操作イベントのうち、発生時刻が最も後である操作イベントである操作＿３以外の操作イベントである操作＿２を、操作ログから除外する。これにより、操作ログから意味のない操作イベントを除外できる。
　また、生成部１３３は、図８に示すように、対応する操作イベントが存在しないキャプチャ画像の取得時刻を操作の発生時刻として、操作ログに操作イベントを追加する。図８は、操作を追加する方法を説明する図である。
　これは、対応するイベントが存在しないキャプチャ画像は、カーソル移動などの操作イベントとして記録されない操作による変化であると推測されるためである。
　図８の操作＿１、操作＿２、操作＿３は操作イベントである。図８では、操作イベントとキャプチャ画像が、取得時刻又は発生時刻に基づき時系列で並べられている。また、操作＿４は、生成部１３３によって生成される操作イベントである。
　抽出部１３２は、キャプチャ画像＿２と、キャプチャ画像＿２より後に取得され、キャプチャ画像＿２の取得時刻以降に、画面の変化が初めて現れたキャプチャ画像＿３と、を抽出する。そして、生成部１３３は、キャプチャ画像＿２の取得時刻とキャプチャ画像＿３の取得時刻との間に発生した操作イベントが存在しない場合、発生時刻がキャプチャ画像＿２の取得時刻とキャプチャ画像＿３の取得時刻との間（キャプチャ画像＿３の取得時刻とを含む）である操作イベントを疑似的に生成し、操作ログに追加する。
　なお、疑似的に生成される操作＿４が追加される時刻には、操作イベントとして取得されない操作（マウスオーバによるメニュー表示等）が行われていると考えられる。そのため、例えば、操作＿４は、発生時刻がキャプチャ画像＿３の取得時刻であり、操作の内容がなし又はカーソル移動等の所定の操作内容であり、カーソル位置がキャプチャ＿３取得時のカーソル座標であってもよい。
　なお、これまでに説明した抽出部１３２及び生成部１３３の処理は、取得部１３１の処理の後に行われてもよいし、取得部１３１の処理と並行して行われてもよい。
［第１の実施形態の処理］
　図９、図１０、図１１及び図１２を用いて、生成装置１０の処理の流れを説明する。
　図９は、取得処理の流れの一例を示すフローチャートである。例えば、取得処理は取得部１３１によって行われる処理である。
　図９に示すように、まず、生成装置１０は、端末装置２０を使用している作業者が処理を停止しておらず、かつ作業者が端末装置２０を落としていない場合（ステップＳ１０１、Ｎｏ）、ステップＳ１０２からステップＳ１０４を繰り返す。なお、端末装置２０を落とすことは、端末装置２０をシャットダウンすること、及び端末装置２０の電源をオフにすること等を意味する。
　なお、生成装置１０は、作業者が処理を停止するか、又は作業者が端末装置２０を落とした場合（ステップＳ１０１、Ｙｅｓ）、処理を終了する。
　ステップＳ１０２では、生成装置１０は、端末装置２０の画面のキャプチャ画像を一定間隔で一時保存しておく。
　そして、生成装置１０は、操作イベントが発生した場合（ステップＳ１０３、Ｙｅｓ）、ステップＳ１０４へ進む。生成装置１０は、操作イベントが発生しない場合（ステップＳ１０３、Ｎｏ）、ステップＳ１０１へ戻る。
　ステップＳ１０４では、生成装置１０は、端末装置２０の操作イベントを取得する。操作イベントには、イベント種別（マウスクリック、キーボードのキー押下等）、発生時刻、発生時のマウスカーソル位置等が含まれる。
　図１０は、抽出処理の流れの一例を示すフローチャートである。例えば、抽出処理は抽出部１３２によって行われる処理である。
　図１０に示すように、生成装置１０は、取得処理で取得された全てのキャプチャ画像をターゲットとするまで（ステップＳ２０１、Ｎｏ）、ステップＳ２０２からステップＳ２０６を繰り返す。生成装置１０は、全てのキャプチャ画像をターゲットとした場合（ステップＳ２０１、Ｙｅｓ）、処理を終了する。
　ステップＳ２０２では、生成装置１０は、ターゲットとするキャプチャ画像を決定する。
　そして、生成装置１０は、ターゲットとしたキャプチャ画像と、連続して取得されたキャプチャ画像との間に差分があるか否かを判定する（ステップＳ２０３）。生成装置１０は、差分がないと判定した場合（ステップＳ２０３、Ｎｏ）、ステップＳ２０１に戻る。
　生成装置１０は、差分があると判定した場合（ステップＳ２０３、Ｙｅｓ）、キャプチャ画像から画面の差分を画像（差分画像）として生成する（ステップＳ２０４）。
　続いて、生成装置１０は、差分画像を基に、画像から変化が発生している部分を切り出す（ステップＳ２０５）。そして、生成装置１０は、収集したキャプチャ画像の中で切り出した差分と一致する変化があるか比較し、記録する（ステップＳ２０６）。
　図１１は、抽出処理の流れの一例を示すフローチャートである。例えば、抽出処理は抽出部１３２によって行われる処理である。
　図１１に示すように、生成装置１０は、取得処理で取得された全てのキャプチャ画像をターゲットとするまで（ステップＳ３０１、Ｎｏ）、ステップＳ３０２からステップＳ３０６を繰り返す。生成装置１０は、全てのキャプチャ画像をターゲットとした場合（ステップＳ３０１、Ｙｅｓ）、処理を終了する。
　ステップＳ３０２では、生成装置１０は、ターゲットとするキャプチャ画像を決定する。
　そして、生成装置１０は、ターゲットとしたキャプチャ画像について、差分が切り出されているか否かを判定する（ステップＳ３０３）。なお、差分の切り出しは図１０に示す処理によって行われる。
　生成装置１０は、差分が切り出されていないと判定した場合（ステップＳ３０３、Ｎｏ）、ステップＳ３０１に戻る。
　生成装置１０は、差分が切り出されていると判定した場合（ステップＳ３０３、Ｙｅｓ）、変化部分の特徴、変化部分とカーソル位置の関係、変化の発生したタイミングの情報を用いて、ターゲットのキャプチャ画像が、操作と関連したキャプチャ画像か否かを判別する（ステップＳ３０４）。
　生成装置１０は、ターゲットのキャプチャ画像が操作と関連したキャプチャ画像でないと判定した場合（ステップＳ３０５、Ｎｏ）、ステップＳ３０１に戻る。
　生成装置１０は、ターゲットのキャプチャ画像が操作と関連したキャプチャ画像であると判定した場合（ステップＳ３０５、Ｙｅｓ）、キャプチャ画像を操作と関連した画像として抽出する（ステップＳ３０６）。
　図１２に示すように、生成装置１０は、取得処理で取得された全ての操作イベントをターゲットとするまで（ステップＳ４０１、Ｎｏ）、ステップＳ４０２からステップＳ４０６を繰り返す。生成装置１０は、全ての操作イベントをターゲットとした場合（ステップＳ４０１、Ｙｅｓ）、処理を終了する。
　ステップＳ４０２では、生成装置１０は、ターゲットとする操作イベントを決定する。
　そして、生成装置１０は、ターゲットとした操作イベントについて、次の操作イベントまでの間に抽出されたキャプチャ画像が存在するか否かを判定する（ステップＳ４０３）。
　生成装置１０は、次の操作イベントまでの間に抽出されたキャプチャ画像が存在しないと判定した場合（ステップＳ４０３、Ｎｏ）、ステップＳ４０１に戻る。
　生成装置１０は、次の操作イベントまでの間に抽出されたキャプチャ画像が存在すると判定した場合（ステップＳ４０３、Ｙｅｓ）、ターゲットの操作イベントと、当該操作イベント発生時刻と最も近い時刻に抽出されたキャプチャ画像を紐づける（ステップＳ４０４）。
　続いて、生成装置１０は、ターゲットの操作イベント次の操作イベントまでの間にキャプチャ画像が２枚以上存在するか否かを判定する（ステップＳ４０５）。
　生成装置１０は、ターゲットの操作イベント次の操作イベントまでの間にキャプチャ画像が２枚以上存在しないと判定した場合（ステップＳ４０５、Ｎｏ）、ステップＳ４０１に戻る。
　生成装置１０は、ターゲットの操作イベント次の操作イベントまでの間にキャプチャ画像が２枚以上存在すると判定した場合（ステップＳ４０５、Ｙｅｓ）、キャプチャ画像に対応する操作（疑似的に生成した操作イベント）を操作ログに追加する（ステップＳ４０６）。
［第１の実施形態の効果］
　これまで説明してきたように、生成装置１０は、取得部１３１、抽出部１３２及び生成部１３３を有する。取得部１３１は、端末装置２０の画面に対する操作に応じて発生する複数の操作イベントと、画面の複数のキャプチャ画像と、を取得する。抽出部１３２は、複数のキャプチャ画像のうち、操作と関連することを示す条件を満たすキャプチャ画像を抽出する。生成部１３３は、抽出部１３２によって抽出されたキャプチャ画像と、複数の操作イベントのうちキャプチャ画像に対応する操作イベントと、を対応付けた操作ログを生成する。
　これにより、生成装置１０は、操作ログの生成を自動的かつ高精度に行うことができる。その結果、実施形態によれば、高品質な操作ログを生成することができる。
［システム構成等］
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散及び統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ（Central　Processing　Unit）及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。なお、プログラムは、ＣＰＵだけでなく、ＧＰＵ等の他のプロセッサによって実行されてもよい。
　また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
［プログラム］
　一実施形態として、生成装置１０は、パッケージソフトウェアやオンラインソフトウェアとして上記の生成処理を実行する生成プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の生成プログラムを情報処理装置に実行させることにより、情報処理装置を生成装置１０として機能させることができる。ここで言う情報処理装置には、デスクトップ型又はノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal　Handyphone　System）等の移動体通信端末、さらには、ＰＤＡ（Personal　Digital　Assistant）等のスレート端末等がその範疇に含まれる。
　また、生成装置１０は、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の生成処理に関するサービスを提供する生成サーバ装置として実装することもできる。例えば、生成サーバ装置は、端末装置の操作イベントとキャプチャ画像を入力とし、生成した操作ログを出力とする生成サービスを提供するサーバ装置として実装される。この場合、生成サーバ装置は、Ｗｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の生成処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。
　図１３は、生成プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。
　メモリ１０１０は、ＲＯＭ（Read　Only　Memory）１０１１及びＲＡＭ（Random　Access　Memory）１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。
　ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、生成装置１０の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、生成装置１０における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid　State　Drive）により代替されてもよい。
　また、上述した実施形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０は、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した実施形態の処理を実行する。
　なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
　１０　生成装置
　１１　通信部
　１２　記憶部
　１３　制御部
　２０　端末装置
　１２１　操作ログ情報
　１２２　学習情報
　１３１　取得部
　１３２　抽出部
　１３３　生成部

Claims (8)

  1. 　端末装置の画面に対する操作に応じて発生する複数の操作イベントと、前記画面の複数のキャプチャ画像と、を取得する取得部と、
    　前記複数のキャプチャ画像のうち、前記操作と関連することを示す条件を満たすキャプチャ画像を抽出する抽出部と、
    　前記抽出部によって抽出されたキャプチャ画像と、前記複数の操作イベントのうち前記キャプチャ画像に対応する操作イベントと、を対応付けた操作ログを生成する生成部と、
    　を有することを特徴とする生成装置。
  2. 　前記抽出部は、前記複数のキャプチャ画像のうち、時間の経過による前記画面の変化が現れている部分の特徴が条件を満たすキャプチャ画像を抽出することを特徴とする請求項１に記載の生成装置。
  3. 　前記抽出部は、前記複数のキャプチャ画像のうち、時間の経過による前記画面の変化が現れている部分の位置とカーソルが示されている位置との距離が閾値以上であるキャプチャ画像を抽出することを特徴とする請求項１に記載の生成装置。
  4. 　前記抽出部は、前記複数のキャプチャ画像のうち、時間の経過による前記画面の変化が現れているキャプチャ画像であって、取得された時刻と最も近い操作イベントの発生時刻との差が閾値以下であるキャプチャ画像を抽出することを特徴とする請求項１に記載の生成装置。
  5. 　前記抽出部は、第１のキャプチャ画像と、前記第１のキャプチャ画像より後に取得され、前記第１のキャプチャ画像の取得時刻以降に、前記画面の変化が初めて現れた第２のキャプチャ画像と、を抽出し、
    　前記生成部は、前記第１のキャプチャ画像の取得時刻と前記第２のキャプチャ画像の取得時刻との間に発生した複数の操作イベントのうち、発生時刻が最も後である操作イベント以外の操作イベントを、前記操作ログから除外することを特徴とする請求項１に記載の生成装置。
  6. 　前記抽出部は、第１のキャプチャ画像と、前記第１のキャプチャ画像より後に取得され、前記第１のキャプチャ画像の取得時刻以降に、前記画面の変化が初めて現れた第２のキャプチャ画像と、を抽出し、
    　前記生成部は、前記第１のキャプチャ画像の取得時刻と前記第２のキャプチャ画像の取得時刻との間に発生した操作イベントが存在しない場合、発生時刻が前記第１のキャプチャ画像の取得時刻と前記第２のキャプチャ画像の取得時刻との間である操作イベントを疑似的に生成し、前記操作ログに追加することを特徴とする請求項１に記載の生成装置。
  7. 　生成装置によって実行される生成方法であって、
    　端末装置の画面に対する操作に応じて発生する複数の操作イベントと、前記画面の複数のキャプチャ画像と、を取得する取得工程と、
    　前記複数のキャプチャ画像のうち、前記操作と関連することを示す条件を満たすキャプチャ画像を抽出する抽出工程と、
    　前記抽出工程によって抽出されたキャプチャ画像と、前記複数の操作イベントのうち前記キャプチャ画像に対応する操作イベントと、を対応付けた操作ログを生成する生成工程と、
    　を含むことを特徴とする生成方法。
  8. 　端末装置の画面に対する操作に応じて発生する複数の操作イベントと、前記画面の複数のキャプチャ画像と、を取得する取得ステップと、
    　前記複数のキャプチャ画像のうち、前記操作と関連することを示す条件を満たすキャプチャ画像を抽出する抽出ステップと、
    　前記抽出ステップによって抽出されたキャプチャ画像と、前記複数の操作イベントのうち前記キャプチャ画像に対応する操作イベントと、を対応付けた操作ログを生成する生成ステップと、
    　をコンピュータに実行させることを特徴とする生成プログラム。
PCT/JP2022/023374 2022-06-09 2022-06-09 生成装置、生成方法及び生成プログラム WO2023238356A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/023374 WO2023238356A1 (ja) 2022-06-09 2022-06-09 生成装置、生成方法及び生成プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/023374 WO2023238356A1 (ja) 2022-06-09 2022-06-09 生成装置、生成方法及び生成プログラム

Publications (1)

Publication Number Publication Date
WO2023238356A1 true WO2023238356A1 (ja) 2023-12-14

Family

ID=89117810

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/023374 WO2023238356A1 (ja) 2022-06-09 2022-06-09 生成装置、生成方法及び生成プログラム

Country Status (1)

Country Link
WO (1) WO2023238356A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014067262A (ja) * 2012-09-26 2014-04-17 Sumitomo Chemical Co Ltd アラーム設定の最適化支援装置および最適化支援プログラム
JP2015049520A (ja) * 2013-08-29 2015-03-16 富士通株式会社 シナリオ生成プログラム、シナリオ実行プログラム、シナリオ生成方法、シナリオ実行方法、シナリオ生成装置、及びシナリオ実行装置
WO2016051479A1 (ja) * 2014-09-29 2016-04-07 株式会社日立製作所 画面仕様分析装置及び方法
WO2021140594A1 (ja) * 2020-01-08 2021-07-15 日本電信電話株式会社 操作ログ取得装置および操作ログ取得方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014067262A (ja) * 2012-09-26 2014-04-17 Sumitomo Chemical Co Ltd アラーム設定の最適化支援装置および最適化支援プログラム
JP2015049520A (ja) * 2013-08-29 2015-03-16 富士通株式会社 シナリオ生成プログラム、シナリオ実行プログラム、シナリオ生成方法、シナリオ実行方法、シナリオ生成装置、及びシナリオ実行装置
WO2016051479A1 (ja) * 2014-09-29 2016-04-07 株式会社日立製作所 画面仕様分析装置及び方法
WO2021140594A1 (ja) * 2020-01-08 2021-07-15 日本電信電話株式会社 操作ログ取得装置および操作ログ取得方法

Similar Documents

Publication Publication Date Title
US9256969B2 (en) Transformation function insertion for dynamically displayed tracer data
US9323863B2 (en) Highlighting of time series data on force directed graph
CN110347716B (zh) 日志数据处理方法、装置、终端设备及存储介质
CN111582477B (zh) 神经网络模型的训练方法和装置
CN107977469B (zh) 对最近使用文件进行管理的方法、装置及终端
JP2008293486A (ja) ソースコード解析機器、解析プログラムおよび解析方法
KR20140126702A (ko) 관련 문서들에 대한 확장 활성화 기법
US11762720B2 (en) Information processing apparatus and non-transitory computer-readable storage medium for storing API use history display program
CN114706867A (zh) 数据同步方法、装置、电子设备及存储介质
WO2023238356A1 (ja) 生成装置、生成方法及び生成プログラム
WO2020209227A1 (ja) 解析装置、解析方法、及びプログラム
US11423230B2 (en) Process extraction apparatus and non-transitory computer readable medium
CN111581518A (zh) 信息推送方法和装置
US11061664B2 (en) Code management system and code management method
CN103713987A (zh) 基于关键词的日志处理
CN108960433B (zh) 用于运行机器学习建模过程的方法及系统
WO2023238357A1 (ja) 特定装置、特定方法及び特定プログラム
WO2023105696A1 (ja) 情報付与装置、情報付与方法及び情報付与プログラム
Murtuza et al. A tool for extracting static and volatile forensic artifacts of Windows 8. x apps
JP2017117068A (ja) 情報処理装置、情報処理方法、及びプログラム
US20180336232A1 (en) Analysis system, analysis method, and computer-readable recording medium
JPWO2020065778A1 (ja) 情報処理装置、制御方法、及びプログラム
CN114970479B (zh) 图表生成方法及装置
CN115859278B (zh) 软件操作行为审计方法、系统、设备及存储介质
US20220414070A1 (en) Tracking data lineage and applying data removal to enforce data removal policies

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22945857

Country of ref document: EP

Kind code of ref document: A1