WO2022168331A1 - 操作ログ生成装置および操作ログ生成方法 - Google Patents

操作ログ生成装置および操作ログ生成方法 Download PDF

Info

Publication number
WO2022168331A1
WO2022168331A1 PCT/JP2021/004679 JP2021004679W WO2022168331A1 WO 2022168331 A1 WO2022168331 A1 WO 2022168331A1 JP 2021004679 W JP2021004679 W JP 2021004679W WO 2022168331 A1 WO2022168331 A1 WO 2022168331A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
unit
operation event
operation log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/004679
Other languages
English (en)
French (fr)
Inventor
公雄 土川
史拓 横瀬
美沙 深井
有記 卜部
佐也香 八木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2021/004679 priority Critical patent/WO2022168331A1/ja
Priority to US18/276,196 priority patent/US20240096055A1/en
Priority to JP2022579314A priority patent/JP7517481B2/ja
Publication of WO2022168331A1 publication Critical patent/WO2022168331A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video

Definitions

  • the present invention relates to an operation log generation device and an operation log generation method.
  • the application is not installed on the terminal where the user actually operates (hereinafter referred to as the client terminal), but the application is installed on another terminal (server) connected to the client terminal, and the client terminal An operation screen provided by the application is displayed as an image, and the user operates the application on the server side through the displayed image.
  • the operation screen is displayed as an image on the terminal where the user actually operates, it is impossible to acquire the attribute values of the GUI components described above from the client terminal.
  • the present invention has been made in view of the above, and is intended to universally specify the type of operation required to generate an operation log for operations performed on a GUI application regardless of the execution environment of the target application. aim.
  • an operation log generation device includes an acquisition unit that detects a user's operation event and acquires the position where the operation event occurs in the captured image of the operation screen.
  • a specifying unit that specifies an image at a position where the operation event occurs from among the images that are candidates for the GUI component extracted from the captured image, and records the image and the operation event in association with each other;
  • a classifying unit that classifies a set of images into clusters according to the degree of similarity between the images; and a generating unit that generates an operation log using an image corresponding to the operation event in each classified cluster. It is characterized by
  • FIG. 1 is a schematic diagram illustrating a schematic configuration of an operation log generation device according to this embodiment.
  • FIG. 2 is a diagram for explaining the processing of the specifying unit;
  • FIG. 3 is a diagram for explaining the processing of the specifying unit;
  • FIG. 4 is a diagram for explaining the processing of the specifying unit;
  • FIG. 5 is a flow chart showing an operation log generation processing procedure.
  • FIG. 6 is a diagram illustrating an example of a computer that executes an operation log generation program;
  • FIG. 1 is a schematic diagram illustrating a schematic configuration of an operation log generation device according to this embodiment.
  • the operation log generation device 10 of this embodiment is realized by a general-purpose computer such as a personal computer or a workstation, and includes an input unit 11, an output unit 12, a communication control unit 13, a storage unit 14, and a control unit. 15.
  • the input unit 11 is implemented using input devices such as a keyboard and a mouse, and inputs various instruction information such as processing start to the control unit 15 in response to input operations by the operator.
  • the output unit 12 is implemented by a display device such as a liquid crystal display, a printing device such as a printer, or the like. For example, the output unit 12 displays the result of operation log generation processing, which will be described later.
  • the communication control unit 13 is realized by a NIC (Network Interface Card) or the like, and controls communication between an external device and the control unit 15 via an electrical communication line such as a LAN (Local Area Network) or the Internet.
  • the communication control unit 13 controls communication between a terminal or the like operated by the user and the control unit 15 .
  • this terminal may be implemented in the same hardware as the operation log generation device 10 .
  • the storage unit 14 is implemented by semiconductor memory devices such as RAM (Random Access Memory) and flash memory, or storage devices such as hard disks and optical disks.
  • the storage unit 14 pre-stores a processing program that causes the operation log generation device 10 to operate, data that is used during execution of the processing program, or the like, or temporarily stores the data each time processing is performed.
  • the storage unit 14 also stores an operation log 14a that is the result of operation log generation processing, which will be described later. Note that the storage unit 14 may be configured to communicate with the control unit 15 via the communication control unit 13 .
  • the control unit 15 is implemented using a CPU (Central Processing Unit) or the like, and executes a processing program stored in memory. Thereby, the control unit 15 functions as an acquisition unit 15a, an identification unit 15b, a classification unit 15c, and a generation unit 15d, as illustrated in FIG. Note that these functional units may be implemented in different hardware, respectively or partially. Also, the control unit 15 may include other functional units.
  • a CPU Central Processing Unit
  • the acquisition unit 15a detects a user's operation event such as a user's mouse click or keyboard input, and acquires the occurrence position of the operation event in the captured image of the operation screen. Specifically, the acquiring unit 15a periodically acquires a captured image of the user's operation screen. It also monitors the occurrence of operation events.
  • a user's operation event such as a user's mouse click or keyboard input
  • the acquisition unit 15a compares the captured images of the operation screen immediately before and after the operation event. Then, when a change occurs in the captured image, the acquisition unit 15a acquires the position where the change occurs as the occurrence position of the operation event on the operation screen. Thereby, the acquisition unit 15a can acquire the occurrence position of the operation event that has occurred with respect to the operable GUI component.
  • the acquisition unit 15a has a function of detecting the occurrence of an operation event such as a keyboard input or a mouse click, and when an operation event is detected, captures the operation event occurrence time, the operation event occurrence position, and the operation screen immediately before the operation event occurs. It has a function of notifying the specifying unit 15b, which will be described later, of the image.
  • a captured image of the operation screen immediately before the operation event occurs can be obtained, for example, by periodically acquiring an image capture and comparing it with the event occurrence time.
  • the acquisition unit 15a can detect the occurrence of an operation event by using a global hook in the case of Windows (registered trademark) OS, for example. Similarly, the acquisition unit 15a can acquire the event occurrence position by a global hook, for example, if it is a mouse click.
  • the acquisition unit 15a acquires the position where the operation event has occurred.
  • keyboard input since keyboard input usually involves the input of a character string, it is possible to specify the position where the operation event occurs by comparing captured images before and after the occurrence of the operation event. Accordingly, the acquisition unit 15a can reliably detect an operation event that causes a change in the screen. It should be noted that the change occurs not at one point, but over a wide area, but any coordinates included there can be used.
  • Keyboard input includes operations that do not involve input, such as the Tab key, direction keys, and shift keys, but since these are often meaningless in analysis, they are ignored in this embodiment.
  • the acquisition unit 15a may acquire and record information about the type of operation event (mouse click, keyboard input).
  • the acquisition unit 15a may compare the captured image of the entire operation screen, or compare the image around the position where the operation event occurs. You may
  • the specifying unit 15b specifies the image at the position where the operation event occurs among the images that are candidates for the GUI component extracted from the captured image by the process described later, and records the image and the operation event in association with each other. Specifically, the specifying unit 15b extracts an image that is a candidate for a GUI component from the acquired captured image immediately before the occurrence of the operation event, and determines on which image the operation event occurred from the position of occurrence of the operation event. is identified, and operation event information including the position, time and type of operation event occurrence and the image are recorded in association with each other.
  • the specifying unit 15b extracts an image that is a candidate for a GUI component of a predetermined format from the acquired captured image using the features of the image.
  • the specifying unit 15b uses OpenCV (Open Source Computer Vision Library) or the like to specify edges of GUI parts by using as a feature the difference in color between the area occupied by each GUI part and the other area.
  • the identifying unit 15b cuts out a circumscribing rectangle including the edge using the identified edge as a contour, thereby cutting out an image that is a GUI component candidate from the operation image.
  • the specifying unit 15b extracts an image that is a candidate for a GUI component by cutting out an image of a predetermined format from the captured image and images around the image.
  • FIGS. 3(a) to 3(c) illustrate a case where the identification unit 15b extracts images that are candidates for GUI parts from the captured images on the operation screen shown in FIG. 2, and associates them with operation events.
  • FIG. 3A an image cut out as an image is exemplified as surrounded by a dashed line.
  • FIG. 3B illustrates a case of extracting an image of a text box that can be an image to be operated.
  • the specifying unit 15b can distinguish between different text boxes on the same operation screen by cutting out an image including an image around the text box.
  • FIG. 3B illustrates a case where the identification unit 15b extracts images that are candidates for GUI parts from the captured images on the operation screen shown in FIG. 2, and associates them with operation events.
  • FIG. 3A an image cut out as an image is exemplified as surrounded by a dashed line.
  • FIG. 3B illustrates a case of extracting an image of a text box that can be an image to be operated.
  • a text box for entering a name and a text box for entering an address are created by clipping an image so as to include character images around the specified text box. It is possible to distinguish between Further, by determining the similarity excluding the common area, the classification unit 15c, which will be described later, can perform classification with higher accuracy.
  • the specifying unit 15b specifies an image including the position of occurrence of the operation event from among the extracted images, and extracts the specified image, the position of occurrence of the operation event, the time of occurrence of the operation event, and the type of the operation event. information in association with each other and stored in the storage unit 14 .
  • the specifying unit 15b specifies the innermost image among the images including the operation event occurrence position. do. Note that the specifying unit 15b may specify the outermost image among the images including the position where the operation event occurs. That is, the identifying unit 15b only needs to identify one image for each operation event.
  • FIG. 4(a) illustrates images (images 1 to 3) cut out from FIG. 3(c).
  • FIGS. 4B and 4C exemplify the positions of occurrence of operation events regarded as operations on each image.
  • FIG. 4B exemplifies the position of occurrence of an operation event regarded as an operation on image 2 when specifying the outermost image.
  • the identifying unit 15b may associate the identified image, the position of occurrence, the type of the operation event, and the time of occurrence, and transfer them to the classifying unit 15c described below without storing them in the storage unit 14. .
  • the classification unit 15c classifies the set of recorded images into clusters according to the degree of similarity between the images.
  • the purpose of this processing is to classify the same operation type into the same cluster for the operations performed on the GUI.
  • the classification unit 15c classifies the images according to the degree of similarity of the display position of each image in the captured image of the operation screen.
  • images representing GUI parts displayed at the same position on the operation screen are classified into the same cluster.
  • the configuration of the operation screen is fixed, all GUI parts are always displayed in the same position. Therefore, images extracted from GUI parts of the same operation event are classified into the same cluster, that is, the same operation type. It becomes possible to
  • the classification unit 15c classifies the images according to the degree of similarity between the images. As a result, images obtained by cutting out GUI parts of the same operation event are classified into the same cluster.
  • the configuration of the operation screen changes dynamically, the display position of each GUI component changes, so images cannot be classified based on the similarity of display positions. Therefore, since the GUI parts for the same operation event are the same image, the images are classified by using the degree of similarity on the image. For image similarity determination, similarity determination using, for example, pattern matching and various feature amounts/feature points is possible.
  • the classification unit 15c assigns cluster IDs that identify each cluster to the classified clusters. That is, the cluster ID corresponds to the operation type.
  • the generation unit 15d generates the operation log 14a using the image corresponding to the operation event of each classified cluster. Specifically, for each operation event, the generation unit 15d records the cluster image in association with the cluster ID and the operation event occurrence time, generates the operation log 14a, and stores the generated operation log 14a in the storage unit 14. Memorize. Further, the generation unit 15d may generate the operation log 14a by associating the operation event type with the image.
  • the classifying unit 15c adds an arbitrary character string to the images included in the cluster for each cluster so that the analyst can distinguish the images included in the cluster. , and the flow may be generated using that string. Also, the classification unit 15c can extract a characteristic character string from the images included in the cluster by OCR and assign it as a label.
  • FIG. 5 is a flowchart showing an operation log generation processing procedure.
  • the flowchart of FIG. 5 is started, for example, at the timing when the user performs an operation input instructing the start.
  • the acquisition unit 15a periodically acquires a captured image of the user's operation screen (step S1). Further, when the acquisition unit 15a detects a user operation event, the acquisition unit 15a compares the captured images of the operation screen immediately before and after the operation event. (step S2).
  • the specifying unit 15b specifies an image at the position where the operation event occurs, among the images that are candidates for the GUI component extracted from the captured image (step S3), and records the image and the operation event in association with each other. do.
  • the identifying unit 15b identifies an image that is a candidate for a GUI component of a predetermined format from the captured image using features on the image, and cuts out the identified image from the captured image.
  • an image including the operation event occurrence position is specified from among the extracted images, and the specified image is associated with operation event information including the operation event occurrence position, the operation event occurrence time, and the operation event type. is stored in the storage unit 14.
  • the classification unit 15c classifies the set of recorded images into clusters according to the degree of similarity between the images (step S4). For example, the classification unit 15c classifies the images according to the degree of similarity of the display position of each image in the captured image. Alternatively, the classification unit 15c classifies the images according to the image similarity of each image.
  • the generation unit 15d generates an operation log using images corresponding to operation events of each cluster (step S5). For example, the generation unit 15d records the images included in each classified cluster in association with the cluster ID and the operation event occurrence time, and generates the operation log 14a. Further, the generation unit 15d causes the storage unit 14 to store the generated operation log 14a. Alternatively, the generation unit 15d outputs the operation log 14a to a device that creates an operation flow, for example. This completes a series of operation log generation processing.
  • the acquisition unit 15a detects a user's operation event and acquires the occurrence position of the operation event in the captured image of the operation screen.
  • the identifying unit 15b identifies the image at the position where the operation event occurs among the images that are candidates for the GUI component extracted from the captured image, and records the image and the operation event in association with each other.
  • the classification unit 15c classifies the set of recorded images into clusters according to the degree of similarity between the images.
  • the generating unit 15d generates the operation log 14a using the images corresponding to the classified operation events of each cluster.
  • the operation log generation device 10 can easily and automatically acquire the operation log 14a of the application, regardless of the type of GUI application, without preparing training data in advance or specifying conditions. It becomes possible.
  • the operation log generation device 10 can extract only operation events performed on operable GUI components.
  • the acquisition unit 15a acquires the occurrence position of the operation event. Accordingly, the acquisition unit 15a can reliably detect an operation event that causes a change in the screen, and extract only an operation event that has occurred with respect to an operable GUI component.
  • the classification unit 15c classifies the images according to the degree of similarity of the display position of each image in the captured image.
  • the operation log generation device 10 can classify images obtained by cutting out the same GUI component into the same cluster when the configuration of the operation screen does not change dynamically.
  • the classification unit 15c classifies the images according to the degree of similarity between the images.
  • the operation log generation device 10 can classify the cut-out images of the same GUI component into the same cluster when the configuration of the creation screen dynamically changes.
  • the specifying unit 15b extracts an image that is a candidate for a GUI component by cutting out an image in a predetermined format from the captured image and images around the image.
  • the operation log generation device 10 can be implemented by installing an operation log generation program for executing the operation log generation process as package software or online software in a desired computer.
  • the information processing device can function as the operation log generation device 10 by causing the information processing device to execute the operation log generation program.
  • the information processing apparatus referred to here includes a desktop or notebook personal computer.
  • information processing devices include smart phones, mobile communication terminals such as mobile phones and PHSs (Personal Handyphone Systems), and slate terminals such as PDAs (Personal Digital Assistants).
  • the functions of the operation log generation device 10 may be implemented in a cloud server.
  • FIG. 6 is a diagram showing an example of a computer that executes an operation log generation program.
  • Computer 1000 includes, for example, memory 1010 , CPU 1020 , hard disk drive interface 1030 , disk drive interface 1040 , serial port interface 1050 , video adapter 1060 and network interface 1070 . These units are connected by a bus 1080 .
  • the memory 1010 includes a ROM (Read Only Memory) 1011 and a RAM 1012 .
  • the ROM 1011 stores a boot program such as BIOS (Basic Input Output System).
  • BIOS Basic Input Output System
  • Hard disk drive interface 1030 is connected to hard disk drive 1031 .
  • Disk drive interface 1040 is connected to disk drive 1041 .
  • a removable storage medium such as a magnetic disk or an optical disk is inserted into the disk drive 1041, for example.
  • a mouse 1051 and a keyboard 1052 are connected to the serial port interface 1050, for example.
  • a display 1061 is connected to the video adapter 1060 .
  • the hard disk drive 1031 stores an OS 1091, application programs 1092, program modules 1093 and program data 1094, for example. Each piece of information described in the above embodiment is stored in the hard disk drive 1031 or the memory 1010, for example.
  • the operation log generation program is stored in the hard disk drive 1031 as a program module 1093 that describes commands to be executed by the computer 1000, for example.
  • the hard disk drive 1031 stores a program module 1093 that describes each process executed by the operation log generation device 10 described in the above embodiment.
  • Data used for information processing by the operation log generation program is stored as program data 1094 in the hard disk drive 1031, for example. Then, the CPU 1020 reads out the program module 1093 and the program data 1094 stored in the hard disk drive 1031 to the RAM 1012 as necessary, and executes each procedure described above.
  • program module 1093 and program data 1094 related to the operation log generation program are not limited to being stored in the hard disk drive 1031.
  • they may be stored in a removable storage medium and processed by the CPU 1020 via the disk drive 1041 or the like. may be read out.
  • the program module 1093 and program data 1094 related to the operation log generation program are stored in another computer connected via a network such as a LAN or WAN (Wide Area Network), and read by the CPU 1020 via the network interface 1070. may be issued.
  • a network such as a LAN or WAN (Wide Area Network)
  • operation log generation device 11 input unit 12 output unit 13 communication control unit 14 storage unit 14a operation log 15 control unit 15a acquisition unit 15b identification unit 15c classification unit 15d generation unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Debugging And Monitoring (AREA)

Abstract

取得部（１５ａ）が、ユーザの操作イベントを検知して、操作画面のキャプチャ画像における該操作イベントの発生位置を取得する。特定部（１５ｂ）が、キャプチャ画像から抽出したＧＵＩ部品の候補となる画像のうち、操作イベントの発生位置の画像を特定し、該画像と該操作イベントとを対応付けて記録する。分類部（１５ｃ）が、記録された画像の集合を、画像間の類似度に応じてクラスタに分類する。生成部（１５ｄ）が、分類された各クラスタの操作イベントに対応する画像を用いて、操作ログを生成する。

Description

操作ログ生成装置および操作ログ生成方法
　本発明は、操作ログ生成装置および操作ログ生成方法に関する。
　業務分析において、操作手順をフローチャート形式で表示する方法が有効である。サービスや商品を顧客に提供する業務を考えた場合、同一サービス・商品を提供するためのシステムの操作手順はサービスや商品ごとに決められており、それはマニュアルなどで操作者に共有されている。
　また、初心者に対しては、研修や熟練者による指導により操作手順は教え込まれるので、同一商品・サービスを処理する手順は、同じ操作手順となるはずである。しかし、現実には、顧客が注文後に注文内容を変更する、商品が欠品となる、操作者の操作誤りなど、当初に想定しなかった様々なイレギュラーな事象が発生するのが通常であり、これらのイレギュラーな事象に予めすべての操作手順を規定しておくことは現実的ではないし、仮に規定できたとしても、操作者が全ての操作パターンを覚えて適切に手順を選択するのは困難である。
　このため、実際には、同一商品・サービスであっても注文ごとに操作手順は様々であることが一般的である。業務改善を目的とした業務実態の把握においては、これらイレギュラーな事象も含めて全ての操作パターンを網羅的に把握することが重要である。なぜなら、イレギュラー事象は手順が明確化されていないため、進め方を調べたりあるいは業務の責任者に進め方を確認する必要があったり、操作手順に誤りが発生する可能性が高く、通常の操作パターンよりも時間がかかることが多いからである。
　このような状況において、操作手順をフローチャート形式で表示する方法が有効である。例えば、各注文に対して、操作者の操作時刻、操作の種類（以下、操作種別）、注文を特定する情報（以下、注文ＩＤ）を記録した操作ログを入力として、注文ごとに操作手順を並べて、それらを重ね合わせてフロー表示することで、注文ごとの操作手順の違いを明確化する仕組みが提案されている。
　また、分析者が見たい粒度で操作ログを取得する仕組みとして、例えば、ＧＵＩアプリケーションの操作画面を対象に、イベントの発生時に、操作画面を構成するＧＵＩ部品の属性値を取得し、イベントの発生前後での変更箇所を発見する技術が知られている。これにより、属性値の変更を生じたイベント、つまり業務上意味のある操作イベントのみ抽出すると同時に操作箇所を特定することができる。
　しかし、実際の業務においては、メール、Ｗｅｂ、業務システム、Ｗｏｒｄ、Ｅｘｃｅｌ、スケジューラなど多様なアプリケーションを利用しながら業務を進めることが一般的であり、これら全てのアプリケーションの実行環境に応じたＧＵＩ部品の属性値の取得及び変更箇所を特定する仕組みを開発する必要があるが、実際には非常にコストが高く現実的ではない。仮に対象のアプリケーションについて開発しても、対象の実行環境にバージョンアップに伴う仕様変更が発生すると、それにあわせた改造が必要となる。また、近年、コンピュータ資源の有効活用やセキュリティ対策を目的に、企業内ではシンクライアント環境が普及している。これは実際にユーザが操作を行う端末（以下、クライアント端末）にはアプリケーションがインストールされておらず、クライアント端末と接続された別の端末（サーバ）にアプリケーションがインストールされていて、クライアント端末にはアプリケーションが提供する操作画面が画像として表示され、ユーザはその表示された画像を通してサーバ側のアプリケーションを操作するものである。この場合、実際にユーザが操作を行う端末には、操作画面が画像として表示されるため、クライアント端末から上記記載のＧＵＩ部品の属性値を取得することは不可能である。
　また、キーボード入力、マウスクリックのイベントを活用して操作ログを取得する仕組みが提案されている。これは、マウスクリック、キーボードのエンターキー入力のイベントをトリガーにして各タスクに事前に指定された条件を満たすイベントのみを操作ログとして記録するものである。この仕組みを用いることで、分析に不要なイベントを省きつつ、分析者が必要なイベントのみ抽出することができる。
特開２０１５－１５３２１０号公報
　しかしながら、従来の技術では、アプリケーションの操作ログの取得は容易ではない。例えば、実際の業務は、一般に多様なアプリケーションを利用しながら進めてられており、膨大な数のアプリケーションに対して操作ログを取得する仕組みを作りこむことは現実的とは言えない。また、従来の技術では、事前に条件を指定する必要があるため、煩雑であるという問題がある。
　これらの問題を鑑み、ＧＵＩアプリケーションの実行環境によらず、汎用的に操作フローを再現するのに必要な操作ログを取得する方法として、ユーザが端末を操作するタイミングに合わせて、操作画面のキャプチャ画像を取得し、画像上の特徴を用いてＧＵＩ部品の候補となる画像を抽出し、イベントの発生位置から操作対象のＧＵＩ部品を特定し、それを入力として、操作フローを再現する手法も考えられる。この場合、操作画面には操作可能なＧＵＩ部品に加えて、操作できないＧＵＩ部品も存在するので、これらを区別し、操作可能なＧＵＩ部品の画像のみを抽出しなければならないという課題がある。
　本発明は、上記に鑑みてなされたものであって、ＧＵＩアプリケーション上で行われた操作について操作ログの生成に必要な操作種別を対象のアプリケーションの実行環境によらず汎用的に特定することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る操作ログ生成装置は、ユーザの操作イベントを検知して、操作画面のキャプチャ画像における該操作イベントの発生位置を取得する取得部と、前記キャプチャ画像から抽出したＧＵＩ部品の候補となる画像のうち、前記操作イベントの発生位置の画像を特定し、該画像と該操作イベントとを対応付けて記録する特定部と、記録された画像の集合を、前記画像間の類似度に応じてクラスタに分類する分類部と、分類された各クラスタの前記操作イベントに対応する画像を用いて、操作ログを生成する生成部と、を有することを特徴とする。
　本発明によれば、ＧＵＩアプリケーションの操作ログを対象のアプリケーションの実行環境によらず汎用的に取得することが可能となる。
図１は、本実施形態の操作ログ生成装置の概略構成を例示する模式図である。 図２は、特定部の処理を説明するための図である。 図３は、特定部の処理を説明するための図である。 図４は、特定部の処理を説明するための図である。 図５は、操作ログ生成処理手順を示すフローチャートである。 図６は、操作ログ生成プログラムを実行するコンピュータの一例を示す図である。
　以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
［操作ログ生成装置の構成］
　図１は、本実施形態の操作ログ生成装置の概略構成を例示する模式図である。図１に示すように、本実施形態の操作ログ生成装置１０は、パソコンやワークステーション等の汎用コンピュータで実現され、入力部１１、出力部１２、通信制御部１３、記憶部１４、および制御部１５を備える。
　入力部１１は、キーボードやマウス等の入力デバイスを用いて実現され、操作者による入力操作に対応して、制御部１５に対して処理開始などの各種指示情報を入力する。出力部１２は、液晶ディスプレイなどの表示装置、プリンター等の印刷装置等によって実現される。例えば、出力部１２には、後述する操作ログ生成処理の結果が表示される。
　通信制御部１３は、ＮＩＣ（Network　Interface　Card）等で実現され、ＬＡＮ（Local　Area　Network）やインターネットなどの電気通信回線を介した外部の装置と制御部１５との通信を制御する。例えば、通信制御部１３は、ユーザが操作する端末等と制御部１５との通信を制御する。なお、この端末は、操作ログ生成装置１０と同一のハードウェアに実装されてもよい。
　記憶部１４は、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１４には、操作ログ生成装置１０を動作させる処理プログラムや、処理プログラムの実行中に使用されるデータなどが予め記憶され、あるいは処理の都度一時的に記憶される。また、記憶部１４は、後述する操作ログ生成処理の結果である操作ログ１４ａを記憶する。なお、記憶部１４は、通信制御部１３を介して制御部１５と通信する構成でもよい。
　制御部１５は、ＣＰＵ（Central　Processing　Unit）等を用いて実現され、メモリに記憶された処理プログラムを実行する。これにより、制御部１５は、図１に例示するように、取得部１５ａ、特定部１５ｂ、分類部１５ｃおよび生成部１５ｄとして機能する。なお、これらの機能部は、それぞれ、あるいは一部が異なるハードウェアに実装されてもよい。また、制御部１５は、その他の機能部を備えてもよい。
　取得部１５ａは、ユーザのマウスクリックやキーボード入力といったユーザの操作イベントを検知して、操作画面のキャプチャ画像における該操作イベントの発生位置を取得する。具体的には、取得部１５ａは、定期的にユーザの操作画面のキャプチャ画像を取得する。また、操作イベントの発生を監視する。
　そして、取得部１５ａは、操作イベントの発生を検知した場合に、当該操作イベントの直前と直後の操作画面のキャプチャ画像を比較する。そして、取得部１５ａは、キャプチャ画像に変化が生じた場合には、変化が生じた位置を該操作イベントの操作画面における発生位置として取得する。これにより、取得部１５ａは、操作可能なＧＵＩ部品に対して発生した操作イベントの発生位置を取得することができる。
　例えば、取得部１５ａは、キーボード入力、マウスクリックの操作イベントの発生を検知する機能と、操作イベントを検知すると、操作イベント発生時刻と、操作イベント発生位置と、操作イベント発生直前の操作画面のキャプチャ画像とを、後述する特定部１５ｂに通知する機能を具備する。操作イベント発生直前の操作画面のキャプチャ画像は、例えば、画像キャプチャを定期的に取得し、イベント発生時刻と比較することで取得可能である。
　取得部１５ａは、操作イベントの発生検知について、例えばＷｉｎｄｏｗｓ（登録商標）ＯＳであればグローバルフックを用いることで実現可能である。同様に、取得部１５ａは、イベント発生位置について、例えばマウスクリックであれば、グローバルフックにより取得可能である。
　加えて、取得部１５ａは、検知した操作イベントの発生前後の操作画面のキャプチャ画像が変化した場合に、該操作イベントの発生位置を取得する。例えばキーボード入力について、通常キーボード入力は文字列の入力を伴うので、操作イベントの発生前後のキャプチャ画像を比較することで、操作イベントの発生位置を特定することが可能である。これにより、取得部１５ａは、確実に画面に変化を生じさせた操作イベントを検知することができる。なお、変化が生じるのは一点ではなく面的な広がりを持つが、そこに含まれる座標であればどこでもよい。また、キーボード入力には、Ｔａｂキー、方向キー、シフトキー等の入力を伴わない操作も存在するが、これらは分析において意味を持たないことが多いので、本実施形態においては無視するものとする。
　また、取得部１５ａは、操作イベントの種別（マウスクリック、キーボード入力）に関する情報を取得し、記録してもよい。
　また、取得部１５ａは、操作イベントの前後での操作画面上の画像変化を検出する際に、操作画面全体のキャプチャ画像を比較してもよいし、操作イベントの発生位置の周辺の画像を比較してもよい。
　特定部１５ｂは、後述する処理によりキャプチャ画像から抽出したＧＵＩ部品の候補となる画像のうち、操作イベントの発生位置の画像を特定し、該画像と該操作イベントとを対応付けて記録する。具体的には、特定部１５ｂは、取得された操作イベント発生直前のキャプチャ画像からＧＵＩ部品の候補となる画像を抽出し、操作イベントの発生位置から該操作イベントがどの画像上で発生したものかを特定し、操作イベントの発生位置、発生時刻および種別を含む操作イベント情報と該画像とを関連付けて記録する。
　例えば、特定部１５ｂは、取得されたキャプチャ画像から、画像上の特徴を用いて所定の形式のＧＵＩ部品の候補となる画像を抽出する。特定部１５ｂは、ＯｐｅｎＣＶ（Open　source　Computer　Vision　library）等を用いて、各ＧＵＩ部品が占める領域とそれ以外の領域の色の差異を特徴として用いて、ＧＵＩ部品のエッジを特定する。そして、特定部１５ｂは、特定したエッジを輪郭として、エッジを含む外接矩形を切り出すことにより、操作画像からＧＵＩ部品の候補となる画像を切り出す。
　その際に、特定部１５ｂは、キャプチャ画像から所定の形式の画像と、該画像の周辺の画像とを切り出すことにより、ＧＵＩ部品の候補となる画像を抽出する。これにより、後述する生成部１５ｄの処理の結果の画像を用いて操作フローとして可視化した際に、操作画面上での操作箇所がユーザに認識されやすくなる。また、テキストボックス等、画像が類似するＧＵＩ部品の画像を区別することが可能となる。
　ここで、図２～図４は、特定部１５ｂの処理を説明するための図である。図３（ａ）～（ｃ）には、図２に示す操作画面から、特定部１５ｂがキャプチャ画像からＧＵＩ部品の候補となる画像を抽出し、操作イベントと対応付ける場合について例示されている。具体的には、図３（ａ）には、破線で囲んで示すように、画像として切り出される画像が例示されている。また、図３（ｂ）には、操作対象の画像となり得るテキストボックスの画像を抽出する場合について例示されている。図３（ｂ）に示すように、特定部１５ｂは、テキストボックスの周辺の画像を含む画像を切り出すことにより、同一の操作画面上の異なるテキストボックスを区別することが可能となる。図３（ｂ）に示す例では、例えば、特定したテキストボックスの周辺にある文字画像を含むように画像を切り出すことにより、氏名を入力するためのテキストボックスと住所を入力するためのテキストボックスとを区別することが可能となっている。さらに、共通領域を除いて類似性を判定することで後述する分類部１５ｃにおいてより精度高く分類可能である。
　そして、特定部１５ｂは、切り出した画像のうち、操作イベントの発生位置を含む画像を特定し、特定した画像と、操作イベントの発生位置と操作イベントの発生時刻と操作イベント種別とを含む操作イベント情報とを対応付けて記憶部１４に記憶する。
　その際に、特定部１５ｂは、図３（ｃ）に示すように、切り出した複数の画像が入れ子関係にある場合、操作イベントの発生位置を内包する画像のうち、最も内側にある画像を特定する。なお、特定部１５ｂは、操作イベントの発生位置を内包する画像のうち、最も外側にある画像を特定してもよい。すなわち、特定部１５ｂは、各操作イベントについて、画像が１つ特定できればよい。
　また、図４（ａ）には、図３（ｃ）から切り出された画像（画像１～３）が例示されている。また、図４（ｂ）、（ｃ）には、各画像に対する操作とみなす操作イベントの発生位置が例示されている。例えば、図４（ｂ）には、最も外側にある画像を特定する場合に、画像２に対する操作とみなす操作イベントの発生位置が例示されている。
　なお、特定部１５ｂは、特定した画像と発生位置と、操作イベントの種別と発生時刻とを対応付けて、記憶部１４に記憶せずに、以下に説明する分類部１５ｃに転送してもよい。
　図１の説明に戻る。分類部１５ｃは、記録された画像の集合を、画像間の類似度に応じてクラスタに分類する。この処理は、ＧＵＩ上で行われた操作について同一の操作種別を同一クラスタに分類することを目的にしている。例えば、分類部１５ｃは、各画像の操作画面のキャプチャ画像における表示位置の類似度に応じて、画像を分類する。これにより、操作画面上で同じ位置に表示されるＧＵＩ部品を表す画像が同一のクラスタに分類される。操作画面の構成が固定的な場合には、すべてのＧＵＩ部品は常に同じ位置に表示されることから、同一の操作イベントのＧＵＩ部品を切り出した画像を同一のクラスタ、つまり同一の操作種別に分類することが可能となる。
　あるいは、分類部１５ｃは、各画像の画像上の類似度に応じて、画像を分類する。これにより、同一の操作イベントのＧＵＩ部品を切り出した画像が同一のクラスタに分類される。操作画面の構成が動的に変化する場合には、各ＧＵＩ部品の表示位置が変わってしまうため、表示位置の類似性から画像を分類することはできない。そこで、同一の操作イベントのＧＵＩ部品は同一の画像であることから、画像上の類似度を用いることで、画像を分類する。画像の類似性の判定には、例えばパターンマッチや、各種特徴量・特徴点を用いた類似性の判定が可能である。
　分類部１５ｃは、分類したクラスタに各クラスタを識別するクラスタＩＤを付与する。すなわち、クラスタＩＤが操作種別に対応する。
　生成部１５ｄは、分類された各クラスタの操作イベントに対応する画像を用いて、操作ログ１４ａを生成する。具体的には、生成部１５ｄは、各操作イベントについて、クラスタの画像をクラスタＩＤおよび操作イベント発生時刻と対応付けて記録し、操作ログ１４ａを生成し、生成した操作ログ１４ａを記憶部１４に記憶させる。また、生成部１５ｄは、画像に、さらに操作イベント種別を対応付けて操作ログ１４ａを生成してもよい。
　また、生成部１５ｄが操作ログ１４ａを生成する際、分析者がクラスタに含まれる画像を区別するために、分類部１５ｃは、クラスタごとに該クラスタに含まれる画像に分析者が任意の文字列を付与し、その文字列を用いてフローを生成してもよい。また、分類部１５ｃは、クラスタに含まれる画像に対してＯＣＲにより特徴的な文字列を抽出し、それをラベルとして付与することも可能である。
［操作ログ生成処理］
　次に、図５を参照して、本実施形態に係る操作ログ生成装置１０による操作ログ生成処理について説明する。図５は、操作ログ生成処理手順を示すフローチャートである。図５のフローチャートは、例えば、ユーザが開始を指示する操作入力を行ったタイミングで開始される。
　まず、取得部１５ａが、定期的にユーザの操作画面のキャプチャ画像を取得する（ステップＳ１）。また、取得部１５ａが、ユーザの操作イベントを検知した場合に、該操作イベントの直前と直後の操作画面のキャプチャ画像を比較し、キャプチャ画像に変化が生じた場合に、該操作画面における発生位置を取得する（ステップＳ２）。
　次に、特定部１５ｂが、キャプチャ画像から抽出したＧＵＩ部品の候補となる画像のうち、操作イベントの発生位置の画像を特定し（ステップＳ３）、該画像と該操作イベントとを対応付けて記録する。例えば、特定部１５ｂは、キャプチャ画像から、画像上の特徴を用いて所定の形式のＧＵＩ部品の候補となる画像を特定し、特定した画像をキャプチャ画像から切り出す。そして、切り出した画像のうち、操作イベントの発生位置を含む画像を特定し、特定した画像と、操作イベントの発生位置と操作イベントの発生時刻と操作イベント種別とを含む操作イベント情報とを対応付けて記憶部１４に記憶する。
　次に、分類部１５ｃが、記録された画像の集合を、画像間の類似度に応じてクラスタに分類する（ステップＳ４）。例えば、分類部１５ｃは、各画像のキャプチャ画像における表示位置の類似度に応じて、画像を分類する。あるいは、分類部１５ｃは、各画像の画像上の類似度に応じて、画像を分類する。
　そして、生成部１５ｄが、各クラスタの操作イベントに対応する画像を用いて操作ログを生成する（ステップＳ５）。例えば、生成部１５ｄは、分類した各クラスタに含まれる画像を、クラスタＩＤおよび操作イベント発生時刻と対応付けて記録し、操作ログ１４ａを生成する。また、生成部１５ｄは、生成した操作ログ１４ａを記憶部１４に記憶させる。あるいは、生成部１５ｄは、操作ログ１４ａを、例えば操作フローを作成する装置に出力する。これにより、一連の操作ログ生成処理が終了する。
　以上、説明したように、本実施形態の操作ログ生成装置１０において、取得部１５ａが、ユーザの操作イベントを検知して、操作画面のキャプチャ画像における該操作イベントの発生位置を取得する。特定部１５ｂが、キャプチャ画像から抽出したＧＵＩ部品の候補となる画像のうち、操作イベントの発生位置の画像を特定し、該画像と該操作イベントとを対応付けて記録する。分類部１５ｃが、記録された画像の集合を、画像間の類似度に応じてクラスタに分類する。生成部１５ｄが、分類された各クラスタの操作イベントに対応する画像を用いて、操作ログ１４ａを生成する。
　これにより、操作ログ生成装置１０は、ＧＵＩアプリケーションの種類によらず、事前に教師データを用意したり条件を指定したりすることなく、容易かつ自動的にアプリケーションの操作ログ１４ａを取得することが可能となる。また、操作ログ生成装置１０は、操作可能なＧＵＩ部品に対して行われた操作イベントのみを抽出可能となる。
　また、取得部１５ａは、検知した操作イベントの発生前後の操作画面のキャプチャ画像が変化した場合に、該操作イベントの発生位置を取得する。これにより、取得部１５ａは、確実に画面に変化を生じさせた操作イベントを検知して、操作可能なＧＵＩ部品に対して発生した操作イベントのみを抽出することができる。
　また、分類部１５ｃは、各画像のキャプチャ画像における表示位置の類似度に応じて、画像を分類する。これにより、操作ログ生成装置１０は、操作画面の構成が動的に変化しない場合に、同一のＧＵＩ部品を切り出した画像を同一のクラスタに分類することが可能となる。
　また、分類部１５ｃは、各画像の画像上の類似度に応じて、画像を分類する。これにより、操作ログ生成装置１０は、作画面の構成が動的に変化する場合に、同一のＧＵＩ部品を切り出した画像を同一のクラスタに分類することが可能となる。
　また、特定部１５ｂは、キャプチャ画像から所定の形式の画像と、該画像の周辺の画像とを切り出すことにより、ＧＵＩ部品の候補となる画像を抽出する。これにより、画像を用いて操作フローとして可視化した際に、操作画面上での操作箇所がユーザに認識されやすくなる。また、画像が類似するテキストボックス等のＧＵＩ部品を区別することが容易に可能となる。
［プログラム］
　上記実施形態に係る操作ログ生成装置１０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。一実施形態として、操作ログ生成装置１０は、パッケージソフトウェアやオンラインソフトウェアとして上記の操作ログ生成処理を実行する操作ログ生成プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の操作ログ生成プログラムを情報処理装置に実行させることにより、情報処理装置を操作ログ生成装置１０として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal　Handyphone　System）などの移動体通信端末、さらには、ＰＤＡ（Personal　Digital　Assistant）などのスレート端末などがその範疇に含まれる。また、操作ログ生成装置１０の機能を、クラウドサーバに実装してもよい。
　図６は、操作ログ生成プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。
　メモリ１０１０は、ＲＯＭ（Read　Only　Memory）１０１１およびＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０３１に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１０４１に接続される。ディスクドライブ１０４１には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１０５１およびキーボード１０５２が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１０６１が接続される。
　ここで、ハードディスクドライブ１０３１は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。上記実施形態で説明した各情報は、例えばハードディスクドライブ１０３１やメモリ１０１０に記憶される。
　また、操作ログ生成プログラムは、例えば、コンピュータ１０００によって実行される指令が記述されたプログラムモジュール１０９３として、ハードディスクドライブ１０３１に記憶される。具体的には、上記実施形態で説明した操作ログ生成装置１０が実行する各処理が記述されたプログラムモジュール１０９３が、ハードディスクドライブ１０３１に記憶される。
　また、操作ログ生成プログラムによる情報処理に用いられるデータは、プログラムデータ１０９４として、例えば、ハードディスクドライブ１０３１に記憶される。そして、ＣＰＵ１０２０が、ハードディスクドライブ１０３１に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。
　なお、操作ログ生成プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０３１に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１０４１等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、操作ログ生成プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮやＷＡＮ（Wide　Area　Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
　以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例および運用技術等は全て本発明の範疇に含まれる。
　１０　操作ログ生成装置
　１１　入力部
　１２　出力部
　１３　通信制御部
　１４　記憶部
　１４ａ　操作ログ
　１５　制御部
　１５ａ　取得部
　１５ｂ　特定部
　１５ｃ　分類部
　１５ｄ　生成部

Claims (5)

  1. 　ユーザの操作イベントを検知して、操作画面のキャプチャ画像における該操作イベントの発生位置を取得する取得部と、
    　前記キャプチャ画像から抽出したＧＵＩ部品の候補となる画像のうち、前記操作イベントの発生位置の画像を特定し、該画像と該操作イベントとを対応付けて記録する特定部と、
    　記録された画像の集合を、前記画像間の類似度に応じてクラスタに分類する分類部と、
    　分類された各クラスタの前記操作イベントに対応する画像を用いて、操作ログを生成する生成部と、
    　を有することを特徴とする操作ログ生成装置。
  2. 　前記取得部は、検知した前記操作イベントの発生前後の前記キャプチャ画像が変化した場合に、該操作イベントの発生位置を取得することを特徴とする請求項１に記載の操作ログ生成装置。
  3. 　前記分類部は、各画像の類似度、または各画像の前記キャプチャ画像における表示位置の類似度の少なくともいずれかに応じて、前記画像を分類することを特徴とする請求項１に記載の操作ログ生成装置。
  4. 　前記特定部は、前記キャプチャ画像から所定の形式の画像と、該画像の周辺の画像とを切り出すことにより、前記ＧＵＩ部品の候補となる画像を抽出することを特徴とする請求項１に記載の操作ログ生成装置。
  5. 　操作ログ生成装置が実行する操作ログ生成方法であって、
    　ユーザの操作イベントを検知して、操作画面のキャプチャ画像における該操作イベントの発生位置を取得する取得工程と、
    　前記キャプチャ画像から抽出したＧＵＩ部品の候補となる画像のうち、前記操作イベントの発生位置の画像を特定し、該画像と該操作イベントとを関連付けて記録する特定工程と、
    　記録された画像の集合を、前記画像間の類似度に応じてクラスタに分類する分類工程と、
    　分類された各クラスタの前記操作イベントに対応する画像を用いて、操作ログを生成する生成工程と、
    　を含んだことを特徴とする操作ログ生成方法。
PCT/JP2021/004679 2021-02-08 2021-02-08 操作ログ生成装置および操作ログ生成方法 Ceased WO2022168331A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2021/004679 WO2022168331A1 (ja) 2021-02-08 2021-02-08 操作ログ生成装置および操作ログ生成方法
US18/276,196 US20240096055A1 (en) 2021-02-08 2021-02-08 Operation log generation device and operation log generation method
JP2022579314A JP7517481B2 (ja) 2021-02-08 2021-02-08 操作ログ生成装置および操作ログ生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/004679 WO2022168331A1 (ja) 2021-02-08 2021-02-08 操作ログ生成装置および操作ログ生成方法

Publications (1)

Publication Number Publication Date
WO2022168331A1 true WO2022168331A1 (ja) 2022-08-11

Family

ID=82741011

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/004679 Ceased WO2022168331A1 (ja) 2021-02-08 2021-02-08 操作ログ生成装置および操作ログ生成方法

Country Status (3)

Country Link
US (1) US20240096055A1 (ja)
JP (1) JP7517481B2 (ja)
WO (1) WO2022168331A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025046704A1 (ja) * 2023-08-28 2025-03-06 日本電信電話株式会社 操作ログ取得装置、操作ログ取得方法、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009048459A (ja) * 2007-08-21 2009-03-05 Sky Kk 端末管理装置及び端末管理プログラム
JP2015076041A (ja) * 2013-10-11 2015-04-20 日本電信電話株式会社 誤入力検出装置および誤入力検出プログラム
WO2018151303A1 (ja) * 2017-02-20 2018-08-23 株式会社サザンウィッシュ 操作表示装置及び操作表示プログラム
WO2020250320A1 (ja) * 2019-06-11 2020-12-17 日本電信電話株式会社 操作ログ取得装置、操作ログ取得方法および操作ログ取得プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005015355A2 (en) * 2003-08-07 2005-02-17 Matsushita Electric Industrial Co., Ltd. Automatic image cropping system and method for use with portable devices equipped with digital cameras
US7734067B2 (en) * 2004-12-07 2010-06-08 Electronics And Telecommunications Research Institute User recognition system and method thereof
JP4160997B1 (ja) 2007-06-01 2008-10-08 Ｓｋｙ株式会社 操作画像再生装置及び操作画像再生プログラム
US20110013884A1 (en) * 2009-02-19 2011-01-20 Taiji Sasaki Recording medium, playback device, and integrated circuit
JP5477201B2 (ja) 2010-07-01 2014-04-23 日本電気株式会社 Ｇｕｉ解析装置、方法、及び、プログラム
JP5931806B2 (ja) 2013-06-24 2016-06-08 日本電信電話株式会社 画像認識による自動操作装置、その方法及びプログラム
US10169853B2 (en) * 2016-12-20 2019-01-01 Entit Software Llc Score weights for user interface (UI) elements
JP2019106093A (ja) * 2017-12-14 2019-06-27 株式会社日立製作所 計算機、ログの再現方法及び記憶媒体
JP7380714B2 (ja) 2020-01-08 2023-11-15 日本電信電話株式会社 操作ログ取得装置および操作ログ取得方法
US11397667B2 (en) * 2020-02-20 2022-07-26 Accenture Global Solutions Limited Software test case sequencing
US12020484B2 (en) * 2020-03-17 2024-06-25 Samsung Electronics Co., Ltd. Methods and systems for grouping of media based on similarities between features of the media
US12086241B2 (en) * 2021-07-20 2024-09-10 CyCarrier Technology Co., Ltd. Event visualization device for generating hierarchical directed acyclic graph and related computer program product

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009048459A (ja) * 2007-08-21 2009-03-05 Sky Kk 端末管理装置及び端末管理プログラム
JP2015076041A (ja) * 2013-10-11 2015-04-20 日本電信電話株式会社 誤入力検出装置および誤入力検出プログラム
WO2018151303A1 (ja) * 2017-02-20 2018-08-23 株式会社サザンウィッシュ 操作表示装置及び操作表示プログラム
WO2020250320A1 (ja) * 2019-06-11 2020-12-17 日本電信電話株式会社 操作ログ取得装置、操作ログ取得方法および操作ログ取得プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025046704A1 (ja) * 2023-08-28 2025-03-06 日本電信電話株式会社 操作ログ取得装置、操作ログ取得方法、およびプログラム

Also Published As

Publication number Publication date
US20240096055A1 (en) 2024-03-21
JP7517481B2 (ja) 2024-07-17
JPWO2022168331A1 (ja) 2022-08-11

Similar Documents

Publication Publication Date Title
US11604663B2 (en) Detection of user interface controls via invariance guided sub-control learning
JP7380714B2 (ja) 操作ログ取得装置および操作ログ取得方法
CN103502936B (zh) 基于图像的自动化系统和方法
EP3905038B1 (en) Screen response validation of robot execution for robotic process automation
US9904517B2 (en) System and method for automatic modeling of an application
US10769427B1 (en) Detection and definition of virtual objects in remote screens
CN113748413A (zh) 文本检测、插入符号追踪以及活动元素检测
US20210042516A1 (en) Method and system for extracting information from document images
US20090273597A1 (en) User interface screen layout analysis using hierarchical geometric features
US8750571B2 (en) Methods of object search and recognition
JP7420268B2 (ja) データ処理装置、データ処理方法及びデータ処理プログラム
US20230061264A1 (en) Utilizing a machine learning model to identify a risk severity for an enterprise resource planning scenario
CN113392014A (zh) 测试用例生成方法、装置、电子设备和介质
JP7517590B2 (ja) 分類装置、分類方法、および、分類プログラム
JP7235110B2 (ja) 操作ログ取得装置、操作ログ取得方法および操作ログ取得プログラム
CN112930538B (zh) 文本检测、插入符号追踪以及活动元素检测
JP7517481B2 (ja) 操作ログ生成装置および操作ログ生成方法
US20230282013A1 (en) Automated key-value pair extraction
CN116340179A (zh) 一种兼容性测试方法、电子设备和计算机可读存储介质
JP2022117827A (ja) 異常検知装置、異常検知プログラム、及び異常検知方法
US11924020B2 (en) Ranking changes to infrastructure components based on past service outages
KR102831452B1 (ko) 인공지능 모델을 위한 트레이닝 샘플을 자동 생성하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램
US20240220083A1 (en) Identifying user interfaces of an application
EP3872640B1 (en) Information creation device, information creation method, and information creation program
CN117472862A (zh) 一种日志分析的方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21924721

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022579314

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18276196

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21924721

Country of ref document: EP

Kind code of ref document: A1