WO2021140594A1 - 操作ログ取得装置および操作ログ取得方法 - Google Patents

操作ログ取得装置および操作ログ取得方法 Download PDF

Info

Publication number
WO2021140594A1
WO2021140594A1 PCT/JP2020/000346 JP2020000346W WO2021140594A1 WO 2021140594 A1 WO2021140594 A1 WO 2021140594A1 JP 2020000346 W JP2020000346 W JP 2020000346W WO 2021140594 A1 WO2021140594 A1 WO 2021140594A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
operation event
images
event occurs
unit
Prior art date
Application number
PCT/JP2020/000346
Other languages
English (en)
French (fr)
Inventor
公雄 土川
増田　健
史拓 横瀬
有記 卜部
佐也香 八木
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2020/000346 priority Critical patent/WO2021140594A1/ja
Priority to US17/786,620 priority patent/US20230028654A1/en
Priority to JP2021569651A priority patent/JP7380714B2/ja
Publication of WO2021140594A1 publication Critical patent/WO2021140594A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Definitions

  • the present invention relates to an operation log acquisition device and an operation log acquisition method.
  • the operation procedure is taught by training and guidance by experts, so the procedure for processing the same product / service should be the same operation procedure.
  • various irregular events such as the customer changing the order details after placing an order, the product being out of stock, or an operator's operation error.
  • the method of displaying the operation procedure in the form of a flowchart is effective.
  • the operation procedure is input for each order by inputting the operation log that records the operation time of the operator, the type of operation (hereinafter, operation type), and the information that identifies the order (hereinafter, order ID).
  • operation type the type of operation
  • order ID the information that identifies the order
  • the attribute values of the GUI parts that make up the operation screen are acquired for the operation screen of the GUI application, and the event occurs.
  • the technology for discovering changes before and after is known. As a result, it is possible to extract only the event in which the attribute value is changed, that is, the operation event that is meaningful in business, and at the same time specify the operation location.
  • the application is not installed on the terminal (hereinafter referred to as the client terminal) that the user actually performs, the application is installed on another terminal (server) connected to the client terminal, and the client terminal has the application installed. Is displayed as an image of the operation screen provided by the application, and the user operates the application on the server side through the displayed image. In this case, since the operation screen is displayed as an image on the terminal actually operated by the user, it is impossible to acquire the attribute value of the GUI component described above from the client terminal.
  • the present invention has been made in view of the above, and an object of the present invention is to obtain a GUI application operation log for general purposes regardless of the execution environment of the target application.
  • the operation log acquisition device detects the operation event of the user, the position where the operation event occurs on the operation screen, and the captured image of the operation screen.
  • An image that can be a candidate for a GUI component is extracted from the acquired image and the acquired image, and the image on which the operation event occurs is specified from the position where the operation event occurs.
  • An extraction unit that records the occurrence time of an operation event in association with the image, a classification unit that classifies a set of recorded images into clusters according to the degree of similarity between the images, and the classified cluster.
  • the number of times the operation event has occurred for the image is totaled for each image, and when the total value is equal to or greater than a predetermined threshold, the image included in the cluster is determined to be the image of the GUI component to be operated at the time when the operation event occurs. It is characterized by having a part and.
  • FIG. 1 is a schematic diagram illustrating a schematic configuration of the operation log acquisition device of the present embodiment.
  • FIG. 2 is a diagram for explaining the processing of the extraction unit.
  • FIG. 3 is a diagram for explaining the processing of the extraction unit.
  • FIG. 4 is a diagram for explaining the processing of the extraction unit.
  • FIG. 5 is a flowchart showing the operation log acquisition processing procedure.
  • FIG. 6 is a diagram showing an example of a computer that executes an operation log acquisition program.
  • FIG. 1 is a schematic diagram illustrating a schematic configuration of the operation log acquisition device of the present embodiment.
  • the operation log acquisition device 10 of the present embodiment is realized by a general-purpose computer such as a personal computer or a workstation, and has an input unit 11, an output unit 12, a communication control unit 13, a storage unit 14, and a control unit. 15 is provided.
  • the input unit 11 is realized by using an input device such as a keyboard or a mouse, and inputs various instruction information such as processing start to the control unit 15 in response to an input operation by the operator.
  • the output unit 12 is realized by a display device such as a liquid crystal display, a printing device such as a printer, or the like. For example, the output unit 12 displays the result of the operation log acquisition process described later.
  • the communication control unit 13 is realized by a NIC (Network Interface Card) or the like, and controls communication between an external device and the control unit 15 via a telecommunication line such as a LAN (Local Area Network) or the Internet.
  • a telecommunication line such as a LAN (Local Area Network) or the Internet.
  • the communication control unit 13 controls communication between a terminal or the like operated by the user and the control unit 15. This terminal may be mounted on the same hardware as the operation log acquisition device 10.
  • the storage unit 14 is realized by a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk.
  • the storage unit 14 stores in advance a processing program that operates the operation log acquisition device 10, data used during execution of the processing program, and the like, or is temporarily stored each time the processing is performed.
  • the storage unit 14 stores the operation log 14a, which is the result of the operation log acquisition process described later.
  • the storage unit 14 may be configured to communicate with the control unit 15 via the communication control unit 13.
  • the control unit 15 is realized by using a CPU (Central Processing Unit) or the like, and executes a processing program stored in a memory. As a result, the control unit 15 functions as an acquisition unit 15a, an extraction unit 15b, a classification unit 15c, and a determination unit 15d, as illustrated in FIG. It should be noted that these functional parts may be implemented in different hardware, respectively or in part. Further, the control unit 15 may include other functional units.
  • a CPU Central Processing Unit
  • the acquisition unit 15a detects an operation event such as a user's mouse click or keyboard input, and acquires the position where the operation event occurs on the operation screen and the captured image of the operation screen. Specifically, when the acquisition unit 15a detects the occurrence of an operation event, the acquisition unit 15a acquires the time when the operation event occurs, the position where the operation event occurs, and the captured image of the operation screen. For example, the acquisition unit 15a acquires a function of detecting the occurrence of an operation event of keyboard input and mouse click, and when the operation event is detected, acquires a captured image of the operation screen, and determines the operation event occurrence time, the operation event occurrence position, and the operation event occurrence position. It has a function of notifying the determination unit 15d, which will be described later, of the captured image of the operation screen.
  • an operation event such as a user's mouse click or keyboard input
  • the acquisition unit 15a can detect the occurrence of an operation event by using a global hook, for example, in the case of a Windows (registered trademark) OS. Similarly, the acquisition unit 15a can acquire the event occurrence position by a global hook, for example, by clicking the mouse.
  • a global hook for example, in the case of a Windows (registered trademark) OS.
  • the acquisition unit 15a when there is no means for acquiring the input position from the OS for general purpose for keyboard input, the acquisition unit 15a usually involves inputting a character string, and thus capture images before and after the occurrence of an operation event. It is possible to identify the position where the operation event occurs by comparing. It should be noted that the change occurs not only at one point but at a surface spread, but any coordinate included therein may be used.
  • keyboard input includes operations that do not involve input such as Tab keys, direction keys, and shift keys, but these are often meaningless in analysis and are therefore ignored in the present embodiment.
  • the acquisition unit 15a may acquire and record information regarding the type of operation event (mouse click, keyboard input).
  • the extraction unit 15b extracts an image that can be a candidate for GUI parts from the acquired captured image, identifies on which image the operation event occurred from the position where the operation event occurs, and sets the time when the operation event occurs. It is recorded in association with the image. Specifically, the extraction unit 15b extracts, for example, an image that can be a candidate for a GUI component from the acquired captured image by using the features on the image. For example, the extraction unit 15b uses OpenCV (Open source Computer Vision library) or the like to identify the edge of the GUI component by using the color difference between the area occupied by each GUI component and the other areas as a feature. Then, the extraction unit 15b cuts out an image that can be a candidate for GUI parts from the operation image by cutting out an circumscribing rectangle including the edge with the specified edge as the contour.
  • OpenCV Open source Computer Vision library
  • the extraction unit 15b cuts out an image including an image around the image.
  • the creation unit 15e which will be described later, visualizes the operation flow as an operation flow using an image
  • the operation portion on the operation screen can be easily recognized by the user.
  • FIGS. 2 to 4 are diagrams for explaining the processing of the extraction unit 15b.
  • 3 (a) to 3 (c) exemplify a case where the extraction unit 15b cuts out an image to be operated from the operation screen shown in FIG.
  • FIG. 3A exemplifies an image cut out as an image as shown by being surrounded by a broken line.
  • FIG. 3B illustrates a case where an image of a text box that can be an image to be operated is extracted.
  • the extraction unit 15b can distinguish different text boxes on the same operation screen by cutting out an image including an image around the text box.
  • FIG. 3B illustrates a case where an image of a text box that can be an image to be operated.
  • a text box for inputting a name and a text box for inputting an address are obtained by cutting out an image so as to include a character image around the specified text box. It is possible to distinguish between. Furthermore, it is possible to classify with higher accuracy by judging the similarity except for the common area.
  • the extraction unit 15b identifies an image including the operation event occurrence position among the cut out images, and stores the specified image, the occurrence position, and the operation event occurrence time in the storage unit 14 in association with each other. ..
  • the extraction unit 15b treats the event generated in the inner image as an event for the inner image and treats the event occurring in the inner image as an event for the outer image when the cut out images are in a nested relationship. Events that occur between the inner images are treated as events for the outer image.
  • FIG. 4 (a) illustrates images (images 1 to 3) cut out from FIG. 3 (c).
  • FIGS. 4B to 4D exemplify the occurrence position of an event regarded as an event for each image.
  • FIG. 4B exemplifies the occurrence position of an event regarded as an event with respect to the image 1.
  • the extraction unit 15b may associate the specified image, the occurrence position, and the occurrence time of the operation event with each other and transfer the specified image to the classification unit 15c described below without storing the operation event in the storage unit 14.
  • the classification unit 15c classifies the set of recorded images into clusters according to the similarity between the images. For example, the classification unit 15c classifies the images according to the similarity of the display positions in the captured images on the operation screen of each image. As a result, the images representing the GUI parts displayed at the same position on the operation screen are classified into the same cluster. When the configuration of the operation screen is fixed, all the GUI parts are always displayed at the same position, so that the images obtained by cutting out the same GUI parts can be classified into the same cluster.
  • the classification unit 15c classifies the images according to the degree of similarity on the images of each image. As a result, the images obtained by cutting out the same GUI component are classified into the same cluster.
  • the configuration of the operation screen changes dynamically, the display position of each GUI component changes, so that the images cannot be classified based on the similarity of the display positions. Therefore, images are classified by using the similarity on the image.
  • image similarity for example, pattern matching and similarity determination using various feature quantities and feature points are possible.
  • the determination unit 15d aggregates the number of times the operation event has occurred for the image for each classified cluster, and when the aggregated value is equal to or greater than a predetermined threshold value, the image included in the cluster is subjected to the operation target GUI at the time when the operation event occurs. Judged as an image of a part. Specifically, the determination unit 15d aggregates the number of occurrences of operation events for each classified cluster, and when the aggregated value is equal to or greater than a predetermined threshold value, operates the image included in the cluster at the time when the operation event occurs. Is determined to be an image of the GUI component in which the above is performed.
  • the determination unit 15d records the determined image in association with the occurrence time, generates an operation log 14a, and stores the generated operation log 14a in the storage unit 14. Further, the determination unit 15d may generate the operation log 14a by associating the image with the operation event type.
  • the determination unit 15d totals the number of occurrences of the operation event for each classified cluster, and when the ratio of the number of occurrences to all the operation events is equal to or greater than a predetermined threshold value, the image included in the cluster is used as the operation event. It may be determined that the image is the operation target at the time of occurrence.
  • the determination unit 15d excludes the inner image B from the operation log candidates when the outer image A is recorded as the operation log in the nested relationship. This is because the GUI parts whose outer image can be operated and the GUI parts represented by the inner image can also be operated, which is extremely unnatural when considering the configuration of a general operation screen. is there.
  • the analyst when generating the operation log, in order for the analyst to distinguish the images included in the cluster, the analyst assigns an arbitrary character string to the image included in the cluster for each cluster, and the character string is used. You may generate a flow. It is also possible to extract a characteristic character string by OCR for the image included in the cluster and attach it as a label.
  • FIG. 5 is a flowchart showing the operation log acquisition processing procedure.
  • the flowchart of FIG. 5 is started, for example, at the timing when the user inputs an operation instructing the start.
  • the acquisition unit 15a detects the user's operation event and acquires the position where the operation event occurs on the operation screen and the captured image of the operation screen (step S1).
  • the extraction unit 15b extracts an image that can be a candidate for GUI parts from the acquired captured image (step S2). Further, the extraction unit 15b identifies on which image the operation event occurred from the position where the operation event occurs, and records the time when the operation event occurs in association with the image. For example, the extraction unit 15b identifies an image that can be a candidate for a GUI component from the captured image by using the features on the image, and cuts out the specified image from the captured image.
  • the classification unit 15c classifies the extracted images into clusters according to the degree of similarity between the images (step S3). For example, the classification unit 15c classifies the images according to the similarity of the display positions in the captured images of each image. Alternatively, the images are classified according to the degree of similarity on the image of each image.
  • the determination unit 15d aggregates the number of times the operation event has occurred for the image for each classified cluster, and when the aggregated value is equal to or greater than a predetermined threshold value, the image included in the cluster is subjected to the operation target GUI at the time when the operation event occurs. It is determined as an image of a part (step S4). Further, the determination unit 15d records the image in association with the occurrence time.
  • the determination unit 15d displays the image included in the cluster as the GUI of the operation target at the time when the operation event occurs. Judged as an image of the part.
  • the determination unit 15d generates an operation log 14a by associating the image determined to be the image of the GUI component to be operated with the operation event occurrence time and the operation event type (step S5). Further, the determination unit 15d stores the generated operation log 14a in the storage unit 14. Alternatively, the determination unit 15d outputs the operation log 14a to, for example, a device that creates an operation flow. As a result, a series of operation log acquisition processes are completed.
  • the acquisition unit 15a detects the user's operation event, and the position where the operation event occurs on the operation screen and the captured image of the operation screen. To get. Further, the extraction unit 15b extracts an image that can be a candidate for GUI parts from the acquired captured image, identifies on which image the operation event occurred from the position where the operation event occurs, and generates the operation event. The time is recorded in association with the image. In addition, the classification unit 15c classifies the set of recorded images into clusters according to the degree of similarity between the images.
  • the determination unit 15d aggregates the number of times the operation event has occurred for the image for each classified cluster, and when the aggregated value is equal to or greater than a predetermined threshold value, the image included in the cluster is the operation target at the time when the operation event occurs. It is judged as an image of the GUI part of.
  • the operation log acquisition device 10 can easily and automatically acquire the operation log of the application regardless of the type of GUI application without preparing teacher data or specifying conditions in advance. It becomes. Further, the operation log acquisition device 10 can extract only the operation event performed on the operable GUI component.
  • the classification unit 15c classifies the images according to the similarity of the display positions in the captured images of each image.
  • the operation log acquisition device 10 can classify the images obtained by cutting out the same GUI component into the same cluster when the configuration of the operation screen does not change dynamically.
  • the classification unit 15c classifies the images according to the degree of similarity on the images of each image.
  • the operation log acquisition device 10 can classify the images obtained by cutting out the same GUI component into the same cluster when the configuration of the screen is dynamically changed.
  • the determination unit 15d determines that the image included in the cluster is the image of the GUI component to be operated at the time of occurrence. In this way, the operation log acquisition device 10 can extract only the operation event performed on the operable GUI component.
  • the operation log acquisition device 10 can be implemented by installing an operation log acquisition program that executes the above operation log acquisition process as package software or online software on a desired computer.
  • the information processing device can function as the operation log acquisition device 10.
  • the information processing device referred to here includes a desktop type or notebook type personal computer.
  • the information processing device includes smartphones, mobile communication terminals such as mobile phones and PHS (Personal Handyphone System), and slate terminals such as PDAs (Personal Digital Assistants).
  • the function of the operation log acquisition device 10 may be implemented in the cloud server.
  • FIG. 6 is a diagram showing an example of a computer that executes an operation log acquisition program.
  • the computer 1000 has, for example, a memory 1010, a CPU 1020, a hard disk drive interface 1030, a disk drive interface 1040, a serial port interface 1050, a video adapter 1060, and a network interface 1070. Each of these parts is connected by a bus 1080.
  • the memory 1010 includes a ROM (Read Only Memory) 1011 and a RAM 1012.
  • the ROM 1011 stores, for example, a boot program such as a BIOS (Basic Input Output System).
  • BIOS Basic Input Output System
  • the hard disk drive interface 1030 is connected to the hard disk drive 1031.
  • the disk drive interface 1040 is connected to the disk drive 1041.
  • a removable storage medium such as a magnetic disk or an optical disk is inserted into the disk drive 1041.
  • a mouse 1051 and a keyboard 1052 are connected to the serial port interface 1050.
  • a display 1061 is connected to the video adapter 1060.
  • the hard disk drive 1031 stores, for example, the OS 1091, the application program 1092, the program module 1093, and the program data 1094. Each piece of information described in the above embodiment is stored in, for example, the hard disk drive 1031 or the memory 1010.
  • the operation log acquisition program is stored in the hard disk drive 1031 as, for example, a program module 1093 in which a command executed by the computer 1000 is described.
  • the program module 1093 in which each process executed by the operation log acquisition device 10 described in the above embodiment is described is stored in the hard disk drive 1031.
  • the data used for information processing by the operation log acquisition program is stored as program data 1094 in, for example, the hard disk drive 1031.
  • the CPU 1020 reads the program module 1093 and the program data 1094 stored in the hard disk drive 1031 into the RAM 1012 as needed, and executes each of the above-described procedures.
  • the program module 1093 and program data 1094 related to the operation log acquisition program are not limited to the case where they are stored in the hard disk drive 1031. For example, they are stored in a removable storage medium and are stored by the CPU 1020 via the disk drive 1041 or the like. It may be read out. Alternatively, the program module 1093 and the program data 1094 related to the operation log acquisition program are stored in another computer connected via a network such as LAN or WAN (Wide Area Network), and read by the CPU 1020 via the network interface 1070. It may be issued.
  • LAN or WAN Wide Area Network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Debugging And Monitoring (AREA)

Abstract

取得部（１５ａ）が、ユーザの操作イベントを検知して、該操作イベントの操作画面における発生位置と、該操作画面のキャプチャ画像とを取得する。抽出部（１５ｂ）が、取得された前記キャプチャ画像からＧＵＩ部品の候補となりうる画像を抽出し、操作イベントの発生位置から該操作イベントがどの画像上で発生したものかを特定し、操作イベントの発生時刻と該画像とを関連付けて記録する。分類部（１５ｃ）が、記録された画像の集合に対して、画像間の類似度に応じてクラスタに分類する。判定部（１５ｄ）が、分類されたクラスタごとに画像に対する操作イベントの発生回数を集計し、集計値が所定の閾値以上の場合に、該クラスタに含まれる画像を操作イベントの発生時刻における操作対象のＧＵＩ部品の画像と判定する。

Description

操作ログ取得装置および操作ログ取得方法
　本発明は、操作ログ取得装置および操作ログ取得方法に関する。
　業務分析において、操作手順をフローチャート形式で表示する方法が有効である。サービスや商品を顧客に提供する業務を考えた場合、同一サービス・商品を提供するためのシステムの操作手順はサービスや商品ごとに決められており、それはマニュアルなどで操作者に共有されている。
　また、初心者に対しては、研修や熟練者による指導により操作手順は教え込まれるので、同一商品・サービスを処理する手順は、同じ操作手順となるはずである。しかし、現実には、顧客が注文後に注文内容を変更する、商品が欠品となる、操作者の操作誤りなど、当初に想定しなかった様々なイレギュラーな事象が発生するのが通常であり、これらのイレギュラーな事象に予めすべての操作手順を規定しておくことは現実的ではないし、仮に規定できたとしても、操作者が全ての操作パターンを覚えて適切に手順を選択するのは困難である。
　このため、実際には、同一商品・サービスであっても注文ごとに操作手順は様々であることが一般的である。業務改善を目的とした業務実態の把握においては、これらイレギュラーな事象も含めて全ての操作パターンを網羅的に把握することが重要である。なぜなら、イレギュラー事象は手順が明確化されていないため、進め方を調べたりあるいは業務の責任者に進め方を確認する必要があったり、操作手順に誤りが発生する可能性が高く、通常の操作パターンよりも時間がかかることが多いからである。
　このような状況において、操作手順をフローチャート形式で表示する方法が有効である。例えば、各注文に対して、操作者の操作時刻、操作の種類（以下、操作種別）、注文を特定する情報（以下、注文ＩＤ）を記録した操作ログを入力として、注文ごとに操作手順を並べてそれらを重ね合わせてフロー表示することで、注文ごとの操作手順の違いを明確化する仕組みが提案されている。
　また、分析者が見たい粒度で操作ログを取得する仕組みとして、例えば、ＧＵＩアプリケーションの操作画面を対象に、イベントの発生時に、操作画面を構成するＧＵＩ部品の属性値を取得し、イベントの発生前後での変更箇所を発見する技術が知られている。これにより、属性値の変更を生じたイベント、つまり業務上意味のある操作イベントのみ抽出すると同時に操作箇所を特定することができる。
　しかし、実際の業務においては、メール、Ｗｅｂ、業務システム、Ｗｏｒｄ、Ｅｘｃｅｌ、スケジューラなど多様なアプリケーションを利用しながら業務を進めることが一般的であり、これら全てのアプリケーションの実行環境に応じたＧＵＩ部品の属性値の取得及び変更箇所を特定する仕組みを開発する必要があるが、実際には非常にコストが高く現実的ではない。仮に対象のアプリケーションについて開発しても、対象の実行環境にバージョンアップに伴う仕様変更が発生すると、それにあわせた改造が必要となる。また、近年、コンピュータ資源の有効活用やセキュリティ対策を目的に、企業内ではシンクライアント環境が普及している。これは実際にユーザが行う操作を行う端末（以下、クライアント端末）にはアプリケーションがインストールされておらず、クライアント端末と接続された別の端末（サーバ）にアプリケーションがインストールされていて、クライアント端末にはアプリケーションが提供する操作画面が画像として表示され、ユーザはその表示された画像を通してサーバ側のアプリケーションを操作するものである。この場合、実際にユーザが操作を行う端末には操作画面が画像として表示されるため、クライアント端末から上記記載のＧＵＩ部品の属性値を取得することは不可能である。
　また、キーボード入力、マウスクリックのイベントを活用して操作ログを取得する仕組みが提案されている。これは、マウスクリック、キーボードのエンターキー入力のイベントをトリガーにして各タスクに事前に指定された条件を満たすイベントのみを操作ログとして記録するものである。この仕組みを用いることで、分析に不要なイベントを省きつつ、分析者が必要なイベントのみ抽出することができる。
特開２０１５－１５３２１０号公報
小笠原ほか、「業務の実行履歴を活用した業務プロセス可視化・分析システムの開発」、NTT技術ジャーナル、2009.2、P40-P43
　しかしながら、従来の技術では、アプリケーションの操作ログの取得は容易ではない。例えば、実際の業務は、一般に多様なアプリケーションを利用しながら進められており、膨大な数のアプリケーションに対して操作ログを取得する仕組みを作りこむことは現実的とは言えない。また、従来の技術では、事前に条件を指定する必要があるため、煩雑であるという問題がある。
　これらの問題を鑑み、ＧＵＩアプリケーションの実行環境によらず、汎用的に操作フローを再現するのに必要な操作ログを取得する方法として、ユーザが端末を操作するタイミングに合わせて、操作画面のキャプチャ画像を取得し、画像上の特徴を用いてＧＵＩ部品の候補となりうる画像を抽出し、イベントの発生位置から操作対象のＧＵＩ部品を特定し、それを入力として、操作フローを再現する手法も考えられる。この場合、操作画面には操作可能なＧＵＩ部品に加えて、操作できないＧＵＩ部品も存在するので、これらを区別し、操作可能なＧＵＩ部品の画像のみ抽出するという課題がある。
　本発明は、上記に鑑みてなされたものであって、ＧＵＩアプリケーションの操作ログを対象のアプリケーションの実行環境によらず汎用的に取得することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る操作ログ取得装置は、ユーザの操作イベントを検知して、該操作イベントの操作画面における発生位置と、該操作画面のキャプチャ画像とを取得する取得部と、取得された前記キャプチャ画像からＧＵＩ部品の候補となりうる画像を抽出し、前記操作イベントの発生位置から該操作イベントがどの画像上で発生したものかを特定し、該操作イベントの発生時刻と該画像とを関連付けて記録する抽出部と、記録された画像の集合に対して、前記画像間の類似度に応じてクラスタに分類する分類部と、分類された前記クラスタごとに前記画像に対する操作イベントの発生回数を集計し、集計値が所定の閾値以上の場合に、該クラスタに含まれる画像を前記操作イベントの発生時刻における操作対象のＧＵＩ部品の画像と判定する判定部と、を有することを特徴とする。
　本発明によれば、ＧＵＩアプリケーションの操作ログを対象のアプリケーションの実行環境によらず汎用的に取得することが可能となる。
図１は、本実施形態の操作ログ取得装置の概略構成を例示する模式図である。 図２は、抽出部の処理を説明するための図である。 図３は、抽出部の処理を説明するための図である。 図４は、抽出部の処理を説明するための図である。 図５は、操作ログ取得処理手順を示すフローチャートである。 図６は、操作ログ取得プログラムを実行するコンピュータの一例を示す図である。
　以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
［操作ログ取得装置の構成］
　図１は、本実施形態の操作ログ取得装置の概略構成を例示する模式図である。図１に示すように、本実施形態の操作ログ取得装置１０は、パソコンやワークステーション等の汎用コンピュータで実現され、入力部１１、出力部１２、通信制御部１３、記憶部１４、および制御部１５を備える。
　入力部１１は、キーボードやマウス等の入力デバイスを用いて実現され、操作者による入力操作に対応して、制御部１５に対して処理開始などの各種指示情報を入力する。出力部１２は、液晶ディスプレイなどの表示装置、プリンター等の印刷装置等によって実現される。例えば、出力部１２には、後述する操作ログ取得処理の結果が表示される。
　通信制御部１３は、ＮＩＣ（Network　Interface　Card）等で実現され、ＬＡＮ（Local　Area　Network）やインターネットなどの電気通信回線を介した外部の装置と制御部１５との通信を制御する。例えば、通信制御部１３は、ユーザが操作する端末等と制御部１５との通信を制御する。なお、この端末は、操作ログ取得装置１０と同一のハードウェアに実装されてもよい。
　記憶部１４は、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１４には、操作ログ取得装置１０を動作させる処理プログラムや、処理プログラムの実行中に使用されるデータなどが予め記憶され、あるいは処理の都度一時的に記憶される。また、記憶部１４は、後述する操作ログ取得処理の結果である操作ログ１４ａを記憶する。なお、記憶部１４は、通信制御部１３を介して制御部１５と通信する構成でもよい。
　制御部１５は、ＣＰＵ（Central　Processing　Unit）等を用いて実現され、メモリに記憶された処理プログラムを実行する。これにより、制御部１５は、図１に例示するように、取得部１５ａ、抽出部１５ｂ、分類部１５ｃ、および判定部１５ｄとして機能する。なお、これらの機能部は、それぞれ、あるいは一部が異なるハードウェアに実装されてもよい。また、制御部１５は、その他の機能部を備えてもよい。
　取得部１５ａは、ユーザのマウスクリックやキーボード入力といった操作イベントを検知して、該操作イベントの操作画面における発生位置と、該操作画面のキャプチャ画像とを取得する。具体的には、取得部１５ａは、操作イベントの発生を検知した場合に、当該操作イベントの発生時刻と、当該操作イベントの発生位置と、操作画面のキャプチャ画像とを取得する。例えば、取得部１５ａは、キーボード入力、マウスクリックの操作イベントの発生を検知する機能と、操作イベントを検知すると、操作画面のキャプチャ画像を取得し、操作イベント発生時刻と、操作イベント発生位置と、操作画面のキャプチャ画像とを、後述する判定部１５ｄに通知する機能を具備する。
　取得部１５ａは、操作イベントの発生検知について、例えばＷｉｎｄｏｗｓ（登録商標）ＯＳであればグローバルフックを用いることで実現可能である。同様に、取得部１５ａは、イベント発生位置について、例えばマウスクリックであれば、グローバルフックにより取得可能である。
　また、取得部１５ａは、例えばキーボード入力について、ＯＳから入力位置を汎用的に取得する手段が存在しない場合には、通常キーボード入力は文字列の入力を伴うので、操作イベントの発生前後のキャプチャ画像を比較することで、操作イベントの発生位置を特定することが可能である。なお、変化が生じるのは一点ではなく面的な広がりを持つが、そこに含まれる座標であればどこでもよい。また、キーボード入力には、Ｔａｂキー、方向キー、シフトキー等の入力を伴わない操作も存在するが、これらは分析において意味を持たないことが多いので、本実施形態においては無視するものとする。
　また、取得部１５ａは、操作イベントの種別（マウスクリック、キーボード入力）に関する情報を取得し、記録してもよい。
　抽出部１５ｂは、取得されたキャプチャ画像からＧＵＩ部品の候補となりうる画像を抽出し、操作イベントの発生位置から該操作イベントがどの画像上で発生したものかを特定し、操作イベントの発生時刻と該画像とを関連付けて記録する。具体的には、抽出部１５ｂは、取得されたキャプチャ画像から例えば、画像上の特徴を用いてＧＵＩ部品の候補となりうる画像を抽出する。例えば、抽出部１５ｂは、ＯｐｅｎＣＶ（Open　source　Computer　Vision　library）等を用いて、各ＧＵＩ部品が占める領域とそれ以外の領域の色の差異を特徴として用いて、ＧＵＩ部品のエッジを特定する。そして、抽出部１５ｂは、特定したエッジを輪郭として、エッジを含む外接矩形を切り出すことにより、操作画像からＧＵＩ部品の候補となりうる画像を切り出す。
　その際に、抽出部１５ｂは、画像の周辺の画像を含んだ画像を切り出す。これにより、後述する作成部１５ｅが、画像を用いて操作フローとして可視化した際に、操作画面上での操作箇所がユーザに認識されやすくなる。また、テキストボックス等、画像が類似するＧＵＩ部品の画像を区別することが可能となる。
　ここで、図２～図４は、抽出部１５ｂの処理を説明するための図である。図３（ａ）～（ｃ）には、図２に示す操作画面から、抽出部１５ｂが操作対象の画像を切り出す場合について例示されている。具体的には、図３（ａ）には、破線で囲んで示すように、画像として切り出される画像が例示されている。また、図３（ｂ）には、操作対象の画像となり得るテキストボックスの画像を抽出する場合について例示されている。図３（ｂ）に示すように、抽出部１５ｂは、テキストボックスの周辺の画像を含む画像を切り出すことにより、同一の操作画面上の異なるテキストボックスを区別することが可能となる。図３（ｂ）に示す例では、例えば、特定したテキストボックスの周辺にある文字画像を含むように画像を切り出すことにより、氏名を入力するためのテキストボックスと住所を入力するためのテキストボックスとを区別することが可能となっている。さらに、共通領域を除いて類似性を判定することでより精度高く分類可能である。
　そして、抽出部１５ｂは、切り出した画像のうち、操作イベントの発生位置を含む画像を特定し、特定した画像と、発生位置と、操作イベントの発生時刻とを対応付けて記憶部１４に記憶する。
　その際に、抽出部１５ｂは、図３（ｃ）に示すように、切り出した画像が入れ子関係にある場合、内側の画像内で発生したイベントは内側の画像に対するイベントとして扱い、外側の画像と内側の画像の間で発生したイベントは外側の画像に対するイベントとして扱う。
　また、図４（ａ）には、図３（ｃ）から切り出された画像（画像１～３）が例示されている。また、図４（ｂ）～（ｄ）には、各画像に対するイベントとみなすイベントの発生位置が例示されている。例えば、図４（ｂ）には、画像１に対するイベントとみなすイベントの発生位置が例示されている。
　なお、抽出部１５ｂは、特定した画像と発生位置と、操作イベントの発生時刻とを対応付けて、記憶部１４に記憶せずに、以下に説明する分類部１５ｃに転送してもよい。
　図１の説明に戻る。分類部１５ｃは、記録された画像の集合に対して、画像間の類似度に応じてクラスタに分類する。例えば、分類部１５ｃは、各画像の操作画面のキャプチャ画像における表示位置の類似度に応じて、画像を分類する。これにより、操作画面上で同じ位置に表示されるＧＵＩ部品を表す画像が同一のクラスタに分類される。操作画面の構成が固定的な場合には、すべてのＧＵＩ部品は常に同じ位置に表示されることから、同一のＧＵＩ部品を切り出した画像を同一のクラスタに分類することが可能となる。
　あるいは、分類部１５ｃは、各画像の画像上の類似度に応じて、画像を分類する。これにより、同一のＧＵＩ部品を切り出した画像が同一のクラスタに分類される。操作画面の構成が動的に変化する場合には、各ＧＵＩ部品の表示位置が変わってしまうため、表示位置の類似性から画像を分類することはできない。そのために、画像上の類似度を用いることで、画像を分類する。画像の類似性の判定には、例えばパターンマッチや、各種特徴量・特徴点を用いた類似性の判定が可能である。
　判定部１５ｄは、分類されたクラスタごとに画像に対する操作イベントの発生回数を集計し、集計値が所定の閾値以上の場合に、該クラスタに含まれる画像を操作イベントの発生時刻における操作対象のＧＵＩ部品の画像と判定する。具体的には、判定部１５ｄは、分類されたクラスタごとに操作イベントの発生回数を集計し、集計値が所定の閾値以上の場合に、該クラスタに含まれる画像を操作イベントの発生時刻において操作が行われたＧＵＩ部品の画像と判定する。そして、判定部１５ｄは、判定した画像を発生時刻と対応付けて記録し、操作ログ１４ａを生成し、生成した操作ログ１４ａを記憶部１４に記憶させる。また、判定部１５ｄは、画像に、さらに操作イベント種別を対応付けて操作ログ１４ａを生成してもよい。
　あるいは、判定部１５ｄは、分類されたクラスタごとに操作イベントの発生回数を集計し、該発生回数の全操作イベントに対する割合が所定の閾値以上の場合に、該クラスタに含まれる画像を操作イベントの発生時刻における操作対象の画像と判定してもよい。
　これにより、操作できないＧＵＩ部品に対する操作イベントは除外される。なぜなら、本来ユーザの操作は操作可能なＧＵＩ部品に対してのみ行われるはずであり、その結果、操作可能なＧＵＩ部品に対するイベント発生頻度はそうではないＧＵＩ部品に対する操作イベント発生頻度に比べて有意な差を生じるはずである。
　なお、判定部１５ｄは、入れ子関係にある場合、外側にある画像Ａが操作ログとして記録された場合、内側の画像Ｂを操作ログの候補から除外する。これは、外側の画像が操作可能なＧＵＩ部品で、かつ、その内側の画像が表すＧＵＩ部品も操作可能であることは、一般的な操作画面の構成を考えた場合、極めて不自然なためである。
　また、内側の画像が複数存在する場合、一つの画像が操作対象の画像であれば他の内側の画像も操作対象の画像である可能性が高いので、全ての入れ子関係を判定条件に加えることで、判定の精度を高めることも可能である。
　また、操作ログを生成する際、分析者がクラスタに含まれる画像を区別するために、クラスタごとに該クラスタに含まれる画像に分析者が任意の文字列を付与し、その文字列を用いてフローを生成してもよい。また、クラスタに含まれる画像に対してＯＣＲにより特徴的な文字列を抽出し、それをラベルとして付与することも可能である。
［操作ログ取得処理］
　次に、図５を参照して、本実施形態に係る操作ログ取得装置１０による操作ログ取得処理について説明する。図５は、操作ログ取得処理手順を示すフローチャートである。図５のフローチャートは、例えば、ユーザが開始を指示する操作入力を行ったタイミングで開始される。
　まず、取得部１５ａが、ユーザの操作イベントを検知して、該操作イベントの操作画面における発生位置と、該操作画面のキャプチャ画像とを取得する（ステップＳ１）。
　次に、抽出部１５ｂが、取得されたキャプチャ画像からＧＵＩ部品の候補となりうる画像を抽出する（ステップＳ２）。また、抽出部１５ｂは、操作イベントの発生位置から該操作イベントがどの画像上で発生したものかを特定し、操作イベントの発生時刻と該画像とを関連付けて記録する。例えば、抽出部１５ｂは、キャプチャ画像から、画像上の特徴を用いてＧＵＩ部品の候補となりうる画像を特定し、特定した画像をキャプチャ画像から切り出す。
　次に、分類部１５ｃが、抽出された画像を、画像間の類似度に応じてクラスタに分類する（ステップＳ３）。例えば、分類部１５ｃは、各画像のキャプチャ画像における表示位置の類似度に応じて、画像を分類する。あるいは、各画像の画像上の類似度に応じて、画像を分類する。
　判定部１５ｄが、分類されたクラスタごとに画像に対する操作イベントの発生回数を集計し、集計値が所定の閾値以上の場合に、該クラスタに含まれる画像を操作イベントの発生時刻における操作対象のＧＵＩ部品の画像と判定する（ステップＳ４）。また、判定部１５ｄは、該画像と発生時刻とを関連付けて記録する。
　あるいは、判定部１５ｄは、分類されたクラスタごとの操作イベントの発生回数の全操作イベントに対する割合が所定の閾値以上の場合に、該クラスタに含まれる画像を操作イベントの発生時刻における操作対象のＧＵＩ部品の画像と判定する。
　また、判定部１５ｄは、操作対象のＧＵＩ部品の画像と判定した画像と、操作イベント発生時刻および操作イベント種別とを対応付けて、操作ログ１４ａを生成する（ステップＳ５）。また、判定部１５ｄは、生成した操作ログ１４ａを記憶部１４に記憶させる。あるいは、判定部１５ｄは、操作ログ１４ａを、例えば操作フローを作成する装置に出力する。これにより、一連の操作ログ取得処理が終了する。
　以上、説明したように、本実施形態の操作ログ取得装置１０において、取得部１５ａが、ユーザの操作イベントを検知して、該操作イベントの操作画面における発生位置と、該操作画面のキャプチャ画像とを取得する。また、抽出部１５ｂが、取得されたキャプチャ画像からＧＵＩ部品の候補となりうる画像を抽出し、操作イベントの発生位置から該操作イベントがどの画像上で発生したものかを特定し、操作イベントの発生時刻と該画像とを関連付けて記録する。また、分類部１５ｃが、記録された画像の集合に対して、画像間の類似度に応じてクラスタに分類する。また、判定部１５ｄが、分類されたクラスタごとに画像に対する操作イベントの発生回数を集計し、集計値が所定の閾値以上の場合に、該クラスタに含まれる画像を操作イベントの発生時刻における操作対象のＧＵＩ部品の画像と判定する。
　これにより、操作ログ取得装置１０は、ＧＵＩアプリケーションの種類によらず、事前に教師データを用意したり条件を指定したりすることなく、容易かつ自動的にアプリケーションの操作ログを取得することが可能となる。また、操作ログ取得装置１０は、操作可能なＧＵＩ部品に対して行われた操作イベントのみを抽出可能となる。
　また、分類部１５ｃは、各画像のキャプチャ画像における表示位置の類似度に応じて、画像を分類する。これにより、操作ログ取得装置１０は、操作画面の構成が動的に変化しない場合に、同一のＧＵＩ部品を切り出した画像を同一のクラスタに分類することが可能となる。
　また、分類部１５ｃは、各画像の画像上の類似度に応じて、画像を分類する。これにより、操作ログ取得装置１０は、作画面の構成が動的に変化する場合に、同一のＧＵＩ部品を切り出した画像を同一のクラスタに分類することが可能となる。
　また、判定部１５ｄは、集計した発生回数の全操作イベントに対する割合が所定の閾値以上の場合に、クラスタに含まれる画像を発生時刻における操作対象のＧＵＩ部品の画像と判定する。このように、操作ログ取得装置１０は、操作可能なＧＵＩ部品に対して行われた操作イベントのみを抽出可能となる。
［プログラム］
　上記実施形態に係る操作ログ取得装置１０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。一実施形態として、操作ログ取得装置１０は、パッケージソフトウェアやオンラインソフトウェアとして上記の操作ログ取得処理を実行する操作ログ取得プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の操作ログ取得プログラムを情報処理装置に実行させることにより、情報処理装置を操作ログ取得装置１０として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal　Handyphone　System）などの移動体通信端末、さらには、ＰＤＡ（Personal　Digital　Assistant）などのスレート端末などがその範疇に含まれる。また、操作ログ取得装置１０の機能を、クラウドサーバに実装してもよい。
　図６は、操作ログ取得プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。
　メモリ１０１０は、ＲＯＭ（Read　Only　Memory）１０１１およびＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０３１に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１０４１に接続される。ディスクドライブ１０４１には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１０５１およびキーボード１０５２が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１０６１が接続される。
　ここで、ハードディスクドライブ１０３１は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。上記実施形態で説明した各情報は、例えばハードディスクドライブ１０３１やメモリ１０１０に記憶される。
　また、操作ログ取得プログラムは、例えば、コンピュータ１０００によって実行される指令が記述されたプログラムモジュール１０９３として、ハードディスクドライブ１０３１に記憶される。具体的には、上記実施形態で説明した操作ログ取得装置１０が実行する各処理が記述されたプログラムモジュール１０９３が、ハードディスクドライブ１０３１に記憶される。
　また、操作ログ取得プログラムによる情報処理に用いられるデータは、プログラムデータ１０９４として、例えば、ハードディスクドライブ１０３１に記憶される。そして、ＣＰＵ１０２０が、ハードディスクドライブ１０３１に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。
　なお、操作ログ取得プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０３１に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１０４１等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、操作ログ取得プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮやＷＡＮ（Wide　Area　Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
　以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例および運用技術等は全て本発明の範疇に含まれる。
　１０　操作ログ取得装置
　１１　入力部
　１２　出力部
　１３　通信制御部
　１４　記憶部
　１４ａ　操作ログ
　１５　制御部
　１５ａ　取得部
　１５ｂ　抽出部
　１５ｃ　分類部
　１５ｄ　判定部

Claims (4)

  1. 　ユーザの操作イベントを検知して、該操作イベントの操作画面における発生位置と、該操作画面のキャプチャ画像とを取得する取得部と、
    　取得された前記キャプチャ画像からＧＵＩ部品の候補となりうる画像を抽出し、前記操作イベントの発生位置から該操作イベントがどの画像上で発生したものかを特定し、該操作イベントの発生時刻と該画像とを関連付けて記録する抽出部と、
    　記録された画像の集合に対して、前記画像間の類似度に応じてクラスタに分類する分類部と、
    　分類された前記クラスタごとに前記画像に対する操作イベントの発生回数を集計し、集計値が所定の閾値以上の場合に、該クラスタに含まれる画像を前記操作イベントの発生時刻における操作対象のＧＵＩ部品の画像と判定する判定部と、
    　を有することを特徴とする操作ログ取得装置。
  2. 　前記分類部は、各画像の類似度、または各画像の前記キャプチャ画像における表示位置の類似度の少なくともいずれかに応じて、前記画像を分類することを特徴とする請求項１に記載の操作ログ取得装置。
  3. 　前記判定部は、前記発生回数の全操作イベントに対する割合が所定の閾値以上の場合に、前記クラスタに含まれる画像を前記発生時刻における操作対象のＧＵＩ部品の画像と判定することを特徴とする請求項１に記載の操作ログ取得装置。
  4. 　操作ログ取得装置で実行される操作ログ取得方法であって、
    　ユーザの操作イベントを検知して、該操作イベントの操作画面における発生位置と、該操作画面のキャプチャ画像とを取得する取得工程と、
    　取得された前記キャプチャ画像からＧＵＩ部品の候補となりうる画像を抽出し、前記操作イベントの発生位置から該操作イベントがどの画像上で発生したものかを特定し、該操作イベントの発生時刻と該画像とを関連付けて記録する抽出工程と、
    　記録された画像の集合に対して、前記画像間の類似度に応じてクラスタに分類する分類工程と、
    　分類された前記クラスタごとに前記画像に対する操作イベントの発生回数を集計し、集計値が所定の閾値以上の場合に、該クラスタに含まれる画像を前記操作イベントの発生時刻における操作対象のＧＵＩ部品の画像と判定する判定工程と、
    　を含んだことを特徴とする操作ログ取得方法。
PCT/JP2020/000346 2020-01-08 2020-01-08 操作ログ取得装置および操作ログ取得方法 WO2021140594A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2020/000346 WO2021140594A1 (ja) 2020-01-08 2020-01-08 操作ログ取得装置および操作ログ取得方法
US17/786,620 US20230028654A1 (en) 2020-01-08 2020-01-08 Operation log acquisition device and operation log acquisition method
JP2021569651A JP7380714B2 (ja) 2020-01-08 2020-01-08 操作ログ取得装置および操作ログ取得方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/000346 WO2021140594A1 (ja) 2020-01-08 2020-01-08 操作ログ取得装置および操作ログ取得方法

Publications (1)

Publication Number Publication Date
WO2021140594A1 true WO2021140594A1 (ja) 2021-07-15

Family

ID=76788170

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/000346 WO2021140594A1 (ja) 2020-01-08 2020-01-08 操作ログ取得装置および操作ログ取得方法

Country Status (3)

Country Link
US (1) US20230028654A1 (ja)
JP (1) JP7380714B2 (ja)
WO (1) WO2021140594A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023238357A1 (ja) * 2022-06-09 2023-12-14 日本電信電話株式会社 特定装置、特定方法及び特定プログラム
WO2023238356A1 (ja) * 2022-06-09 2023-12-14 日本電信電話株式会社 生成装置、生成方法及び生成プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240096055A1 (en) 2021-02-08 2024-03-21 Nippon Telegraph And Telephone Corporation Operation log generation device and operation log generation method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002230012A (ja) * 2000-12-01 2002-08-16 Sumitomo Electric Ind Ltd ドキュメントクラスタリング装置
JP2009032099A (ja) * 2007-07-27 2009-02-12 Toshiba Corp シナリオ生成装置およびシナリオ生成プログラム
JP2009176124A (ja) * 2008-01-25 2009-08-06 Toshiba Corp 通信監視記録再生装置及び通信監視記録再生システム
JP2014219885A (ja) * 2013-05-10 2014-11-20 株式会社日立製作所 テスト支援方法、テスト支援システム
WO2016051479A1 (ja) * 2014-09-29 2016-04-07 株式会社日立製作所 画面仕様分析装置及び方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4130841B1 (ja) * 2007-02-06 2008-08-06 Ｓｋｙ株式会社 ネットワーク管理システムとそのためのプログラム
JP4247277B2 (ja) * 2007-02-06 2009-04-02 Ｓｋｙ株式会社 端末監視装置とそのプログラム
JP4160997B1 (ja) * 2007-06-01 2008-10-08 Ｓｋｙ株式会社 操作画像再生装置及び操作画像再生プログラム
JP5025567B2 (ja) * 2008-06-02 2012-09-12 Ｓｋｙ株式会社 操作内容再生システムおよび操作内容再生プログラム
JP2010049388A (ja) * 2008-08-20 2010-03-04 Fuji Xerox Co Ltd 画像処理装置及び障害解析プログラム
WO2010061520A1 (ja) * 2008-11-25 2010-06-03 パナソニック株式会社 操作支援装置及びその方法
CN104160370A (zh) * 2012-01-26 2014-11-19 惠普发展公司，有限责任合伙企业 基于图像的应用自动化
US20140189576A1 (en) * 2012-09-10 2014-07-03 Applitools Ltd. System and method for visual matching of application screenshots
US20140218385A1 (en) * 2012-09-10 2014-08-07 Applitools Ltd. System and method for visual segmentation of application screenshots
US9671874B2 (en) * 2012-11-08 2017-06-06 Cuesta Technology Holdings, Llc Systems and methods for extensions to alternative control of touch-based devices
JP6377917B2 (ja) 2014-03-04 2018-08-22 日本放送協会 画像検索装置及び画像検索プログラム
US10452136B2 (en) * 2014-10-13 2019-10-22 Thomson Licensing Method for controlling the displaying of text for aiding reading on a display device, and apparatus adapted for carrying out the method, computer program, and computer readable storage medium
US9804955B2 (en) * 2015-07-28 2017-10-31 TestPlant Europe Limited Method and apparatus for creating reference images for an automated test of software with a graphical user interface
US10169006B2 (en) * 2015-09-02 2019-01-01 International Business Machines Corporation Computer-vision based execution of graphical user interface (GUI) application actions
JP2017204753A (ja) * 2016-05-11 2017-11-16 富士通株式会社 フレーム抽出方法、動画再生制御方法、プログラム、フレーム抽出装置及び動画再生制御装置
WO2018081469A1 (en) * 2016-10-26 2018-05-03 Soroco Private Limited Systems and methods for discovering automatable tasks
US10169853B2 (en) * 2016-12-20 2019-01-01 Entit Software Llc Score weights for user interface (UI) elements
US9998598B1 (en) * 2017-02-02 2018-06-12 Conduent Business Services, Llc Methods and systems for automatically recognizing actions in a call center environment using screen capture technology
JP6601433B2 (ja) * 2017-02-08 2019-11-06 横河電機株式会社 イベント解析装置、イベント解析システム、イベント解析方法、イベント解析プログラム及び記録媒体
WO2019012654A1 (ja) * 2017-07-13 2019-01-17 日本電気株式会社 分析システム、分析方法及び記憶媒体
JP2019106093A (ja) * 2017-12-14 2019-06-27 株式会社日立製作所 計算機、ログの再現方法及び記憶媒体
US10489126B2 (en) * 2018-02-12 2019-11-26 Oracle International Corporation Automated code generation
WO2021001973A1 (ja) * 2019-07-03 2021-01-07 日本電信電話株式会社 表示制御装置、表示制御方法、および、表示制御プログラム
JP7299499B2 (ja) * 2019-09-30 2023-06-28 富士通株式会社 情報処理プログラム、情報処理方法及び情報処理装置
JP7543739B2 (ja) * 2020-07-08 2024-09-03 富士通株式会社 ログ生成装置、ログ生成方法及びログ生成プログラム
US11878244B2 (en) * 2020-09-10 2024-01-23 Holland Bloorview Kids Rehabilitation Hospital Customizable user input recognition systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002230012A (ja) * 2000-12-01 2002-08-16 Sumitomo Electric Ind Ltd ドキュメントクラスタリング装置
JP2009032099A (ja) * 2007-07-27 2009-02-12 Toshiba Corp シナリオ生成装置およびシナリオ生成プログラム
JP2009176124A (ja) * 2008-01-25 2009-08-06 Toshiba Corp 通信監視記録再生装置及び通信監視記録再生システム
JP2014219885A (ja) * 2013-05-10 2014-11-20 株式会社日立製作所 テスト支援方法、テスト支援システム
WO2016051479A1 (ja) * 2014-09-29 2016-04-07 株式会社日立製作所 画面仕様分析装置及び方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023238357A1 (ja) * 2022-06-09 2023-12-14 日本電信電話株式会社 特定装置、特定方法及び特定プログラム
WO2023238356A1 (ja) * 2022-06-09 2023-12-14 日本電信電話株式会社 生成装置、生成方法及び生成プログラム

Also Published As

Publication number Publication date
US20230028654A1 (en) 2023-01-26
JPWO2021140594A1 (ja) 2021-07-15
JP7380714B2 (ja) 2023-11-15

Similar Documents

Publication Publication Date Title
WO2021140594A1 (ja) 操作ログ取得装置および操作ログ取得方法
US11726760B2 (en) Systems and methods for entry point-based code analysis and transformation
US20230244476A1 (en) Systems and methods for code analysis heat map interfaces
US10769427B1 (en) Detection and definition of virtual objects in remote screens
US20140033091A1 (en) Image-based automation systems and methods
US20070143736A1 (en) Workflow Development Platform
US20140307969A1 (en) Automated application interaction using a virtual operator
EP3574449A1 (en) Structured text and pattern matching for data loss prevention in object-specific image domain
US20220044011A1 (en) Systems and methods for processing a table of information in a document
CN114077741A (zh) 软件供应链安全检测方法和装置、电子设备及存储介质
CN113748413A (zh) 文本检测、插入符号追踪以及活动元素检测
JP2024507599A (ja) ラベルデータの検証のためのシステムおよびコンピュータにより実施される方法
CN112930538A (zh) 文本检测、插入符号追踪以及活动元素检测
CN114419631A (zh) 一种基于rpa的网管虚拟系统
JP7235110B2 (ja) 操作ログ取得装置、操作ログ取得方法および操作ログ取得プログラム
CN111291562B (zh) 基于hse的智能语义识别方法
JP7420268B2 (ja) データ処理装置、データ処理方法及びデータ処理プログラム
WO2022168331A1 (ja) 操作ログ生成装置および操作ログ生成方法
CN115546824B (zh) 禁忌图片识别方法、设备及存储介质
JP6740184B2 (ja) 付与装置、付与方法および付与プログラム
CN116136825B (zh) 数据检测方法及系统
US12124353B2 (en) Operation logs acquiring device, operation logs acquiring method, and operation logs acquiring program
US20230061264A1 (en) Utilizing a machine learning model to identify a risk severity for an enterprise resource planning scenario
JP7156820B2 (ja) 文字列データ処理システム
CN118786420A (zh) 自动键-值对提取

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20912134

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021569651

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20912134

Country of ref document: EP

Kind code of ref document: A1