WO2023195139A1 - 表示データ作成装置、操作システム、表示データ作成方法及び表示データ作成プログラム - Google Patents

表示データ作成装置、操作システム、表示データ作成方法及び表示データ作成プログラム Download PDF

Info

Publication number
WO2023195139A1
WO2023195139A1 PCT/JP2022/017307 JP2022017307W WO2023195139A1 WO 2023195139 A1 WO2023195139 A1 WO 2023195139A1 JP 2022017307 W JP2022017307 W JP 2022017307W WO 2023195139 A1 WO2023195139 A1 WO 2023195139A1
Authority
WO
WIPO (PCT)
Prior art keywords
display data
pattern
information
data creation
operations
Prior art date
Application number
PCT/JP2022/017307
Other languages
English (en)
French (fr)
Inventor
奈々穂 渋谷
悠太 奥村
俊一 長江
陽太 木村
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2022553200A priority Critical patent/JP7205007B1/ja
Priority to PCT/JP2022/017307 priority patent/WO2023195139A1/ja
Publication of WO2023195139A1 publication Critical patent/WO2023195139A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Definitions

  • the present disclosure relates to a display data creation device, an operation system, a display data creation method, and a display data creation program.
  • control systems are operated in which a control device, represented by a programmable controller, controls a large number of devices to realize various processes.
  • the processes realized by the control system are managed by a user at the site, for example, via a display device as a UI (User Interface) terminal connected to the control device.
  • UI User Interface
  • the contents of the operation screen of this type of display device are not necessarily set by the manufacturer of the display device as is, but are appropriately designed by the user according to the needs of the site.
  • Patent Document 1 describes an event analysis device that analyzes event log data indicating a history of operations by an operator and estimates the structure of an operation procedure. According to this device, it is possible to support new creation and improvement of procedure manuals.
  • the operating procedure is output on the output screen as a graph in which nodes representing unit operations are connected.
  • displaying such a graph requires the designer to have knowledge of what operations are associated with nodes.
  • a wide range of knowledge regarding the operation screen is required, and confirmation work will occur frequently. This places a heavy workload on the person in charge of designing the operation screen, which may make it difficult to design an appropriate operation screen.
  • the present disclosure has been made in view of the above circumstances, and aims to facilitate the design of an appropriate operation screen.
  • the display data creation device of the present disclosure includes operation log information indicating a log of operations on a user interface, and operation parts arrangement indicating the arrangement of operation parts displayed on the user interface when an operation is performed.
  • an acquisition means for acquiring the information;
  • an extraction means for extracting an operation pattern that is a plurality of consecutive operations that repeatedly appears in the operation log information; and an operation part arrangement information indicating the operation pattern extracted by the extraction means.
  • creating means for creating display data to be displayed together with the arrangement of the operating components to be displayed.
  • the creation means creates display data for displaying the operation pattern together with the arrangement of the operation components. If the operation pattern is displayed together with the arrangement of the operation components using this display data, the user can easily recognize the operation component corresponding to the operation pattern. Therefore, it is possible to easily design an appropriate operation screen.
  • a diagram showing an example of operation component arrangement information according to Embodiment 1 A diagram showing an example of parts information according to Embodiment 1
  • a diagram showing an example of operation log information according to Embodiment 1 Flowchart showing display data creation processing according to Embodiment 1 Diagram for explaining division of operation logs into operation sequences according to Embodiment 1 Diagram for explaining threshold determination according to Embodiment 1
  • a diagram showing an example of first operation pattern information according to Embodiment 1 A diagram showing an example of second operation pattern information according to Embodiment 1
  • a diagram showing a third example of a display screen based on display data according to Embodiment 1 Diagram for explaining related information according to Embodiment 1
  • a diagram showing a functional configuration of a display data creation device according to Embodiment 2 A first diagram illustrating an example of a proposal for a new arrangement of operating components according to Embodiment 2.
  • Diagram for explaining integration of distances between operating parts according to Embodiment 2 A second diagram illustrating an example of a proposed new arrangement of operating components according to Embodiment 2. A diagram showing an example of changing page transition according to Embodiment 2
  • a third diagram illustrating an example of a proposed new arrangement of operating components according to Embodiment 2 A diagram showing a device information storage device according to a modified example.
  • the display data creation device 10 includes a display device 20 corresponding to a UI terminal, and an operated device 21 that operates according to the contents of a user's operation on the display device 20. Configure the system 100.
  • the operation system 100 is used to improve the operation screen of the display 20 in a facility such as a factory.
  • the operated device 21 is, for example, a PLC (Programmable Logic Controller), an I/O (Input/Output) unit connected to the PLC and used, a machine tool, or other FA equipment.
  • the operated device 21 is connected to the display device 20 via a communication line such as a USB (Universal Serial Bus) cable or an industrial network, and communicates with the display device 20 .
  • a communication line such as a USB (Universal Serial Bus) cable or an industrial network
  • the display device 20 is a computer having a user interface 201.
  • the user interface 201 may be a touch screen in which a display device, typically an LCD (Liquid Crystal Display), and an input device are integrated, or a touch screen, typically a display device and a mouse, which are separately configured. It may also be a combination of input devices such as a pointing device and a keyboard.
  • the configuration of the user interface 201 is not limited to this, as long as it can display information to the user and allow the user to input information.
  • the operation component refers to an image that is an element constituting the operation screen, such as a button, a text input field, and a switch displayed on the screen.
  • the operating components are operated by the user of the display 20.
  • the operation of an operation component can be performed by, for example, selecting the operation component through user input such as pressing and tapping, moving the operation component by dragging, or moving the operation component using a hardware or software keyboard. This means inputting numerical values or character strings.
  • the display 20 transmits an instruction to start operation to the operated device 21, and the operated device 21 Works according to instructions.
  • the operation of the operating component is not limited to the above-mentioned example, and may be any input by the user of information related to the operated device 21 to the displayed operating component.
  • the operation screen of the user interface 201 is changed as appropriate depending on the installation environment of the operated device 21 and display 20. That is, the operation component arrangement information 202 is set according to the situation at the site. For example, when a new operated device 21 is installed as an operation target, an operation screen for operating the new operated device 21 is designed.
  • an image or window containing operation parts displayed on the operation screen will be referred to as a page.
  • the operating components included in a page and page transitions are defined by operating component placement information 202. Specifically, as illustrated in FIG. 2, operation components PT01, PT02, PT03, PT04, and PT05 are arranged on page PG01 displayed on the main screen.
  • operation component PT02 which is a button
  • the displayed page changes to page PG02 as the device D1 operation screen, and operation components PT11 and PT12 are arranged on this page PG02.
  • page PG03 is displayed, and when any operating component on page PG02 is operated, page PG04 is displayed.
  • the operation component placement information 202 includes page information 203 regarding the page and component information 204 regarding the operation components arranged within the page.
  • the page information 203 includes a page ID (Identifier) for identifying the page, a page name, a page type, a position on the screen representing the coordinates of the upper left corner of the page, and a page width. This is data in a table format that associates the size and the height.
  • the component information 204 includes, for each component constituting the operation screen, a component ID for identifying the component, a component name, a component type, and the page where the component is placed.
  • a display page ID indicating the content of the label displayed on the operation component on the user interface 201
  • a display label indicating the content of the label displayed on the operation component on the user interface 201
  • a position on the screen indicating the coordinates of the upper left end point of the component
  • the width and height of the operation component This is table-format data that associates the size indicating the size and the behavior when the operating component is operated. Behavior indicates the behavior of indicator 20 when the component is manipulated.
  • information regarding page transition may be defined as information different from component information 204. Furthermore, components with the same behavior defined may be placed on different pages.
  • the components whose arrangement is defined in the component information 204 may include components other than operation components, such as an image that is displayed regardless of whether or not the user operates the component.
  • the display device 20 is connected to the display data creation device 10 via a communication line or an industrial network, and communicates with the display data creation device 10. Further, the operated device 21 may be connected to the display data creation device 10 as shown in FIG. 1, or may be connected to the display data creation device 10 via the display 20.
  • the display device 20 records operations on the user interface 201 and provides the recorded results to the display data creation device 10.
  • the display data creation device 10 is a computer that supports a designer in designing the arrangement of operation parts displayed on the operation screen by providing the results of analyzing the user's operations on the operation screen of the display 20.
  • FIG. 5 shows the hardware configuration of the display data creation device 10.
  • the display data creation device 10 includes a processor 31, a main storage section 32, an auxiliary storage section 33, an input section 34, an output section 35, and a communication section 36, as shown in FIG.
  • the main storage section 32 , the auxiliary storage section 33 , the input section 34 , the output section 35 , and the communication section 36 are all connected to the processor 31 via an internal bus 37 .
  • the processor 31 includes a CPU (Central Processing Unit) or an MPU (Micro Processing Unit).
  • the processor 31 performs the functions described below by executing the program P1 stored in the auxiliary storage unit 33.
  • the program P1 corresponds to an example of a display data creation program.
  • the main storage unit 32 includes RAM (Random Access Memory).
  • the program P1 is loaded into the main storage section 32 from the auxiliary storage section 33.
  • the main storage unit 32 is used as a work area for the processor 31.
  • the auxiliary storage unit 33 includes a nonvolatile memory typified by EEPROM (Electrically Erasable Programmable Read-Only Memory).
  • the auxiliary storage unit 33 stores various data used in processing by the processor 31 in addition to the program P1.
  • the auxiliary storage unit 33 supplies data used by the processor 31 to the processor 31 according to instructions from the processor 31, and stores data supplied from the processor 31.
  • the input unit 34 includes input devices such as input keys and a keyboard.
  • the input unit 34 acquires information input by the user of the display data creation device 10 and notifies the processor 31 of the acquired information.
  • the output unit 35 includes display devices such as LEDs (Light Emitting Diodes) and LCDs (Liquid Crystal Displays), and output devices such as speakers.
  • the output unit 35 presents various information to the user according to instructions from the processor 31.
  • the communication unit 36 includes a communication interface circuit for communicating with an external device.
  • the communication unit 36 receives a signal from the outside and notifies the processor 31 of information indicated by this signal. Furthermore, the communication unit 36 transmits a signal indicating information output from the processor 31 to an external device.
  • the display data creation device 10 exhibits a function of displaying the result of extracting an operation pattern from a log of user operations on the user interface 201 of the display device 20 through the cooperation of the above-mentioned hardware configuration.
  • the display data creation device 10 has the function of acquiring operation log information 121 indicating a log of operations on the user interface 201 and operation component arrangement information 202 from the display device 20.
  • an acquisition unit 11 that stores information in the storage unit 12; a storage unit 12 that stores various information; an extraction unit 13 that extracts operation patterns that repeatedly appear in the operation log; and an extraction unit 13 that extracts operation patterns that repeatedly appear in the operation log; It has a creation unit 14 that creates display data to be displayed together with the display data creation device 10, and a display unit 15 that displays the operation pattern and the arrangement of the operation components to the user of the display data creation device 10 based on the display data.
  • the user of the display data creation device 10 will be appropriately referred to as a designer.
  • the acquisition unit 11 is mainly realized by the communication unit 36.
  • the acquisition unit 11 acquires the operation log information 121 and the operation component arrangement information 202 by requesting the display 20 to transmit them, and writes them into the storage unit 12 .
  • the acquisition unit 11 acquires, in the display data creation device 10, operation log information indicating a log of operations on the user interface and operation component arrangement information indicating the arrangement of operation components displayed on the user interface when an operation is performed. This corresponds to an example of an acquisition means for acquiring.
  • the storage unit 12 is mainly realized by the auxiliary storage unit 33.
  • the operation log information 121 includes, for each user operation, a timestamp indicating the time when the operation was performed, a page ID indicating the page including the operated operation component, and the component of the operation component.
  • a record is provided that associates the ID, the first value and second value input in conjunction with the operation, the operator indicating the user ID, and device information regarding the operated device 21 when the operation is performed. This is data in a table format arranged in chronological order.
  • the device information includes the model of the product manufactured by the operated device 21 and state information indicating the state of the operated device 21. The device information is provided from the operated device 21.
  • Device information may be added to the operation log information 121 by the display device 20, or the acquisition unit 11 may add device information directly provided to the operation log information 121 provided from the display device 20 without going through the display device 20. may be added.
  • the status information indicates, for example, an error occurring in the operated device 21, an operation mode, or a type of process that the operated device 21 is performing.
  • the extraction unit 13 is mainly realized by the processor 31.
  • a sequence of consecutive operations often appears repeatedly. For example, a first step of setting a plurality of parameters using operating parts and then operating one operated device 21, and a second step of setting other parameters and operating another operated device 21. , are performed alternately, the sequence of operations performed when starting the first step and the sequence of operations performed when starting the second step appear alternately.
  • the operated device 21 may be caused to perform the same operation. For example, when the input order of parameters is different, when the operators are different, or when the operators perform useless or incorrect operations because they are inexperienced, a series of different but similar operations repeatedly appears. It is possible.
  • the extraction unit 13 classifies a series of operations that repeatedly appear in the operation log into groups, and determines an operation pattern that represents each group. Then, the extraction unit 13 writes operation pattern information 122 indicating the operation pattern into the storage unit 12.
  • the extraction unit 13 corresponds to an example of an extraction unit in the display data creation device 10 that extracts an operation pattern that is a plurality of consecutive operations that repeatedly appear in the operation log information.
  • the operation pattern is a series of operations on the user interface 201 that are frequently input.
  • the operation pattern may be the same series of operations, or may be a series of operations that are similar to each other as will be described later.
  • operation means the smallest unit of information input to the user interface 201.
  • inputting certain information can be decomposed into a first operation and a second operation performed after the first operation, and a third operation that is different from either the first operation or the second operation is performed after the second operation. If possible, inputting the information would correspond to two or more operations. If the second operation is always performed after the first operation, the input of information including the first operation and the second operation is treated as one operation.
  • the creation unit 14 is mainly realized by the processor 31.
  • the creation unit 14 reads the operation pattern information 122 and the operation component arrangement information 202 from the storage unit 12, and creates a display for displaying the arrangement of the operation components corresponding to the operations included in the operation pattern to the designer together with the operation pattern. Data is created and output to the display section 15. Details of the display data will be described later.
  • the creation unit 14 corresponds to an example of a creation unit that creates display data for displaying the operation pattern extracted by the extraction unit together with the arrangement of the operation components indicated by the operation component arrangement information in the display data creation device 10. .
  • the display section 15 is mainly realized by the output section 35.
  • the display unit 15 supports the designer in rearranging the operating parts by displaying the operating pattern and the arrangement of the operating parts to the designer based on the display data.
  • the display data may be data that directly indicates an image to be displayed, or may be data that indicates the configuration of such an image. When the display data indicates the configuration of an image, the display unit 15 generates and displays the image based on the display data.
  • the display data creation process shown in FIG. 7 is started, for example, by starting a specific application software of the display data creation device 10 or by a specific input by a designer.
  • This display data creation process corresponds to an example of a display data creation method executed by the display data creation device 10. Note that the execution order and execution contents of the steps constituting the display data creation process shown in FIG. 7 are merely examples, and these execution order and execution contents may be changed arbitrarily.
  • the acquisition unit 11 acquires the operation log information 121 from the display device 20 (step S1). Instead of acquiring one file as the operation log information 121, the acquisition unit 11 acquires different data for each operator, for each manufactured model of the operated device 21, or for each device state indicated by the device information. As a result, operation log information 121 as shown in FIG. 6 may be obtained. Then, the acquisition unit 11 acquires the operation component arrangement information 202 from the display 20 (step S2).
  • the extraction unit 13 divides the operation log indicated by the operation log information 121 into operation sequences based on the time interval of operations (step S3).
  • the operation sequence is a portion of the operation log divided into several parts, and corresponds to a series of operations.
  • a desired input by a user is not necessarily completed by operating a single operating component. For example, when an error occurs in the operated device 21 or when the user confirms information on the operation screen, input to the user interface 201 is completed by the user operating a plurality of operation components in sequence. Since a record of the operation log information 121 is added each time an operation component is operated once, one input of information by the user usually corresponds to an operation sequence that is a series of continuous operations.
  • the extraction unit 13 determines that these operations belong to the same operation sequence if the time length from one operation to the next operation is less than a threshold value, and if this time length exceeds the threshold value, these operations belong to the same operation sequence. determine that the operations belong to different operation sequences.
  • the operations performed at 0 seconds, 1 seconds, and 2 seconds are The operation log is divided into an operation sequence including the operation performed at 13 seconds and a subsequent operation sequence including operations performed at 15 seconds.
  • the threshold value for obtaining the operation sequence may be set in advance as a fixed value.
  • a fixed value may be inappropriate as a threshold value for separating operation sequences. Note that since the operation screen is designed on-site, it is not possible to adopt a method of dividing the operation screen into operation sequences based on a predetermined configuration of the operation screen.
  • the extraction unit 13 determines the threshold value by analyzing past records. Specifically, the extraction unit 13 sequentially calculates the time length from each past operation to the next operation shown in the operation log information 121, and calculates the appearance frequency of this time length as shown in FIG. Create a histogram. Then, the extraction unit 13 determines a threshold value based on the created histogram. Specifically, the threshold value is determined by approximating the histogram to a probability distribution represented by a normal distribution or a lognormal distribution. The extraction unit 13 may apply a Gaussian mixture distribution model to the histogram and obtain the threshold by maximum likelihood estimation. Further, as shown in FIG.
  • the value of ⁇ which is the standard deviation when the histogram is approximated by a normal distribution, may be employed as the threshold value.
  • ⁇ which is the standard deviation when the histogram is approximated by a normal distribution
  • the extraction unit 13 extracts a record in the operation log information 121 for each page or operation component, and analyzes the time interval between the previous and subsequent operations, so that the operation time differs depending on the page or operation component.
  • the threshold value may be determined taking this into account. For example, the threshold value used for the length of time until operation of an operation component that is a button may be shorter than the threshold value used for the length of time until operation of an operation component that is a character string input field.
  • the records to be analyzed by the extraction unit 13 regarding the time length between records may be all the operation logs indicated by the operation log information 121, or some of the operation logs indicated by the operation log information 121. It may also be an operation log.
  • the extraction unit 13 may extract records of operations related to a specific page from the operation log information 121 and analyze the length of time between records.
  • the extraction unit 13 extracts records of operations including page transitions, such as transitions from a specific page to any other page X, and transitions from page X to a specific page, and You may also analyze the length of time.
  • the extraction unit 13 extracts records of operations related to transitions between two specific pages, such as transitions from page PG01 to page PG02 and transitions from page PG02 to page PG01, and calculates the time length between records. may be analyzed. Although examples of extracting records related to pages have been listed, records may be similarly extracted for operation components and then the time length may be analyzed.
  • the operation time may vary depending on the operator. For example, the time interval between operations by an inexperienced operator may be longer than the time interval between operations by an experienced operator. Therefore, the extraction unit 13 may determine a more appropriate threshold value corresponding to the operator by extracting and analyzing past records from the operation log information 121 for each operator.
  • the extraction unit 13 may extract a record for each state of the operated device 21 and determine a threshold value corresponding to this state.
  • the above-described determination of threshold values associated with the states of the page, the operating component, the operator, and the operated device 21 may be arbitrarily combined.
  • the operation sequences divided from the operation log in step S3 in FIG. 7 may also include sequences that do not correspond to a suitable sequence of operations.
  • two operation sequences may be divided into one operation sequence because the time interval from the last operation of one operation sequence to the first operation of the next operation sequence is short.
  • the operation takes time, and one operation sequence may be divided into two operation sequences.
  • a plurality of operation sequences of the same type may appear with slightly different order of operations.
  • the extraction unit 13 classifies the operation sequences obtained in step S3 into groups and extracts operation patterns corresponding to the groups (step S4).
  • the same or similar operation sequences will belong to each group.
  • the operation pattern is an operation sequence that represents this group, and may be any operation sequence that actually belongs to the group, or a new operation pattern that is newly created by the extraction unit 13 as representing the characteristics of the operation sequences that belong to the group. It may also be an operation sequence created in
  • Whether or not the operation sequences are similar is determined based on, for example, the distance between the operation sequences calculated by DP (Dynamic Programming) matching.
  • FIG. 10 shows an example of calculating the distance between two operation sequences.
  • the distance between the operation sequences becomes smaller as the operation sequences become more similar, and thus corresponds to the degree of similarity indicating the degree of similarity between the operation sequences.
  • the operation sequence SQ1 shown in FIG. 10 is a series from the first operation “SQ1-1” to the ninth operation “SQ1-9", and the operation sequence SQ2 is a series called “SQ2-1". This is a sequence from the first operation to the 11th operation "SQ2-11".
  • Each operation corresponds to a combination of a page on which the operation parts are displayed and the operated operation parts.
  • the operation "SQ1-1” means that the operation component PT01 was operated on the page PG01. Note that a combination of a page, an operation component, and a value input for the operation may be treated as one operation.
  • a table is created by arranging the operations that constitute two operation sequences in the row and column directions, and the values in each square of this table are calculated to calculate the distance between the operation sequences. is calculated.
  • the value of this square becomes zero, and these operations are If they are different, the value of this square will be 3, which is the mismatch penalty.
  • the value of the upper left square is zero.
  • the extraction unit 13 calculates the values of the square adjacent to the right side of the square whose value was calculated, the square adjacent to the lower side, and the square adjacent to the lower right side.
  • the cell to be calculated will be moved from left to right. Since it is moving in the direction, add 1, which is the movement penalty to the right, to the value of the left square, 0, and set the value of the squares specified by "SQ1-2" and "SQ2-1" to 1. shall be.
  • 3 is further added as a mismatch penalty. Values are also calculated for the squares specified by "SQ1-1" and "SQ2-2" by adding the downward movement penalty.
  • the values of the squares are calculated in the same manner from approximately the upper left to approximately the lower right.
  • the value of the square in the lower right corner of the table obtained in this way becomes the distance between the operation sequences. Note that the mismatch penalty may be zero when both the page and the operation component match, 1 when either one is different, and 2 when both are different.
  • the extraction unit 13 calculates the distance between the operation sequences as illustrated in FIG. 10 by round robin for two combinations of the operation sequences obtained in step S3 of FIG. Then, the extraction unit 13 obtains a tree structure as shown in FIG. 11 by integrating operation sequences with short distances into the same group using a hierarchical clustering method, and generates a tree structure that is similar to each other. Sort sequences into groups. Among the classified operation sequences, the extraction unit 13 retains operation sequences with a certain large number as operation patterns, and excludes operation sequences with a small number as outliers from subsequent processing targets. For example, the extraction unit 13 may discard groups in which the number of operation sequences belonging to the group is less than 10, or may target the top 50% of the groups with a large number of operation sequences as subsequent processing targets.
  • the extraction unit 13 may replace each operation with a numerical value and group the vectors of the operation sequence whose components are the numerical values of each operation by hierarchical clustering, or use the k-means method, decision tree, or random Clustering may be performed using a forest-like method.
  • the extraction unit 13 divides the operation log into operation sequences using a threshold determined based on past records, but in such division, operation sequences that should be classified into different operation patterns are In some cases, an operation sequence that should be classified into one operation pattern is divided into multiple operation sequences. Therefore, the extraction unit 13 detects the appearance of the operation pattern extracted in step S4 of FIG. 7 from the operation log (step S5). Specifically, the extraction unit 13 sequentially compares the operation series appearing in the operation log with each operation pattern. This comparison may be a distance calculation as shown in FIG. 10, or another similarity calculation. Then, the extraction unit 13 detects the appearance of an operation sequence similar to the operation pattern using a predetermined threshold as a reference.
  • the process performed by the extraction unit 13 is to search the operation log for an operation that matches the first operation of the operation pattern, and increase the number of records from there to, for example, twice the length of the operation pattern. It may also be a process of detecting the appearance of an operation sequence that is less than or equal to a threshold value.
  • Step S5 can be said to be a division of the operation log into operation sequences based on the operation pattern extracted in step S4 instead of the time interval in step S3.
  • step S5 may be executed.
  • step S6 the extraction unit 13 updates the operation pattern by further classifying the operation pattern detected in step S5 as a new operation sequence.
  • step S6 the classification of the operation sequence is updated, and it is expected that a more appropriate operation pattern will be obtained.
  • step S6 may be omitted in consideration of the calculation load caused by reclassifying the operation patterns.
  • step S6 or in the case where step S6 is omitted, the operation pattern extracted in step S4 is stored as operation pattern information 122 in association with the time when it appeared on the operation log in step S5. 12.
  • the operation pattern information 122 includes first operation pattern information 122a shown in FIG. 12 and second operation pattern information 122b shown in FIG. 13.
  • the first operation pattern information 122a is a list of extracted operation pattern types, including a pattern ID for identifying each operation pattern, and subgroups corresponding to the same operation sequence included in the group corresponding to the operation pattern.
  • This is table-format data that associates subsequent operations with.
  • the first and subsequent operations are each indicated by a combination of page ID and component ID.
  • the second operation pattern information 122b is data that shows the operation patterns that appear on the operation log and the times at which they appear in association with each other.
  • the second operation pattern information 122b includes the start time and end time of the appearance of the operation pattern, the subgroup ID indicating the operation sequence that appeared, the model of the product manufactured by the operated device 21, and the operator.
  • This is table-format data that associates and. For example, an operation sequence with subgroup ID "SUB01-01-01" appears from 13:0:0 to 7 seconds on September 28, 2020, and referring to FIG. 12, this operation sequence is a pattern It can be seen that it belongs to the operation pattern with ID "PTN01-02".
  • the second operation pattern information 122b may further indicate the first and second operations that constitute the operation sequence that has appeared.
  • step S6 the creation unit 14 creates display data for displaying the operation pattern together with the arrangement of the operation parts (step S7), and the display unit 15 generates display data based on the created display data.
  • the arrangement of the operating parts and the operating pattern are displayed (step S8). Thereafter, the display data creation process ends.
  • FIG. 14 shows an example of the display screen of the display data creation device 10.
  • the display screen 401 in FIG. 14 is displayed by the designer after specifying the operation log period, model, operator, and state of the operated device 21 as operation pattern extraction conditions.
  • Button 402 is pressed.
  • operation logs that satisfy the specified conditions are extracted from the operation log information 121, and operation patterns are extracted from the extracted operation logs.
  • the display data creation device 10 may call up an operation pattern that satisfies a specified condition from the created operation pattern information 122.
  • the operation pattern extraction results are displayed at the bottom of the display screen 401.
  • the operation pattern extraction results are shown in a table format, and the number of appearances and the average time taken to input the operation pattern are displayed for each pattern ID. This allows the designer to easily determine which operation patterns are more frequent and which require more time to input, and to consider the configuration of the operation screen based on this determination.
  • this table may show the subgroup ID of the operation sequence that has appeared instead of the pattern ID, or may show the subgroup ID together with the pattern ID. Further, in this table, representative operations of the operation patterns may be further shown, or rows corresponding to the operation patterns may be sorted in descending order of the number of occurrences or in order of the longest average time.
  • the number of appearances is aggregated every hour, and the trends in the number of appearances are shown in a line graph. May be displayed. Further, along with this line graph, the model manufactured by the operated device 21 or the operator may be displayed like a Gantt chart.
  • the display screen 501 shows the details of the operation pattern, and displays a list of operation sequences of subgroups included in the operation pattern.
  • three types of operation sequences are included in the operation pattern, and the number of appearances and average time taken for each operation in the operation log of each of the three types of operation patterns, and the series of operations that make up the operation sequence. , is shown. This allows the designer to easily determine which operation sequences are frequent and which require time to input, and consider the configuration of the operation screen based on this determination.
  • designers can easily find exceptional operation sequences that may include operation errors by comparing a typical operation sequence as an operation pattern with an exceptional operation sequence that is different from the typical operation sequence. be able to.
  • the sequence of operations indicated by the page ID and component ID changes to the same operation screen displayed on the user interface 201 of the display 20, as shown in FIG. Switch to a series of reduced images.
  • the operation component that is the object of operation is highlighted.
  • the operating parts are highlighted by being painted black. This allows the designer to recognize the actual operation screen of the user interface 201 and easily recognize in what arrangement of operation components an exceptional operation sequence occurs.
  • the designer can easily correlate and confirm the operation indicated by the page ID and component ID and the operation screen when the operation is performed. In order to facilitate such correspondence, it is desirable to display the page ID and component ID at the same position as the reduced image on the operation screen.
  • the creation unit 14 creates display data for displaying the operation pattern together with the arrangement of the operation parts. If the operation pattern is displayed together with the arrangement of the operation parts using this display data, the designer can easily recognize the operation parts corresponding to the operation pattern. Therefore, it is possible to easily design an appropriate operation screen.
  • the operation log information 121 indicates the operation components used in the operation
  • the display data is data for highlighting and displaying the operation components used in the operations that constitute the operation pattern.
  • the operation log information 121 indicates operations performed sequentially in association with the time when the operations were performed, and the extraction unit 13 extracts the operation log indicated by the operation log information 121 from the time of each operation to the next operation.
  • the operation patterns were extracted by dividing the operation sequences into operation sequences based on the length of time up to the time of , and classifying the operation sequences. If the operation screen is fixed in advance, it is relatively easy to divide the operation log into operation sequences. This makes it difficult to obtain a suitable sequence of operations. On the other hand, since the extraction unit 13 obtains an operation sequence based on the time interval between operations, it is possible to obtain a somewhat reasonable operation sequence even for various operation screens at various sites.
  • the extraction unit 13 extracts operation patterns by classifying the operation sequences, detects the appearance of the extracted operation patterns in the operation log, and displays the display data for displaying the detection results by the extraction unit 13. This is the data. Thereby, an appropriate operation pattern can be detected even if the time interval between operations does not correspond to the operation pattern.
  • the operator is specified as a condition for the operation log from which the operation pattern is to be extracted. This makes it possible to estimate the operating proficiency level by analyzing the operating pattern and average time required for each operator. For example, an operation pattern that requires a large time difference depending on the operator may differ in ease of operation between experienced operators and newcomers, so the operation time can be shortened by creating procedure manuals for operations that take time. Such improvements are possible.
  • the state of the operated device 21 including an error is specified as a condition. This makes it possible to specify the operation pattern input to the user interface 201 when an error occurs, and to create a procedure manual based on the specified operation pattern. Specifically, it is possible to support a designer who is considering which errors can be improved by understanding the recovery procedure when it is difficult to understand and, for example, creating a procedure manual or a shortcut function.
  • objects 601 indicating related information related to the operated device 21 may be displayed arranged on the time axis.
  • the related information is, for example, memo information input into a smartphone by the operator operating the operated device 21, or an image taken of the operated device 21.
  • the related information includes text information such as "September 28, 2020, 13:15:20, device D1, 'XX occurred near device D1', image.jpg", and " The image information is named "image.jpg”. If such related information is acquired by the acquisition unit 11 and the creation unit 14 creates display data including the related information, the related information can be shown in association with the time axis on the graph.
  • the acquisition unit 11 corresponds to an example of an acquisition unit that acquires related information related to the user interface in association with time.
  • the display data corresponds to an example of data for displaying the appearance of an operation pattern in the operation log and related information in association with time.
  • Embodiment 2 will be described, focusing on the differences from Embodiment 1 described above. Note that for configurations that are the same or equivalent to those of the first embodiment, the same reference numerals are used, and the description thereof is omitted or simplified.
  • This embodiment differs from Embodiment 1 in that the display data creation device 10 includes a proposal unit 16 that proposes a new arrangement of operation components.
  • the display data creation device 10 includes a proposal unit 16 that proposes a new arrangement of operation components based on operation log information 121 and operation pattern information 122.
  • the proposal unit 16 is mainly realized by the processor 31.
  • the content of the proposal by the proposal unit 16 is displayed, for example, by pressing a proposal display button (not shown) on a detail display screen 501 as shown in FIG.
  • the content of the proposal by the proposal unit 16 includes, for example, creation of shortcut buttons and rearrangement of operation components.
  • the designer may customize the proposal contents, and if the designer gives permission, the proposal unit 16 generates new operation component placement information 202 that adopts the proposal and sets it on the display 20. It's okay. Thereby, the arrangement of the operation components displayed on the user interface 201 can be easily improved.
  • FIG. 19 shows an example of proposing creation of a shortcut button.
  • a shortcut button is an operation component for inputting multiple operations at once.
  • the proposal unit identifies an operation pattern that includes consecutive operations equal to or greater than a threshold value, calculates the number of operations and the average time required for the operations, and calculates the number of operations for which the calculation result is equal to or greater than a predetermined threshold value. pattern or an operation pattern that has a larger calculation result than other operation patterns from among the specified operation patterns.
  • N or more operations per hour, M or more operations per day, the average time required for operations is S seconds or more, the number of operations per hour is P or more compared to other operation patterns, or other An operation pattern is selected that meets the condition that the number of operations per hour is Q% or more higher than that of the operation pattern. Then, the addition of a new shortcut button corresponding to the batch input of the selected operation pattern is proposed.
  • Operations grouped by shortcut buttons are not limited to sequential operations of operation components displayed on a single page, but may include operations of operation components on transitioned pages.
  • the proposal unit 16 may use the operation component arrangement information 202.
  • the suggestion unit 16 may suggest creation of a shortcut button when the continuous operation is a sequential operation of operation parts arranged side by side. Further, the suggestion unit 16 may calculate the distance between the operation parts and propose creation of a shortcut button when the position of the operation part on the screen is farther than a threshold value.
  • FIG. 20 shows the order of the operation parts in which the operations that make up the operation pattern are performed.
  • the operation parts to be operated are spaced apart, making it difficult for the user to specify the operation part to be operated next, and requiring a long distance to move the finger. Therefore, the proposal unit 16 integrates the distance on the screen from the operating component corresponding to each operation that makes up the operating pattern to the operating component corresponding to the next operation, and arranges the operating components so that this integrated result becomes smaller. propose.
  • the proposal unit 16 identifies an operation pattern that includes consecutive operations equal to or greater than a threshold value from the operation pattern information 122, and selects an operation pattern with a large number of operations or a long operation time from the identified operation patterns. . Then, the proposal unit 16 calculates the coordinates of the center position of each operating component based on the operating component arrangement information 202. For example, if the position of the upper left end point of the operating component is (100, 100) and the size is (200, 50), the coordinates of the center position of this operating component are (200, 125).
  • the proposal unit 16 calculates the coordinates of the center position of each of the operation parts corresponding to the operation constituting the selected operation pattern, and sequentially adds the distance to the next operation part to be operated, thereby determining the distance in the current operation pattern. Obtain the integrated value. Then, the proposing unit 16 attempts to replace the arrangement of the operating components, and similarly obtains the integrated value of the distance when the arrangement is replaced. If the difference in distance between before and after the arrangement of the operating component is greater than or equal to a predetermined threshold, the proposal unit 16 proposes the arrangement of the operating component after replacement, as shown in FIG. 21.
  • the proposal unit 16 identifies, from the operation pattern information 122, an operation pattern in which operations on the same page are continued, but there is only one operation on another page in between. If the number of times this operation pattern appears is greater than a threshold, or if the operation takes longer than a certain amount of time, the proposal unit 16 copies the operation component to another page, as shown in FIG. Or suggest moving.
  • the proposal unit 16 may propose a new arrangement of the operating component to be duplicated or moved based on the operating component placement information 202.
  • the proposal unit 16 corresponds to an example of a proposal unit that proposes a new arrangement of operation components in the display data creation device 10.
  • the proposal unit 16 may propose a new arrangement of the operation components based on the operation log information 121 without using the operation pattern information 122. For example, the proposal unit 16 may propose deletion of an operation component that has never been used in the operation log information 121. Further, the proposal unit 16 may compare the operation logs before and after applying the new arrangement of the operation components, and present to the user the results of evaluating the new arrangement based on this comparison. For example, by exchanging the arrangement as shown in FIG. 20, the user may neglect to check each operating component one by one and simply operate adjacent operating components one after another. In such a case, if errors in the operated device 21 occur frequently, it can be said that such a replacement of the arrangement is undesirable. For this reason, the proposal unit 16 may propose restoring the arrangement of the operating components.
  • an operation pattern extraction device that is a cloud server may transmit display data to an external display device.
  • This operation pattern extracting device corresponds to the above-described display data creation device 10 that includes a transmitting section that transmits display data to the display device in place of the display section 15. Further, the operation pattern extraction device may output the display data to the display device via a connected cable without going through the network.
  • the display data creation device 10 and the display device 20 are configured as separate devices, the display data creation device 10 may be configured integrally with the display device 20.
  • the acquisition unit 11 may acquire information by reading information stored externally from the display device 20, or by the user.
  • the information may be acquired by reading the information from a recording medium such as a memory card that is inserted or removed.
  • the display device 20 may be a UI terminal that is temporarily connected to the operated device 21 as necessary, or may be constantly connected to the operated device 21.
  • the display device 20 may have a UI function that utilizes the computational resources of the operated device 21, or may be a UI unit configured integrally with the operated device 21.
  • the form in which device information is provided from the operated device 21 to the display data creation device 10 is arbitrary.
  • the operated device 21 may store device information in the device information storage device 22, and the acquisition unit 11 may acquire the device information by reading the device information from the device information storage device 22.
  • the display device 20 includes a device information acquisition section 23 that acquires device information from the operated device 21, and the acquisition section 11 acquires device information from the device information acquisition section 23. Good too.
  • the extraction unit 13 may separate the operation sequence at the timing when the state of the operated device 21 is changed, or may separate the operation sequence from when the operation screen of the user interface 201 starts from the main page until it returns to the main page in one sequence. It may be divided into operation sequences.
  • the functions of the display data creation device 10 can be realized by dedicated hardware or by a normal computer system.
  • the program P1 executed by the processor 31 is stored and distributed in a computer-readable non-transitory recording medium, and the program P1 is installed on a computer, thereby configuring a device that executes the above-described processing.
  • Examples of such recording media include flexible disks, CD-ROMs (Compact Disc Read-Only Memory), DVDs, and MOs (Magneto-Optical Discs).
  • the program P1 may be stored in a disk device included in a server device on a communication network such as the Internet, and may be downloaded to a computer by being superimposed on a carrier wave, for example.
  • the above processing can also be achieved by starting and executing the program P1 while transferring it via a communication network.
  • the above processing can also be achieved by executing all or part of the program P1 on a server device, and executing the program while the computer transmits and receives information regarding the processing via a communication network.
  • the means for realizing the functions of the display data creation device 10 is not limited to software, and part or all of it may be realized by dedicated hardware including a circuit.
  • the present disclosure is suitable for supporting user interface improvement work.
  • 100 operation system 10 display data creation device, 11 acquisition unit, 12 storage unit, 121 operation log information, 122 operation pattern information, 122a first operation pattern information, 122b second operation pattern information, 13 extraction unit, 14 Creation Department, 15 Display section, 16 Suggestion section, 20 Display device, 201 User interface, 202 Operation parts arrangement information, 203 Page information, 204 Parts information, 21 Operated device, 22 Device information storage device, 23 Device information acquisition section , 31 processor, 32 Main memory section, 33 Auxiliary memory section, 34 Input section, 35 Output section, 36 Communication section, 37 Internal bus, 401, 501 Display screen, 402 Display button, 403 button, 502 Display switching button, 601 Object P1 Program.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

表示データ作成装置（１０）は、ユーザインタフェース（２０１）に対する操作のログを示す操作ログ情報（１２１）と、操作がなされるときにユーザインタフェース（２０１）に表示される操作部品の配置を示す操作部品配置情報（２０２）と、を取得する取得部（１１）と、操作ログ情報（１２１）において繰り返し出現する操作パターンを抽出する抽出部（１３）と、抽出部（１３）によって抽出された操作パターンを、操作部品配置情報（２０２）により示される操作部品の配置とともに表示するための表示データを作成する作成部（１４）と、を備える。

Description

表示データ作成装置、操作システム、表示データ作成方法及び表示データ作成プログラム
　本開示は、表示データ作成装置、操作システム、表示データ作成方法及び表示データ作成プログラムに関する。
　工場に代表されるＦＡ（Factory Automation）の現場では、プログラマブルコントローラに代表される制御装置が多数の機器を制御することにより種々の工程を実現する制御システムが運用される。制御システムによって実現される工程は、例えば制御装置に接続されたＵＩ（User Interface）端末としての表示器を介して、現場のユーザによって管理される。この種の表示器の操作画面の内容については、表示器の製造メーカーが設定したものがそのまま用いられるとは限らず、現場のニーズに応じてユーザによって適宜設計される。
　操作画面の設計には、設計の担当者及び当該担当者以外のユーザを含む多くの操作者にとっての使い勝手を考慮する必要がある。そこで、操作画面に対する操作の履歴を分析して、設計担当者を支援するための技術が提案されている（例えば、特許文献１を参照）。特許文献１には、オペレータによる操作の履歴を示すイベントログデータを解析し、操作手順の構造を推定するイベント解析装置について記載されている。この装置によれば、手順書の新規作成及び改善をサポートすることができる。
特開２０１７－０９１１７８号公報
　特許文献１の技術では、単位操作を表すノードが接続されたグラフとして、操作手順が出力画面に出力される。しかしながら、このようなグラフの表示では、設計担当者に対して、どのような操作がノードに対応づけられているかという知識が求められる。特に、操作画面を用いた管理すべき対象が多い場合には、操作画面に関する広い知識が求められ、確認作業が頻繁に生じることとなる。このため、操作画面の設計担当者への作業負担が大きく、ひいては、適当な操作画面の設計が困難となるおそれがある。
　本開示は、上記の事情に鑑みてなされたものであり、適当な操作画面の設計を容易にすることを目的とする。
　上記目的を達成するため、本開示の表示データ作成装置は、ユーザインタフェースに対する操作のログを示す操作ログ情報と、操作がなされるときにユーザインタフェースに表示される操作部品の配置を示す操作部品配置情報と、を取得する取得手段と、操作ログ情報において繰り返し出現する、連続する複数の操作である操作パターンを抽出する抽出手段と、抽出手段によって抽出された操作パターンを、操作部品配置情報により示される操作部品の配置とともに表示するための表示データを作成する作成手段と、を備える。
　本開示によれば、作成手段が、操作パターンを操作部品の配置とともに表示するための表示データを作成する。この表示データによって、操作パターンが操作部品の配置とともに表示されれば、ユーザは、操作パターンに対応する操作部品を容易に認識することができる。したがって、適当な操作画面の設計を容易にすることができる。
実施の形態１に係る表示データ作成装置の機能的な構成を示す図 実施の形態１に係るユーザインタフェースの表示例を示す図 実施の形態１に係る操作部品配置情報の一例を示す図 実施の形態１に係る部品情報の一例を示す図 実施の形態１に係る表示データ作成装置のハードウェア構成を示す図 実施の形態１に係る操作ログ情報の一例を示す図 実施の形態１に係る表示データ作成処理を示すフローチャート 実施の形態１に係る操作ログから操作シーケンスへの分割について説明するための図 実施の形態１に係る閾値の決定について説明するための図 実施の形態１に係る２つの操作シーケンス間の距離の算出例を示す図 実施の形態１に係る操作シーケンスから操作パターンを分類する一例を示す図 実施の形態１に係る第１操作パターン情報の一例を示す図 実施の形態１に係る第２操作パターン情報の一例を示す図 実施の形態１に係る表示データに基づく表示画面の第１の例を示す図 実施の形態１に係る表示データに基づく表示画面の第２の例を示す図 実施の形態１に係る表示データに基づく表示画面の第３の例を示す図 実施の形態１に係る関連情報について説明するための図 実施の形態２に係る表示データ作成装置の機能的な構成を示す図 実施の形態２に係る操作部品の新たな配置の提案の一例を示す第１の図 実施の形態２に係る操作部品間の距離の積算について説明するための図 実施の形態２に係る操作部品の新たな配置の提案の一例を示す第２の図 実施の形態２に係るページ遷移の変更例を示す図 実施の形態２に係る操作部品の新たな配置の提案の一例を示す第３の図 変形例に係る装置情報記憶装置を示す図 変形例に係る装置情報取得部を示す図
　以下、本開示の実施の形態に係る表示データ作成装置１０について、図面を参照しつつ詳細に説明する。
　実施の形態１．
　本実施の形態に係る表示データ作成装置１０は、図１に示されるように、ＵＩ端末に相当する表示器２０、及び、表示器２０に対するユーザの操作内容に従って動作する被操作装置２１とともに、操作システム１００を構成する。操作システム１００は、工場に代表される施設において表示器２０の操作画面を改善するために利用される。
　被操作装置２１は、例えば、ＰＬＣ（Programmable Logic Controller）、ＰＬＣに接続されて利用されるＩ／Ｏ（Input/Output）ユニット、工作機械、その他のＦＡ機器である。被操作装置２１は、ＵＳＢ（Universal Serial Bus）ケーブルのような通信線又は産業用ネットワークを介して表示器２０に接続されて、表示器２０と通信する。
　表示器２０は、ユーザインタフェース２０１を有するコンピュータである。ユーザインタフェース２０１は、ＬＣＤ（Liquid Crystal Display）に代表される表示デバイスと入力デバイスとが一体的に構成されたタッチスクリーンであってもよいし、個別に構成された表示デバイス、及び、マウスに代表されるポインティングデバイス及びキーボードのような入力デバイスの組み合わせであってもよい。ユーザインタフェース２０１の構成はこれに限定されず、ユーザへの情報の表示及びユーザからの情報の入力が可能であればよい。
　ユーザインタフェース２０１には、予め設定された操作部品配置情報２０２に基づいて操作部品が配置されて表示される。操作部品は、例えば、画面上に表示されるボタン、テキスト入力欄、及びスイッチのような、操作画面を構成する要素となる画像を意味する。操作部品は、表示器２０のユーザによって操作される。操作部品の操作は、例えば、押下及びタップに代表されるユーザの入力によって当該操作部品が選択されること、ドラッグによる操作部品の移動、又は、ハードウェア又はソフトウェアのキーボードを利用した操作部品への数値或いは文字列の入力を意味する。例えば、被操作装置２１の運転を開始することに予め割り当てられた操作部品が操作されると、表示器２０は、運転開始の指示を被操作装置２１に送信し、被操作装置２１は、この指示に従って動作する。操作部品の操作は、上述の例に限定されず、表示されている操作部品に対する、被操作装置２１に関連する情報のユーザによる入力であればよい。
　ユーザインタフェース２０１の操作画面は、被操作装置２１及び表示器２０の設置環境に応じて適宜変更される。すなわち、操作部品配置情報２０２が、現場の状況に応じて設定される。例えば、新たな被操作装置２１が操作対象として設置された場合には、当該新たな被操作装置２１を操作するための操作画面が設計される。
　操作画面に表示される操作部品を含む画像又はウィンドウを、以下ではページと表記する。ページが含む操作部品、及び、ページの遷移は、操作部品配置情報２０２によって規定される。詳細には、図２に例示されるように、メイン画面に表示されるページＰＧ０１には、操作部品ＰＴ０１，ＰＴ０２，ＰＴ０３，ＰＴ０４，ＰＴ０５が配置される。そして、ボタンである操作部品ＰＴ０２が操作されると、表示されるページが、装置Ｄ１操作画面としてのページＰＧ０２に遷移し、このページＰＧ０２には、操作部品ＰＴ１１，ＰＴ１２が配置される。また、ＰＧ０１における他の操作部品が操作されると、ページＰＧ０３が表示され、ページＰＧ０２におけるいずれかの操作部品が操作されると、ページＰＧ０４が表示される。
　操作部品配置情報２０２は、図３に例示されるように、ページに関するページ情報２０３と、ページ内に配置される操作部品に関する部品情報２０４と、を含む。ページ情報２０３は、ページそれぞれについて、当該ページを識別するためのページＩＤ（Identifier）と、ページ名と、ページの種類と、ページの左上の端点の座標を表す画面上の位置と、ページの幅及び高さを示すサイズと、を関連付けるテーブル形式のデータである。
　部品情報２０４は、図４に例示されるように、操作画面を構成する部品それぞれについて、当該部品を識別するための部品ＩＤと、部品名と、部品の種類と、当該部品が配置されるページを示す表示ページＩＤと、ユーザインタフェース２０１上の操作部品に表示されるラベルの内容を示す表示ラベルと、当該部品の左上の端点の座標を表す画面上の位置と、操作部品の幅及び高さを示すサイズと、操作部品が操作されたときの振る舞いと、を関連付けるテーブル形式のデータである。振る舞いは、部品が操作されたときの表示器２０の挙動を示す。図４では、ページの遷移が、振る舞いの一種として記述されているが、ページの遷移に関する情報は、部品情報２０４とは異なる情報として規定されていてもよい。また、同等の振る舞いが規定された部品が、異なるページに配置されていてもよい。部品情報２０４において配置が規定される部品は、ユーザの操作の有無に関わらず表示される画像のような、操作部品以外の部品を含んでもよい。
　表示器２０は、通信線又は産業用ネットワークを介して表示データ作成装置１０に接続されて、表示データ作成装置１０と通信する。また、被操作装置２１は、図１に示されるように表示データ作成装置１０と接続されてもよいし、表示器２０を介して表示データ作成装置１０に接続されてもよい。表示器２０は、ユーザインタフェース２０１に対する操作を記録して、記録結果を表示データ作成装置１０に提供する。
　表示データ作成装置１０は、表示器２０の操作画面に対するユーザの操作を分析した結果を提供することにより、操作画面に表示される操作部品の配置を設計する設計担当者を支援するコンピュータである。図５には、表示データ作成装置１０のハードウェア構成が示されている。表示データ作成装置１０は、図５に示されるように、プロセッサ３１と、主記憶部３２と、補助記憶部３３と、入力部３４と、出力部３５と、通信部３６と、を有する。主記憶部３２、補助記憶部３３、入力部３４、出力部３５及び通信部３６はいずれも、内部バス３７を介してプロセッサ３１に接続される。
　プロセッサ３１は、ＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro Processing Unit）を含む。プロセッサ３１は、補助記憶部３３に記憶されるプログラムＰ１を実行することにより後述の機能を発揮する。プログラムＰ１は、表示データ作成プログラムの一例に相当する。
　主記憶部３２は、ＲＡＭ（Random Access Memory）を含む。主記憶部３２には、補助記憶部３３からプログラムＰ１がロードされる。そして、主記憶部３２は、プロセッサ３１の作業領域として用いられる。
　補助記憶部３３は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）に代表される不揮発性メモリを含む。補助記憶部３３は、プログラムＰ１の他に、プロセッサ３１の処理に用いられる種々のデータを記憶する。補助記憶部３３は、プロセッサ３１の指示に従って、プロセッサ３１によって利用されるデータをプロセッサ３１に供給し、プロセッサ３１から供給されたデータを記憶する。
　入力部３４は、入力キー及びキーボードに代表される入力デバイスを含む。入力部３４は、表示データ作成装置１０のユーザによって入力された情報を取得して、取得した情報をプロセッサ３１に通知する。
　出力部３５は、ＬＥＤ（Light Emitting Diode）及びＬＣＤ（Liquid Crystal Display）に代表される表示デバイス並びにスピーカーのような出力デバイスを含む。出力部３５は、プロセッサ３１の指示に従って種々の情報をユーザに提示する。
　通信部３６は、外部の装置と通信するための通信インタフェース回路を含む。通信部３６は、外部から信号を受信して、この信号により示される情報をプロセッサ３１へ通知する。また、通信部３６は、プロセッサ３１から出力された情報を示す信号を外部の装置へ送信する。
　表示データ作成装置１０は、上述のハードウェア構成が協働することにより、表示器２０のユーザインタフェース２０１に対するユーザの操作のログから操作パターンを抽出した結果を表示する機能を発揮する。詳細には、表示データ作成装置１０は、図１に示されるように、その機能として、ユーザインタフェース２０１に対する操作のログを示す操作ログ情報１２１及び操作部品配置情報２０２を表示器２０から取得して記憶部１２に格納する取得部１１と、種々の情報を記憶する記憶部１２と、操作のログに繰り返し出現する操作パターンを操作のログから抽出する抽出部１３と、操作パターンを操作部品の配置と共に表示するための表示データを作成する作成部１４と、表示データに基づいて操作パターン及び操作部品の配置を表示データ作成装置１０のユーザに表示する表示部１５と、を有する。以下では、表示データ作成装置１０のユーザを設計者と適宜表記する。
　取得部１１は、主として通信部３６によって実現される。取得部１１は、操作ログ情報１２１及び操作部品配置情報２０２の送信を表示器２０に要求することにより取得して、記憶部１２に書き込む。取得部１１は、表示データ作成装置１０において、ユーザインタフェースに対する操作のログを示す操作ログ情報と、操作がなされるときにユーザインタフェースに表示される操作部品の配置を示す操作部品配置情報と、を取得する取得手段の一例に相当する。記憶部１２は、主として補助記憶部３３によって実現される。
　操作ログ情報１２１は、図６に例示されるように、ユーザの操作それぞれについて、操作がなされた時刻を示すタイムスタンプと、操作された操作部品を含むページを示すページＩＤと、操作部品の部品ＩＤと、操作に付随して入力される第１の値及び第２の値と、ユーザのＩＤを示す操作者と、操作がなされたときの被操作装置２１に関する装置情報と、を関連付けるレコードが時系列に並べられたテーブル形式のデータである。装置情報は、被操作装置２１によって製造されている製品の機種、及び、当該被操作装置２１の状態を示す状態情報を含む。装置情報は、被操作装置２１から提供される。表示器２０によって操作ログ情報１２１に装置情報が追加されてもよいし、取得部１１が、表示器２０から提供された操作ログ情報１２１に、表示器２０を介することなく直接提供された装置情報を追加してもよい。状態情報は、例えば、被操作装置２１で発生しているエラー、運転モード、又は、被操作装置２１が実施している工程の種別を示す。
　抽出部１３は、主としてプロセッサ３１によって実現される。十分に長い期間において記録された操作のログには、連続する操作の系列が繰り返し出現することが多い。例えば、操作部品を用いてパラメータを複数設定した上で一の被操作装置２１を動作させる第１の工程と、他のパラメータを設定して他の被操作装置２１を動作させる第２の工程と、が交互に実行される場合には、第１の工程を開始する際になされる操作の系列と、第２の工程を開始する際になされる操作の系列と、が交互に出現する。また、異なる操作の系列であっても、被操作装置２１に同一の動作を実行させることがある。例えば、パラメータの入力順が異なる場合、操作者が異なる場合、及び、操作者が不慣れであるために無駄な操作又は間違った操作をする場合には、互いに異なるが類似する操作の系列が繰り返し出現し得る。抽出部１３は、操作のログに繰り返し出現する操作の系列をグループに分類して、各グループを代表する操作パターンを決定する。そして、抽出部１３は、操作パターンを示す操作パターン情報１２２を記憶部１２に書き込む。抽出部１３は、表示データ作成装置１０において、操作ログ情報において繰り返し出現する、連続する複数の前記操作である操作パターンを抽出する抽出手段の一例に相当する。
　操作パターンは、ユーザインタフェース２０１に対する一連の操作であって、頻繁に入力されるものを意味する。操作パターンは、同一の一連の操作であってもよいし、後述するように互いに類似する一連の操作であってもよい。
　ここで、操作は、ユーザインタフェース２０１に対する情報の入力としての最小単位を意味する。例えば、ある情報の入力が第１操作と当該第１操作の次になされる第２操作に分解可能であり、第２操作の次に第１操作及び第２操作のいずれとも異なる第３操作がなされ得る場合には、当該情報の入力は、２つ以上の操作に相当することとなる。第１操作の次に必ず第２操作がなされる場合には、第１操作及び第２操作を含む情報の入力が１つの操作として扱われる。１つのブロックのような入力欄に対する文字列の入力に関しては、文字列すべての入力が完了してから当該文字列が表示器２０における処理の対象となる場合には、文字列全体の入力が１回の操作に相当し、個々の文字が入力される度に表示器２０において当該文字に基づく処理が発生する場合には、個々の文字の入力が１回の操作に相当してもよい。
　作成部１４は、主としてプロセッサ３１によって実現される。作成部１４は、記憶部１２から操作パターン情報１２２及び操作部品配置情報２０２を読み出して、操作パターンに含まれる操作に対応する操作部品の配置を操作パターンとともに設計者に対して表示するための表示データを作成して表示部１５に出力する。表示データの詳細については、後述する。作成部１４は、表示データ作成装置１０において、抽出手段によって抽出された操作パターンを、操作部品配置情報により示される操作部品の配置とともに表示するための表示データを作成する作成手段の一例に相当する。
　表示部１５は、主として出力部３５によって実現される。表示部１５は、表示データに基づいて、操作パターン及び操作部品の配置を設計者に対して表示することにより、設計者による操作部品の再配置を支援する。表示データは、表示されるべき画像を直接的に示すデータであってもよいし、そのような画像の構成を示すデータであってもよい。表示データが画像の構成を示す場合には、表示部１５が、表示データに基づいて画像を生成して表示する。
　続いて、表示データ作成装置１０によって実行される操作パターン表示処理について、図７～１６を用いて説明する。図７に示される表示データ作成処理は、例えば、表示データ作成装置１０の特定のアプリケーションソフトウェアの起動、又は、設計者による特定の入力によって開始する。この表示データ作成処理は、表示データ作成装置１０によって実行される表示データ作成方法の一例に相当する。なお、図７に示される表示データ作成処理を構成するステップの実行順序及び実行内容は、一例であって、これらの実行順序及び実行内容を任意に変更してもよい。
　表示データ作成処理では、取得部１１が、操作ログ情報１２１を表示器２０から取得する（ステップＳ１）。取得部１１は、操作ログ情報１２１として１つのファイルを取得するのに代えて、操作者毎、被操作装置２１による製造機種毎、又は装置情報により示される装置の状態毎に異なるデータを取得して、結果的に図６に示されたような操作ログ情報１２１を取得してもよい。そして、取得部１１が、操作部品配置情報２０２を表示器２０から取得する（ステップＳ２）。
　次に、抽出部１３が、操作ログ情報１２１によって示される操作ログを、操作の時間間隔に基づいて操作シーケンスに分割する（ステップＳ３）。操作シーケンスは、操作ログをいくつかに区切った部分であって、操作の系列に相当する。ユーザによる所望の入力は、単一の操作部品の操作で完了するとは限らない。例えば、被操作装置２１にエラーが生じたとき或いは操作画面上の情報をユーザが確認するときには、ユーザが複数の操作部品を順に操作することによりユーザインタフェース２０１への入力が完了する。操作部品が１回操作されるたびに操作ログ情報１２１のレコードが追加されるため、ユーザによる１回の情報の入力は通常、一連の連続する操作である操作シーケンスに対応することとなる。
　ここで、図８に示されるように、操作ログ情報１２１の各レコードを、対応する時刻に並べた場合には、操作シーケンスのうちの１つの操作から次の操作までの時間長が短いのに対して、操作シーケンスの終了から次の操作シーケンスの開始までの時間長は、比較的長いと考えられる。そこで、抽出部１３は、１つの操作から次の操作までの時間長が閾値を下回る場合にはこれらの操作が同一の操作シーケンスに属すると判断し、この時間長が閾値を超える場合にはこれらの操作が異なる操作シーケンスに属すると判断する。例えば、１３時０分の０秒、１秒、２秒、１３秒、１５秒それぞれのレコードがある場合において、閾値が１０秒であるときには、０秒、１秒及び２秒でなされた操作を含む操作シーケンスと、１３秒及び１５秒でなされた操作を含む次の操作シーケンスと、に操作ログが切り分けられる。
　操作シーケンスを得るための閾値は、固定値として予め設定されてもよい。ただし、現場で操作画面が設計される表示器２０については、適当な閾値を予め決定することが困難であり、固定値では操作シーケンスを切り分けるための閾値として不適当となるおそれがある。なお、操作画面が現場で設計されるため、予め定められた操作画面の構成に基づいて操作シーケンスに切り分ける手法を採用することもできない。
　そこで、抽出部１３は、過去のレコードを分析することにより閾値を決定する。具体的には、抽出部１３は、操作ログ情報１２１に示される過去の操作それぞれから次の操作までの時間長を順次算出して、図９に示されるように、この時間長の出現頻度のヒストグラムを作成する。そして、抽出部１３は、作成したヒストグラムに基づいて閾値を決定する。詳細には、ヒストグラムを正規分布又は対数正規分布に代表される確率分布に近似することで閾値が決定される。抽出部１３は、ヒストグラムに対して混合ガウス分布モデルを適用して最尤推定により閾値を求めてもよい。また、図９に示されるように、ヒストグラムを正規分布で近似したときの標準偏差であるσの値を閾値として採用してもよい。このように、過去のレコードを統計的に分析することで閾値を決定すれば、種々の環境に設置されて任意の操作画面を有する表示器２０についても、適当な閾値を決定することが期待される。
　また、表示される情報量が多く確認作業を要するために操作に時間がかかるページと、短時間で操作が完了するページと、では異なる閾値を採用することが好ましい場合がある。さらに、押下で操作が完了するボタンの操作部品と、文字列の入力を要する操作部品と、では操作にかかる時間が異なるため、異なる閾値を採用することが好ましい場合がある。そのため、抽出部１３は、ページ毎又は操作部品毎に操作ログ情報１２１内のレコードを抽出し、その前後の操作との時間間隔を分析することで、ページ或いは操作部品に応じて操作時間が異なることを加味して閾値を決定してもよい。例えば、ボタンである操作部品の操作までの時間長について用いられる閾値は、文字列の入力欄である操作部品の操作までの時間長について用いられる閾値より短くてもよい。
　レコード間の時間長に関して抽出部１３による解析の対象となるレコードは、操作ログ情報１２１により示されるすべての操作ログであってもよいし、操作ログ情報１２１により示される操作ログのうちの一部の操作ログであってもよい。例えば、抽出部１３は、特定のページに関する操作のレコードを操作ログ情報１２１から抽出して、レコード間の時間長を解析してもよい。また、抽出部１３は、特定のページから任意の他のページＸへの遷移、及び、ページＸから特定のページへの遷移のような、ページの遷移を含む操作のレコードを抽出してレコード間の時間長を解析してもよい。抽出部１３は、ページＰＧ０１からページＰＧ０２への遷移、及び、ページＰＧ０２からページＰＧ０１への遷移のような、特定の２つのページ間の遷移に関わる操作のレコードを抽出してレコード間の時間長を解析してもよい。ページに関するレコードの抽出例を列挙したが、操作部品についても同様にレコードを抽出した上で時間長を解析してもよい。
　また、操作者によって操作時間が異なり得る。例えば、不慣れな操作者による操作の時間間隔は、ベテランの操作者による操作の時間間隔より長いと考えられる。そこで、抽出部１３は、操作ログ情報１２１のうちの過去のレコードを操作者毎に抽出して分析することにより、操作者に対応するより適当な閾値を決定してもよい。
　さらに、抽出部１３は、被操作装置２１の状態毎にレコードを抽出して、この状態に対応する閾値を決定してもよい。上述のような、ページ、操作部品、操作者、被操作装置２１の状態に対応づけた閾値の決定は、任意に組み合わせてもよい。
　なお、図７のステップＳ３で操作ログから分割された操作シーケンスは、適当な操作の系列に該当しないものも含み得る。例えば、１つの操作系列のうちの最後の操作から次の操作系列の最初の操作までの時間間隔が短いために２つの操作系列が１つの操作シーケンスとして分割され得る。また、ユーザが操作に集中せずに考え事をしていたために操作に時間がかかってしまい、１つの操作系列が２つの操作シーケンスに分割され得る。さらに、操作ミス或いは操作手順がユーザ毎に異なることにより、同種の操作系列として操作の順序が若干異なる複数の操作系列が出現し得る。
　そこで、図７に示されるように、抽出部１３は、ステップＳ３で得た操作シーケンスをグループに分類して、グループに対応する操作パターンを抽出する（ステップＳ４）。各グループには、同一又は類似な操作シーケンスが属することとなる。操作パターンは、このグループを代表する操作シーケンスであって、グループに実際に属しているいずれかの操作シーケンスであってもよいし、グループに属する操作シーケンスの特徴を表すものとして抽出部１３によって新たに作成された操作シーケンスであってもよい。
　操作シーケンス同士が類似するか否かは、例えば、ＤＰ（Dynamic Programming）マッチングにより算出される操作シーケンス間の距離に基づいて判断される。図１０には、２つの操作シーケンス間の距離の算出例が示されている。ここで、操作シーケンス間の距離は、操作シーケンスが類似するほど小さくなるため、操作シーケンス同士が類似する度合いを示す類似度に対応する。
　図１０に示される操作シーケンスＳＱ１は、「ＳＱ１－１」という１番目の操作から、「ＳＱ１－９」という９番目の操作までの系列であって、操作シーケンスＳＱ２は、「ＳＱ２－１」という１番目の操作から、「ＳＱ２－１１」という１１番目の操作までの系列である。各操作は、操作部品が表示されるページ及び操作された操作部品の組み合わせに対応する。例えば、「ＳＱ１－１」という操作は、ページＰＧ０１において操作部品ＰＴ０１が操作されたことを意味する。なお、ページと、操作部品と、操作に関して入力された値と、の組み合わせを１つの操作として扱ってもよい。
　図１０に示されるように、２つの操作シーケンスを構成する操作を行方向及び列方向に並べることで表を作成し、この表の各マス内の値を計算することで、操作シーケンス間の距離が算出される。まず、左上のマスの直上に示される操作「ＳＱ１－１」と、このマスの左側に示される操作「ＳＱ２－１」が一致する場合には、このマスの値がゼロとなり、これらの操作が異なる場合には、このマスの値は、不一致ペナルティである３となる。図１０の例では、操作が一致しているため、左上のマスの値はゼロとなる。
　次に、抽出部１３は、値が算出されたマスの右側に隣り合うマス、下側に隣り合うマス、及び、右下側に接するマス、の値を算出する。詳細には、操作「ＳＱ１－２」の列と操作「ＳＱ２－１」の行で特定されるマスについて、これらの操作を比較した結果、一致していれば、計算対象のマスが左側から右方向へ移動してきているので、左側のマスの値であるゼロに右方向への移動ペナルティである１を加算し、「ＳＱ１－２」と「ＳＱ２－１」で特定されるマスの値を１とする。ここで、操作が一致していなければ、さらに不一致ペナルティとして３が加算される。「ＳＱ１－１」と「ＳＱ２－２」で特定されるマスについても、下方向への移動ペナルティを加算することにより値が算出される。
　「ＳＱ１－２」と「ＳＱ２－２」で特定されるマスについては、上からの移動、左上からの移動、及び、左からの移動の３通りの方向のうち、値が最も小さくなる方向が採用される。図１０の例では、左上から移動したときに移動ペナルティが最小のゼロであり、操作が一致しており不一致ペナルティは加算されないため、このマスの値はゼロとなる。ただし、操作が異なる場合には不一致ペナルティが加算される。例えば、「ＳＱ１－３」の列と「ＳＱ２－３」の行で特定されるマスについては、左上からの移動したときに移動ペナルティが最小のゼロとなり、左上のマスの値であるゼロに移動ペナルティのゼロと不一致ペナルティの３とを加算することにより３という値が算出される。以降、同様にしておおよそ左上からおおよそ右下方向へ順にマスの値が算出される。このようにして得る表の右下の角のマスの値が、操作シーケンス間の距離となる。なお、不一致ペナルティは、ページ及び操作部品の双方が一致する場合にはゼロ、いずれか一方が異なる場合には１、双方が異なる場合には２とされてもよい。
　抽出部１３は、図１０に例示したような操作シーケンス間の距離を、図３のステップＳ３で得た操作シーケンスのうちの２つの組み合わせについて総当たりで計算する。そして、抽出部１３は、階層的クラスタリングの手法を用いて距離が短い操作シーケンス同士を同一のグループに統合していくことにより、図１１に示されるようなツリー構造を得て、互いに類似する操作シーケンスをグループに分類する。抽出部１３は、分類された操作シーケンスのうち、ある程度数が多い操作シーケンスを操作パターンとして残し、数が少ない操作シーケンスを外れ値として以降の処理対象から除外する。例えば、抽出部１３は、グループに属する操作シーケンスの個数が１０を下回るグループを破棄してもよいし、操作シーケンスの個数が多いグループの上位５０％を以降の処理対象としてもよい。
　なお、類似の操作シーケンスを分類する手法は、上述の例に限定されず、任意の手法を採用してもよい。例えば、抽出部１３は、各操作を数値に置き換えて、各操作の数値を成分とする操作シーケンスのベクトルを、階層的クラスタリングでグループ化してもよいし、ｋ－ｍｅａｎｓ法、決定木、又はランダムフォレストのような手法でクラスタリングしてもよい。
　上述したように、抽出部１３は、過去のレコードに基づいて決定した閾値を用いて、操作ログを操作シーケンスに分割したが、そのような分割では、異なる操作パターンに分類されるべき操作系列が１つの操作シーケンスとして分割される場合、及び、１つの操作パターンに分類されるべき操作系列が複数の操作シーケンスとして分割される場合がある。そこで、抽出部１３は、図７のステップＳ４で抽出した操作パターンの出現を、操作ログから検出する（ステップＳ５）。詳細には、抽出部１３は、操作ログに現れる操作系列と操作パターンそれぞれとの比較を逐次実行する。この比較は、図１０のような距離の算出であってもよいし、他の類似度の算出であってもよい。そして、抽出部１３は、予め定められた閾値を基準として、操作パターンに類似する操作系列の出現を検出する。その際、抽出部１３による処理は、操作パターンの最初の操作と一致する操作を操作ログから検索し、そこからレコードを例えば操作パターンの２倍の長さまで増やしていき、その途中で類似度が閾値以下となる操作系列の出現を検出するという処理でもよい。ステップＳ５は、ステップＳ３における時間間隔に代えて、ステップＳ４で抽出された操作パターンに基づく、操作ログから操作シーケンスへの分割といえる。
　なお、抽出部１３は、図７の表示データ作成処理の開始時点において、過去に抽出された操作パターンがある場合には、ステップＳ３，Ｓ４を省略し、過去に抽出された操作パターンを利用してステップＳ５を実行してもよい。
　次に、抽出部１３は、ステップＳ５で検出した操作パターンを新たな操作シーケンスとしてさらに分類することにより操作パターンを更新する（ステップＳ６）。これにより、操作シーケンスの分類が更新され、より適当な操作パターンを得ることが期待される。なお、操作パターンの再分類により生じる計算負荷を考慮して、ステップＳ６は省略されてもよい。
　ステップＳ６で抽出された操作パターン、又は、ステップＳ６が省略される場合においてステップＳ４で抽出された操作パターンは、ステップＳ５で操作ログ上において出現した時刻と関連付けて、操作パターン情報１２２として記憶部１２に格納される。
　操作パターン情報１２２は、図１２に示される第１操作パターン情報１２２ａと、図１３に示される第２操作パターン情報１２２ｂと、を含む。第１操作パターン情報１２２ａは、抽出された操作パターンの種別の一覧であって、操作パターンそれぞれを識別するためのパターンＩＤと、操作パターンに対応するグループに含まれる同一の操作シーケンスに相当するサブグループを識別するためのサブグループＩＤと、サブグループを代表する１つの操作と、サブグループの操作シーケンスが開始するときに表示されている開始ページと、当該操作シーケンスを構成する１番目及び２番目以降の操作と、を関連付けるテーブル形式のデータである。ここで、１番目及び２番目以降の操作はそれぞれ、ページＩＤ及び部品ＩＤの組み合わせによって示される。
　第２操作パターン情報１２２ｂは、図１３に示されるように、操作ログ上において出現する操作パターンと、出現する時刻と、を関連付けて示すデータである。詳細には、第２操作パターン情報１２２ｂは、操作パターンの出現の開始時刻及び終了時刻と、出現した操作シーケンスを示すサブグループＩＤと、被操作装置２１により製造されている製品の機種及び操作者と、を関連付けるテーブル形式のデータである。例えば、２０２０年９月２８日の１３時０分０秒から同７秒までにサブグループＩＤ「ＳＵＢ０１－０１－０１」の操作シーケンスが出現し、図１２を参照すると、この操作シーケンスは、パターンＩＤ「ＰＴＮ０１－０２」の操作パターンに属することがわかる。上述したステップＳ５における操作ログからの操作パターンの検出において、完全一致の場合ではなく類似のパターンが検出される場合には、図１３の第２操作パターン情報１２２ｂにおいて距離又は類似度も記録する。さらに、第２操作パターン情報１２２ｂは、出現した操作シーケンスを構成する１番目及び２番目以降の操作をさらに示してもよい。
　図７に戻り、ステップＳ６に続いて、作成部１４が、操作部品の配置とともに操作パターンを表示するための表示データを作成し（ステップＳ７）、表示部１５が、作成された表示データに基づいて操作部品の配置及び操作パターンを表示する（ステップＳ８）。その後、表示データ作成処理が終了する。
　図１４には、表示データ作成装置１０の表示画面の一例が示されている。図１４の表示画面４０１には、操作パターン抽出条件として、操作ログの期間の指定、機種の指定、操作者の指定、及び被操作装置２１の状態の選択がなされた上で、設計者によって表示ボタン４０２が押下される。これにより、指定された条件を満たす操作ログが操作ログ情報１２１から抽出され、抽出された操作ログから操作パターンが抽出される。なお、表示データ作成装置１０は、指定された条件を満たす操作パターンを、作成された操作パターン情報１２２から呼び出してもよい。
　表示ボタン４０２が押下されると、表示画面４０１の下部には、操作パターンの抽出結果が表示される。操作パターンの抽出結果は、表形式で示され、パターンＩＤ毎に出現回数と操作パターンの入力にかかった平均時間が表示される。これにより、設計者は、頻度が多い操作パターン及び入力に時間がかかっている操作パターンを容易に判断して、この判断に基づいて操作画面の構成を検討することができる。なお、この表は、パターンＩＤに代えて、出現した操作シーケンスのサブグループＩＤを示してもよいし、パターンＩＤとともにサブグループＩＤを示してもよい。また、この表では、さらに、操作パターンの代表操作が示されてもよいし、操作パターンに対応する行が、出現回数の多い順あるいは平均時間の長い順にソートされてもよい。
　また、表において表示される操作パターンのうちの、出現回数が多い、予め定められた数の操作パターンについては、１時間毎の出現回数を集計しておいて、出現回数の推移が折れ線グラフにより表示されてもよい。また、この折れ線グラフとともに、被操作装置２１によって製造されている機種或いは操作者を、ガントチャートのように表示してもよい。
　図１４の表を構成するいずれかの行に含まれる「詳細」のボタン４０３が押下されると、図１５に示されるように、表示画面５０１には、操作パターンの詳細を示す情報が表示される。表示画面５０１は、操作パターンの内訳を示し、当該操作パターンに含まれるサブグループの操作シーケンスを一覧表示する。図１５の例では、３種類の操作シーケンスが操作パターンに含まれており、３種類の操作パターンそれぞれの操作ログにおける出現回数及び操作にかかった平均時間と、操作シーケンスを構成する操作の系列と、を示す。これにより、設計者は、頻度が多い操作シーケンス及び入力に時間がかかっている操作シーケンスを容易に判断して、この判断に基づいて操作画面の構成を検討することができる。また、設計者は、操作パターンとしての典型的な操作シーケンスと、典型的な操作シーケンスとは異なる例外的な操作シーケンスとを比較し、操作ミスが含まれ得る例外的な操作シーケンスを容易に見出すことができる。
　設計者が表示切替ボタン５０２を押下すると、ページＩＤ及び部品ＩＤで示されていた操作の系列が、図１６に示されるように、表示器２０のユーザインタフェース２０１に表示される操作画面と同等の縮小画像の系列に切り替わる。この縮小画像それぞれでは、操作対象となった操作部品が強調されて示されている。図１６の例では、操作部品が黒く塗りつぶされることで強調されて示されている。これにより、設計者は、実際のユーザインタフェース２０１の操作画面を認識して、例外的な操作シーケンスがどのような操作部品の配置において生じているのかを容易に認識することができる。また、設計者は、表示切替ボタン５０２を押下することで、ページＩＤ及び部品ＩＤにより示される操作と、当該操作がなされるときの操作画面と、を容易に対応づけて確認することができる。このような対応付けを容易にするためには、ページＩＤ及び部品ＩＤを、操作画面の縮小画像と同等の位置に表示することが望ましい。
　以上、説明したように、作成部１４が、操作パターンを操作部品の配置とともに表示するための表示データを作成する。この表示データによって、操作パターンが操作部品の配置とともに表示されれば、設計者は、操作パターンに対応する操作部品を容易に認識することができる。したがって、適当な操作画面の設計を容易にすることができる。
　また、操作ログ情報１２１は、操作において用いられた操作部品を示し、表示データは、操作パターンを構成する操作において用いられた操作部品を強調して表示するためのデータである。これにより、操作画面の構成が再現された画像において、設計者は、操作パターンを構成する操作の実行手順を視認することができる。操作パターンと操作部品の配置とを見比べることにより、設計者は、ユーザにとって操作しやすい操作部品の配置であるか否かを検討し、操作部品の配置を容易に検討することができる。また、操作画面の手順書に利用可能な図を容易に得ることができる。
　また、操作ログ情報１２１は、順次なされた操作を、当該操作がなされた時刻に関連付けて示し、抽出部１３は、操作ログ情報１２１により示される操作のログを、各操作の時刻から次の操作の時刻までの時間長に基づいて操作シーケンスに分割し、操作シーケンスを分類することにより操作パターンを抽出した。予め操作画面が固定されていれば、操作ログから操作シーケンスへの分割は比較的容易であるが、表示器２０のように、操作部品配置情報２０２が現場の環境に応じて変更される場合には、適当な操作シーケンスを得ることが困難になる。これに対して、抽出部１３によれば、操作間の時間間隔に基づいて操作シーケンスを得るため、種々の現場における多様な操作画面に関しても、ある程度妥当な操作シーケンスを得ることができる。
　また、抽出部１３は、操作シーケンスを分類することにより操作パターンを抽出して、抽出した操作パターンの操作のログにおける出現を検出し、表示データは、抽出部１３による検出の結果を表示するためのデータである。これにより、操作間の時間間隔が操作パターンと対応していなくとも、適当な操作パターンを検出することができる。
　また、図１４に示されるように、操作パターンの抽出対象とされる操作のログの条件として、操作者が指定される。これにより、操作者毎に操作パターン及び操作にかかる平均時間を分析して、操作の習熟度を推定することが可能になる。例えば、操作者によって時間の差が大きい操作パターンは、ベテランと新人とで操作のしやすさが異なる可能性があり、時間のかかっている操作の手順書を作成することで操作時間を短くするような改善が考えられる。
　また、エラーを含む被操作装置２１の状態が、条件として指定される。これにより、エラーが生じたときにユーザインタフェース２０１に入力された操作パターンを特定し、特定した操作パターンに基づいて手順書を作成することが可能になる。具体的には、どのエラーのときに復帰手順が分かりにくいのかを把握して、例えば、手順書或いはショートカット機能を作成することで改善可能かを検討する設計者を支援することができる。
　また、図１７に示されるグラフのように、被操作装置２１に関連する関連情報を示すオブジェクト６０１が、時間軸上に配置して表示されてもよい。関連情報は、例えば、被操作装置２１を操作する操作者がスマートフォンに入力したメモ情報、又は、被操作装置２１を撮影した画像である。具体的には、関連情報は、「２０２０年９月２８日１３時１５分２０秒，装置Ｄ１，『装置Ｄ１の近くでＸＸが起こった』，ｉｍａｇｅ．ｊｐｇ」のようなテキスト情報と、「ｉｍａｇｅ．ｊｐｇ」という名称の画像情報である。このような関連情報が取得部１１によって取得され、作成部１４が関連情報を含む表示データを作成すれば、関連情報をグラフ上の時間軸に対応づけて示すことができる。図１７の例では、オブジェクト６０１に対するマウスオーバー、クリック又はタップにより、関連情報の詳細及び画像ファイルの内容が表示される。このように、外部の関連情報と連携することで、操作回数の推移と、その時点で起こったことと、を関連付けて設計者に提示することができる。
　関連情報が表示される場合には、取得部１１は、ユーザインタフェースに関連する関連情報を時刻に対応づけて取得する取得手段の一例に相当する。また、表示データは、操作のログにおける操作パターンの出現と、関連情報と、を時刻に対応づけて表示するためのデータの一例に相当する。
　実施の形態２．
　続いて、実施の形態２について、上述の実施の形態１との相違点を中心に説明する。なお、上記実施の形態１と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。本実施の形態は、表示データ作成装置１０が、操作部品の新たな配置を提案する提案部１６を備える点で、実施の形態１と異なっている。
　図１８に示されるように、表示データ作成装置１０は、操作ログ情報１２１及び操作パターン情報１２２に基づいて、操作部品の新たな配置を提案する提案部１６を有する。提案部１６は、主としてプロセッサ３１によって実現される。提案部１６による提案の内容は、例えば、図１５に示されるような詳細の表示画面５０１において、不図示の提案表示ボタンを押下することで表示される。提案部１６による提案の内容は、例えば、ショートカットボタンの作成、操作部品の並べ替えを含む。また、提案内容を設計者がカスタマイズしてもよいし、設計者が許可した場合には、提案部１６は、提案を採用した新たな操作部品配置情報２０２を生成して表示器２０に設定してもよい。これにより、ユーザインタフェース２０１に表示される操作部品の配置を容易に改善することができる。
　以下、提案部１６による提案内容の具体例について、順に説明する。
　図１９には、ショートカットボタンの作成を提案する例が示されている。ショートカットボタンは、複数の操作を一括して入力するための操作部品である。例えば、提案部は、操作パターン情報１２２において、閾値以上の連続する操作を含む操作パターンを特定し、操作回数及び操作にかかる平均時間を計算して、計算結果が予め定められた閾値以上の操作パターン、又は、特定した操作パターンのうちの他の操作パターンより計算結果が大きい操作パターンを選択する。例えば、１時間にＮ回以上、１日にＭ回以上、操作にかかる平均時間がＳ秒以上、他の操作パターンと比較して１時間当たりの操作回数がＰ回以上多い、又は、他の操作パターンと比較して１時間当たりの操作回数がＱ％以上多い、という条件に合致する操作パターンが選択される。そして、選択された操作パターンの一括入力に対応する新たなショートカットボタンの追加が提案される。
　ショートカットボタンによりまとめられる操作は、単一のページに表示される操作部品の順次操作に限定されず、遷移したページでの操作部品の操作を含んでもよい。また、提案部１６は、操作部品配置情報２０２を利用してもよい。例えば、提案部１６は、連続する操作が、並んで配置されている操作部品の順次操作である場合に、ショートカットボタンの作成を提案してもよい。また、提案部１６は、操作部品間の距離を計算し、操作部品の画面上の位置が閾値より離れている場合に、ショートカットボタンの作成を提案してもよい。
　図２０には、操作パターンを構成する操作がなされる操作部品の順番が示されている。図２０の上部に示されている順番では、操作対象の操作部品が離れており、ユーザが次に操作すべき操作部品を特定しにくく、指を移動する距離が長くなる。そこで、提案部１６は、操作パターンを構成する各操作に対応する操作部品から次の操作に対応する操作部品までの画面上の距離を積算し、この積算結果が小さくなるような操作部品の配置を提案する。
　具体的には、提案部１６は、閾値以上の連続する操作を含む操作パターンを操作パターン情報１２２から特定し、特定した操作パターンから、操作回数が多い、又は操作時間が長い操作パターンを選択する。そして、提案部１６は、操作部品それぞれの中央位置の座標を操作部品配置情報２０２に基づいて算出する。例えば、操作部品の左上の端点の位置が（１００，１００）であって、サイズが（２００，５０）であれば、この操作部品の中央位置の座標は（２００，１２５）となる。
　提案部１６は、選択した操作パターンを構成する操作に対応する操作部品それぞれについて中央位置の座標を求め、次に操作される操作部品までの距離を順次加算することで、現状の操作パターンにおける距離の積算値を得る。そして、提案部１６は、操作部品の配置の交換を試行して、配置が交換された場合における距離の積算値を同様に得る。操作部品の配置の交換前後の距離の差が、予め定められた閾値以上であれば、提案部１６は、図２１に示されるように、交換後の操作部品の配置を提案する。
　また、図２２に示されるように、操作パターンにおいてページが一旦他のページに遷移してから元のページに戻る場合には、同一ページにおいて同等の操作をすることがユーザにとっては容易になる。このため、提案部１６は、同一ページでの操作が続く中で、途中に１つだけ別ページでの操作が挟まるような操作パターンを操作パターン情報１２２から特定する。この操作パターンの出現回数が閾値よりも多い、又は、一定時間より操作時間がかかっているような場合に、提案部１６は、図２３に示されるように、操作部品の他のページへの複製又は移動を提案する。ここで、提案部１６は、操作部品配置情報２０２に基づいて、複製又は移動される操作部品の新たな配置を提案してもよい。
　以上、説明したように、提案部１６による提案があれば、設計者による新たな操作部品の配置の検討を支援することができる。提案部１６は、表示データ作成装置１０において、操作部品の新たな配置を提案する提案手段の一例に相当する。
　なお、提案部１６は、操作パターン情報１２２を用いることなく、操作ログ情報１２１に基づいて操作部品の新たな配置を提案してもよい。例えば、提案部１６は、操作ログ情報１２１において一度も用いられていない操作部品の削除を提案してもよい。また、提案部１６は、操作部品の新たな配置の適用前後における操作のログを比較し、この比較に基づいて新たな配置を評価した結果をユーザに対して提示してもよい。例えば、図２０に示されたような配置の交換により、ユーザが操作部品を逐一確認する作業を怠ってしまい、単に隣の操作部品を順次操作してしまう場合が考えられる。そのような場合において、被操作装置２１におけるエラーが頻発するようになれば、このような配置の交換は望ましくないものといえる。このため、提案部１６は、操作部品の配置を元に戻すことを提案してもよい。
　以上、本開示の実施の形態について説明したが、本開示は上記実施の形態によって限定されるものではない。
　例えば、表示データ作成装置１０が表示部１５を有する例について説明したが、これには限定されない。例えば、クラウドサーバである操作パターン抽出装置が、外部の表示装置に表示データを送信してもよい。この操作パターン抽出装置は、上述の表示データ作成装置１０において、表示部１５に代えて、表示データを表示装置に送信する送信部を備える装置に相当する。また、操作パターン抽出装置は、ネットワークを介することなく、接続されたケーブルを介して表示装置に表示データを出力してもよい。
　また、表示データ作成装置１０と表示器２０とが別個の装置として構成される例を説明したが、表示データ作成装置１０は、表示器２０と一体的に構成されてもよい。
　また、取得部１１が、表示器２０から情報を直接取得する例について説明したが、取得部１１は、表示器２０から外部に保存された情報を読み出すことにより取得してもよいし、ユーザによって挿抜されるメモリーカードのような記録媒体から情報を読み出すことにより取得してもよい。
　また、表示器２０は、必要に応じて被操作装置２１に一時的に接続されるＵＩ端末であってもよいし、被操作装置２１に常時接続されていてもよい。表示器２０は、被操作装置２１の計算資源を利用するＵＩ機能を有していてもよいし、被操作装置２１と一体的に構成されたＵＩ部であってもよい。
　また、被操作装置２１から表示データ作成装置１０へ装置情報を提供する形態は、任意である。例えば、図２４に示されるように、被操作装置２１が装置情報記憶装置２２に装置情報を格納し、取得部１１が、装置情報記憶装置２２から装置情報を読み出すことにより取得してもよい。また、図２５に示されるように、表示器２０が、装置情報を被操作装置２１から取得する装置情報取得部２３を有し、取得部１１が装置情報取得部２３から装置情報を取得してもよい。
　また、操作ログから操作シーケンスを分割するために操作間の時間間隔に注目する例について説明したが、これには限定されない。例えば、抽出部１３は、被操作装置２１の状態が変更されたタイミングで操作シーケンスを切り分けてもよいし、ユーザインタフェース２０１の操作画面がメインページから始まった後に当該メインページに戻るまでを１つの操作シーケンスとして切り分けてもよい。
　また、ユーザインタフェース２０１に対する操作が、操作部品を用いてなされる例を中心に説明したが、操作部品を用いない操作も考えられる。例えば、ボタン及びウィンドウが配置されていない領域をタップ又はクリックすると、１つ前のメニューに戻るときには、ボタン及びウィンドウのような操作部品が用いられない。しかしながら、このような操作については、背景全体に相当する操作部品に対して情報が入力されたものとして扱えばよい。
　また、表示データ作成装置１０の機能は、専用のハードウェアによっても、また、通常のコンピュータシステムによっても実現することができる。
　例えば、プロセッサ３１によって実行されるプログラムＰ１を、コンピュータ読み取り可能な非一時的な記録媒体に格納して配布し、そのプログラムＰ１をコンピュータにインストールすることにより、上述の処理を実行する装置を構成することができる。このような記録媒体としては、例えばフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read-Only Memory）、ＤＶＤ、ＭＯ（Magneto-Optical Disc）が考えられる。
　また、プログラムＰ１をインターネットに代表される通信ネットワーク上のサーバ装置が有するディスク装置に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロードするようにしてもよい。
　また、通信ネットワークを介してプログラムＰ１を転送しながら起動実行することによっても、上述の処理を達成することができる。
　さらに、プログラムＰ１の全部又は一部をサーバ装置上で実行させ、その処理に関する情報をコンピュータが通信ネットワークを介して送受信しながらプログラムを実行することによっても、上述の処理を達成することができる。
　なお、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、コンピュータにダウンロードしてもよい。
　また、表示データ作成装置１０の機能を実現する手段は、ソフトウェアに限られず、その一部又は全部を、回路を含む専用のハードウェアによって実現してもよい。
　本開示は、本開示の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、本開示を説明するためのものであり、本開示の範囲を限定するものではない。つまり、本開示の範囲は、実施の形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の開示の意義の範囲内で施される様々な変形が、本開示の範囲内とみなされる。
　本開示は、ユーザインタフェースの改善作業の支援に適している。
　１００　操作システム、　１０　表示データ作成装置、　１１　取得部、　１２　記憶部、　１２１　操作ログ情報、　１２２　操作パターン情報、　１２２ａ　第１操作パターン情報、　１２２ｂ　第２操作パターン情報、　１３　抽出部、　１４　作成部、　１５　表示部、　１６　提案部、　２０　表示器、　２０１　ユーザインタフェース、　２０２　操作部品配置情報、　２０３　ページ情報、　２０４　部品情報、　２１　被操作装置、　２２　装置情報記憶装置、　２３　装置情報取得部、　３１　プロセッサ、　３２　主記憶部、　３３　補助記憶部、　３４　入力部、　３５　出力部、　３６　通信部、　３７　内部バス、　４０１，５０１　表示画面、　４０２　表示ボタン、　４０３　ボタン、　５０２　表示切替ボタン、　６０１　オブジェクト　Ｐ１　プログラム。

Claims (12)

  1. 　ユーザインタフェースに対する操作のログを示す操作ログ情報と、前記操作がなされるときに前記ユーザインタフェースに表示される操作部品の配置を示す操作部品配置情報と、を取得する取得手段と、
    　前記操作ログ情報において繰り返し出現する、連続する複数の前記操作である操作パターンを抽出する抽出手段と、
    　前記抽出手段によって抽出された前記操作パターンを、前記操作部品配置情報により示される前記操作部品の配置とともに表示するための表示データを作成する作成手段と、
    　を備える表示データ作成装置。
  2. 　前記操作ログ情報は、前記操作において用いられた前記操作部品を示し、
    　前記表示データは、前記操作パターンを構成する前記操作において用いられた前記操作部品を強調して表示するためのデータである、
    　請求項１に記載の表示データ作成装置。
  3. 　前記操作ログ情報は、順次なされた前記操作を、該操作がなされた時刻に関連付けて示し、
    　前記抽出手段は、前記操作ログ情報を、各前記操作の時刻から次の前記操作の時刻までの時間長に基づいて操作シーケンスに分割し、前記操作シーケンスを分類することにより前記操作パターンを抽出する、
    　請求項１又は２に記載の表示データ作成装置。
  4. 　前記抽出手段は、前記操作シーケンスを分類することにより前記操作パターンを抽出して、抽出した前記操作パターンの前記操作ログ情報における出現を検出し、
    　前記表示データは、前記抽出手段による検出の結果を表示するためのデータである、
    　請求項３に記載の表示データ作成装置。
  5. 　前記操作パターンは、前記操作シーケンスのグループに対応し、
    　前記抽出手段は、前記操作シーケンスを分類することにより前記操作パターンを抽出し、前記操作ログ情報において出現する前記操作パターンを新たな操作シーケンスとしてさらに分類することにより前記操作パターンを更新する、
    　請求項３又は４に記載の表示データ作成装置。
  6. 　前記取得手段は、前記ユーザインタフェースに関連する関連情報を時刻に対応づけて取得し、
    　前記操作ログ情報は、順次なされた前記操作を、該操作がなされた時刻に関連付けて示し、
    　前記表示データは、前記操作ログ情報における前記操作パターンの出現と、前記関連情報と、を時刻に対応づけて表示するためのデータである、
    　請求項１から５のいずれか一項に記載の表示データ作成装置。
  7. 　前記操作ログ情報及び前記操作パターンの少なくとも一方に基づいて前記操作部品の新たな配置を提案する提案手段、をさらに備える、
    　請求項１から６のいずれか一項に記載の表示データ作成装置。
  8. 　前記提案手段による提案は、前記操作パターンの入力に対応する新たな操作部品を追加すること、前記操作パターンを構成する各前記操作に対応する前記操作部品から次の前記操作に対応する前記操作部品までの前記ユーザインタフェース上の距離の積算に基づいて複数の前記操作部品の配置を交換すること、及び、前記ユーザインタフェースにおいて前記操作部品を含んで表示されるページが遷移する場合において前記操作部品を他のページへ複製又は移動すること、の少なくとも１つを含む、
    　請求項７に記載の表示データ作成装置。
  9. 　前記提案手段は、前記新たな配置の適用の前後における前記操作ログ情報の比較に基づいて前記新たな配置を評価した結果を出力する、
    　請求項７又は８に記載の表示データ作成装置。
  10. 　請求項１から９のいずれか一項に記載の表示データ作成装置と、
    　前記ユーザインタフェースに対する前記操作に従って動作する被操作装置と、
    　前記ユーザインタフェースと、
    　を含む操作システム。
  11. 　取得手段が、操作のログを示す操作ログ情報を取得し、
    　前記取得手段が、前記操作がなされるときにユーザインタフェースに表示される操作部品の配置を示す操作部品配置情報を取得し、
    　抽出手段が、前記操作ログ情報において繰り返し出現する、連続する複数の前記操作である操作パターンを抽出し、
    　作成手段が、前記抽出手段によって抽出された前記操作パターンを、前記操作部品配置情報により示される前記操作部品の配置とともに表示するための表示データを作成する、
    　ことを含む表示データ作成方法。
  12. 　コンピュータを、
    　操作のログを示す操作ログ情報と、前記操作がなされるときにユーザインタフェースに表示される操作部品の配置を示す操作部品配置情報と、を取得する取得手段、
    　前記操作ログ情報において繰り返し出現する、連続する複数の前記操作である操作パターンを抽出する抽出手段、
    　前記抽出手段によって抽出された前記操作パターンを、前記操作部品配置情報により示される前記操作部品の配置とともに表示するための表示データを作成する作成手段、
    　として機能させるための表示データ作成プログラム。
PCT/JP2022/017307 2022-04-07 2022-04-07 表示データ作成装置、操作システム、表示データ作成方法及び表示データ作成プログラム WO2023195139A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022553200A JP7205007B1 (ja) 2022-04-07 2022-04-07 支援装置、操作システム、表示データ作成装置、支援方法、表示データ作成方法、支援プログラム及び表示データ作成プログラム
PCT/JP2022/017307 WO2023195139A1 (ja) 2022-04-07 2022-04-07 表示データ作成装置、操作システム、表示データ作成方法及び表示データ作成プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/017307 WO2023195139A1 (ja) 2022-04-07 2022-04-07 表示データ作成装置、操作システム、表示データ作成方法及び表示データ作成プログラム

Publications (1)

Publication Number Publication Date
WO2023195139A1 true WO2023195139A1 (ja) 2023-10-12

Family

ID=84901077

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/017307 WO2023195139A1 (ja) 2022-04-07 2022-04-07 表示データ作成装置、操作システム、表示データ作成方法及び表示データ作成プログラム

Country Status (2)

Country Link
JP (1) JP7205007B1 (ja)
WO (1) WO2023195139A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002007020A (ja) * 2000-06-22 2002-01-11 Hitachi Ltd 操作監視に基づく定型処理の自動化手法
WO2004104881A1 (ja) * 2003-05-26 2004-12-02 Matsushita Electric Industrial Co., Ltd. 操作履歴利用システム
JP2008299735A (ja) * 2007-06-01 2008-12-11 Sharp Corp 画像形成システム及び画像形成システム用プログラム並びに画像形成システム用プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2011034295A (ja) * 2009-07-31 2011-02-17 Yamatake Corp 施設管理装置及び施設管理方法
JP2020021182A (ja) * 2018-07-30 2020-02-06 株式会社リコー 操作情報提供装置、操作情報提供システム、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002007020A (ja) * 2000-06-22 2002-01-11 Hitachi Ltd 操作監視に基づく定型処理の自動化手法
WO2004104881A1 (ja) * 2003-05-26 2004-12-02 Matsushita Electric Industrial Co., Ltd. 操作履歴利用システム
JP2008299735A (ja) * 2007-06-01 2008-12-11 Sharp Corp 画像形成システム及び画像形成システム用プログラム並びに画像形成システム用プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2011034295A (ja) * 2009-07-31 2011-02-17 Yamatake Corp 施設管理装置及び施設管理方法
JP2020021182A (ja) * 2018-07-30 2020-02-06 株式会社リコー 操作情報提供装置、操作情報提供システム、およびプログラム

Also Published As

Publication number Publication date
JPWO2023195139A1 (ja) 2023-10-12
JP7205007B1 (ja) 2023-01-16

Similar Documents

Publication Publication Date Title
JP5126698B2 (ja) 運用管理装置、運用管理方法および運用管理プログラム
JP4717743B2 (ja) 情報処理装置
JP6901243B2 (ja) プロセス環境のための制御システムを最適化するためのシステムおよび方法
US20180004823A1 (en) System and method for data profile driven analytics
JPWO2019202711A1 (ja) ログ分析システム、ログ分析方法及びプログラム
KR102298395B1 (ko) 사용자 행위 분석 시스템 및 방법과, 이를 위한 이벤트 수집 에이전트
JP2019169044A (ja) ソフトウェアロボット定義情報生成システム、ソフトウェアロボット定義情報生成方法、及びプログラム
CN113688288B (zh) 数据关联分析方法、装置、计算机设备和存储介质
US11775413B2 (en) Information processing system and information processing method
US10496251B2 (en) Screen creation apparatus having application screen creation support function
US20240111401A1 (en) Information processing apparatus, information processing method, and program
WO2023195139A1 (ja) 表示データ作成装置、操作システム、表示データ作成方法及び表示データ作成プログラム
JP2010211483A (ja) 操作性改善方法および画面制御装置
Meyer et al. Detecting developers’ task switches and types
CN106293650A (zh) 一种文件夹属性设置方法及装置
US20200302022A1 (en) Process extraction apparatus and non-transitory computer readable medium
JP6917874B2 (ja) システム特性評価システムおよびシステム特性評価装置
CN116700583A (zh) 一种流程自动化的实现方法、装置和存储介质
JP7246301B2 (ja) プログラム開発支援システム及びプログラム開発支援方法
KR20230062243A (ko) 로그 기반 업무 프로세스 추출 방법 및 그 장치
JP6695847B2 (ja) ソフトウェア部品管理システム、計算機
US8224838B2 (en) Database search method, program, and apparatus
JP4446715B2 (ja) 文書検索装置、文書検索方法、および文書検索プログラム
Karat et al. Modelling the user interaction methods imposed by designs
CN111767693A (zh) 信息处理装置、信息处理方法及计算机可读记录介质

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2022553200

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22936537

Country of ref document: EP

Kind code of ref document: A1