WO2024121933A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2024121933A1
WO2024121933A1 PCT/JP2022/044894 JP2022044894W WO2024121933A1 WO 2024121933 A1 WO2024121933 A1 WO 2024121933A1 JP 2022044894 W JP2022044894 W JP 2022044894W WO 2024121933 A1 WO2024121933 A1 WO 2024121933A1
Authority
WO
WIPO (PCT)
Prior art keywords
end point
character string
conflict
information processing
cursor
Prior art date
Application number
PCT/JP2022/044894
Other languages
English (en)
French (fr)
Inventor
英毅 小矢
一 中島
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2022/044894 priority Critical patent/WO2024121933A1/ja
Publication of WO2024121933A1 publication Critical patent/WO2024121933A1/ja

Links

Images

Definitions

  • the embodiments relate to an information processing device, an information processing method, and a program.
  • a method that estimates the amount of stress based on the relationship between operation logs such as the rate of keystrokes and the number of mouse clicks, and the amount of salivary amylase secreted.
  • a method is known that estimates the level of concentration based on operation logs such as the amount of screen change and the number of mouse clicks, and a subjective evaluation.
  • a method is known that estimates the accuracy of operations based on the frequency of occurrence detected based on the number of reworks.
  • the present invention was made in response to the above-mentioned circumstances, and its purpose is to provide a means for detecting conflicts from the operation logs of business applications.
  • the information processing device of one embodiment includes a detection unit and a calculation unit.
  • the detection unit detects an end point and an end point candidate of the cursor related to the selection from the screen in response to a character string selected by a user using the cursor on the screen.
  • the detection unit detects a start point of the cursor from the screen based on the end point and the end point candidate.
  • the calculation unit calculates an amount of conflict that quantitatively indicates the user's conflict related to the selection based on the start point and the end point.
  • a means for detecting conflicts from the operation logs of business applications can be provided.
  • FIG. 1 is a block diagram showing an example of a hardware configuration of an information processing apparatus according to an embodiment.
  • FIG. 2 is a block diagram illustrating an example of a functional configuration of the information processing apparatus according to the embodiment.
  • FIG. 3 is a flowchart showing an example of the overall process in the information processing device according to the embodiment.
  • FIG. 4 is a flowchart showing an example of a detection process in the information processing device according to the embodiment.
  • FIG. 5 is a diagram showing an example of a list of words related to conflict extracted in the detection process in the information processing device according to the embodiment.
  • FIG. 6 is a diagram showing an example of the relationship between a screen displayed in the detection process in the information processing device according to the embodiment, a narrow area image, an end point character string, and end point coordinates.
  • FIG. 1 is a block diagram showing an example of a hardware configuration of an information processing apparatus according to an embodiment.
  • FIG. 2 is a block diagram illustrating an example of a functional configuration of the information processing apparatus according to
  • FIG. 7 is a diagram showing an example of the relationship between a screen displayed in the detection process in the information processing device according to the embodiment, a wide-area image, an end point candidate character string, and candidate coordinates.
  • FIG. 8 is a diagram showing an example of the relationship between a screen displayed in the detection process in the information processing device according to the embodiment and a conflict amount calculation region.
  • FIG. 9 is a diagram showing a first example of a relationship between a screen displayed in the detection process in the information processing device according to the embodiment and start point coordinates.
  • FIG. 10 is a diagram showing a second example of the relationship between the screen displayed in the detection process in the information processing device according to the embodiment and the start point coordinates.
  • FIG. 11 is a flowchart showing an example of a calculation process in the information processing device according to the embodiment.
  • FIG. 12 is a diagram showing a first example of the relationship between the MD and the cursor trajectory calculated in the calculation process in the information processing device according to the embodiment.
  • FIG. 13 is a diagram showing a second example of the relationship between the MD and the cursor trajectory calculated in the calculation process in the information processing device according to the embodiment.
  • FIG. 14 is a diagram showing an example of the relationship between the AUC calculated in the calculation process in the information processing device according to the embodiment and the trajectory of the cursor.
  • FIG. 15 is a diagram showing a first example of the relationship between ⁇ AUC calculated in the calculation process in the information processing device according to the embodiment and the trajectory of the cursor.
  • FIG. 12 is a diagram showing a first example of the relationship between the MD and the cursor trajectory calculated in the calculation process in the information processing device according to the embodiment.
  • FIG. 13 is a diagram showing a second example of the relationship between the MD and the
  • FIG. 16 is a diagram showing a second example of the relationship between ⁇ AUC calculated in the calculation process in the information processing device according to the embodiment and the trajectory of the cursor.
  • FIG. 17 is a diagram showing an example of the relationship between X-flips and the trajectory of the cursor calculated in the calculation process in the information processing device according to the embodiment.
  • FIG. 1 is a block diagram showing an example of the hardware configuration of an information processing device according to an embodiment.
  • the information processing device 1 includes a control circuit 11, a communication module 12, a user interface 13, a storage 14, a drive 15, and a storage medium 16.
  • the control circuit 11 is a circuit that provides overall control of each component of the information processing device 1.
  • the control circuit 11 includes a CPU (Central Processing Unit), RAM (Random Access Memory), and ROM (Read Only Memory).
  • the ROM of the control circuit 11 stores programs and the like used in various processes in the information processing device 1.
  • the CPU of the control circuit 11 controls the entire information processing device 1 in accordance with the programs stored in the ROM of the control circuit 11.
  • the RAM of the control circuit 11 is used as a working area for the CPU of the control circuit 11.
  • the communication module 12 is a circuit used to send and receive data between the information processing device 1 and the outside.
  • the user interface 13 is an interface that handles communication between the user and the control circuit 11.
  • the user interface 13 includes input devices and output devices.
  • the input devices include, for example, a mouse, a touch panel, and operation buttons.
  • the output devices include, for example, an LCD (Liquid Crystal Display) or an EL (Electroluminescence) display.
  • the user interface 13 converts input from the user into an electrical signal and then transmits it to the control circuit 11.
  • the user interface 13 outputs the results of various processes based on the user input to the user.
  • Storage 14 includes, for example, a HDD (Hard Disk Drive) or an SSD (Solid State Drive). Storage 14 stores information used in various processes in information processing device 1.
  • HDD Hard Disk Drive
  • SSD Solid State Drive
  • Drive 15 is a device for reading software stored in storage medium 16.
  • Drive 15 includes, for example, a CD (Compact Disk) drive or a DVD (Digital Versatile Disk) drive.
  • the storage medium 16 is a medium that stores software by electrical, magnetic, optical, mechanical, or chemical action.
  • the storage medium 16 may store programs for executing various processes in the information processing device 1.
  • FIG. 2 is a block diagram showing an example of the functional configuration of an information processing device according to an embodiment.
  • the CPU of the control circuit 11 loads a program stored in the ROM of the control circuit 11 or the storage medium 16 into the RAM of the control circuit 11.
  • the CPU of the control circuit 11 interprets and executes the program loaded into the RAM of the control circuit 11.
  • the information processing device 1 functions as a computer including a business application 21, a monitoring unit 22, a storage unit 23, a detection unit 24, a calculation unit 25, and an output unit 26.
  • the business application 21 is application software that runs on the information processing device 1.
  • the business application 21 runs on the basis of input information entered by the user via the display, which is the user interface 13.
  • the business application 21, for example, displays options on the display. The user may experience conflict in the process of responding to the options displayed by the business application 21.
  • the monitoring unit 22 monitors user operations related to the business application 21.
  • the monitoring unit 22 stores, for example, information on the user's mouse operation and the screen displayed on the display as an operation log in the storage unit 23.
  • the memory unit 23 is a memory space within the storage 14.
  • the memory unit 23 stores cursor trajectory information 23a and capture information 23b as an operation log.
  • the cursor trajectory information 23a is information that indicates the two-dimensional coordinates of the time series of the mouse cursor moving on the display.
  • the capture information 23b is a capture image of the screen displayed on the display at any given time.
  • the detection unit 24 determines whether or not the click is due to the user's conflict, based on the cursor trajectory information 23a and the capture information 23b. If the click is due to the user's conflict, the detection unit 24 detects several coordinates from the screen displayed on the display that are used to quantitatively calculate the user's conflict. The detection unit 24 transmits information on the detected coordinates to the calculation unit 25.
  • the calculation unit 25 calculates the amount of conflict that quantitatively indicates the user's conflict based on the coordinates detected by the detection unit 24.
  • the calculation unit 25 transmits the calculated amount of conflict to the output unit 26.
  • the output unit 26 outputs the amount of conflict calculated by the calculation unit 25 to the user.
  • the user can grasp the conflict caused by operating the business application 21 as a quantitative value.
  • FIG. 3 is a flowchart showing an example of the overall processing in the information processing device according to the embodiment.
  • the monitoring unit 22 starts the monitoring process (S11).
  • the monitoring process includes, for example, associating the coordinates of the mouse cursor displayed on the display with the time and storing them in chronological order as cursor trajectory information 23a.
  • the monitoring process also includes, when a mouse click occurs, notifying the detection unit 24 of the occurrence of the click.
  • the monitoring unit 22 determines whether a click has occurred (S12).
  • the detection unit 24 executes a detection process (S13). Details of the detection process will be described later.
  • the calculation unit 25 determines whether or not all coordinates to be used in the calculation process have been detected (S14).
  • the calculation unit 25 executes the calculation process (S15). Details of the calculation process will be described later.
  • the output unit 26 After processing of S15, the output unit 26 outputs the result of the calculation processing of S14 to the user (S16).
  • the monitoring unit 22 determines whether the business application 21 is running (S17).
  • the monitoring unit 22 determines whether or not a further click has occurred (S12). Then, if a click has occurred (S12; yes), the detection unit 24 executes a detection process (S13). In this way, the processes of S12 to S17 are repeated until the business application 21 is terminated.
  • the monitoring unit 22 terminates the monitoring process (S18).
  • FIG. 4 is a flowchart showing an example of detection processing in an information processing device according to an embodiment.
  • the processing of S21 to S30 shown in FIG. 4 is a detailed description of the processing of S13 in FIG. 3.
  • the monitoring unit 22 acquires a narrow-area image (S21).
  • the narrow-area image is an image that partially captures a specific area of the screen displayed on the display, centered on the coordinates where the click occurred.
  • the area captured as the narrow-area image is predetermined to be an area that includes, for example, one type of character string.
  • the acquired narrow-area image is stored in the storage unit 23 as capture information 23b.
  • the detection unit 24 extracts an end character string from the narrow-area image acquired in the process of S21 (S22). Specifically, for example, the detection unit 24 executes optical character recognition processing on the narrow-area image to extract a character string present in the narrow-area image as an end character string.
  • the end character string is a character string that corresponds to the option selected by the user from among the options displayed by the business application 21.
  • the detection unit 24 determines whether or not the end character string extracted in the process of S22 is related to a conflict (S23). Specifically, for example, the detection unit 24 determines whether or not the end character string extracted in the process of S22 is included in a list of words related to a conflict by a pattern matching process.
  • the list of words related to a conflict may be stored in advance in the storage unit 23, for example.
  • FIG. 5 is a diagram showing an example of a list of words related to conflict extracted by the detection process in the information processing device according to the embodiment.
  • the list of words related to conflicts is stored with multiple words associated with each of several categories.
  • words classified as “judgment” are stored in association with each other, such as “OK,” “Cancel,” “Decidation,” “Register,” and “Back.”
  • words classified as "person's name” are stored in association with each other, such as "Employee A” and "Employee B.” In this way, by dividing the word list into categories, conflicts can be detected for each item that the user is unsure about when executing the business application 21.
  • the determination process of S23 it is determined whether the end character string extracted in the process of S22 is included in the word list, regardless of which category it falls into. If the end character string is included in the word list, regardless of which category it falls into, the detection unit 24 determines that the end character string is related to conflict. If the end character string is not included in the word list, the detection unit 24 determines that the end character string is not related to conflict.
  • the detection unit 24 detects the end coordinates from the end character string (S24).
  • the end coordinates correspond to the end point of the trajectory used to calculate the amount of conflict in the calculation process.
  • the end coordinates are, for example, coordinates indicating the center of the area in which the end character string is displayed.
  • FIG. 6 is a diagram showing an example of the relationship between a screen displayed in a detection process in an information processing device according to an embodiment, a narrow-area image, an end point character string, and end point coordinates.
  • FIG. 6 shows a case where a dialog box B displaying options presented by a business application 21 is displayed on a screen S on a display.
  • a character string Wn saying "Do you want to execute?" is displayed, along with a character string We' saying "OK” and a character string We saying "Cancel”.
  • the end point Pe corresponding to the character string We is indicated by a black circle.
  • the coordinates (x, y) are defined with the left-right direction of the screen S being the X direction and the up-down direction being the Y direction.
  • the monitoring unit 22 acquires a narrow-area image NC.
  • the detection unit 24 extracts the character string We in the narrow-area image NC as an end character string.
  • the detection unit 24 determines that the character string We is related to conflict because "Cancel" is included in the word list.
  • the detection unit 24 detects the coordinates (x_e, y_e) of the end point Pe from the character string We.
  • the monitoring unit 22 acquires a wide-area image (S25). Similar to the narrow-area image, the wide-area image is an image that partially captures a specific area of the screen displayed on the display, centered on the coordinates where the click occurred.
  • the area captured as the wide-area image is predetermined to be a range that includes, for example, multiple types of character strings. In other words, the range of the wide-area image is wider than the range of the narrow-area image.
  • the acquired wide-area image is stored in the memory unit 23 as capture information 23b.
  • the detection unit 24 extracts end point candidate character strings from the wide-area image acquired in the process of S25 (S26). Specifically, for example, the detection unit 24 executes optical character recognition processing on the wide-area image to extract multiple character strings present in the wide-area image as end point candidate character strings.
  • the end point candidate character strings correspond to options that have not been selected by the user among the options displayed by the business application 21. In other words, the end point candidate character strings are character strings that are at least different from the end point string.
  • the detection unit 24 determines whether the end point candidate character string extracted in the process of S26 is different from the end point character string and is related to a conflict (S27). Specifically, for example, the detection unit 24 determines whether the end point candidate character string extracted in the process of S26 is included in a list of words related to a conflict by a pattern matching process. For example, the list of words related to a conflict is the same as the list of words used in the process of S23.
  • the detection unit 24 determines that the terminal candidate string is related to conflict. If the terminal candidate string is not included in the word list of the same classification as the terminal string, or if the terminal candidate string is included in the word list of the same classification as the terminal string but is the same as the terminal string, the detection unit 24 determines that the terminal candidate string is not related to conflict.
  • the detection unit 24 detects the end point candidate coordinates from the end point candidate character string (S28).
  • the end point candidate coordinates are, for example, coordinates indicating the center of the area in which the end point candidate character string is displayed.
  • FIG. 7 is a diagram showing an example of the relationship between a screen displayed in a detection process in an information processing device according to an embodiment, a wide-area image, a candidate end point character string, and candidate end point coordinates.
  • FIG. 7 shows a case in which the same dialog box B as in FIG. 6 is displayed on screen S. Additionally, the candidate end point Pe' corresponding to the character string We' is indicated by a black circle.
  • the monitoring unit 22 acquires the wide-area image WC.
  • the detection unit 24 extracts the character strings We, We', and Wn in the wide-area image WC as end point candidate character strings.
  • the detection unit 24 determines that the character string We' is related to conflict because "OK" is in the same category as the end point character string "Cancel" in the word list. Note that the detection unit 24 determines that the character string We is not related to conflict because it matches the end point character string. Furthermore, the detection unit 24 determines that the character string Wn is not related to conflict because it does not exist in the word list.
  • the detection unit 24 detects the coordinates (x_e', y_e') of the end point candidate Pe' from the character string We'.
  • the detection unit 24 determines the conflict amount calculation area based on the end point coordinates (x_e, y_e) detected in the process of S24 and the end point candidate coordinates (x_e', y_e') detected in the process of S28 (S29).
  • FIG. 8 is a diagram showing an example of the relationship between a screen displayed in the detection process in the information processing device according to the embodiment and a conflict amount calculation area.
  • the screen S shown in FIG. 8 is similar to the screen S shown in FIG. 6 and FIG. 7.
  • the conflict amount calculation area R is defined as the area on the screen S from the X coordinate xmin to the X coordinate xmax.
  • the X coordinate xmin is the smaller of the X coordinate x_e of the end point Pe and the X coordinate x_e' of the end point candidate Pe' minus a constant x0.
  • the X coordinate xmax is the larger of the X coordinate x_e of the end point Pe and the X coordinate x_e' of the end point candidate Pe' plus a constant x0.
  • the constant x0 is a positive real number.
  • the constant x0 used to calculate the X coordinate xmin and the constant x0 used to calculate the X coordinate xmax may be different.
  • the detection unit 24 detects the starting point coordinates from the conflict amount calculation area R determined in the process of S28 (S30).
  • the starting point coordinates correspond to the starting point of the trajectory used to calculate the conflict amount in the calculation process.
  • FIG. 9 is a diagram showing a first example of the relationship between the screen displayed in the detection process in the information processing device according to the embodiment and the starting point coordinates.
  • FIG. 10 is a diagram showing a second example of the relationship between the screen displayed in the detection process in the information processing device according to the embodiment and the starting point coordinates.
  • the first example corresponds to the case where the starting point Ps is located inside the boundary of the conflict amount calculation area R.
  • the second example corresponds to the case where the starting point Ps is located on the boundary of the conflict amount calculation area R.
  • the trajectory T of the mouse cursor until the end point character string We is clicked is shown by a dashed line, and the starting point Ps and starting point candidate Ps' on the trajectory T are shown by black circles.
  • the detection unit 24 detects the candidate start point coordinates (x_s', y_s').
  • the candidate start point coordinates (x_s', y_s') may be, for example, coordinates indicating the mouse cursor position a predetermined time before the time when the end point character string We is clicked.
  • the candidate start point coordinates (x_s', y_s') may be, for example, coordinates indicating the cursor position at the time when the cursor acceleration exceeded a threshold value in the time period before the time when the end point character string We is clicked.
  • the detection unit 24 detects the starting point candidate coordinates (x_s', y_s') as the starting point coordinates (x_s, y_s).
  • the starting point candidate Ps' is located outside the boundary of the conflict amount calculation area R.
  • FIG. 11 is a flowchart showing an example of a calculation process in an information processing device according to an embodiment.
  • the processes of S31 to S34 shown in FIG. 11 are details of the process of S15 in FIG. 3.
  • MD Maximum Deviation
  • FIG. 12 is a diagram showing a first example of the relationship between MD and the cursor trajectory calculated by the calculation process in the information processing device according to the embodiment.
  • FIG. 13 is a diagram showing a second example of the relationship between MD and the cursor trajectory calculated by the calculation process in the information processing device according to the embodiment.
  • the first example corresponds to a case where all parts of the cursor trajectory T between the start point Ps and the end point Pe are located inside the conflict amount calculation area R.
  • the second example corresponds to a case where a part of the cursor trajectory T between the start point Ps and the end point Pe is located outside the conflict amount calculation area R.
  • the mouse cursor trajectory T is shown by a dashed line, and the start point Ps and the end point Pe on the trajectory T are shown by black circles.
  • the straight line L connecting the start point Ps and the end point Pe is shown by a solid line.
  • the coordinates (xi, yi) are the coordinates on the cursor trajectory T.
  • the coordinates (x_s, y_s) and (x_e, y_e) are the coordinates of the starting point Ps and the ending point Pe, respectively.
  • the constants a, b, and c satisfy the following expressions (2), (3), and (4), respectively.
  • the calculation unit 25 calculates the AUC (Area Under the Curve) (S32).
  • FIG. 14 is a diagram showing an example of the relationship between the AUC calculated by the calculation process in the information processing device according to the embodiment and the trajectory of the cursor.
  • the trajectory T of the mouse cursor is shown by a dashed line
  • the start point Ps and the end point Pe on the trajectory T are shown by black circles.
  • a straight line L connecting the start point Ps and the end point Pe is shown by a solid line.
  • AUC is defined as the sum of the areas of at least one closed surface formed by a straight line L and a trajectory T.
  • AUC is the area of the hatched area in FIG. 14.
  • AUC is calculated, for example, as the sum of the areas ⁇ AUC of the infinitesimal elements obtained by dividing the hatched area in the y direction, as shown in the following formula (5).
  • FIG. 15 is a diagram showing a first example of the relationship between ⁇ AUC calculated by the calculation process in the information processing device according to the embodiment and the trajectory of the cursor.
  • FIG. 16 is a diagram showing a second example of the relationship between ⁇ AUC calculated by the calculation process in the information processing device according to the embodiment and the trajectory of the cursor.
  • the first example corresponds to a case where the trajectory T intersects with the straight line L in the range where the infinitesimal element is formed.
  • the second example corresponds to a case where the trajectory T does not intersect with the straight line L in the range where the infinitesimal element is formed.
  • the area ⁇ AUC i of the i-th infinitesimal element is the sum of the areas of two triangles P i K i Q i and P i+1 K i+1 Q i (i is a natural number).
  • points P i and P i+1 are both ends of the portion of the trajectory T that corresponds to the i-th infinitesimal element.
  • Points K i and K i+1 are both ends of the portion of the straight line L that corresponds to the i-th infinitesimal element.
  • Point Q i is the intersection between the portion of the trajectory T that corresponds to the i-th infinitesimal element and the portion of the straight line L that corresponds to the i-th infinitesimal element.
  • the area ⁇ AUC i of the i-th infinitesimal element is the area of one rectangle P i K i K i+1 P i+1 (i is a natural number).
  • ⁇ AUC i is calculated by the following formula (7).
  • X-flips is an index defined by the number of times the cursor trajectory swings left and right on the X-axis.
  • FIG. 17 is a diagram showing an example of the relationship between X-flips and the cursor trajectory calculated in the calculation process in the information processing device according to the embodiment.
  • the rate of change in the X direction of the trajectory T may reverse between the starting point Ps and the end point Pe.
  • the rate of change in the X direction of the trajectory T may reverse between the starting point Ps and the end point Pe.
  • the rate of change in the X direction reverses from positive to negative.
  • the rate of change in the X direction reverses from negative to positive.
  • the rate of change in the X direction reverses again from positive to negative, finally reaching the end point Pe.
  • the X-flips is calculated as "3".
  • the calculation unit 25 normalizes MD, AUC, and X-flips (S34).
  • the reference value used for normalizing MD is, for example, the X-direction length XR of the conflict amount calculation region R.
  • the reference value used for normalizing AUC is, for example, the area S R of a rectangle formed by the X-direction length of the conflict amount calculation region R and the Y-direction length from the start point Ps to the end point Pe.
  • the variable j is sensitivity. In the case of formula (9), the gradient near 0 becomes large, so that the sensitivity when the values of MD and AUC before normalization are small can be improved more than in the case of formula (8).
  • the calculation unit 25 calculates the amount of conflict based on the normalized MD n , AUC n , and X-flips n (S35).
  • the amount of conflict C is quantified as a single index that integrates the normalized MD n , AUC n , and X-flips n , making it easy to apply and utilize the amount of conflict C in business support.
  • the calculation unit 25 may calculate the amount of conflict C as a weighted sum of the indicators as shown in the following formula (11).
  • the variables ⁇ , ⁇ , and ⁇ are weights.
  • the calculation unit 25 may also calculate the conflict amount C using a hierarchical neural network to which the normalized MD n , AUC n , and X-flips n calculated in the process of S34 are input.
  • the detection unit 24 detects the end point Pe and the end point candidate Pe' of the cursor related to the selection from the screen S in response to the selection of a character string by the user using the cursor on the screen S.
  • the detection unit 24 detects the start point Ps of the cursor from the screen S based on the detected end point Pe and the end point candidate Pe'.
  • the detection unit 24 extracts the end point character string We selected by the user and the end point candidate character string We' located around the end point character string We and different from the end point character string We based on the capture information 23b of the screen S at the time of selection.
  • the detection unit 24 determines whether the end point character string We and the end point candidate character string We' are character strings related to conflict.
  • the detection unit 24 detects the coordinates (x_e, y_e) of the end point character string We and the coordinates (x_e', y_e') of the end point candidate character string We' determined to be a character string related to conflict as the end point Pe and the end point candidate Pe'.
  • the detection unit 24 detects, as the start point Ps, a point obtained by moving the start point candidate Ps' to the boundary of the conflict amount calculation area R. In this way, based on the operation log in an uncontrolled environment such as the business application 21, it is possible to obtain the coordinates of the start point Ps and the end point Pe, which are inputs of various indexes used in conflict amount calculation.
  • the calculation unit 25 also calculates a conflict amount C that quantitatively indicates the user's conflict regarding the selection based on the start point Ps and the end point Pe. Specifically, the calculation unit 25 calculates MD, AUC, and X-flips inside the conflict amount calculation region R based on the start point Ps, the end point Pe, and the cursor trajectory information 23a. The calculation unit 25 normalizes the calculated MD, AUC, and X-flips, and then calculates the conflict amount C based on the normalized MD, AUC, and X-flips.
  • the calculation unit 25 calculates the conflict amount C based on the weighted sum of the normalized MD, AUC, and X-flips, or the output of a neural network that receives the normalized MD, AUC, and X-flips as input. This makes it possible to calculate the conflict amount C even in an uncontrolled environment such as the business application 21. This makes it possible to detect conflict from the operation log of the business application. This will make it possible to develop software that provides assistance when users are unsure of how to operate a system, which will in turn lead to improved business efficiency and digital transformation (DX).
  • DX digital transformation
  • the program that executes the detection process and the calculation process is executed by the information processing device 1, but this is not limited to the above.
  • the program that executes the detection process and the calculation process may be executed by a computing resource on the cloud.
  • the present invention is not limited to the above-described embodiments, and can be modified in various ways during implementation without departing from the gist of the invention.
  • the embodiments may also be implemented in appropriate combination, in which case the combined effects can be obtained.
  • the above-described embodiments include various inventions, and various inventions can be extracted by combinations selected from the multiple constituent elements disclosed. For example, if the problem can be solved and an effect can be obtained even if some constituent elements are deleted from all the constituent elements shown in the embodiments, the configuration from which these constituent elements are deleted can be extracted as an invention.

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

一実施形態の情報処理装置は、検出部と、算出部と、を備える。検出部は、ユーザによる画面上でのカーソルを用いた文字列の選択に応じて選択に関するカーソルの終点及び終点候補を画面から検出する。検出部は、終点及び終点候補に基づいてカーソルの始点を画面から検出する。算出部は、始点及び終点に基づいて、選択に関するユーザの葛藤を定量的に示す葛藤量を算出する。

Description

情報処理装置、情報処理方法、及びプログラム
　実施形態は、情報処理装置、情報処理方法、及びプログラムに関する。
　業務やマネジメントの改善及びヒューマンエラーの軽減等を目的として、業務アプリケーションの操作者の状態を、特別なセンサを用いることなく、操作ログから推定する手法が検討されている。第１例として、キーストロークの割合及びマウスクリック数等の操作ログと、唾液アミラーゼ分泌量との関係に基づいて、ストレス量を推定する手法が知られている。第２例として、画面変化量及びマウスクリック数等の操作ログと、主観評価とに基づいて、集中度を推定する手法が知られている。第３例として、操作の手戻りに基づいて検出される発生頻度に基づき、操作の正確性を推定する手法が知られている。
　また、心理状態としての葛藤（conflict）（すなわち、迷いの状態）を検出する研究が行われている。当該研究では、画面中に提示された２個の選択肢のいずれかを選択するまでのマウスの軌跡に基づいて、葛藤が検出される。
宇佐美雄基, 石沢千佳子, 景山陽一, 白須礎成, "PC作業時の集中状態と生体情報の関連に関する検討," 自動制御連合講演会講演論文集, vol.61, pp.25-28, Nov. 2018. 鳥羽美奈子, 櫻井隆雄, 森靖英, "PC操作ログ特徴量とオフィスワーカーのストレス量の相関分析," 電子情報通信学会論文誌D, vol.J95-D, no.4, pp.747-757, Jan. 2016. 鳥羽美奈子, 櫻井隆雄, 森靖英, 恵木正史, "オフィスワーカのストレス量とPC操作ログ特徴量の重回帰分析," 情報処理学会デジタルプラクティス, vol.7, no.1, pp.71-79, Jan. 2016. 永井有希, 徐建鋒, 酒澤茂之, "デスクワークにおける主観的集中度とPC操作ログの関係分析," 映像情報メディア学会年次大会講演予稿集, vol.2014, no.14-5, pp.1-2, Sept. 2014 小矢英毅, 片岡明, 大石晴夫, "操作ログを用いたシステム操作の正確性の可視化に関する一検討", ICM, vol.122, no.96, pp.1-6, Jul .2022. Paul E. Stillman, Xi Shen and Melissa J. Ferguson, "How Mouse-tracking Can Advance Social Cognitive Theory", Trends in Cognitive Sciences, June 2018, Vol. 22, No. 6
　上述した操作ログから推定する手法の第１例、第２例、及び第３例では、操作者の葛藤を推定する手法については検討されていない。また、上述した葛藤を検出する研究では、業務アプリケーションの操作ログのように、統制されていない環境から葛藤を検出することは困難である。
　本発明は、上記事情に着目してなされたもので、その目的とするところは、業務アプリケーションの操作ログから葛藤を検出する手段を提供することにある。
　一態様の情報処理装置は、検出部と、算出部と、を備える。上記検出部は、ユーザによる画面上でのカーソルを用いた文字列の選択に応じて上記選択に関する上記カーソルの終点及び終点候補を上記画面から検出する。上記検出部は、上記終点及び上記終点候補に基づいて上記カーソルの始点を上記画面から検出する。上記算出部は、上記始点及び上記終点に基づいて、上記選択に関する上記ユーザの葛藤を定量的に示す葛藤量を算出する。
　実施形態によれば、業務アプリケーションの操作ログから葛藤を検出する手段を提供することができる。
図１は、実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 図２は、実施形態に係る情報処理装置の機能構成の一例を示すブロック図である。 図３は、実施形態に係る情報処理装置における全体処理の一例を示すフローチャートである。 図４は、実施形態に係る情報処理装置における検出処理の一例を示すフローチャートである。 図５は、実施形態に係る情報処理装置における検出処理で抽出される葛藤に関連する単語一覧の一例を示す図である。 図６は、実施形態に係る情報処理装置における検出処理で表示される画面と、狭域画像、終点文字列、及び終点座標と、の関係の一例を示す図である。 図７は、実施形態に係る情報処理装置における検出処理で表示される画面と、広域画像、終点候補文字列、及び候補座標と、の関係の一例を示す図である。 図８は、実施形態に係る情報処理装置における検出処理で表示される画面と葛藤量算出領域との関係の一例を示す図である。 図９は、実施形態に係る情報処理装置における検出処理で表示される画面と始点座標との関係の第１例を示す図である。 図１０は、実施形態に係る情報処理装置における検出処理で表示される画面と始点座標との関係の第２例を示す図である。 図１１は、実施形態に係る情報処理装置における算出処理の一例を示すフローチャートである。 図１２は、実施形態に係る情報処理装置における算出処理で算出されるＭＤとカーソルの軌跡との関係の第１例を示す図である。 図１３は、実施形態に係る情報処理装置における算出処理で算出されるＭＤとカーソルの軌跡との関係の第２例を示す図である。 図１４は、実施形態に係る情報処理装置における算出処理で算出されるＡＵＣとカーソルの軌跡との関係の一例を示す図である。 図１５は、実施形態に係る情報処理装置における算出処理で算出されるΔＡＵＣとカーソルの軌跡との関係の第１例を示す図である。 図１６は、実施形態に係る情報処理装置における算出処理で算出されるΔＡＵＣとカーソルの軌跡との関係の第２例を示す図である。 図１７は、実施形態に係る情報処理装置における算出処理で算出されるＸ－ｆｌｉｐｓとカーソルの軌跡との関係の一例を示す図である。
　以下、図面を参照して実施形態について説明する。なお、以下の説明において、同一の機能及び構成を有する構成要素については、共通する参照符号を付す。
　１．　構成
　実施形態に係る情報処理装置の構成について説明する。
　１．１　ハードウェア構成
　まず、実施形態に係る情報処理装置のハードウェア構成について説明する。
　図１は、実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。図１に示すように、情報処理装置１は、制御回路１１、通信モジュール１２、ユーザインタフェース１３、ストレージ１４、ドライブ１５、及び記憶媒体１６を含む。
　制御回路１１は、情報処理装置１の各構成要素を全体的に制御する回路である。制御回路１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）等を含む。制御回路１１のＲＯＭは、情報処理装置１における各種処理で使用されるプログラム等を記憶する。制御回路１１のＣＰＵは、制御回路１１のＲＯＭに記憶されるプログラムにしたがって、情報処理装置１の全体を制御する。制御回路１１のＲＡＭは、制御回路１１のＣＰＵの作業領域として使用される。
　通信モジュール１２は、情報処理装置１の外部との間のデータの送受信に使用される回路である。
　ユーザインタフェース１３は、ユーザと制御回路１１との間の通信を司るインタフェースである。ユーザインタフェース１３は、入力機器及び出力機器を含む。入力機器は、例えば、マウス、タッチパネル、及び操作ボタン等を含む。出力機器は、例えば、ＬＣＤ（Liquid Crystal Display）又はＥＬ（Electroluminescence）ディスプレイを含む。ユーザインタフェース１３は、ユーザからの入力を電気信号に変換した後、制御回路１１に送信する。ユーザインタフェース１３は、ユーザからの入力に基づく各種処理の実行結果を、ユーザに出力する。
　ストレージ１４は、例えば、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）を含む。ストレージ１４は、情報処理装置１における各種処理で使用される情報が記憶される。
　ドライブ１５は、記憶媒体１６に記憶されたソフトウェアを読み込むための機器である。ドライブ１５は、例えば、ＣＤ（Compact Disk）ドライブ又はＤＶＤ（Digital Versatile Disk）ドライブを含む。
　記憶媒体１６は、ソフトウェアを、電気的、磁気的、光学的、機械的又は化学的作用によって記憶する媒体である。記憶媒体１６は、情報処理装置１における各種処理を実行するためのプログラムを記憶してもよい。
　１．２　機能構成
　次に、実施形態に係る情報処理装置の機能構成について説明する。
　図２は、実施形態に係る情報処理装置の機能構成の一例を示すブロック図である。制御回路１１のＣＰＵは、制御回路１１のＲＯＭ又は記憶媒体１６に記憶されたプログラムを制御回路１１のＲＡＭに展開する。そして、制御回路１１のＣＰＵは、制御回路１１のＲＡＭに展開されたプログラムを解釈及び実行する。これにより、情報処理装置１は、業務アプリ２１、監視部２２、記憶部２３、検出部２４、算出部２５、及び出力部２６を備えるコンピュータとして機能する。
　業務アプリ２１は、情報処理装置１上で動作するアプリケーションソフトウェアである。業務アプリ２１は、ユーザインタフェース１３であるディスプレイを介してユーザから入力される入力情報に基づいて動作する。業務アプリ２１は、例えば、ディスプレイ上に選択肢を表示させる。ユーザは、業務アプリ２１が表示させた選択肢に回答する過程で、葛藤を生じ得る。
　監視部２２は、業務アプリ２１に関するユーザの操作を監視する。監視部２２は、例えば、ユーザによるマウスの操作情報、及びディスプレイに表示される画面を操作ログとして記憶部２３に記憶させる。
　記憶部２３は、ストレージ１４内のメモリ空間である。記憶部２３には、操作ログとして、カーソル軌跡情報２３ａ及びキャプチャ情報２３ｂが記憶される。カーソル軌跡情報２３ａは、ディスプレイ上を動くマウスのカーソルの時系列の２次元座標を示す情報である。キャプチャ情報２３ｂは、任意の時刻でディスプレイに表示される画面のキャプチャ画像である。
　検出部２４は、監視部２２がマウスのクリックを検知すると、カーソル軌跡情報２３ａ及びキャプチャ情報２３ｂに基づいて、当該クリックがユーザの葛藤に起因するものか否かを判定する。クリックがユーザの葛藤に起因するものである場合、検出部２４は、ディスプレイに表示された画面から、ユーザの葛藤を定量的に算出するために用いられるいくつかの座標を検出する。検出部２４は、検出された座標の情報を、算出部２５に送信する。
　算出部２５は、検出部２４によって検出された座標に基づき、ユーザの葛藤を定量的に示す葛藤量を算出する。算出部２５は、算出された葛藤量を出力部２６に送信する。
　出力部２６は、算出部２５によって算出された葛藤量をユーザに出力する。
　以上のような構成により、ユーザは、業務アプリ２１の操作によって生じた葛藤を、定量的な値として把握することができる。
　２．　動作
　次に、実施形態に係る情報処理装置の動作について説明する。
　２．１　全体処理
　図３は、実施形態に係る情報処理装置における全体処理の一例を示すフローチャートである。
　ユーザが業務アプリ２１を実行すると（開始）、監視部２２は、監視処理を開始する（Ｓ１１）。監視処理は、例えば、ディスプレイ上に表示されるマウスのカーソルの座標を時刻と関連づけて、カーソル軌跡情報２３ａとして時系列に記憶することを含む。また、監視処理は、マウスのクリックが発生した際に、当該クリックの発生を検出部２４に通知することを含む。
　監視部２２は、クリックが発生したか否かを判定する（Ｓ１２）。
　クリックが発生した場合（Ｓ１２；ｙｅｓ）、検出部２４は、検出処理を実行する（Ｓ１３）。検出処理の詳細については、後述する。
　Ｓ１３の検出処理の後、算出部２５は、算出処理に用いる全ての座標が検出されたか否かを判定する（Ｓ１４）。
　算出処理に用いる全ての座標が検出されている場合（Ｓ１４；ｙｅｓ）、算出部２５は、算出処理を実行する（Ｓ１５）。算出処理の詳細については、後述する。
　Ｓ１５の処理の後、出力部２６は、Ｓ１４の算出処理の結果をユーザに出力する（Ｓ１６）。
　Ｓ１６の処理の後、クリックが発生していない場合（Ｓ１２；ｎｏ）、又は算出処理に用いる座標が１個でも検出されていない場合（Ｓ１４；ｎｏ）、監視部２２は、業務アプリ２１が実行中であるか否かを判定する（Ｓ１７）。
　業務アプリ２１が実行中である場合（Ｓ１７；ｙｅｓ）、監視部２２は、更なるクリックが発生したか否かを判定する（Ｓ１２）。そして、クリックが発生した場合（Ｓ１２；ｙｅｓ）、検出部２４は、検出処理を実行する（Ｓ１３）。このように、業務アプリ２１が終了するまで、Ｓ１２～Ｓ１７の処理が繰り返される。
　業務アプリ２１が終了している場合（Ｓ１７；ｎｏ）、監視部２２は、監視処理を終了する（Ｓ１８）。
　Ｓ１８の処理の後、全体処理は終了となる（終了）。
　２．２　検出処理
　次に、実施形態に係る情報処理装置における検出処理について説明する。
　図４は、実施形態に係る情報処理装置における検出処理の一例を示すフローチャートである。図４に示されるＳ２１～Ｓ３０の処理は、図３におけるＳ１３の処理の詳細である。
　クリックが発生した場合（開始）、監視部２２は、狭域画像を取得する（Ｓ２１）。狭域画像は、ディスプレイ上に表示された画面のうち、クリックが発生した座標を中心とする所定領域を部分的にキャプチャした画像である。狭域画像としてキャプチャされる領域は、例えば、１種類の文字列が含まれる程度の範囲となるように予め定められる。取得された狭域画像は、キャプチャ情報２３ｂとして記憶部２３に記憶される。
　検出部２４は、Ｓ２１の処理で取得された狭域画像から、終点文字列を抽出する（Ｓ２２）。具体的には、例えば、検出部２４は、狭域画像に対して光学文字認識処理を実行することにより、狭域画像中に存在する文字列を終点文字列として抽出する。終点文字列は、業務アプリ２１が表示した選択肢のうち、ユーザによって選択された選択肢に対応する文字列である。
　検出部２４は、Ｓ２２の処理で抽出された終点文字列が葛藤に関連するか否かを判定する（Ｓ２３）。具体的には、例えば、検出部２４は、葛藤に関連する単語一覧にＳ２２の処理で抽出された終点文字列が含まれるか否かを、パターンマッチ処理によって判定する。葛藤に関連する単語一覧は、例えば、記憶部２３に予め記憶されていてもよい。
　図５は、実施形態に係る情報処理装置における検出処理で抽出される葛藤に関連する単語一覧の一例を示す図である。
　図５に示されるように、葛藤に関連する単語一覧は、いくつかの分類毎に、複数の単語が関連づけて記憶される。図５の例では、「判断」に分類された単語として、“ＯＫ”、“Ｃａｎｃｅｌ”、“決定”、“登録”、及び“戻る”等が関連づけて記憶される。また、「人名」に分類された単語として、“社員Ａ”、及び“社員Ｂ”等が関連づけて記憶される。このように、単語一覧を分類ごとに分けることにより、業務アプリ２１の実行に際してユーザが迷う項目毎に葛藤を検出することができる。
　Ｓ２３の判定処理では、Ｓ２２の処理で抽出された終点文字列が、単語一覧に含まれるか否かが、どの分類に該当するかに関わらず判定される。どの分類に該当するかに関わらず単語一覧に含まれる場合、検出部２４は、終点文字列が葛藤に関連すると判定する。単語一覧に含まれない場合、検出部２４は、終点文字列が葛藤に関連しないと判定する。
　終点文字列が葛藤に関連すると判定された場合（Ｓ２３；ｙｅｓ）、検出部２４は、終点文字列から終点座標を検出する（Ｓ２４）。終点座標は、算出処理において葛藤量の算出に用いられる軌跡の終点に対応する。終点座標は、例えば、終点文字列が表示される領域の中心を示す座標である。
　図６は、実施形態に係る情報処理装置における検出処理で表示される画面と、狭域画像、終点文字列、及び終点座標と、の関係の一例を示す図である。図６では、ディスプレイ上の画面Ｓに、業務アプリ２１が提示する選択肢を表示するダイアログボックスＢが表示されている場合が示される。ダイアログボックスＢには、“実行しますか？”という文字列Ｗｎと共に、“ＯＫ”という文字列Ｗｅ’と、“Ｃａｎｃｅｌ”という文字列Ｗｅとが表示される。また、文字列Ｗｅに対応する終点Ｐｅが黒丸で示される。なお、以降の説明では、画面Ｓの左右方向をＸ方向、上下方向をＹ方向として座標（ｘ，ｙ）を定義するものとする。
　図６に示されるように、例えば、ユーザは、文字列Ｗｅをクリックする。これに伴い、Ｓ２１の処理で、監視部２２は、狭域画像ＮＣを取得する。Ｓ２２の処理で、検出部２４は、狭域画像ＮＣ内の文字列Ｗｅを終点文字列として抽出する。Ｓ２３の処理で、検出部２４は、単語一覧内に“Ｃａｎｃｅｌ”があることから、文字列Ｗｅが葛藤に関連すると判定する。これにより、Ｓ２４の処理で、検出部２４は、文字列Ｗｅから終点Ｐｅの座標（ｘ＿ｅ，ｙ＿ｅ）を検出する。
　Ｓ２４の処理の後、監視部２２は、広域画像を取得する（Ｓ２５）。広域画像は、狭域画像と同様に、ディスプレイ上に表示された画面のうち、クリックが発生した座標を中心とする所定領域を部分的にキャプチャした画像である。広域画像としてキャプチャされる領域は、例えば、複数種類の文字列が含まれる程度の範囲となるように予め定められる。すなわち、広域画像の範囲は、狭域画像の範囲より広い。取得された広域画像は、キャプチャ情報２３ｂとして記憶部２３に記憶される。
　検出部２４は、Ｓ２５の処理で取得された広域画像から、終点候補文字列を抽出する（Ｓ２６）。具体的には、例えば、検出部２４は、広域画像に対して光学文字認識処理を実行することにより、広域画像中に存在する複数の文字列を終点候補文字列として抽出する。終点候補文字列は、業務アプリ２１が表示した選択肢のうち、ユーザによって選択されなかった選択肢に対応する。すなわち、終点候補文字列とは、少なくとも終点文字列とは異なる文字列である。
　検出部２４は、Ｓ２６の処理で抽出された終点候補文字列が、終点文字列と異なり、かつ葛藤に関連するか否かを判定する（Ｓ２７）。具体的には、例えば、検出部２４は、葛藤に関連する単語一覧にＳ２６の処理で抽出された終点候補文字列が含まれるか否かを、パターンマッチ処理によって判定する。葛藤に関連する単語一覧は、例えば、Ｓ２３の処理で用いられた単語一覧と同等のものが用いられる。
　Ｓ２７の判定処理では、Ｓ２６の処理で抽出された終点候補文字列が、単語一覧に含まれるか否かが、Ｓ２３の処理で終点文字列と一致した単語と同じ分類に該当するか否かと共に判定される。終点文字列と同じ分類の単語一覧に含まれ、かつ終点文字列と異なる場合、検出部２４は、終点候補文字列が葛藤に関連すると判定する。終点文字列と同じ分類の単語一覧に含まれない場合、又は終点文字列と同じ分類の単語一覧に含まれるが終点文字列と同じ場合、検出部２４は、終点候補文字列が葛藤に関連しないと判定する。
　終点候補文字列が葛藤に関連すると判定された場合（Ｓ２７；ｙｅｓ）、検出部２４は、終点候補文字列から終点候補座標を検出する（Ｓ２８）。終点候補座標は、例えば、終点候補文字列が表示される領域の中心を示す座標である。
　図７は、実施形態に係る情報処理装置における検出処理で表示される画面と、広域画像、終点候補文字列、及び終点候補座標と、の関係の一例を示す図である。図７では、画面Ｓに、図６の場合と同じダイアログボックスＢが表示されている場合が示される。また、文字列Ｗｅ’に対応する終点候補Ｐｅ’が黒丸で示される。
　図７に示されるように、監視部２２は、広域画像ＷＣを取得する。Ｓ２６の処理で、検出部２４は、広域画像ＷＣ内の文字列Ｗｅ、Ｗｅ’、及びＷｎを終点候補文字列として抽出する。Ｓ２７の処理で、検出部２４は、単語一覧のうち終点文字列である“Ｃａｎｃｅｌ”と同じ分類内に“ＯＫ”があることから、文字列Ｗｅ’が葛藤に関連すると判定する。なお、検出部２４は、文字列Ｗｅは、終点文字列と一致するため、葛藤に関連しないと判定する。また、検出部２４は、文字列Ｗｎは、単語一覧に存在しないため、葛藤に関連しないと判定する。これにより、Ｓ２８の処理で、検出部２４は、文字列Ｗｅ’から終点候補Ｐｅ’の座標（ｘ＿ｅ’，ｙ＿ｅ’）を検出する。
　Ｓ２８の処理の後、検出部２４は、Ｓ２４の処理で検出された終点座標（ｘ＿ｅ，ｙ＿ｅ）、及びＳ２８の処理で検出された終点候補座標（ｘ＿ｅ’，ｙ＿ｅ’）に基づき、葛藤量算出領域を決定する（Ｓ２９）。
　図８は、実施形態に係る情報処理装置における検出処理で表示される画面と葛藤量算出領域との関係の一例を示す図である。図８に示される画面Ｓは、図６及び図７に示される画面Ｓと同様である。
　図８に示されるように、葛藤量算出領域Ｒは、画面Ｓのうち、Ｘ座標ｘｍｉｎからＸ座標ｘｍａｘまでの領域として定義される。ここで、Ｘ座標ｘｍｉｎは、終点ＰｅのＸ座標ｘ＿ｅ、及び終点候補Ｐｅ’のＸ座標ｘ＿ｅ’の小さい方よりも定数ｘ０引いた値である。Ｘ座標ｘｍａｘは、終点ＰｅのＸ座標ｘ＿ｅ、及び終点候補Ｐｅ’のＸ座標ｘ＿ｅ’の大きい方よりも定数ｘ０足した値である。定数ｘ０は、正の実数である。Ｘ座標ｘｍｉｎの算出に用いられる定数ｘ０と、Ｘ座標ｘｍａｘの算出に用いられる定数ｘ０とは、異なっていてもよい。
　Ｓ２９の処理の後、検出部２４は、Ｓ２８の処理で決定された葛藤量算出領域Ｒから、始点座標を検出する（Ｓ３０）。始点座標は、算出処理において葛藤量の算出に用いられる軌跡の始点に対応する。
　図９は、実施形態に係る情報処理装置における検出処理で表示される画面と始点座標との関係の第１例を示す図である。図１０は、実施形態に係る情報処理装置における検出処理で表示される画面と始点座標との関係の第２例を示す図である。第１例は、始点Ｐｓが葛藤量算出領域Ｒの境界の内側に位置する場合に対応する。第２例は、始点Ｐｓが葛藤量算出領域Ｒの境界に位置する場合に対応する。図９及び図１０では、終点文字列Ｗｅをクリックするまでのマウスのカーソルの軌跡Ｔが一点鎖線で示されると共に、軌跡Ｔ上の始点Ｐｓ及び始点候補Ｐｓ’が黒丸で示される。
　まず、始点Ｐｓが葛藤量算出領域Ｒの境界の内側に位置する場合について、図９を参照して説明する。
　検出部２４は、始点座標（ｘ＿ｓ，ｙ＿ｓ）の検出に際して、始点候補座標（ｘ＿ｓ’，ｙ＿ｓ’）を検出する。始点候補座標（ｘ＿ｓ’，ｙ＿ｓ’）は、例えば、終点文字列Ｗｅがクリックされた時刻から所定時間前におけるマウスのカーソル位置を示す座標であってもよい。始点候補座標（ｘ＿ｓ’，ｙ＿ｓ’）は、例えば、終点文字列Ｗｅがクリックされた時刻よりも前の時間帯において、カーソルの加速度が閾値を超えた時刻におけるカーソル位置を示す座標であってもよい。
　図９に示されるように、第１例では、始点候補Ｐｓ’が葛藤量算出領域Ｒの境界の内側に位置する。この場合、検出部２４は、始点候補座標（ｘ＿ｓ’，ｙ＿ｓ’）を始点座標（ｘ＿ｓ，ｙ＿ｓ）として検出する。
　次に、始点Ｐｓが葛藤量算出領域Ｒの境界に位置する場合について、図１０を参照して説明する。
　図１０に示されるように、第２例では、始点候補Ｐｓ’が葛藤量算出領域Ｒの境界の外側に位置する。この場合、検出部２４は、始点候補座標（ｘ＿ｓ’，ｙ＿ｓ’）から軌跡Ｔを辿って、葛藤量算出領域Ｒと交差する点を始点座標（ｘ＿ｓ＝ｘｍｉｎ，ｙ＿ｓ）として検出する。なお、図１０に示された例に限られず、第２例において、検出部２４は、始点候補座標（ｘ＿ｓ’，ｙ＿ｓ’）から軌跡Ｔを辿って、葛藤量算出領域Ｒと交差する点のＸ座標（＝ｘｍｉｎ）と、始点候補座標のＹ座標ｙ＿ｓ’と、で定義される点を始点座標（ｘ＿ｓ＝ｘｍｉｎ，ｙ＿ｓ’）として検出してもよい。
　Ｓ３０の処理の後、終点文字列が葛藤に関連しないと判定された場合（Ｓ２３；ｎｏ）、又は終点候補文字列が葛藤に関連しないと判定された場合（Ｓ２７；ｎｏ）、検出処理は終了となる（終了）。
　２．３　算出処理
　次に、実施形態に係る情報処理装置における算出処理について説明する。
　図１１は、実施形態に係る情報処理装置における算出処理の一例を示すフローチャートである。図１１に示されるＳ３１～Ｓ３４の処理は、図３におけるＳ１５の処理の詳細である。
　算出処理に用いる全ての座標（すなわち、終点座標及び始点座標）が検出されている場合（開始）、算出部２５は、ＭＤ（Maximum Deviation）を算出する（Ｓ３１）。ＭＤは、カーソルの軌跡から始点座標と終点座標とを結ぶ直線へ下ろした垂線の最長の長さとして定義される指標である。
　図１２は、実施形態に係る情報処理装置における算出処理で算出されるＭＤとカーソルの軌跡との関係の第１例を示す図である。図１３は、実施形態に係る情報処理装置における算出処理で算出されるＭＤとカーソルの軌跡との関係の第２例を示す図である。第１例は、カーソルの軌跡Ｔのうち始点Ｐｓと終点Ｐｅとの間の全ての部分が葛藤量算出領域Ｒの内側に位置する場合に対応する。第２例は、カーソルの軌跡Ｔのうち始点Ｐｓと終点Ｐｅとの間の一部が葛藤量算出領域Ｒの外側に位置する場合に対応する。図１２及び図１３では、マウスのカーソルの軌跡Ｔが一点鎖線で示されると共に、軌跡Ｔ上の始点Ｐｓ及び終点Ｐｅが黒丸で示される。また、始点Ｐｓと終点Ｐｅを結ぶ直線Ｌが実線で示される。
　図１２に示されるように、カーソルの軌跡Ｔのうち始点Ｐｓと終点Ｐｅとの間の全ての部分が葛藤量算出領域Ｒの境界の内側に位置する場合、ＭＤは、以下の式（１）で算出される。
Figure JPOXMLDOC01-appb-M000001
ここで、座標（ｘｉ，ｙｉ）は、カーソルの軌跡Ｔ上の座標である。座標（ｘ＿ｓ，ｙ＿ｓ）及び（ｘ＿ｅ，ｙ＿ｅ）はそれぞれ、始点Ｐｓ及び終点Ｐｅの座標である。直線Ｌ：ａｘ＋ｂｙ＋ｃ＝０は、始点Ｐｓと終点Ｐｅとを結ぶ直線である。定数ａ、ｂ、及びｃはそれぞれ、以下の式（２）、（３）、及び（４）を満たす。
Figure JPOXMLDOC01-appb-M000002
　図１３に示されるように、カーソルの軌跡Ｔのうち始点Ｐｓと終点Ｐｅとの間の一部が葛藤量算出領域Ｒの外側に位置する場合、葛藤量算出領域Ｒの外側の軌跡Ｔは、葛藤量算出領域Ｒの境界で代替される。
　これにより、算出部２５は、軌跡Ｔの形状に依らず、ＭＤを算出することができる。
　続いて、算出部２５は、ＡＵＣ（Area Under the Curve）を算出する（Ｓ３２）。
　図１４は、実施形態に係る情報処理装置における算出処理で算出されるＡＵＣとカーソルの軌跡との関係の一例を示す図である。図１４では、マウスのカーソルの軌跡Ｔが一点鎖線で示されると共に、軌跡Ｔ上の始点Ｐｓ及び終点Ｐｅが黒丸で示される。また、始点Ｐｓと終点Ｐｅを結ぶ直線Ｌが実線で示される。
　図１４に示されるように、ＡＵＣは、直線Ｌと軌跡Ｔとで形成される少なくとも１個の閉域面の面積の和として定義される。すなわち、ＡＵＣは、図１４におけるハッチング箇所の面積となる。ＡＵＣは、例えば、以下の式（５）に示されるように、ハッチング箇所をｙ方向に分割して得られる微小要素の面積ΔＡＵＣの和として算出される。
Figure JPOXMLDOC01-appb-M000003
　図１５は、実施形態に係る情報処理装置における算出処理で算出されるΔＡＵＣとカーソルの軌跡との関係の第１例を示す図である。図１６は、実施形態に係る情報処理装置における算出処理で算出されるΔＡＵＣとカーソルの軌跡との関係の第２例を示す図である。第１例は、微小要素が形成される範囲で軌跡Ｔが直線Ｌと交差する場合に対応する。第２例は、微小要素が形成される範囲で軌跡Ｔが直線Ｌと交差しない場合に対応する。
　図１５に示されるように、ｉ番目の微小要素が形成される範囲で軌跡Ｔが直線Ｌと交差する場合、ｉ番目の微小要素の面積ΔＡＵＣｉは、２個の三角形ＰｉＫｉＱｉ及びＰｉ＋１Ｋｉ＋１Ｑｉの面積の和となる（ｉは自然数）。ここで、点Ｐｉ及びＰｉ＋１はそれぞれ、軌跡Ｔのうちｉ番目の微小要素に対応する部分の両端である。点Ｋｉ及びＫｉ＋１はそれぞれ、直線Ｌのうちｉ番目の微小要素に対応する部分の両端である。点Ｑｉは、軌跡Ｔのうちｉ番目の微小要素に対応する部分と、直線Ｌのうちｉ番目の微小要素に対応する部分との交点である。
　点Ｐｉ、Ｐｉ＋１、Ｋｉ、Ｋｉ＋１、及びＱｉの座標をそれぞれ（ｘｉ，ｙｉ）、（ｘｉ＋１，ｙｉ＋１）、（ｘｋｉ，ｙｋｉ＝ｙｉ）、（ｘｋｉ＋１，ｙｋｉ＋１＝ｙｉ＋１）、及び（ｘｑｉ，ｙｑｉ）とすると、ΔＡＵＣｉは、以下の式（６）で算出される。
Figure JPOXMLDOC01-appb-M000004
　図１６に示されるように、ｉ番目の微小要素が形成される範囲で軌跡Ｔが直線Ｌと交差しない場合、ｉ番目の微小要素の面積ΔＡＵＣｉは、１個の矩形ＰｉＫｉＫｉ＋１Ｐｉ＋１の面積となる（ｉは自然数）。
　この場合、ΔＡＵＣｉは、以下の式（７）で算出される。
Figure JPOXMLDOC01-appb-M000005
　なお、カーソルの軌跡Ｔのうち始点Ｐｓと終点Ｐｅとの間の一部が葛藤量算出領域Ｒの外側に位置する場合、ＭＤの場合と同じように、葛藤量算出領域Ｒの外側の軌跡Ｔは、葛藤量算出領域Ｒの境界で代替される。
　これにより、算出部２５は、軌跡Ｔの形状に依らず、ＡＵＣを算出することができる。
　続いて、算出部２５は、Ｘ－ｆｌｉｐｓを算出する（Ｓ３３）。Ｘ－ｆｌｉｐｓは、カーソルの軌跡がＸ軸上で左右に振れた回数で定義される指標である。
　図１７は、実施形態に係る情報処理装置における算出処理で算出されるＸ－ｆｌｉｐｓとカーソルの軌跡との関係の一例を示す図である。
　図１７に示されるように、始点Ｐｓと終点Ｐｅとの間で、軌跡Ｔは、Ｘ方向の変化率が反転する場合がある。図１７の例では、始点Ｐｓから終点Ｐｅへ向かう場合、点Ｐ１において、Ｘ方向の変化率が正から負へ反転する。続いて、点Ｐ２において、Ｘ方向の変化率が負から正へ反転する。続いて、点Ｐ３において、Ｘ方向の変化率が再び正から負へ反転し、最終的に終点Ｐｅに至る。このような場合、Ｘ－ｆｌｉｐｓは“３”と算出される。
　なお、Ｓ３１～Ｓ３３の処理は、任意の順番で実行され得る。Ｓ３１～Ｓ３３の処理は、並行して実行されてもよい。
　Ｓ３１～Ｓ３３の処理の後、算出部２５は、ＭＤ、ＡＵＣ、及びＸ－ｆｌｉｐｓを正規化する（Ｓ３４）。
　ＭＤの正規化に用いる基準値は、例えば、葛藤量算出領域ＲのＸ方向長さＸＲが適用される。ＡＵＣの正規化に用いる基準値は、例えば、葛藤量算出領域ＲのＸ方向長さと、始点Ｐｓから終点ＰｅまでのＹ方向長さとで形成される矩形の面積ＳＲが適用される。例えば、算出部２５は、正規化後のＭＤ（＝ＭＤｎ）及びＡＵＣ（＝ＡＵＣｎ）を、以下の式（８）又は（９）のように算出してもよい。ここで、変数ｊは、感度である。式（９）の場合、０付近の勾配が大きくなるため、正規化前のＭＤやＡＵＣの値が小さい場合の感度を式（８）の場合よりも向上させることができる。
Figure JPOXMLDOC01-appb-M000006
　Ｘ－ｆｌｉｐｓは、正規化前のＸ－ｆｌｉｐｓが大きいほど正規化後のＸ－ｆｌｉｐｓが１に近づき、正規化前のＸ－ｆｌｉｐｓが小さいほど正規化後のＸ－ｆｌｉｐｓが０に近づくように正規化される。例えば、算出部２５は、正規化後のＸ－ｆｌｉｐｓ（＝Ｘ－ｆｌｉｐｓｎ）を、以下の式（１０）のように算出してもよい。
Figure JPOXMLDOC01-appb-M000007
　Ｓ３４の処理の後、算出部２５は、正規化後のＭＤｎ、ＡＵＣｎ、及びＸ－ｆｌｉｐｓｎに基づき、葛藤量を算出する（Ｓ３５）。葛藤量Ｃは、正規化後のＭＤｎ、ＡＵＣｎ、及びＸ－ｆｌｉｐｓｎを統合した１つの指標として定量化されることにより、業務支援への適用及び応用が容易となる。
　算出部２５は、以下の式（１１）に示すように、葛藤量Ｃを各指標の加重和として算出してもよい。ここで、変数α、β、及びγは、重みである。
Figure JPOXMLDOC01-appb-M000008
　また、算出部２５は、Ｓ３４の処理で算出された正規化後のＭＤｎ、ＡＵＣｎ、及びＸ－ｆｌｉｐｓｎを入力とする階層型ニューラルネットワークを用いて、葛藤量Ｃを算出してもよい。
　Ｓ３５の処理の後、算出処理は終了となる（終了）。
　３．　実施形態に係る効果
　実施形態によれば、検出部２４は、ユーザによる画面Ｓ上でのカーソルを用いた文字列の選択に応じて、当該選択に関するカーソルの終点Ｐｅ及び終点候補Ｐｅ’を画面Ｓから検出する。検出部２４は、検出された終点Ｐｅ及び終点候補Ｐｅ’に基づいて、カーソルの始点Ｐｓを画面Ｓから検出する。具体的には、検出部２４は、選択の際の画面Ｓのキャプチャ情報２３ｂに基づき、ユーザによって選択された終点文字列Ｗｅと、終点文字列Ｗｅの周囲に位置しかつ終点文字列Ｗｅと異なる終点候補文字列Ｗｅ’とを抽出する。検出部２４は、終点文字列Ｗｅ及び終点候補文字列Ｗｅ’が、葛藤に関する文字列であるか否かを判定する。検出部２４は、判定の結果、葛藤に関する文字列であると判定された終点文字列Ｗｅの座標（ｘ＿ｅ，ｙ＿ｅ）及び終点候補文字列Ｗｅ’の座標（ｘ＿ｅ’，ｙ＿ｅ’）を、終点Ｐｅ及び終点候補Ｐｅ’として検出する。検出部２４は、始点候補Ｐｓ’が葛藤量算出領域Ｒの外側にある場合、始点候補Ｐｓ’を葛藤量算出領域Ｒの境界に移動させた点を始点Ｐｓとして検出する。これにより、業務アプリ２１のような統制されていない環境における操作ログに基づいて、葛藤量算出に用いる各種指標の入力となる始点Ｐｓ及び終点Ｐｅの座標を得ることができる。
　また、算出部２５は、始点Ｐｓ及び終点Ｐｅに基づいて、選択に関するユーザの葛藤を定量的に示す葛藤量Ｃを算出する。具体的には、算出部２５は、葛藤量算出領域Ｒの内側において、始点Ｐｓ、終点Ｐｅ、及びカーソル軌跡情報２３ａに基づいて、ＭＤ、ＡＵＣ、及びＸ－ｆｌｉｐｓを算出する。算出部２５は、算出されたＭＤ、ＡＵＣ、及びＸ－ｆｌｉｐｓを正規化した後、当該正規化されたＭＤ、ＡＵＣ、及びＸ－ｆｌｉｐｓに基づいて、葛藤量Ｃを算出する。より具体的には、算出部２５は、正規化されたＭＤ、ＡＵＣ、及びＸ－ｆｌｉｐｓの加重和、又は正規化されたＭＤ、ＡＵＣ、及びＸ－ｆｌｉｐｓを入力とするニューラルネットワークの出力に基づき、葛藤量Ｃを算出する。これにより、業務アプリ２１のような統制されていない環境でも葛藤量Ｃを算出できる。このため、業務アプリケーションの操作ログから葛藤を検出することができる。したがって、ユーザが操作に迷っているときに支援を提供するソフトウェアを実現することが可能となり、ひいては業務効率化やＤＸ（Digital Transformation）の実現が可能となる。
　４．　変形例等
　なお、上述した実施形態には、種々の変形が適用可能である。
　上述した実施形態では、検出処理及び算出処理を実行するプログラムが、情報処理装置１で実行される場合について説明したが、これに限られない。例えば、検出処理及び算出処理を実行するプログラムは、クラウド上の計算リソースで実行されてもよい。
　なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
　１…情報処理装置
　１１…制御回路
　１２…通信モジュール
　１３…ユーザインタフェース
　１４…ストレージ
　１５…ドライブ
　１６…記憶媒体
　２１…業務アプリ
　２２…監視部
　２３…記憶部
　２４…検出部
　２５…算出部
　２６…出力部
　２３ａ…カーソル軌跡情報
　２３ｂ…キャプチャ情報
 

Claims (8)

  1. 　ユーザによる画面上でのカーソルを用いた文字列の選択に応じて前記選択に関する前記カーソルの終点及び終点候補を前記画面から検出し、前記終点及び前記終点候補に基づいて前記カーソルの始点を前記画面から検出する検出部と、
    　前記始点及び前記終点に基づいて、前記選択に関する前記ユーザの葛藤を定量的に示す葛藤量を算出する算出部と、
    　を備えた、情報処理装置。
  2. 　前記検出部は、
    　　前記選択の際の前記画面のキャプチャ情報に基づき、前記選択された第１文字列と、前記第１文字列の周囲に位置しかつ前記第１文字列と異なる第２文字列とを抽出し、
    　　前記第１文字列及び前記第２文字列が前記葛藤に関する文字列であるか否かを判定し、
    　　前記判定の結果、前記葛藤に関する文字列であると判定された前記第１文字列の位置及び前記第２文字列の位置を、前記終点及び前記終点候補として検出する、
    　請求項１記載の情報処理装置。
  3. 　前記検出部は、
    　　前記第１文字列が選択される所定時間前における前記カーソルの位置、又は前記第１文字列が選択される前に前記カーソルの加速度が閾値を超える位置を、前記始点として検出する、
    　請求項２記載の情報処理装置。
  4. 　前記検出部は、
    　　前記始点が前記終点及び前記終点候補を含む前記画面上の所定の領域の外側にある場合、前記始点を前記所定の領域の境界に移動させる、
    　請求項１記載の情報処理装置。
  5. 　前記算出部は、
    　　前記始点、前記終点、及び前記終点候補を含む前記画面上の所定の領域内において、前記始点、前記終点、及び前記カーソルの軌跡に基づいてＭＤ（Maximum Deviation）、ＡＵＣ（Area Under the Curve）、及びＸ－ｆｌｉｐｓを算出し、
    　　前記算出されたＭＤ、ＡＵＣ、及びＸ－ｆｌｉｐｓを正規化し、
    　　前記正規化されたＭＤ、ＡＵＣ、及びＸ－ｆｌｉｐｓに基づき、前記葛藤量を算出する、
    　請求項１記載の情報処理装置。
  6. 　前記算出部は、
    　　前記正規化されたＭＤ、ＡＵＣ、及びＸ－ｆｌｉｐｓの加重和、又は前記正規化されたＭＤ、ＡＵＣ、及びＸ－ｆｌｉｐｓを入力とするニューラルネットワークの出力に基づき、前記葛藤量を算出する、
    　請求項５記載の情報処理装置。
  7. 　ユーザによる画面上でのカーソルを用いた文字列の選択に応じて前記選択に関する前記カーソルの終点及び終点候補を前記画面から検出することと、
    　前記終点及び前記終点候補に基づいて前記カーソルの始点を前記画面から検出することと、
    　前記始点及び前記終点に基づいて、前記選択に関する前記ユーザの葛藤を定量的に示す葛藤量を算出することと、
    　を備えた、情報処理方法。
  8. 　コンピュータを、請求項１乃至請求項６のいずれか１項に記載の情報処理装置が備える各部として機能させるためのプログラム。
     
PCT/JP2022/044894 2022-12-06 2022-12-06 情報処理装置、情報処理方法、及びプログラム WO2024121933A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/044894 WO2024121933A1 (ja) 2022-12-06 2022-12-06 情報処理装置、情報処理方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/044894 WO2024121933A1 (ja) 2022-12-06 2022-12-06 情報処理装置、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2024121933A1 true WO2024121933A1 (ja) 2024-06-13

Family

ID=91378798

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/044894 WO2024121933A1 (ja) 2022-12-06 2022-12-06 情報処理装置、情報処理方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2024121933A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007116689A1 (ja) * 2006-03-27 2007-10-18 Matsushita Electric Industrial Co., Ltd. ユーザ支援装置、方法、及びプログラム
WO2007135796A1 (ja) * 2006-05-18 2007-11-29 Visual Interactive Sensitivity Research Institute Co., Ltd. コンテンツに対する利用者応答を評価する制御装置
JP2018018141A (ja) * 2016-07-25 2018-02-01 日本電信電話株式会社 判定装置、判定方法および判定プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007116689A1 (ja) * 2006-03-27 2007-10-18 Matsushita Electric Industrial Co., Ltd. ユーザ支援装置、方法、及びプログラム
WO2007135796A1 (ja) * 2006-05-18 2007-11-29 Visual Interactive Sensitivity Research Institute Co., Ltd. コンテンツに対する利用者応答を評価する制御装置
JP2018018141A (ja) * 2016-07-25 2018-02-01 日本電信電話株式会社 判定装置、判定方法および判定プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHIINA KENPEI: "Inferring Psychological States via Cursor Movements -Poorman's fMRI ? in the Case of Self-Referential Ratings", IEICE TECHNICAL REPORT, IEICE, JP, vol. 113, no. 426, 25 January 2014 (2014-01-25), JP, pages 37 - 42, XP093179228, ISSN: 0913-5685 *

Similar Documents

Publication Publication Date Title
Schlegel et al. Towards a rigorous evaluation of XAI methods on time series
JP6778273B2 (ja) パフォーマンスモデル悪影響補正
US11551239B2 (en) Characterizing and modifying user experience of computing environments based on behavior logs
US11501161B2 (en) Method to explain factors influencing AI predictions with deep neural networks
US20200380309A1 (en) Method and System of Correcting Data Imbalance in a Dataset Used in Machine-Learning
JP2019537394A (ja) 現場検知
US11521115B2 (en) Method and system of detecting data imbalance in a dataset used in machine-learning
CN106605202A (zh) 根据触摸输入的偏手性检测
CN113256583A (zh) 图像质量检测方法及装置、计算机设备和介质
CN110169021B (zh) 用于过滤多条消息的方法和设备
CN112950218A (zh) 一种业务风险评估方法、装置、计算机设备和存储介质
CN112529679A (zh) 企业授信模型的构建方法、装置、设备及可读存储介质
KR102234821B1 (ko) 빅 데이터 및 머신 러닝 모델을 이용한 제품의 가격 예측을 수행하는 전자장치 및 그 동작 방법
CN116883181B (zh) 基于用户画像的金融服务推送方法、存储介质及服务器
US10867249B1 (en) Method for deriving variable importance on case level for predictive modeling techniques
WO2024121933A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN117573507A (zh) 测试用例生成方法、装置、电子设备及存储介质
RU2715024C1 (ru) Способ отладки обученной рекуррентной нейронной сети
US11935154B2 (en) Image transformation infrastructure
US11537239B1 (en) Diffusion-based handedness classification for touch-based input
CN113901996A (zh) 设备屏幕透图检测模型训练方法及设备屏幕透图检测方法
Zhang et al. On the cost of interactions in interactive visual machine learning
WO2021178402A1 (en) Automated design tool
KR102637554B1 (ko) 정보 보호 인증에 관한 프로젝트 내의 과제 분석 및 정보 제공 시스템
Narayana et al. High speed script execution for GUI Automation using Computer Vision.