WO2022259558A1 - 判定装置、判定方法および判定プログラム - Google Patents

判定装置、判定方法および判定プログラム Download PDF

Info

Publication number
WO2022259558A1
WO2022259558A1 PCT/JP2021/022417 JP2021022417W WO2022259558A1 WO 2022259558 A1 WO2022259558 A1 WO 2022259558A1 JP 2021022417 W JP2021022417 W JP 2021022417W WO 2022259558 A1 WO2022259558 A1 WO 2022259558A1
Authority
WO
WIPO (PCT)
Prior art keywords
determination
event
log
identity
criterion
Prior art date
Application number
PCT/JP2021/022417
Other languages
English (en)
French (fr)
Inventor
史拓 横瀬
公雄 土川
佐也香 八木
有記 卜部
泰輔 若杉
晴夫 大石
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP2023526836A priority Critical patent/JPWO2022259558A1/ja
Priority to PCT/JP2021/022417 priority patent/WO2022259558A1/ja
Publication of WO2022259558A1 publication Critical patent/WO2022259558A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/20—Software design

Definitions

  • the present invention relates to a determination device, a determination method, and a determination program.
  • Logs used for process mining must meet the requirements of "only the information to be analyzed”, “divided into items", and “events can be identified”. be.
  • operation logs that record operations on a PC often do not meet the log requirements for process mining. Therefore, when performing process mining, for example, it is necessary to process the operation log to meet this requirement by three pre-processes: "removal of unnecessary operation events", “judgment of the same operation event", and "dividing by project”. .
  • the "identical operation determination” process is the process of determining operations with the same meaning in the operation log and making them identifiable as work events.
  • the operation log simply records the GUI information at the time of recording as it is, all operations become separate events in the initial state. Therefore, it is necessary to identify the same event by considering the meaning of the operation in the work.
  • human beings visually check operation logs and add unique operation type IDs to multiple events that are considered to be the same. Then, the process of linking the same operation events is performed manually.
  • a determination device includes a reception unit that receives a log event, and a log event identity check based on a log attribute value included in the log event. and a determination unit that determines identity of a log event to be processed based on the determination criterion.
  • a determination method is a determination method executed by a determination device, and includes a step of receiving a log event, and determining the identity of the log event based on an attribute value of the log included in the log event.
  • the method is characterized by including a step of estimating a criterion for determination, and a step of determining identity of a log event to be processed based on the criterion.
  • a determination program includes the steps of: receiving a log event; estimating a determination criterion for determining identity of the log event based on an attribute value of a log included in the log event; and a step of determining the identity of the log event to be processed based on the determination criteria.
  • the same operation events can be easily linked in the preprocessing of process mining.
  • FIG. 1 is a block diagram showing a configuration example of a determination device according to the first embodiment.
  • FIG. 2 is a diagram illustrating logs stored in a storage unit according to the first embodiment;
  • FIG. 3 is a diagram illustrating an example of reception processing by linking operation events according to the first embodiment.
  • FIG. 4 is a diagram showing an example of rule types for each attribute element according to the first embodiment.
  • FIG. 5 is a diagram illustrating an example of determination criterion estimation processing according to the first embodiment.
  • FIG. 6 is a diagram illustrating an example of operation event determination processing according to the first embodiment.
  • FIG. 7 is a flow chart showing an example of the overall flow of processing according to the first embodiment.
  • FIG. 8 is a diagram explaining process mining.
  • FIG. 9 is a diagram illustrating preprocessing for process mining.
  • FIG. 10 is a diagram for explaining conventional problems.
  • FIG. 11 is a diagram showing a computer executing a program.
  • the process mining method for business analysis described above is widely used in the market.
  • preprocessing may be required for process mining of operation logs. That is, since the same operation cannot be determined on the operation log, it is necessary to associate the same operation event. Also, although it is possible to manually connect them one by one, it is difficult to manually connect all of them when the amount of logs is large.
  • the following processing is executed.
  • a rule for determining a connection is inferred from the relationship of attribute values between exemplified operation events.
  • FIG. 1 is a block diagram showing a configuration example of a determination device according to this embodiment.
  • the determination device 10 has an input unit 11 , an output unit 12 , a communication unit 13 , a storage unit 14 and a control unit 15 .
  • the input unit 11 is in charge of inputting various information to the determination device 10.
  • the input unit 11 is implemented by a mouse, a keyboard, or the like, and receives input such as setting information to the determination device 10 .
  • the output unit 12 controls output of various information from the determination device 10 .
  • the output unit 12 is implemented by a display or the like, and outputs setting information or the like stored in the determination device 10 .
  • the communication unit 13 manages data communication with other devices. For example, the communication unit 13 performs data communication with each communication device. Further, the communication unit 13 can perform data communication with an operator's terminal (not shown).
  • the storage unit 14 stores various information referred to when the control unit 15 operates and various information acquired when the control unit 15 operates.
  • the storage unit 14 can be realized by, for example, a RAM (Random Access Memory), a semiconductor memory device such as a flash memory, or a storage device such as a hard disk or an optical disk.
  • a RAM Random Access Memory
  • the storage unit 14 is installed inside the determination device 10 in the example of FIG. 1, it may be installed outside the determination device 10, and a plurality of storage units may be installed.
  • the storage unit 14 stores operation logs to be processed.
  • the storage unit 14 stores, as an operation log, "occurrence time” of the operation, "specific information of the operated GUI component", and the like.
  • information of one operation event is expressed as a collection of multiple attribute values (columns, items).
  • FIG. 2 is a diagram showing logs stored in the storage unit 14. As shown in FIG. In the example of FIG. 2, an operation log in which only operations on the browser are recorded is assumed for the sake of simplicity. Therefore, only browser-related values are shown in the log attribute values.
  • the operation log may also record inputs from some input device or command inputs on the CUI (Character-based User Interface). If you want to record those other kinds of operations, you need to increase the log entries as needed.
  • CUI Consumer-based User Interface
  • the storage unit 14 stores “date and time”, “operation type”, “URL”, “title”, “tagName”, “type”, “id”, “value”, “name”, “className”, “left”, “top”, “width”, and “height” are stored.
  • the operation log to be stored in the storage unit 14 is not limited to the one described above, and may also store, for example, an image captured at the time of operation.
  • the storage unit 14 stores a "null" value indicating that the value is not set. Note that the attribute elements included in the operation log do not have to be the directly obtained information itself. You can have it. In addition, the storage unit 14 stores operation logs in chronological order of events so that the order of events occurring during work can be known.
  • the control unit 15 controls the overall determination device 10 .
  • the control unit 15 has a reception unit 15a, an estimation unit 15b, and a determination unit 15c.
  • the control unit 15 is, for example, an electronic circuit such as a CPU (Central Processing Unit) or an MPU (Micro Processing Unit), or an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • the reception unit 15a receives an operation event as a log event.
  • the receiving unit 15a receives an image of an operation event associated with the same operation by the user, among images of a plurality of operation events. That is, the receiving unit 15a receives a combination of captured images associated with the same operation by the user, among the captured images of the plurality of operation events displayed in chronological order.
  • the log event is an event including a log having a similar structure other than the operation event (for example, history of incoming and outgoing calls).
  • the reception unit 15a selects the selected captured image.
  • the operation log of the operation event linked with is accepted as the "same operation log”.
  • the receiving unit 15a receives the operation log of the operation event linked with the selected captured image as another "same operation log”. Note that the reception processing described above will also be described in detail in [Details of each processing] (1. Exemplary reception processing by linking operation events) described later.
  • the reception unit 15a also refers to the operation logs stored in the storage unit 14 and acquires the selected operation log. On the other hand, the reception unit 15a outputs the set of selected operation logs to the estimation unit 15b. Note that the reception unit 15 a may store the set of selected operation logs in the storage unit 14 .
  • the estimation unit 15b estimates a criterion (rule) for determining the identity of operation events based on the attribute values of the operation logs included in the operation events as log events. For example, the estimation unit 15b estimates a criterion for determining the identity of operation events by extracting the common attribute values of the operation logs. That is, the estimating unit 15b extracts a character string or a numerical range commonly included in the attribute elements according to a condition set for each attribute element, thereby extracting the Estimate a first criterion of . Further, the estimating unit 15b estimates a second criterion between sets of operation events associated as the same operation by comparing the first criterion.
  • a criterion for determining the identity of operation events based on the attribute values of the operation logs included in the operation events as log events. For example, the estimation unit 15b estimates a criterion for determining the identity of operation events by extracting the common attribute values of the operation logs. That is, the estimating unit 15b extracts
  • the estimation unit 15b determines the attribute element “operation type” (rule type A: character string is determined by exact match) in a plurality of operation logs received as the same operation event by the reception unit 15a. ) contains the common character string “input” as the attribute value, the operation events that completely match the attribute element “operation type” are judged within the same operation set as the judgment criterion (first judgment criterion) estimated as Further, when the attribute element "operation type" completely matches between a set of a plurality of operation logs received as the same operation event by the reception unit 15a, the estimation unit 15b determines that the attribute element "operation type” completely matches.
  • the operation event is guessed as the criterion (second criterion) between the same operation sets, that is, the final criterion.
  • second criterion the criterion between the same operation sets
  • the estimating unit 15b acquires the set of operation logs output by the receiving unit 15a and the rule types of the attribute values stored in the storage unit 14, and uses the commonly included character strings or numerical ranges as the determination criteria. Extract as Furthermore, the estimation unit 15b may extract a pattern in which a set of operation logs satisfies the rule type of the attribute value as a criterion. On the other hand, the estimation unit 15b outputs the extracted determination criteria to the determination unit 15c. Note that the estimation unit 15b may store the extracted criterion in the storage unit 14. FIG.
  • the determination unit 15c determines the identity of the operation event to be processed as the log event to be processed based on the determination criteria. For example, the determining unit 15c uses the extracted attribute value to determine the identity of the operation event to be processed. That is, the determining unit 15c determines the identity of the operation event to be processed by matching the operation event including the character string or the operation event satisfying the numerical range using the first determination criterion. Further, the determining unit 15c determines the identity of the operation event to be processed by matching the adoption results of the conditions set for each element of the attribute using the second criterion.
  • the determination unit 15c determines that the attribute element “operation type” is completely matched as a determination criterion (first determination criterion) in the same operation set, and the “operation type” is Exact matching is assumed to be a condition for determining the identity of operation events. Further, when the final judgment criterion is estimated as the judgment criterion (second judgment criterion) between the same operation set, the judgment unit 15c associates the operation events with the attribute element "operation type" completely matching by the user. Operation events that have not been identified are searched for an operation event that completely matches the attribute element "operation type", and the searched operation event is output as a determination result. Note that the determination process described above will also be described in detail in [Details of each process] (5. Operation event determination process) described later.
  • the determination unit 15 c transmits the output determination result to the output unit 12 .
  • the determination unit 15 c may store the output determination result in the storage unit 14 .
  • the determination unit 15c presents the determination result of the identity determination to the user and outputs the determination result approved by the user, thereby determining the identity of the operation event to be processed.
  • the determination unit 15c when outputting a plurality of visual images as the same operation event for which the attribute element "operation type" completely matches, the determination unit 15c outputs the operation event in which the visual image is selected by the user's click operation. The event is output again as a confirmed determination result. Note that the above estimation processing will also be described in detail in [Details of each processing] (6. Determination processing based on interaction with the user) described later.
  • FIG. 3 is a diagram illustrating an example of reception processing by linking operation events according to the first embodiment.
  • the user give examples of one or more combinations of the same operations.
  • FIG. 3 it is preferable to visually display the operation events in chronological order so that the user can associate the same operation.
  • one operation event is displayed as one node, and the captured image recorded at the same time as the operation event is displayed on the node, and the operation position is displayed with a thick frame on the image. .
  • the user can recognize specifically which operation each operation event is without understanding the contents recorded in the operation log.
  • each connection is a combination of two operation events (see (1) and (2) in FIG. 3), but may be a combination of three or more operation events.
  • FIG. 4 is a diagram showing an example of rule types for each attribute value according to the first embodiment.
  • the determination device 10 applies the following four types of rules also shown in FIG. 4 according to the nature of each attribute value of the operation event.
  • the first rule is “determine a character string by exact match” (rule type A)
  • the second rule is “determine a character string by partial match” (rule type B)
  • the third rule is “determine a character string by partial match” (rule type B).
  • the second rule is “judgment by numerical value range” (rule type C)
  • the fourth rule is "not used for judgment” (rule type D).
  • rule type A is applied to attribute elements of "operation type", “tagName”, “type”, “id” and “name”, and to attribute elements of "URL” and “title”
  • rule type B applies rule type C to attribute elements of "width” and “height”
  • rule type C applies rule type C to attribute elements of "date and time”
  • value is applied to attribute elements of "className”, “left”, and “top”
  • Rule type D is applied. Note that the user may not use some of the above four types of rules, or may add other types of rules.
  • rule estimation processing 1 first stage to which rule type A is applied
  • rule estimation processing 2 second stage to which rule type A is applied
  • rule matching processing will be described.
  • Rule estimation process 1 estimation process within the same operation set
  • the determination device 10 adopts this rule for the corresponding attribute element when all the attribute values completely match in the illustrated same operation set. On the other hand, if the attribute values do not completely match in the illustrated same operation set, the determination device 10 rejects this rule for the corresponding attribute element. Note that even when all the attribute values are "null" in the same operation set illustrated, this rule is adopted for the corresponding attribute element.
  • the determination device 10 determines that this rule matches (matches) when the corresponding attribute values completely match between the operation events to be compared. Further, when the determination device 10 does not need to distinguish between uppercase and lowercase letters, the attribute value is converted into uppercase letters or lowercase letters for comparison.
  • the determination device 10 does not adopt this rule for the corresponding attribute element when "null" is included in the corresponding attribute value in the exemplified same operation set.
  • the determination device 10 finds the longest common substring in the illustrated identical operation set. At this time, the ratio of the length of the common substring to the length of the attribute value with the maximum number of characters in the exemplified same operation set is obtained as the minimum matching rate (matching rate), and this minimum matching rate is Make it a parameter of the rule. Then, the determination device 10 rejects this rule when the minimum match rate is equal to or less than the threshold.
  • the above threshold can be set arbitrarily, but for example, if it is 50% or less, it should be rejected.
  • the determination device 10 rejects the operation event as a whole. In addition, the determination device 10 uses the minimum minimum matching ratio among a plurality of sets of operation events to be compared as an overall parameter.
  • the determination device 10 determines that this rule matches (matches) when the ratio of the longest common partial character string of the corresponding attribute value exceeds the minimum matching ratio between the operation events to be compared. Further, when the determination device 10 does not need to distinguish between uppercase and lowercase letters, the attribute value is converted into uppercase letters or lowercase letters for comparison.
  • the determination device 10 determines whether “the corresponding attribute value contains null”, “the corresponding attribute value contains a value that cannot be treated as a numerical value”, “the corresponding attribute value contains other abnormal values (e.g., the width is a negative value)”, this rule is not adopted for the corresponding attribute element.
  • the determination device 10 calculates the standard deviation ⁇ in the exemplified same operation set, and uses it as a parameter of this rule. At this time, the determination device 10 may reject this rule when the standard deviation ⁇ is equal to or greater than a certain threshold, or when a sufficient number is not exemplified (only one is exemplified). For example, if the threshold is set to 30, and if the threshold is 30 or more, it is considered that the variation is large and there is almost no commonality, and it is rejected.
  • the determination device 10 rejects the operation event as a whole. Further, the determination device 10 uses the maximum standard deviation ⁇ among the plurality of operation event sets to be compared as an overall parameter.
  • the determination device 10 determines that this rule matches when the corresponding attribute value is in the range of (the absolute value of the difference between the values of the two attribute elements) ⁇ 2k ⁇ between the operation events to be compared. do.
  • FIG. 5 is a diagram illustrating an example of determination criterion estimation processing according to the first embodiment.
  • the determination device 10 estimates a rule for each operation event group exemplified as the same operation.
  • rules are estimated based on the relationship between a plurality of sets of identical operations. In FIG. 5, two identical operation sets containing the two illustrated operation events are shown (see upper and lower parts of FIG. 5).
  • the determination device 10 determines "adopted” or “rejected” for each attribute element according to the rule type preset for each attribute element.
  • the determination device 10 extracts a parameter from the attribute value of the attribute element determined to be "adopted” according to the rule type set in advance for each attribute element.
  • the determination device 10 estimates whether each attribute element is "adopted” or "rejected” or the extracted parameter as a rule (first criterion) corresponding to the attribute element.
  • the determination device 10 determines that the character string "click" completely matches as the attribute value of the attribute element "operation type" (rule type A: character string is determined by exact match). , the attribute element is determined to be "adopted".
  • the determination device 10 compares whether each attribute element is "adopted" or "rejected" in a plurality of identical operation sets. At this time, if there is a rejection of the same operation set among a plurality of the same operation sets to be compared, the determination device 10 rejects the operation as a whole. Then, the determination device 10 estimates a pattern of "accepted" or "not-adopted” for each matched attribute element as a rule (second criterion). In other words, the estimation process of the second stage can be said to be a process of finding a rule as to which attribute values are common among the operations included in the same operation set.
  • the determination device 10 determines that the attribute element "operation type" of the same operation set in the upper row is "adopted", and the attribute element "operation type” of the same operation set in the lower row is also decided to be “adopted”. Therefore, it is presumed that a complete match of the “operation type” is a condition for determining the identity of the operation events. Similarly, the determination device 10 compares whether other attribute elements are "adopted” or "rejected”. In FIG. 5, the determination device 10 estimates the pattern as the final determination criterion because all the patterns of "acceptance” and "nonadoption” of the same operation set in the upper and lower stages match.
  • FIG. 6 is a diagram illustrating an example of operation event determination processing according to the first embodiment.
  • the determination device 10 uses the estimated rule to check the rule for operation events other than the exemplified operation event, and determines the identity, as follows.
  • the determination device 10 determines a rule (e.g., "adoption" of each attribute element) between operation event sets inferred from a plurality of illustrated operation event sets (see (1) and (2) in FIG. 6). Using the pattern of "rejection"), the identity is determined for operation events not illustrated, and a combination of the same operation events is output (see (3), (4), and (5) in FIG. 6).
  • a rule e.g., "adoption" of each attribute element
  • the determination device 10 uses the rules (eg, parameters of each attribute element) in the operation event set inferred from the illustrated operation event set to determine the identity of the operation event not illustrated. and output the same operation event not illustrated.
  • rules eg, parameters of each attribute element
  • the determination device 10 may not be able to correctly determine the identity of the operation events, such as when the number of example operation events is small, or when the variety of the example operation events is insufficient. Therefore, the determination device 10 can provisionally indicate the determined operation event to the user instead of immediately confirming the determination result, and confirm the determination result after obtaining confirmation from the user. That is, if the user determines that the presented determination result is inappropriate, the determination device 10 can once cancel the provisional determination result and prompt the user to increase the number of examples.
  • FIG. 7 is a flow chart showing an example of the overall flow of processing according to the first embodiment. Below, while showing the flow of the whole determination processing, the outline of each processing is demonstrated.
  • the reception unit 15a of the determination device 10 executes operation event selection reception processing (step S101).
  • the estimation unit 15b of the determination device 10 executes determination rule estimation processing (step S102).
  • the determination unit 15c of the estimation device 10 executes operation event determination processing (step S103), and ends the processing. Note that steps S101 to S103 below can be performed in a different order. Also, some of steps S101 to S103 below may be omitted.
  • operation event selection reception processing by the reception unit 15a First, operation event selection reception processing by the reception unit 15a will be described.
  • the user is made to exemplify one or more combinations of the same operation events, and operation logs of the exemplified same operation events are accepted.
  • the user by visually displaying the operation events in chronological order and allowing the user to select the connection, the user does not have to understand the details of the attribute values recorded in the operation log. operation can be recognized.
  • the determination rule estimation processing by the determination unit 15c will be described.
  • the rule is checked for operation events other than the illustrated operation event, and the same operation event is determined.
  • the determined operation event is provisionally presented to the user, and after obtaining confirmation from the user, the determination result of the same operation event is determined.
  • the user can be urged to gradually increase the number of examples through such exchanges, and the same operation event can be determined easily and effectively.
  • FIG. 8 is a diagram explaining process mining.
  • FIG. 9 is a diagram illustrating preprocessing for process mining.
  • FIG. 10 is a diagram for explaining conventional problems.
  • attribute values recorded in operation logs require specialized knowledge to interpret.
  • knowledge of HTML (Hyper Text Markup Language) and DOM is required to interpret the meaning of an operation log that records operations on a browser.
  • URLs and the like may not be exactly the same even for the same page. Further, for example, if a session ID is included, a part of the URL changes each time a user logs in, so it is necessary to guess a URL generation rule in order to determine the identity of the URL.
  • an image of an operation event associated with the same operation by the user is accepted, and an attribute value common to the operation log is extracted to perform determination.
  • the reference is estimated and the extracted attribute values are used to determine identity for the operation event to be processed. Therefore, in this process, the same operation event can be easily linked by using the common attribute value of the operation log based on the operation of the image in the pre-processing of process mining.
  • the second determination criteria between sets of operation events associated as the same operation are further estimated, and the estimated second
  • the identity of the operation event to be processed is determined by matching the adoption results of the conditions set for each attribute element using the determination criteria. For this reason, in this process, in the pre-processing of process mining, multiple identical Manipulation event sets can be easily chained together.
  • the identity determination result is presented to the user, and the determination result approved by the user is output to determine the identity of the operation event to be processed. . Therefore, in this process, the same operation event can be easily and effectively linked in the process mining pre-process.
  • each component of each device shown in the drawings according to the above embodiment is functionally conceptual, and does not necessarily need to be physically configured as shown in the drawing.
  • the specific form of distribution and integration of each device is not limited to the one shown in the figure, and all or part of them can be functionally or physically distributed and integrated in arbitrary units according to various loads and usage conditions. Can be integrated and configured.
  • each processing function performed by each device may be implemented in whole or in part by a CPU and a program analyzed and executed by the CPU, or implemented as hardware based on wired logic.
  • ⁇ program ⁇ It is also possible to create a program in which the processing executed by the determination device 10 described in the above embodiment is described in a computer-executable language. In this case, the same effects as those of the above embodiments can be obtained by having the computer execute the program. Further, such a program may be recorded in a computer-readable recording medium, and the program recorded in this recording medium may be read by a computer and executed to realize processing similar to that of the above embodiments.
  • FIG. 11 is a diagram showing a computer that executes a program.
  • computer 1000 includes, for example, memory 1010, CPU 1020, hard disk drive interface 1030, disk drive interface 1040, serial port interface 1050, video adapter 1060, and network interface 1070. , and these units are connected by a bus 1080 .
  • the memory 1010 includes a ROM (Read Only Memory) 1011 and a RAM 1012, as illustrated in FIG.
  • the ROM 1011 stores a boot program such as BIOS (Basic Input Output System).
  • Hard disk drive interface 1030 is connected to hard disk drive 1090 as illustrated in FIG.
  • Disk drive interface 1040 is connected to disk drive 1100 as illustrated in FIG.
  • a removable storage medium such as a magnetic disk or optical disk is inserted into the disk drive 1100 .
  • the serial port interface 1050 is connected to, for example, a mouse 1110 and a keyboard 1120, as illustrated in FIG.
  • Video adapter 1060 is connected to display 1130, for example, as illustrated in FIG.
  • the hard disk drive 1090 stores an OS 1091, application programs 1092, program modules 1093, and program data 1094, for example. That is, the above program is stored in, for example, the hard disk drive 1090 as a program module in which instructions to be executed by the computer 1000 are written.
  • the various data described in the above embodiments are stored as program data in the memory 1010 or the hard disk drive 1090, for example. Then, the CPU 1020 reads the program modules 1093 and program data 1094 stored in the memory 1010 and the hard disk drive 1090 to the RAM 1012 as necessary, and executes various processing procedures.
  • program module 1093 and program data 1094 related to the program are not limited to being stored in the hard disk drive 1090. For example, they may be stored in a removable storage medium and read by the CPU 1020 via a disk drive or the like. . Alternatively, the program module 1093 and program data 1094 related to the program are stored in another computer connected via a network (LAN (Local Area Network), WAN (Wide Area Network), etc.), and via the network interface 1070 It may be read by CPU 1020 .
  • LAN Local Area Network
  • WAN Wide Area Network

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

判定装置（１０）は、操作イベントを受け付ける受付部（１５ａ）と、操作イベントに含まれる操作ログの属性値に基づいて、前記操作イベントの同一性を判定するための判定基準を推定する推定部（１５ｂ）と、前記判定基準に基づいて、処理対象の操作イベントに対して同一性を判定する判定部（１５ｃ）と、を備える。

Description

判定装置、判定方法および判定プログラム
　本発明は、判定装置、判定方法および判定プログラムに関する。
　従来、業務の改善点等を見つけるため、業務で行われる作業の流れを分析して可視化するプロセスマイニングの手法が知られている。このようなプロセスマイニングの手法において分析や可視化に使われる情報は、分析対象のイベントが記録されたログである。例えば、分析対象となるイベントは、業務の種類や分析したい粒度にもよって様々なものがあるが、例えば「ボタンのクリック」や「テキストボックスへの入力」などのＧＵＩ（Graphical　User　Interface）操作を対象とすることがある。
　プロセスマイニングに使われるログは、例えば、「分析対象の情報のみに絞られている」「案件ごとに分割されている」「イベントが識別できる状態になっている」の要件を満たしている必要がある。例えば、ＰＣ（Personal　Computer）上の操作を記録した操作ログでは、プロセスマイニングに使われるログの要件を満たしていない場合が多い。そのため、プロセスマイニングを行う際には、例えば、３つの事前処理「不要操作イベントの除去」「同一操作イベントの判定」「案件単位の分割」によってこの要件を満たすよう操作ログを加工する必要がある。
　ここで、「同一操作の判定」処理とは、操作ログの中で同一の意味を持つ操作を判定し、作業のイベントとして識別できる状態にする処理である。つまり、操作ログは、記録時のＧＵＩの情報がそのまま記録されているだけであるため、初期状態では全ての操作が別々のイベントになってしまう。そのため、作業における操作の意味を考慮して同一のイベントを識別する処理が必要になる。従来では、業務の改善点を見つけるためのＰＣ上の操作の分析・可視化においては、人間が目視で操作ログを確認し同一とみなされる複数のイベントに対して固有の操作種別IDを付加するなどして、同一の操作イベントを結び付ける処理を手作業で行っている。
横瀬、卜部、八木、他：DX推進に貢献する業務可視化技術、　2020年、ＮＴＴ技術ジャーナル、2020　vol.32　No.2,　p.72-75、[online]、［2021年4月23日検索］、インターネット＜https://journal.ntt.co.jp/article/880＞
　しかしながら、上述した従来技術では、プロセスマイニングの事前処理において、同一の操作イベントを容易に結び付けすることができない。なぜならば、上述した従来技術には、以下のような課題があるためである。
　まず、操作ログ上では同一の操作が判定できないため、同一の操作イベントを結び付ける必要がある。また、手作業で１つずつ結び付けることもできるが、ログの量が多い場合は全てを手作業で結び付けるのは困難である。
　一方、プロセスマイニングの分析対象のシステムは内部的な作りが違うため、固定的なルール・アルゴリズムでは自動的に結び付けを判定することができない。また、上記システムの内部的な作りや作業に合わせてルール・アルゴリズムを手動でカスタマイズすることにより対応することもできるが、それには上記システムの内部的な作りや操作ログに含まれる属性値の意味を理解しなくてはいけないため、一般的なユーザには困難である。
　上述した課題を解決し、目的を達成するために、本発明に係る判定装置は、ログイベントを受け付ける受付部と、前記ログイベントに含まれるログの属性値に基づいて、前記ログイベントの同一性を判定するための判定基準を推定する推定部と、前記判定基準に基づいて、処理対象のログイベントに対して同一性を判定する判定部と、を備えることを特徴とする。
　また、本発明に係る判定方法は、判定装置によって実行される判定方法であって、ログイベントを受け付ける工程と、前記ログイベントに含まれるログの属性値に基づいて、前記ログイベントの同一性を判定するための判定基準を推定する工程と、前記判定基準に基づいて、処理対象のログイベントに対して同一性を判定する工程と、を含むことを特徴とする。
　また、本発明に係る判定プログラムは、ログイベントを受け付けるステップと、前記ログイベントに含まれるログの属性値に基づいて、前記ログイベントの同一性を判定するための判定基準を推定するステップと、前記判定基準に基づいて、処理対象のログイベントに対して同一性を判定するステップと、をコンピュータに実行させることを特徴とする。
　本発明では、プロセスマイニングの事前処理において、同一の操作イベントを容易に結び付けすることができる。
図１は、第１の実施形態に係る判定装置の構成例を示すブロック図である。 図２は、第１の実施形態に係る記憶部に記憶されたログを示す図である。 図３は、第１の実施形態に係る操作イベントの結び付けによる例示の受付処理の一例を示す図である。 図４は、第１の実施形態に係る属性要素ごとのルール種別の一例を示す図である。 図５は、第１の実施形態に係る判定基準の推定処理の一例を示す図である。 図６は、第１の実施形態に係る操作イベント判定処理の一例を示す図である。 図７は、第１の実施形態に係る処理全体の流れの一例を示すフローチャートである。 図８は、プロセスマイニングについて説明する図である。 図９は、プロセスマイニングの事前処理について説明する図である。 図１０は、従来の課題について説明する図である。 図１１は、プログラムを実行するコンピュータを示す図である。
　以下に、本発明に係る判定装置、判定方法および判定プログラムの実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下に説明する実施形態により限定されるものではない。
〔第１の実施形態〕
　以下に、第１の実施形態（適宜、本実施形態）に係る判定システムの処理、判定装置１０の構成、各処理の詳細、各処理の流れを順に説明し、最後に本実施形態の効果を説明する。
［判定システムの処理］
　以下に、本実施形態に係る判定システム（適宜、本システム）の処理を説明する。本システムは、ＰＣ上の操作を記録した操作ログの処理に関して利用され、特に、ユーザの例示による同一操作イベントの自動判定処理を実行する。以下では、本システムの処理を従来の技術と比較しながら説明する。
　上述した、業務分析のためのプロセスマイニングの手法は市中で広く使われている。また、ＰＣ上の操作をログ（操作ログ）として記録する仕組みも存在する。このとき、操作ログをプロセスマイニングするには事前処理が必要になる場合がある。すなわち、操作ログ上では同一の操作が判定できないため、同一の操作イベントを結び付ける必要がある。また、手作業で１つずつ結び付けることもできるが、ログの量が多い場合は全てを手作業で結び付けるのは困難である。
　一方、プロセスマイニングの分析対象のシステムは内部的な作りが違うため、固定的なルール・アルゴリズムでは自動的に結び付けを判定することができない。また、上記システムの内部的な作りや作業に合わせてルール・アルゴリズムを手動でカスタマイズすることにより対応することもできるが、それには上記システムの内部的な作りや操作ログに含まれる属性値の意味を理解しなくてはいけない。
　そこで、本システムでは、以下のような処理を実行する。第１に、ユーザに共通する、すなわち同一性を判断する操作イベントを複数個例示させる。第２に、例示された操作イベント間の属性値の関係性から、結び付けを判定するためのルールを推定する。第３に、推定されたルールを使って同一操作イベントを自動的に判定する。以上の処理により、分析対象のシステム内部の作りや操作ログの属性値の深い理解がなくても、ユーザの例示により、同一の操作イベントの結び付けを自動的にできるようになる。
［判定装置１０の構成］
　図１を用いて、本実施形態に係る判定装置１０の構成を詳細に説明する。図１は、本実施形態に係る判定装置の構成例を示すブロック図である。判定装置１０は、入力部１１、出力部１２、通信部１３、記憶部１４および制御部１５を有する。
　入力部１１は、当該判定装置１０への各種情報の入力を司る。例えば、入力部１１は、マウスやキーボード等で実現され、当該判定装置１０への設定情報等の入力を受け付ける。また、出力部１２は、当該判定装置１０からの各種情報の出力を司る。例えば、出力部１２は、ディスプレイ等で実現され、当該判定装置１０に記憶された設定情報等を出力する。
　通信部１３は、他の装置との間でのデータ通信を司る。例えば、通信部１３は、各通信装置との間でデータ通信を行う。また、通信部１３は、図示しないオペレータの端末との間でデータ通信を行うことができる。
　記憶部１４は、制御部１５が動作する際に参照する各種情報や、制御部１５が動作した際に取得した各種情報を記憶する。ここで、記憶部１４は、例えば、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置等で実現され得る。なお、図１の例では、記憶部１４は、判定装置１０の内部に設置されているが、判定装置１０の外部に設置されてもよいし、複数の記憶部が設置されていてもよい。
　記憶部１４は、処理対象の操作ログを記憶する。例えば、記憶部１４は、操作ログとして、操作の「発生時刻」「操作されたＧＵＩ部品の固有情報」等を記憶する。また、操作ログは、１つの操作イベントの情報は複数の属性値（列、項目）の集まりとして表現される。
　ここで図２を用いて、記憶部１４に記憶された操作ログについて説明する。図２は、記憶部１４に記憶されたログを示す図である。図２の例では、例を簡潔にするためブラウザ上の操作のみを記録した操作ログを想定している。そのため、ログの属性値にはブラウザに関連するもののみを示している。
　なお、操作ログには、ＰＣ上のＧＵＩ操作に加えて、何らかの入力装置による入力を記録したり、ＣＵＩ（Character-based　User　Interface）上のコマンド入力を記録したりしてもよい。それらの別種の操作を記録する場合は、必要に応じてログの項目を増やす必要がある。
　図２に例示するように、記憶部１４は、「日時」、「操作種別」、「ＵＲＬ」、「タイトル」、「ｔａｇＮａｍｅ」、「ｔｙｐｅ」、「ｉｄ」、「ｖａｌｕｅ」、「ｎａｍｅ」、「ｃｌａｓｓＮａｍｅ」、「ｌｅｆｔ」、「ｔｏｐ」、「ｗｉｄｔｈ」、「ｈｅｉｇｈｔ」を記憶する。なお、記憶部１４は、記憶する操作ログとして上述したものに限定されるものではなく、例えば、操作時の画像キャプチャ等も記憶してもよい。
　図２の例では、記憶部１４は、その項目が設定されていない場合や取得できない場合は、その値が設定されていないことを示す「ｎｕｌｌ」値が記憶される。なお、操作ログに含まれる属性要素は直接取得した情報そのものである必要はなく、加工されていたり、複数の情報を組み合わせていたり、最終的に操作ログに含まれない情報を利用して加工されていたりしてもよい。また、記憶部１４は、作業の中で発生したイベントの順番が分かるように、イベントの時系列順に操作ログを記憶する。
　制御部１５は、当該判定装置１０全体の制御を司る。制御部１５は、受付部１５ａ、推定部１５ｂおよび判定部１５ｃを有する。ここで、制御部１５は、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等の電子回路やＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路である。
（受付部１５ａ）
　受付部１５ａは、ログイベントとして、操作イベントを受け付ける。例えば、受付部１５ａは、複数の操作イベントの画像のうち、ユーザによって同一の操作と関連付けされた操作イベントの画像を受け付ける。すなわち、受付部１５ａは、時系列順に表示された複数の操作イベントのキャプチャ画像のうち、ユーザによって同一の操作として関連付けされたキャプチャ画像の組み合わせを受け付ける。ここで、ログイベントとは、操作イベントの他、同様の構造を持つログを含むイベント（例えば、電話の受信発信履歴等）である。
　具体例を用いて説明すると、受付部１５ａは、ユーザの端末の画面に時系列でビジュアル表示されたキャプチャ画像をユーザのクリック操作によって、複数の操作イベントが選択された場合、選択されたキャプチャ画像と紐づけされた操作イベントの操作ログを「同一の操作ログ」として受け付ける。さらに、受付部１５ａは、別の複数の操作イベントが選択された場合、選択されたキャプチャ画像と紐づけされた操作イベントの操作ログを別の「同一の操作ログ」として受け付ける。なお、上記の受付処理については、後述する［各処理の詳細］（１．操作イベントの結び付けによる例示の受付処理）においても詳細に説明する。
　また、受付部１５ａは、記憶部１４に記憶された操作ログを参照し、選択された操作ログを取得する。一方、受付部１５ａは、選択された操作ログの集合を推定部１５ｂに出力する。なお、受付部１５ａは、選択された操作ログの集合を記憶部１４に格納してもよい。
（推定部１５ｂ）
　推定部１５ｂは、ログイベントとして、操作イベントに含まれる操作ログの属性値に基づいて、操作イベントの同一性を判定するための判定基準（ルール）を推定する。例えば、推定部１５ｂは、操作ログの共通する前記属性値を抽出することによって、操作イベントの同一性を判定するための判定基準を推定する。すなわち、推定部１５ｂは、属性の要素ごとに設定された条件にしたがって属性の要素に共通して含まれる文字列または数値範囲を抽出することによって、同一の操作として関連付けされた操作イベントの集合内の第１の判定基準を推定する。さらに、推定部１５ｂは、第１の判定基準を比較することによって、同一の操作として関連付けされた操作イベントの集合間の第２の判定基準を推定する。
　具体例を用いて説明すると、推定部１５ｂは、受付部１５ａによって同一の操作イベントとして受け付けられた複数の操作ログにおいて、属性要素「操作種別」（ルール種別Ａ：完全一致で文字列を判定する）の属性値として、全てに共通する文字列「ｉｎｐｕｔ」が含まれている場合、属性要素「操作種別」が完全一致する操作イベントを、同一操作集合内の判定基準（第１の判定基準）として推定する。また、推定部１５ｂは、受付部１５ａによって同一の操作イベントとして受け付けられた複数の操作ログの集合間において、属性要素「操作種別」が完全一致する場合、属性要素「操作種別」が完全一致する操作イベントを、同一操作集合間の判定基準（第２の判定基準）、すなわち最終的な判断基準として推測する。なお、上記の推定処理については、後述する［各処理の詳細］（４．各属性値のルールの推定処理）においても詳細に説明する。
　また、推定部１５ｂは、受付部１５ａによって出力された操作ログの集合と、記憶部１４に記憶された属性値のルール種別とを取得し、共通して含まれる文字列または数値範囲を判定基準として抽出する。さらに、推定部１５ｂは、複数の操作ログの集合が属性値のルール種別を満たすパターンを判定基準として抽出してもよい。一方、推定部１５ｂは、抽出した判定基準を判定部１５ｃに出力する。なお、推定部１５ｂは、抽出した判定基準を記憶部１４に格納してもよい。
（判定部１５ｃ）
　判定部１５ｃは、判定基準に基づいて、処理対象のログイベントとして、処理対象の操作イベントに対して同一性を判定する。例えば、判定部１５ｃは、抽出された属性値を用いて、処理対象の操作イベントに対して同一性を判定する。すなわち、判定部１５ｃは、第１の判定基準を用いて、文字列を含む操作イベント、または数値範囲を満たす操作イベントをマッチングすることによって、処理対象の操作イベントに対して同一性を判定する。さらに、判定部１５ｃは、第２の判定基準を用いて、属性の要素ごとに設定された条件の採用結果をマッチングすることによって、処理対象の操作イベントに対して同一性を判定する。
　具体例を用いて説明すると、判定部１５ｃは、属性要素「操作種別」が完全一致することが同一操作集合内の判定基準（第１の判定基準）として推測された場合、「操作種別」が完全一致することを、操作イベントの同一性を判定するための条件であると推定する。さらに、判定部１５ｃは、属性要素「操作種別」が完全一致する操作イベントを、同一操作集合間の判定基準（第２の判定基準）として最終的な判断基準が推測された場合、ユーザによって結び付けされなかった操作イベントから属性要素「操作種別」に完全一致するものを検索し、検索された操作イベントを判定結果として出力する。なお、上記の判定処理については、後述する［各処理の詳細］（５．操作イベントの判定処理）においても詳細に説明する。
　また、判定部１５ｃは、出力した判定結果を出力部１２に送信する。なお、判定部１５ｃは、出力した判定結果を記憶部１４に格納してもよい。
　加えて、判定部１５ｃは、同一性を判定した判定結果をユーザに提示し、ユーザによって承認された判定結果を出力することによって、処理対象の操作イベントに対して同一性を判定する。
　具体例を用いて説明すると、判定部１５ｃは、属性要素「操作種別」が完全一致するものを同一操作イベントとして複数のビジュアル画像で出力した場合、ユーザのクリック操作によってビジュアル画像を選択された操作イベントを、確定した判定結果として再度出力する。なお、上記の推定処理については、後述する［各処理の詳細］（６．ユーザとの対話による判定処理）においても詳細に説明する。
［各処理の詳細］
　図３～図６や数式等を用いて、本実施形態に係る各処理の詳細を説明する。以下では、操作イベントの結び付けによる例示の受付処理、各属性値のルール種別、ルールの詳細およびルールの推定処理、操作イベントの判定処理について詳細に説明する。
（１．操作イベントの結び付けによる例示の受付処理）
　図３を用いて、操作イベントの結び付けによる例示を受け付ける処理について説明する。図３は、第１の実施形態に係る操作イベントの結び付けによる例示の受付処理の一例を示す図である。
　まず、ユーザに、同一の操作の組み合わせを１組以上例示させる。例えば、図３のように操作イベントを時系列でビジュアルに表示し、ユーザに同一の操作を関連付けさせるとよい。図３では、１つの操作イベントが１つのノードとして表示されていて、そのノードには操作イベントの記録と同時に記録したキャプチャ画像を表示し、その画像上に操作位置を太枠で表示している。このように表示することで、ユーザは操作ログに記録された内容を理解しなくても、各操作イベントが具体的にどの操作かを認識することができる。
　そして、判定装置１０は、ユーザが結び付けた操作イベントを、ユーザの例示として受け付ける。なお、図３では、どの結び付けも２つの操作イベントの組み合わせとなっている（図３（１）（２）参照）が、３つ以上の操作イベントの組み合わせであってもよい。
（２．各属性値のルール種別）
　図４を用いて、各属性値のルール種別について説明する。図４は、第１の実施形態に係る各属性値のルール種別の一例を示す図である。
　判定装置１０は、操作イベントの各属性値の性質に合わせて、図４にも示す下記の４種のルールを適用する。第１のルールは、「完全一致で文字列を判定する」（ルール種別Ａ）であり、第２のルールは、「部分一致で文字列を判定する」（ルール種別Ｂ）であり、第３のルールは、「数値の範囲で判定する」（ルール種別Ｃ）であり、第４のルールは、「判定に利用しない」（ルール種別Ｄ）である。
　ユーザは、図４のように、属性要素と利用するルール種別を事前に結び付けておく。例えば、図４では、「操作種別」、「ｔａｇＮａｍｅ」、「ｔｙｐｅ」、「ｉｄ」、「ｎａｍｅ」の属性要素にはルール種別Ａを適用し、「ＵＲＬ」、「タイトル」の属性要素にはルール種別Ｂを適用し、「ｗｉｄｔｈ」、「ｈｅｉｇｈｔ」の属性要素にはルール種別Ｃを適用し、「日時」、「ｖａｌｕｅ」、「ｃｌａｓｓＮａｍｅ」、「ｌｅｆｔ」、「ｔｏｐ」の属性要素にはルール種別Ｄを適用している。なお、ユーザは、上記の４種のルールの一部を使わなかったり、他の種類のルールを追加したりしてもよい。
（３．各属性値のルールの詳細）
　ルールの推定処理に先立って、上記の各属性値のルールの詳細を説明する。以下では、完全一致で判定する文字列（ルールの詳細１）、部分一致で判定する文字列（ルールの詳細２）、数値の範囲で判定する項目（ルールの詳細３）の順に説明する。
（ルールの詳細１：完全一致で判定する文字列）
　第１に、完全一致で文字列を判定するルール（ルール種別Ａ）の詳細について説明する。以下では、ルール種別Ａを適用したルールの推定処理１（第１段階）、ルール種別Ａを適用したルールの推定処理２（第２段階）、ルールのマッチング処理の順について説明する。
（ルールの推定処理１：同一操作集合内での推定処理）
　判定装置１０は、例示された同一操作集合において、全ての属性値が完全一致する場合は、該当の属性要素について本ルールを採用する。一方、判定装置１０は、例示された同一操作集合において、属性値が完全一致しない場合は、該当の属性要素について本ルールを不採用とする。なお、例示された同一操作集合において、全ての属性値が「ｎｕｌｌ」である場合も、該当の属性要素について本ルールを採用する。
（ルールの推定処理２：同一操作集合間での推定処理）
　判定装置１０は、複数の同一操作集合の間の関係で、不採用の同一操作集合があれば、全体として不採用とする。
（ルールのマッチング処理）
　判定装置１０は、比較対象の操作イベント間で、該当の属性値が完全一致する場合は、本ルールがマッチ（一致した）とする。また、判定装置１０は、大文字／小文字を区別しなくてよい場合は、該当の属性値を大文字または小文字に変換した値で比較を行う。
（ルールの詳細２：部分一致で判定する文字列）
　第２に、部分一致で文字列を判定するルール（ルール種別Ｂ）の詳細について説明する。以下では、ルール種別Ｂを適用したルールの推定処理１（第１段階）、ルール種別Ｂを適用したルールの推定処理２（第２段階）、ルールのマッチング処理の順について説明する。
（ルールの推定処理１：同一操作集合内での推定処理）
　判定装置１０は、例示された同一操作集合において、該当の属性値に「ｎｕｌｌ」が含まれている場合は、該当の属性要素について本ルールを不採用とする。一方、判定装置１０は、例示された同一操作集合において、最長の共通する部分文字列を見つける。このとき、例示された同一操作集合の中で、最長文字数の属性値の長さに対する共通する部分文字列の長さの割合を、最低一致割合（一致率）として求め、この最低一致割合を本ルールのパラメータとする。そして、判定装置１０は、最低一致割合が閾値以下の場合は、本ルールを不採用とする。
　なお、上記の閾値は任意に設定できるが、例えば５割以下では不採用とするようにすればよい。また、より高度にするには、「前方一致」「後方一致」「部分一致」「完全一致」の真偽についての情報も考慮したり、共通部分を複数考慮するようにしたり、文字列長を考慮するようにしてもよい。
（ルールの推定処理２：同一操作集合間での推定処理）
　判定装置１０は、比較対象の複数の操作イベント集合間で、不採用の同一操作集合があれば、全体として不採用とする。また、判定装置１０は、比較対象の複数の操作イベント集合間で、最小の最低一致割合を全体のパラメータとする。
（ルールのマッチング処理）
　判定装置１０は、比較対象の操作イベント間で、該当の属性値の最長の共通する部分文字列の割合が最低一致割合を超える場合は、本ルールがマッチ（一致した）とする。また、判定装置１０は、大文字／小文字を区別しなくてよい場合は、該当の属性値を大文字または小文字に変換した値で比較を行う。
（ルールの詳細３：数値の範囲で判定する項目）
　第３に、数値の範囲で判定するルール（ルール種別Ｃ）の詳細について説明する。以下では、ルール種別Ｃを適用したルールの推定処理１（第１段階）、ルール種別Ｃを適用したルールの推定処理２（第２段階）、ルールのマッチング処理の順について説明する。
（ルールの推定処理１：同一操作集合内での推定処理）
　判定装置１０は、例示された同一操作集合において、「該当の属性値にｎｕｌｌが含まれている場合」「該当の属性値に数値として取り扱えない値が含まれている場合」「該当の属性値にその他の異常な値が含まれている場合（例：横幅（ｗｉｄｔｈ）がマイナスの値）」は、該当の属性要素について本ルールを不採用とする。
　また、判定装置１０は、例示された同一操作集合において、標準偏差σを算出し、これを本ルールのパラメータとする。このとき、判定装置１０は、標準偏差σが一定の閾値以上の場合や、十分な数が例示されない場合（１つだけしか例示されない）は、本ルールを不採用としてよい。例えば、閾値を３０として、３０以上の場合はばらつきが大きく共通性がほとんどないとみなして不採用とする。
（ルールの推定処理２：同一操作集合間での推定処理）
　判定装置１０は、比較対象の複数の操作イベント集合間で、不採用の同一操作集合があれば、全体として不採用とする。また、判定装置１０は、比較対象の複数の操作イベント集合間で、最大の標準偏差σを全体のパラメータとする。
（ルールのマッチング処理）
　判定装置１０は、比較対象の操作イベント間で、該当の属性値が、（２つの属性要素の値の差の絶対値）≦２ｋσの範囲にある場合は、本ルールがマッチ（一致した）とする。ここで、ｋは定数であり、任意に決定する。また、値のばらつきが正規分布に従うと仮定する場合は、一般的にｋ＝３（９９．７％の範囲）とするとよい。
（４．各属性値のルールの推定処理）
　図５を用いて、各属性値のルールを推定する処理の詳細について説明する。図５は、第１の実施形態に係る判定基準の推定処理の一例を示す図である。判定装置１０は、以下のように、まず、第１段階として、同一操作と例示された操作イベント群ごとに、ルールを推定する。次に、第２段階として、さらに複数の同一操作集合の間の関係で、ルールを推定する。図５では、例示された２つの操作イベントを含む同一操作集合が２つ示されている（図５上段、下段参照）。
（第１段階）
　第１段階の推定処理として、例示された同一操作集合内のルール推定について説明する。まず、判定装置１０は、属性要素ごとに事前に設定されたルール種別にしたがい、各属性要素に対して「採用」または「不採用」を決定する。次に、判定装置１０は、属性要素ごとに事前に設定されたルール種別にしたがい、「採用」と決定された属性要素の属性値からパラメータを抽出する。そして、判定装置１０は、各属性要素に対して「採用」または「不採用」の別、または抽出したパラメータを当該属性要素に対応するルール（第１の判定基準）として推定する。
　図５の上段の例では、判定装置１０は、属性要素「操作種別」（ルール種別Ａ：完全一致で文字列を判定する）の属性値として、文字列「ｉｎｐｕｔ」が完全一致するので、当該属性要素を「採用」と決定する。また、図５の下段の例では、判定装置１０は、属性要素「操作種別」（ルール種別Ａ：完全一致で文字列を判定する）の属性値として、文字列「ｃｌｉｃｋ」が完全一致するので、当該属性要素を「採用」と決定する。
　また、図５の上段および下段の例では、判定装置１０は、属性要素「ＵＲＬ」（ルール種別Ｂ：部分一致で文字列を判定する）の属性値として、４１文字中の最後の１文字だけが異なるので、一致率として９７％（４０／４１＝０．９７６）と算出し、当該属性要素を「採用」と決定する。
（第２段階）
　第２段階の推定処理として、例示された複数の同一操作集合間での整合性を確認する処理について説明する。まず、判定装置１０は、複数の同一操作集合において、各属性要素の「採用」「不採用」の別を比較する。このとき、判定装置１０は、比較対象の複数の同一操作集合間で、不採用の同一操作集合があれば、全体として不採用とする。そして、判定装置１０は、一致した各属性要素の「採用」「不採用」のパターンをルール（第２の判定基準）として推定する。すなわち、第２段階の推定処理は、同一操作集合に含まれる操作において、どの属性値が共通しているかのルールを見つける処理といえる。
　図５の例では、判定装置１０は、上段の同一操作集合の属性要素「操作種別」が「採用」と決定され、下段の同一操作集合の属性要素「操作種別」も「採用」と決定されているため、「操作種別」が完全一致することを、操作イベントの同一性を判定するための条件であると推定する。同様にして、判定装置１０は、他の属性要素についても「採用」「不採用」の別を比較する。図５では、判定装置１０は、上段と下段の同一操作集合の全ての「採用」「不採用」のパターンが一致しているので、当該パターンを最終的な判定基準として推定する。
（５．操作イベントの判定処理）
　図６を用いて、推定されたルールから同一操作イベントを判定する処理の詳細について説明する。図６は、第１の実施形態に係る操作イベント判定処理の一例を示す図である。判定装置１０は、以下のように、推定されたルールを用いて、例示された操作イベント以外の操作イベントに対して、ルールのチェックを行い、同一性の判定を行う。
　図６の例では、判定装置１０は、例示された複数の操作イベント集合（図６（１）（２）参照）から推測された操作イベント集合間のルール（例：各属性要素の「採用」「不採用」のパターン）を用いて、例示されていない操作イベントに対して同一性の判定を行い、同一操作イベントの組み合わせを出力する（図６（３）（４）（５）参照）。
　また、判定装置１０は、例示された操作イベント集合から推測された操作イベント集合内のルール（例：各属性要素のパラメータ）を用いて、例示されていない操作イベントに対して同一性の判定を行い、例示されていない同一操作イベントを出力してもよい。
（６．ユーザとの対話による判定処理）
　以下では、ユーザとの対話による操作イベントを判定する処理の詳細について説明する。判定装置１０は、上述した例示された操作イベントの数が少なかったり、例示された操作イベントの多様性が不十分であったりする場合等、操作イベントの同一性を正しく判定できない場合がある。そのため、判定装置１０は、判定結果を即座に確定するのではなく、判定された操作イベントをユーザに仮で示し、ユーザに確認を取ってから判定結果を確定させることもできる。すなわち、判定装置１０は、提示した判定結果がユーザによって不適切と判断された場合は、いったん仮の判定結果を取り消し、例示を増やすようにユーザに促すこともできる。
　このような対話的なやり取りによって、徐々に例示数を増やすようにすることで、より効率的にユーザに例示させることができる。さらに、設定されている各種閾値や、推定により採用されたルールのＯＮ／ＯＦＦを許すようなＵＩ（User　Interface）を提供することで、より高度なユーザの要求に応えることもできる。
［各処理の流れ］
　図７を用いて、本実施形態に係る各処理の流れを詳細に説明する。図７は、第１の実施形態に係る処理全体の流れの一例を示すフローチャートである。以下では、判定処理全体の流れを示すとともに、各処理の概要を説明する。
（処理全体の流れ）
　まず、判定装置１０の受付部１５ａは、操作イベント選択受付処理を実行する（ステップＳ１０１）。次に、判定装置１０の推定部１５ｂは、判定ルール推定処理を実行する（ステップＳ１０２）。そして、推定装置１０の判定部１５ｃは、操作イベント判定処理を実行し（ステップＳ１０３）、処理を終了する。なお、下記のステップＳ１０１～Ｓ１０３は、異なる順序で実行することもできる。また、下記のステップＳ１０１～Ｓ１０３のうち、省略される処理があってもよい。
（各処理の流れ）
　第１に、受付部１５ａによる操作イベント選択受付処理について説明する。この処理では、ユーザに、同一の操作イベントの組み合わせを１組以上例示させ、例示された同一操作イベントの操作ログを受け付ける。このとき、操作イベントを時系列でビジュアルに表示し、ユーザに結び付きを選択させることにより、ユーザは操作ログに記録された属性値の内容を理解しなくても、各操作イベントが具体的にどの操作かを認識することができる。
　第２に、推定部１５ｂによる判定ルール推定処理について説明する。この処理では、選択を受け付けた操作イベントの属性要素ごとに事前に設定されたルール種別にしたがい、各属性要素に対して「採用」または「不採用」を決定し、「採用」と決定された属性要素の属性値からパラメータを抽出し、抽出したパラメータを当該属性要素に対応するルールとして推定する。このとき、属性要素と利用するルール種別を事前に結び付けておくことで、選択した操作イベントの判定ルールを効果的に推定することができる。また、この処理では、各属性要素の「採用」または「不採用」のパターンから、ユーザが同一と判断するルールも推定し、例示された操作イベント以外にも、同一操作イベントを推定することができる。
　第３に、判定部１５ｃによる判定ルール推定処理について説明する。この処理では、推定された判定ルールを用いて、例示された操作イベント以外の操作イベントに対して、ルールのチェックを行い、同一操作イベントを判定する。このとき、判定結果を即座に確定するのではなく、判定された操作イベントをユーザに仮で示し、ユーザに確認を取ってから同一操作イベントの判定結果を確定させるようにすることで、対話的なやり取りによって徐々に例示数を増やすようにユーザに促すことができ、容易かつ効果的に同一操作イベントを判定することができる。
［第１の実施形態の効果］
　第１に、上述した本実施形態に係る判定処理では、操作イベントを受け付け、操作イベントに含まれる操作ログの属性値に基づいて、操作イベントの同一性を判定するための判定基準を推定し、推定した判定基準に基づいて、処理対象の操作イベントに対して同一性を判定する判定部と、このため、本処理では、プロセスマイニングの事前処理において、同一の操作イベントを容易に結び付けすることができる。
　ここで、プロセスマイニングについて説明する。プロセスマイニングでは、図８に例示するように、イベントの順番や関係性を可視化することで、業務で行われる作業の流れを分析することができる。図８は、プロセスマイニングについて説明する図である。
　このようなプロセスマイニングでは、図９に示すように、プロセスマイニングを行う際には、例えば、事前処理として、「不要操作イベントの除去」「同一操作イベントの判定」「案件単位の分割」を必要がある。図９は、プロセスマイニングの事前処理について説明する図である。
　従来では、このような事前処理を手動で行う。例えば、このような事前処理を手動で行う際に、図１０に示すように、現場のユーザは画面キャプチャから直感的に例示可能だが、操作ログを処理するのは容易ではない場合がある。図１０は、従来の課題について説明する図である。例えば、操作ログで記録されている属性値は、解釈に専門的な知識が必要である。例えば、ブラウザ上の操作を記録した操作ログの意味を解釈するには、ＨＴＭＬ（Hyper　Text　Markup　Language）やＤＯＭの知識が必要となる。また、ＵＲＬなどは、同一のページであっても完全に同一にならない場合がある。また、例えば、セッションＩＤを含む場合には、ログインするたびにＵＲＬの一部が変化してしまうため、ＵＲＬの同一性を判断するにはＵＲＬの生成ルールを推測する必要がある。
　このように、画面内の見た目と内部的な作り（ＩＤの付与方法など）に関連性はないため、一般的なユーザでも判断できるような見た目が類似性からでは内部の作りを推測することはできない。画面内の内部的な作りは様々であるため、一定のアルゴリズムでは常に最良の判断を行うことはできない。専門的な知識を持つユーザが操作ログの傾向からルールを推定して、アルゴリズムを組むことで様々な画面の作りに対応可能であるが、一般的なユーザには困難である。
　このため、操作ログの案件単位の分割を手作業で行う場合、作業者にシステム内部の作りや操作ログの属性値の意味の理解を要し、さらに大量のログを扱うには大きな稼働を要し、また、固定的なルール・アルゴリズムでは、システムは内部的な作りが違うため、案件単位になるように自動的に操作ログを分割することは難しいという課題があった。これに対して、本実施形態に係る判定処理では、プロセスマイニングの事前処理において、同一の操作イベントを容易に結び付けすることができる。また、以下では、さらに、本実施形態に係る判定処理で実現可能な効果について説明する。
　上述した本実施形態に係る判定処理では、複数の操作イベントの画像のうち、ユーザによって同一の操作と関連付けされた操作イベントの画像を受け付け、操作ログの共通する属性値を抽出することによって、判定基準を推定し、抽出した属性値を用いて、処理対象の操作イベントに対して同一性を判定する。このため、本処理では、プロセスマイニングの事前処理において、画像の操作をもとに操作ログの共通する属性値を利用することによって、同一の操作イベントを容易に結び付けすることができる。
　上述した本実施形態に係る判定処理では、時系列順に表示された複数の操作イベントのキャプチャ画像のうち、ユーザによって同一の操作として関連付けされた前記キャプチャ画像の組み合わせを受け付け、属性の要素ごとに設定された条件にしたがって属性の要素に共通して含まれる文字列または数値範囲を抽出することによって、同一の操作として関連付けされた操作イベントの集合内の第１の判定基準を推定し、第１の判定基準を用いて、当該文字列を含む操作イベント、または当該数値範囲を満たす操作イベントをマッチングすることによって、処理対象の操作イベントに対して同一性を判定する。このため、本処理では、プロセスマイニングの事前処理において、属性の要素ごとに設定された条件にしたがい、画像の操作をもとに操作ログの共通する属性値を利用することによって、同一の操作イベントを容易に結び付けすることができる。
　上述した本実施形態に係る判定処理では、第１の判定基準を比較することによって、同一の操作として関連付けされた操作イベントの集合間の第２の判定基準をさらに推定し、推定した第２の判定基準を用いて、属性の要素ごとに設定された前記条件の採用結果をマッチングすることによって、処理対象の操作イベントに対して同一性を判定する。このため、本処理では、プロセスマイニングの事前処理において、属性の要素ごとに設定された条件にしたがい、画像の操作をもとに操作ログの共通する属性値を利用することによって、複数の同一の操作イベント集合を容易に結び付けすることができる。
　上述した本実施形態に係る判定処理では、同一性を判定した判定結果をユーザに提示し、ユーザによって承認された判定結果を出力することによって、処理対象の操作イベントに対して同一性を判定する。このため、本処理では、プロセスマイニングの事前処理において、同一の操作イベントを容易に、より効果的に結び付けすることができる。
〔システム構成等〕
　上記実施形態に係る図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のごとく構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
　また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
〔プログラム〕
　また、上記実施形態において説明した判定装置１０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。この場合、コンピュータがプログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかるプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませて実行することにより上記実施形態と同様の処理を実現してもよい。
　図１１は、プログラムを実行するコンピュータを示す図である。図１１に例示するように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有し、これらの各部はバス１０８０によって接続される。
　メモリ１０１０は、図１１に例示するように、ＲＯＭ（Read　Only　Memory）１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、図１１に例示するように、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、図１１に例示するように、ディスクドライブ１１００に接続される。例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、図１１に例示するように、例えば、マウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、図１１に例示するように、例えばディスプレイ１１３０に接続される。
　ここで、図１１に例示するように、ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、上記のプログラムは、コンピュータ１０００によって実行される指令が記述されたプログラムモジュールとして、例えば、ハードディスクドライブ１０９０に記憶される。
　また、上記実施形態で説明した各種データは、プログラムデータとして、例えば、メモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出し、各種処理手順を実行する。
　なお、プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限られず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）等）を介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
　上記の実施形態やその変形は、本願が開示する技術に含まれると同様に、請求の範囲に記載された発明とその均等の範囲に含まれるものである。
　１０　判定装置
　１１　入力部
　１２　出力部
　１３　通信部
　１４　記憶部
　１５　制御部
　１５ａ　受付部
　１５ｂ　推定部
　１５ｃ　判定部

Claims (7)

  1. 　ログイベントを受け付ける受付部と、
    　前記ログイベントに含まれるログの属性値に基づいて、前記ログイベントの同一性を判定するための判定基準を推定する推定部と、
    　前記判定基準に基づいて、処理対象のログイベントに対して同一性を判定する判定部と、
    　を備えることを特徴とする判定装置。
  2. 　前記受付部は、前記ログイベントとして、複数の操作イベントの画像のうち、ユーザによって同一の操作と関連付けされた操作イベントの画像を受け付け、
    　前記推定部は、前記ログとして操作ログの共通する前記属性値を抽出することによって、前記判定基準を推定し、
    　前記判定部は、抽出された前記属性値を用いて、前記処理対象の操作イベントに対して同一性を判定する、
    　ことを特徴とする請求項１に記載の判定装置。
  3. 　前記受付部は、時系列順に表示された複数の操作イベントのキャプチャ画像のうち、前記ユーザによって同一の操作として関連付けされた前記キャプチャ画像の組み合わせを受け付け、
    　前記推定部は、属性の要素ごとに設定された条件にしたがって前記属性の要素に共通して含まれる文字列または数値範囲を抽出することによって、同一の操作として関連付けされた前記操作イベントの集合内の第１の判定基準を推定し、
    　前記判定部は、前記第１の判定基準を用いて、前記文字列を含む操作イベント、または前記数値範囲を満たす操作イベントをマッチングすることによって、前記処理対象の操作イベントに対して同一性を判定する、
    　ことを特徴とする請求項２に記載の判定装置。
  4. 　前記推定部は、前記第１の判定基準を比較することによって、同一の操作として関連付けされた前記操作イベントの集合間の第２の判定基準をさらに推定し、
    　前記判定部は、前記第２の判定基準を用いて、前記属性の要素ごとに設定された前記条件の採用結果をマッチングすることによって、前記処理対象の操作イベントに対して同一性を判定する、
    　ことを特徴とする請求項３に記載の判定装置。
  5. 　前記判定部は、同一性を判定した判定結果を前記ユーザに提示し、前記ユーザによって承認された前記判定結果を出力することによって、前記処理対象の前記操作イベントに対して同一性を判定する、
    　ことを特徴とする請求項４に記載の判定装置。
  6. 　判定装置によって実行される判定方法であって、
    　ログイベントを受け付ける工程と、
    　前記ログイベントに含まれるログの属性値に基づいて、前記ログイベントの同一性を判定するための判定基準を推定する工程と、
    　前記判定基準に基づいて、処理対象のログイベントに対して同一性を判定する工程と、
    　を含むことを特徴とする判定方法。
  7. 　ログイベントを受け付けるステップと、
    　前記ログイベントに含まれるログの属性値に基づいて、前記ログイベントの同一性を判定するための判定基準を推定するステップと、
    　前記判定基準に基づいて、処理対象のログイベントに対して同一性を判定するステップと、
    　をコンピュータに実行させることを特徴とする判定プログラム。
PCT/JP2021/022417 2021-06-11 2021-06-11 判定装置、判定方法および判定プログラム WO2022259558A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023526836A JPWO2022259558A1 (ja) 2021-06-11 2021-06-11
PCT/JP2021/022417 WO2022259558A1 (ja) 2021-06-11 2021-06-11 判定装置、判定方法および判定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/022417 WO2022259558A1 (ja) 2021-06-11 2021-06-11 判定装置、判定方法および判定プログラム

Publications (1)

Publication Number Publication Date
WO2022259558A1 true WO2022259558A1 (ja) 2022-12-15

Family

ID=84424626

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/022417 WO2022259558A1 (ja) 2021-06-11 2021-06-11 判定装置、判定方法および判定プログラム

Country Status (2)

Country Link
JP (1) JPWO2022259558A1 (ja)
WO (1) WO2022259558A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020235085A1 (ja) * 2019-05-23 2020-11-26 日本電信電話株式会社 操作ログ可視化装置、操作ログ可視化方法および操作ログ可視化プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020235085A1 (ja) * 2019-05-23 2020-11-26 日本電信電話株式会社 操作ログ可視化装置、操作ログ可視化方法および操作ログ可視化プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SAYAKA YAGI, KIMIO TSUCHIKAWA, FUMIHIRO YOKOSE, YUKI URABE, TAKESHI MASUDA: "An Interactive Grouping Method for Timeline-based Operational Log Visualization", IEICE TECHNICAL REPORT, ICM, IEICE, JP, vol. 119, no. 111 (ICM2019-13), 15 August 2019 (2019-08-15), JP, pages 41 - 46, XP009542279 *

Also Published As

Publication number Publication date
JPWO2022259558A1 (ja) 2022-12-15

Similar Documents

Publication Publication Date Title
TWI729472B (zh) 特徵詞的確定方法、裝置和伺服器
US10243982B2 (en) Log analyzing device, attack detecting device, attack detection method, and program
WO2020207167A1 (zh) 文本分类方法、装置、设备及计算机可读存储介质
JP7115552B2 (ja) 解析機能付与装置、解析機能付与方法及び解析機能付与プログラム
CN111309539A (zh) 一种异常监测方法、装置和电子设备
JP2007052744A (ja) 分類ルール作成支援方法
CN106874253A (zh) 识别敏感信息的方法及装置
JP2017126283A (ja) 検知プログラム、検知方法および検知装置
US20120150825A1 (en) Cleansing a Database System to Improve Data Quality
CN113792341B (zh) 应用程序的隐私合规自动化检测方法、装置、设备及介质
CN112835579A (zh) 确定界面代码的方法、装置、电子设备和存储介质
WO2020175113A1 (ja) 異常検知装置、異常検知方法および異常検知プログラム
US9292522B2 (en) Method and system for automating the editing of computer files
WO2022259558A1 (ja) 判定装置、判定方法および判定プログラム
WO2022259557A1 (ja) 判定装置、判定方法および判定プログラム
WO2022259559A1 (ja) 判定装置、判定方法および判定プログラム
KR20210069215A (ko) 빅데이터 분석을 최적화하는 사용자 인터페이스 방법
CN115687717A (zh) Grok表达式获取方法、装置、设备及计算机可读存储介质
CN113590447B (zh) 埋点处理方法和装置
JP2019175334A (ja) 情報処理装置、制御方法、及びプログラム
JPWO2019220520A1 (ja) 分析プログラム、分析方法および分析装置
CN114462625A (zh) 决策树的生成方法、装置、电子设备及程序产品
US11620171B2 (en) Systems and methods for generating schema notifications
JP2018132965A (ja) 障害解析プログラム、障害解析装置及び障害解析方法
JP6518000B2 (ja) 分析装置、分析方法および分析プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21945227

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023526836

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18568347

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE