WO2019225007A1 - 入力ミス検知装置、入力ミス検知方法および入力ミス検知プログラム - Google Patents

入力ミス検知装置、入力ミス検知方法および入力ミス検知プログラム Download PDF

Info

Publication number
WO2019225007A1
WO2019225007A1 PCT/JP2018/020172 JP2018020172W WO2019225007A1 WO 2019225007 A1 WO2019225007 A1 WO 2019225007A1 JP 2018020172 W JP2018020172 W JP 2018020172W WO 2019225007 A1 WO2019225007 A1 WO 2019225007A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
input
word
unit
analysis target
Prior art date
Application number
PCT/JP2018/020172
Other languages
English (en)
French (fr)
Inventor
遼佑 島邉
健志 浅井
河内 清人
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2018/020172 priority Critical patent/WO2019225007A1/ja
Priority to JP2020520987A priority patent/JP6837604B2/ja
Priority to CN201880093603.7A priority patent/CN112136136A/zh
Publication of WO2019225007A1 publication Critical patent/WO2019225007A1/ja
Priority to US17/071,038 priority patent/US20210049322A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/194Calculation of difference between files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/12Use of codes for handling textual entities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/226Validation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/232Orthographic correction, e.g. spell checking or vowelisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/10Requirements analysis; Specification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis

Definitions

  • the present invention relates to an input error detection device, an input error detection method, and an input error detection program.
  • TF-IDF is widely known as a method for calculating the importance of a word.
  • TF is an abbreviation for Term Frequency.
  • IDF is an abbreviation for Inverse Document Frequency.
  • a function for determining a double-byte or single-byte error or spelling error of a character or a function for determining the total number of characters or the total amount is often implemented as one function of an input interface.
  • the conventional input error detection function as described above requires a rule prepared for detecting an input error, that is, an input error detection rule. Therefore, when the input error detection function is installed in the device, the device developer analyzes the conditions for the input error in advance, considering the contents and format of the input information, and sets the input error detection rule. Must be created.
  • the problem with the conventional general input error detection method is that the analysis device developer needs to create an input error detection rule depending on the format of the input information of the analysis device.
  • An information system automatic analyzer is a system that uses existing analysis methods to reduce the operating cost of the design process and development process, or to improve the system performance and safety, etc. This refers to the entire device having the function of evaluating the state of The information system to be analyzed may be an information system designed or developed for a specific purpose regardless of whether it is for personal use or organizational use, or may be an information system that has already been operated.
  • the input information of the analyzer is selected according to the purpose of analysis. For analysis on development costs, information about equipment costs and human costs is selected. For analysis regarding resistance to cyber attacks or security measures, information on vulnerabilities in devices and settings of security functions is selected as input information. Then, the selected information is created as information in a format such as a sentence, a numerical value, and an image, or a format required by an analysis device that combines them. Therefore, the developer of the information system automatic analyzer must create an input error detection rule depending on the format of the input information.
  • the present invention aims to provide an input error detection method that does not depend on the format of input information and does not require an input error detection rule.
  • An input error detection device in which at least one of a system specification in which information system specifications are described in a natural language, input information to an analysis device that analyzes the information system, and output information from the analysis device is described in a natural language
  • a selection unit for selecting a word group appearing in common with the document
  • a learning unit for learning the meaning of individual words belonging to the word group selected by the selection unit in each of the system specification and the analysis target document; By detecting a change in meaning learned by the learning unit between the system specification and the analysis target document, an error in a word caused by an input error in the input information included in the analysis target document
  • a detection unit that identifies
  • the meaning of individual words belonging to a word group appearing in common in the system specification and the analysis target document is learned. Then, by detecting a change in the learned meaning between the system specification and the analysis target document, an error in a word caused by an input error in the input information included in the analysis target document is specified. Therefore, according to the present invention, it is possible to provide an input error detection technique that does not depend on the format of input information and does not require an input error detection rule.
  • FIG. 2 is a block diagram showing a configuration of an input error detection device according to the first embodiment.
  • FIG. 3 is a block diagram illustrating a configuration of a verbalization unit of the input error detection device according to the first embodiment.
  • FIG. 3 is a block diagram illustrating a configuration of a selection unit of the input error detection device according to the first embodiment.
  • FIG. 3 is a block diagram illustrating a configuration of a learning unit of the input error detection device according to the first embodiment.
  • FIG. 3 is a block diagram illustrating a configuration of a detection unit of the input error detection device according to the first embodiment.
  • 5 is a flowchart showing the operation of the input error detection device according to the first embodiment.
  • 6 is a flowchart showing the operation of the verbalization unit of the input error detection device according to the first embodiment.
  • 5 is a flowchart showing an operation of a selection unit of the input error detection device according to the first embodiment.
  • 6 is a flowchart showing the operation of the learning unit of the input error detection device according to the first embodiment.
  • 5 is a flowchart showing the operation of a detection unit of the input error detection device according to the first embodiment.
  • Embodiment 1 FIG. This embodiment will be described with reference to FIGS.
  • the input error detection device 100 is a computer.
  • the input error detection apparatus 100 includes a processor 101 and other hardware such as a memory 102, an auxiliary storage device 103, a communication device 104, an input device 105, and a display 106.
  • the processor 101 is connected to other hardware via a signal line, and controls these other hardware.
  • the input error detection device 100 includes a verbalization unit 107, a selection unit 108, a learning unit 109, and a detection unit 110 as functional elements.
  • the functions of the verbalization unit 107, the selection unit 108, the learning unit 109, and the detection unit 110 are realized by software.
  • the functions of the verbalization unit 107, the selection unit 108, the learning unit 109, and the detection unit 110 are realized by an input error detection program.
  • the input error detection program is a program that causes a computer to execute the processes performed by the verbalization unit 107, the selection unit 108, the learning unit 109, and the detection unit 110 as a verbalization process, a selection process, a learning process, and a detection process, respectively.
  • the input error detection program may be provided by being recorded on a computer-readable medium, may be provided by being stored in a recording medium, or may be provided as a program product.
  • the input error detection program may be stored in a portable recording medium such as a magnetic disk or an optical disk.
  • the processor 101 is a device that executes an input error detection program.
  • the processor 101 is a CPU, for example.
  • CPU is an abbreviation for Central Processing Unit.
  • the memory 102 and the auxiliary storage device 103 are devices for storing an input error detection program.
  • the memory 102 is, for example, RAM, flash memory, or a combination thereof.
  • RAM is an abbreviation for Random Access Memory.
  • the auxiliary storage device 103 is, for example, an HDD, a flash memory, or a combination thereof.
  • HDD is an abbreviation for Hard Disk Drive.
  • the communication device 104 includes a receiver that receives data input to the input error detection program and a transmitter that transmits data output from the input error detection program.
  • the communication device 104 is, for example, a communication chip or a NIC. “NIC” is an abbreviation for Network Interface Card.
  • the input device 105 is a device operated by the user for inputting data to the input error detection program.
  • the input device 105 is, for example, a mouse, a keyboard, a touch panel, or some or all of these.
  • the display 106 is a device that displays data output from the input error detection program on the screen.
  • the display 106 is, for example, an LCD.
  • LCD is an abbreviation for Liquid Crystal Display.
  • the input error detection program is loaded from the auxiliary storage device 103 into the memory 102, read into the processor 101, and executed by the processor 101.
  • the auxiliary storage device 103 stores an OS as well as an input error detection program. “OS” is an abbreviation for Operating System.
  • the processor 101 executes an input error detection program while executing the OS. A part or all of the input error detection program may be incorporated in the OS.
  • the input error detection device 100 may include a plurality of processors that replace the processor 101.
  • the plurality of processors share the execution of the input error detection program.
  • Each processor is, for example, a CPU.
  • Data, information, signal values, and variable values used, processed, or output by the input error detection program are stored in the memory 102, the auxiliary storage device 103, or a register or cache memory in the processor 101.
  • the input error detection device 100 may be configured by a single computer or may be configured by a plurality of computers.
  • the functions of the languageizing unit 107, the selection unit 108, the learning unit 109, and the detection unit 110 may be distributed and realized in each computer.
  • the verbalization unit 107 includes an input information understanding unit 113, an output information understanding unit 114, and an integrated processing unit 115.
  • the verbalization unit 107 has a function of generating an analysis target document 116 described in a natural language in which information on the analysis target system obtained from at least one of the analysis apparatus input information 111 and the analysis apparatus output information 112 is summarized. .
  • the analyzer input information 111 that is input data of the information system automatic analyzer and the analyzer output information 112 that is output data are input via the communication device 104.
  • the analyzer input information 111 and the analyzer output information 112 may be stored in advance in the memory 102 or the auxiliary storage device 103.
  • the analysis target document 116 generated by the verbalization unit 107 is stored in the memory 102, the auxiliary storage device 103, or a register or cache memory in the processor 101.
  • the analysis target document 116 may be stored in a portable recording medium such as a magnetic disk or an optical disk.
  • the sorting unit 108 includes a frequent word extraction unit 118 and a common word identification unit 119.
  • the sorting unit 108 uses a common word that frequently appears in both sentences from the analysis target document 116 stored in the memory 102, the auxiliary storage device 103, the register or cache memory in the processor 101, and the system specification 117. And a function for generating a common word list 120 that frequently appears.
  • the system specification 117 is input via the communication device 104. Note that the system specification 117 may be stored in advance in the memory 102 or the auxiliary storage device 103.
  • the frequent common word list 120 a fixed word list prepared in advance may be used. Alternatively, a specific word may be added to the frequent common word list 120 generated by the selection unit 108.
  • the frequent common word list 120 generated by the sorting unit 108 is stored in the memory 102, the auxiliary storage device 103, or a register or cache memory in the processor 101.
  • the frequent common word list 120 may be stored in a portable recording medium such as a magnetic disk or an optical disk.
  • the configuration of the learning unit 109 will be described with reference to FIG.
  • the learning unit 109 includes a semantic vector generation unit 121.
  • the learning unit 109 calculates a semantic vector based on a distribution hypothesis described later for all words in the common word list 120 stored in the memory 102, the auxiliary storage device 103, or a register or cache memory in the processor 101. Has the function to give.
  • the first is the first word meaning vector list 122 learned from the system specification 117.
  • the second is the second word meaning vector list 123 learned from the analysis target document 116.
  • the first word meaning vector list 122 and the second word meaning vector list 123 have a memory 102 and an auxiliary storage device in a format that can uniquely determine which word in the common word list 120 each vector represents. 103, or a register or cache memory in the processor 101.
  • the first word meaning vector list 122 and the second word meaning vector list 123 may be stored in a portable recording medium such as a magnetic disk or an optical disk.
  • the configuration of the detection unit 110 will be described with reference to FIG.
  • the detection unit 110 includes a transformation matrix calculation unit 124, an outlier vector extraction unit 125, an outlier adjustment unit 126, and a vector corresponding word search unit 127.
  • the detection unit 110 applies the same word to the first word meaning vector list 122 and the second word meaning vector list 123 stored in the memory 102, the auxiliary storage device 103, or a register or cache memory in the processor 101. By obtaining a conversion matrix U of both word meaning vectors, it has a function of generating an input error word list 128.
  • the analyzer input information 111 which is input information of the information system automatic analyzer
  • the system specification 117 which is the specification of the analysis target system. Then, even if the information in the system specification 117 is converted into information of different formats such as text, numerical values, and images through the creation of the analysis device input information 111 by the user, it is essentially defined. Can be expected to be a subset of the information in the system specification 117.
  • the analyzer input information 111 is first converted into a natural language sentence having an equivalent content describing the information. .
  • analysis device input information 111 For example, if a block diagram representing a state that “device A and device B are connected via communication channel C” is defined in analysis device input information 111, this information is “device A and device B It is converted into a natural language sentence “connected by communication path C”.
  • the analyzer input information 111 does not correctly reflect the information in the system specification 117, the user input error is included in the analyzer input information 111 converted into a natural language sentence. Therefore, it is predicted that there is a word that has changed from its original meaning.
  • the word meaning here refers to the one based on the distribution hypothesis.
  • the distribution hypothesis is a hypothesis that “words that are semantically similar tend to have similar appearance context distributions” [Harris 1954].
  • Measured word meaning changes as described above enable detection of words related to input errors.
  • a natural language processing technique is applied to process the system specification 117 and the analyzer input information 111 of the information system automatic analyzer converted into the natural language sentence.
  • the analyzer output information 112 which is output information of the information system automatic analyzer can be used as a material for measuring the change in meaning.
  • the analysis device output information 112 becomes information reflecting the content of the analysis device input information 111, and a change in the meaning of the word due to an input error is added to the analysis device output information 112. It is because it is thought that also appears.
  • a list W of frequently occurring words in common is extracted from the system specification 117 and the analysis device input information 111 and / or the analysis device output information 112 converted into a natural language.
  • W: ⁇ w (1), w (2), ..., w (n) ⁇ 2.
  • semantic vectors based on the distribution hypothesis are respectively obtained on the system specification 117 and the analysis device input information 111 and / or the analysis device output information 112 that are naturalized. calculate.
  • V (S): matrix whose i-th row is v (S, w (i))
  • V (T): matrix whose i-th row is v (T, w (i)). 4).
  • a certain threshold value ⁇ > 0 is set, and a word w (i) that satisfies the following expression is detected as an input error.
  • d (x, y): distance function.
  • the operation of the input error detection device 100 corresponds to the input error detection method according to the present embodiment.
  • FIG. 6 shows the operation flow of the input error detection device 100.
  • step S11 the verbalization unit 107 receives the analyzer input information 111 and the analyzer output information 112. Thereafter, the verbalization unit 107 converts both contents into natural language sentences and generates an analysis target document 116 that integrates them.
  • the analyzer input information 111 here is information input to the information system automatic analyzer, which includes information created by the user based on the system specification 117 and includes input errors. Information that may be present.
  • the format of the analysis device input information 111 may take any format such as a numerical value, a sentence, and a figure, or may be composite information of those formats.
  • the analyzer output information 112 is a result derived after the information system automatic analyzer has performed some analysis based on the analyzer input information 111.
  • the format of the analysis device output information 112 may take any format such as a numerical value, a sentence, and a figure, or may be composite information of those formats.
  • Only one of the analysis device input information 111 and the analysis device output information 112 may be input to the verbalization unit 107.
  • the verbalization unit 107 converts the contents of one into a natural language sentence and directly analyzes the document to be analyzed. 116.
  • step S12 the selection unit 108 receives the analysis target system specification 117 of the information system automatic analyzer and the analysis target document 116 generated by the verbalization unit 107. Thereafter, the sorting unit 108 creates a list of frequently occurring words in each of the system specifications 117 and the analysis target document 116, and specifies the common words, thereby generating the frequent common word list 120.
  • the system specification 117 is a document called a planning document, a design specification, an external specification, an internal specification, an external internal specification, etc., created in a general system development process.
  • the specification targeted by this embodiment is “a document that the user who created the analyzer input information 111 referred to when defining the system information, and the analyzer input information 111 includes Any document may be used as long as it is a “document that uses a word with the same name in the document”.
  • step S13 the learning unit 109 receives the frequent common word list 120 generated by the selection unit 108, the analysis target document 116 generated by the verbalization unit 107, and the system specification 117. Thereafter, the learning unit 109 calculates the semantic vector based on the distribution hypothesis for all the words in the frequent common word list 120 and labels each word in the first form learned from the system specification 117. A word meaning vector list 122 and a second word meaning vector list 123 learned from the analysis target document 116 are generated.
  • step S14 the detection unit 110 receives the first word meaning vector list 122 and the second word meaning vector list 123 generated by the learning unit 109. Thereafter, the detection unit 110 identifies an input error word by calculating a matrix for converting the first word meaning vector list 122 into the second word meaning vector list 123, and outputs an input error word list 128.
  • the verbalization unit 107 analyzes the analyzer input information 111 that is input information to the analyzer that analyzes the information system, and the analyzer output information 112 that is the output information from the analyzer.
  • the analysis target document 116 is generated by converting at least one of the above into a natural language sentence.
  • the analysis target document 116 is a document in which at least one of the analysis device input information 111 and the analysis device output information 112 is described in a natural language.
  • the verbalization unit 107 integrates a natural language sentence obtained by converting the analysis apparatus input information 111 and a natural language sentence obtained by converting the analysis apparatus output information 112, so that an analysis target is obtained.
  • a document 116 is generated.
  • the selection unit 108 selects a word group that appears in common in the system specification 117 and the analysis target document 116.
  • the system specification 117 is a document in which information system specifications are described in a natural language.
  • the sorting unit 108 sorts words that appear in the system specification 117 and the analysis target document 116 with a frequency that exceeds a threshold as words belonging to the word group.
  • the word group selected by the selection unit 108 is recorded in the frequent common word list 120.
  • the learning unit 109 learns the meaning of individual words belonging to the word group selected by the selection unit 108 in each of the system specification document 117 and the analysis target document 116. Specifically, the learning unit 109 includes a first vector group that represents the meaning of the word group in the system specification 117 for each word, and a second vector group that represents the meaning of the word group in the analysis target document 116 for each word. By generating, the meanings of the individual words in the system specification 117 and the analysis target document 116 are learned. The first vector group generated by the learning unit 109 is recorded in the first word meaning vector list 122. The second vector group generated by the learning unit 109 is recorded in the second word meaning vector list 123.
  • the detection unit 110 detects the change in meaning learned by the learning unit 109 between the system specification document 117 and the analysis target document 116, thereby inputting the analysis apparatus input information 111 included in the analysis target document 116. Identify word errors caused by mistakes. Specifically, the detection unit 110 calculates a transformation matrix U that approximates a matrix that transforms the first vector group into the second vector group, and uses the second vector group and the computed transformation matrix U to calculate the first vector. The change between the system specification 117 and the analysis target document 116 is detected by comparing the third vector group obtained by converting the group with each word. The third vector group is recorded in the third word meaning vector list. A word for which an error due to an input error is specified by the detection unit 110 is recorded in the input error word list 128.
  • FIG. 7 to 10 show the detailed operation of each process in FIG. 7 is step S11, FIG. 8 is step S12, FIG. 9 is step S13, and FIG. 10 is step S14.
  • step S11 The operation of the verbalization unit 107 in step S11 will be described with reference to FIG.
  • step S15 the verbalization unit 107 receives the analyzer input information 111 and the analyzer output information 112.
  • the input information understanding unit 113 takes charge of the conversion in step S17. Specifically, the input information understanding unit 113 performs processing for extracting information related to the analysis target system from the input analysis device input information 111 and converting it into a natural language.
  • the format of the analysis device input information 111 is close to a natural language, it is converted into a natural language by simple document processing.
  • the format of the analyzer input information 111 is separated from the natural language, for example, the following processing is performed to convert the content into the natural language.
  • each row of the table is converted into a natural language using a patterned sentence or the like.
  • each line of the table is naturalized as an independent sentence so that unrelated words on the table are not included in the same sentence.
  • the content of the image is converted into a natural language by using image recognition technology or the like.
  • the content to be converted into a natural language appropriately describes the relationship between the subject in the image and the action, but the names of the objects in the image may be simply listed.
  • each image is converted to a natural language so that objects in different images are not included in the same sentence, and the meaning of each image is not confused.
  • the output information understanding unit 114 performs the conversion in step S19. Specifically, the output information understanding unit 114 performs processing for extracting information related to the analysis target system from the input analyzer output information 112 and converting it into a natural language.
  • the format of the analysis device output information 112 is close to a natural language, it is converted into a natural language by simple document processing.
  • the format of the analysis apparatus output information 112 is separated from the natural language, for example, the following processing is performed to convert the content into the natural language.
  • each row of the table is converted into a natural language using a patterned sentence or the like.
  • each line of the table is naturalized as an independent sentence so that unrelated words on the table are not included in the same sentence.
  • the content of the image is converted into a natural language by using image recognition technology or the like.
  • the content to be converted into a natural language appropriately describes the relationship between the subject in the image and the action, but the names of the objects in the image may be simply listed.
  • each image is converted to a natural language so that objects in different images are not included in the same sentence, and the meaning of each image is not confused.
  • step S16 and step S18 if the analysis device input information 111 and the analysis device output information 112 cannot be automatically converted into a natural language sentence, the analysis target document 116 may be created manually. That is, the processing for converting the analysis apparatus input information 111 into a natural language may be performed manually. Similarly, the natural language processing of the analyzer output information 112 may be performed manually.
  • the analysis target document 116 may be generated by converting only one of the information into a natural language.
  • the learning unit 109 lacks learning data for learning meanings, and the input error detection accuracy is lowered. For this reason, it is desirable that both the analysis apparatus input information 111 and the analysis apparatus output information 112 are converted into a natural language.
  • step S16 and step S17 and the process of step S18 and step S19 may be reversed.
  • step S20 the integration processing unit 115 integrates the analysis device input information 111 and the analysis device output information 112 that have been converted into a natural language, and outputs an analysis target document 116. That is, the integrated processing unit 115 converts the analysis target system information obtained from the analysis device input information 111 and the analysis device output information 112, which are naturalized by the input information understanding unit 113 and the output information understanding unit 114, into one piece. An analysis target document 116 integrated with the document is generated.
  • step S12 The operation of the selection unit 108 in step S12 will be described with reference to FIG.
  • step S21 when a list of words that are candidates for detection as an input error is already presented by the user or developer and stored in the memory 102 or the auxiliary storage device 103, in step S26, the selecting unit 108 , It is output as a frequent common word list 120.
  • step S22 the selection unit 108 receives the system specification 117 and the analysis target document 116.
  • step S23 the frequent word extraction unit 118 creates a list of words that frequently appear in the system specifications 117. At this time, words that are appropriate as frequent words are limited to words that characterize each document, and universal words that frequently appear in normal documents are excluded.
  • step S 24 the frequent word extraction unit 118 creates a list of words that frequently appear in the analysis target document 116. Also at this time, words that are appropriate as frequent words are limited to words that characterize each document, and universal words that frequently appear in normal documents are excluded.
  • TF-IDF method may be used in the processing of step S23 and step S24.
  • step S25 the common word specifying unit 119 generates the frequent common word list 120 by specifying the common word from the list created in steps S23 and S24.
  • step S26 the common word identification unit 119 outputs the generated frequent common word list 120.
  • step S13 The operation of the learning unit 109 in step S13 will be described with reference to FIG.
  • step S27 the learning unit 109 receives the frequent common word list 120, the system specification 117, and the analysis target document 116.
  • the semantic vector generation unit 121 calculates a semantic vector based on the distribution hypothesis for all words in the frequent common word list 120.
  • the meaning vector generation unit 121 generates a first word meaning vector list 122 learned from the system specification 117 and a second word meaning vector list 123 learned from the analysis target document 116 in a form of labeling each word. To do.
  • the number of dimensions of the first word meaning vector list 122 and the second word meaning vector list 123 may not necessarily match.
  • word2vec As a natural language technique for providing a semantic vector based on a distribution hypothesis for realizing the processing of the semantic vector generating unit 121, word2vec, latent semantic indexing, random indexing, or the like can be used. Alternatively, any technique other than those listed here may be used as long as it is a natural language technique that generates a feature vector having a multidimensional meaning based on a distribution hypothesis, that is, a distributed expression.
  • word2vec a technique for giving a semantic vector, in which an additive additive structure of meaning is created between semantic vectors of words.
  • step S28 The order of the process of step S28 and the process of step S29 may be reversed.
  • step S30 the meaning vector generation unit 121 outputs the first word meaning vector list 122 and the second word meaning vector list 123.
  • step S31 the detection unit 110 receives the frequent common word list 120, the first word meaning vector list 122, and the second word meaning vector list 123.
  • step S32 the conversion matrix calculation unit 124 obtains an optimal matrix U for converting the first word meaning vector list 122 into the second word meaning vector list 123.
  • step S33 the outlier vector extraction unit 125 generates a third word meaning vector list that is an image of the matrix U of the first word meaning vector list 122.
  • step S34 the outlier vector extraction unit 125 determines that the difference in distance between the third word meaning vector list and the second word meaning vector list 123 is ⁇ based on a small positive value ⁇ given in advance.
  • the outliers in the large first word meaning vector list 122 are extracted.
  • the distance in addition to the Euclidean distance, any distance that can compare multi-dimensional real value vectors such as cosine angle may be used. A pseudo distance or an opposite distance may be used instead of the exact distance.
  • step S35 and step S36 the vector-corresponding word search unit 127 specifies a word having the off vector as a label and outputs it as an input error word list 128.
  • step S37 if the number of words included in the input error word list 128 is too large, the outlier adjustment unit 126 sets the value of ⁇ in step S38 under the assumption that an input error occurs with a low probability. Adjust. Then, the processing from step S34 to step S36 is repeated again, and an input error word list 128 having an appropriate number of words is output.
  • the verbalization unit 107 generates an analysis target document 116 for detecting an input error by converting and integrating the contents of input information and output information of the information system automatic analyzer into a natural language sentence.
  • the selection unit 108 selects frequent common word groups of the analysis target system specification 117 and the analysis target document 116.
  • the learning unit 109 learns the meaning based on the respective distribution hypotheses in the system specification 117 and the analysis target document 116 for all the words belonging to the frequent common word group.
  • the detection unit 110 detects a change in meaning that occurs due to an input error, and identifies a word that is considered to be an input error from the frequent common word group.
  • the present embodiment it is possible to identify an input error existing in the input information of the information system automatic analyzer and automatically feed back a list of words considered to be input errors to the user. Unlike conventional input error detection methods, there is no need for developers to prepare input error detection rules such as “What is an input error?” And the input interface development cost of the information system automatic analyzer Can be reduced. In addition, it is expected that rework and problems in system development due to incorrect analysis results will be reduced by reducing the chances of analysis with input errors included.
  • the feature of detecting the presence of an input error by converting all the contents of the input information into a natural language sentence from the viewpoint of changing the meaning of the word is Even if the format is various formats such as numerical values, images, and documents, an input error can be detected.
  • an input error that may occur when the user manually creates input information to the information system automatic analyzer for evaluating the state of the information system is automatically detected. be able to.
  • the detected input mistake is fed back to the user.
  • the detection of input mistakes is performed by converting the input information into a natural language sentence with equivalent content once, and the distribution hypothesis indicates whether there is a discrepancy in the specifications of the analysis target system, that is, whether the meaning of the word has changed. It is executed by applying natural language processing technology based on. According to the effect of the present embodiment, the cost of developing a rule for detecting an input error can be reduced, and the user can support creation of accurate input information.
  • the functions of the verbalization unit 107, the selection unit 108, the learning unit 109, and the detection unit 110 are realized by software.
  • the verbalization unit 107, the selection unit 108, and the learning unit 109 are used.
  • the function of the detection unit 110 may be realized by a combination of software and hardware. That is, some of the functions of the verbalization unit 107, the selection unit 108, the learning unit 109, and the detection unit 110 may be realized by dedicated hardware, and the rest may be realized by software.
  • the dedicated hardware is, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, a logic IC, a GA, an FPGA, an ASIC, or a combination of some or all of them.
  • IC is an abbreviation for Integrated Circuit.
  • GA is an abbreviation for Gate Array.
  • FPGA is an abbreviation for Field-Programmable Gate Array.
  • ASIC is an abbreviation for Application Specific Integrated Circuit.
  • Both the processor 101 and the dedicated hardware are processing circuits. That is, regardless of whether the functions of the verbalization unit 107, the selection unit 108, the learning unit 109, and the detection unit 110 are realized by software or a combination of software and hardware, the verbalization unit 107, selection Operations of the unit 108, the learning unit 109, and the detection unit 110 are performed by a processing circuit.
  • 100 input error detection device 101 processor, 102 memory, 103 auxiliary storage device, 104 communication device, 105 input device, 106 display, 107 verbalization unit, 108 selection unit, 109 learning unit, 110 detection unit, 111 analysis device input information 112, analysis device output information, 113 input information understanding unit, 114 output information understanding unit, 115 integration processing unit, 116 analysis target document, 117 system specification, 118 frequent word extraction unit, 119 common word identification unit, 120 frequent common word List, 121 semantic vector generation unit, 122 first word semantic vector list, 123 second word semantic vector list, 124 transformation matrix calculation unit, 125 outlier vector extraction unit, 126 outlier adjustment unit, 127 vector word search unit, 12 Input errors word list.

Abstract

入力ミス検知装置(100)において、選別部(108)は、情報システムの仕様が自然言語で記述されたシステム仕様書(117)と、情報システムを分析する分析装置への入力情報である分析装置入力情報(111)と分析装置からの出力情報である分析装置出力情報(112)との少なくともいずれかが自然言語で記述された解析対象文書(116)とに共通して出現する単語群を選別する。学習部(109)は、システム仕様書(117)と解析対象文書(116)とのそれぞれにおける、選別部(108)により選別された単語群に属する個別の単語の意味を学習する。検知部(110)は、システム仕様書(117)と解析対象文書(116)との間における、学習部(109)により学習された意味の変化を検知することで、解析対象文書(116)に含まれる、分析装置入力情報(111)の入力ミスに起因する単語の誤りを特定する。

Description

入力ミス検知装置、入力ミス検知方法および入力ミス検知プログラム
 本発明は、入力ミス検知装置、入力ミス検知方法および入力ミス検知プログラムに関するものである。
 特許文献1に記載されているように、単語の重要度を計算する手法としてTF-IDF法が広く知られている。「TF」は、Term Frequencyの略語である。「IDF」は、Inverse Document Frequencyの略語である。
特開2009-064191号公報
 一般的にユーザの入力情報を必要とする装置には、入力ミスを検知する機能が備えられていることがほとんどである。簡素な具体例としては、文字の全角もしくは半角の誤りまたはスペルミスを判定する機能、あるいは合計文字数または合計金額を判定する機能等が、入力インタフェースの一機能として実装されていることが多い。
 こうした入力ミス判定技術によって入力ミスと思われる要素が検知され、注意メッセージ等で、ユーザに通知される。その結果、ユーザは入力ミスに気づき、正確な入力情報を作成し直すことができる。
 上記のような従来の入力ミス検知機能では、入力ミスを検知するために用意されたルール、すなわち、入力ミス検知ルールが必要である。したがって、入力ミス検知機能を装置に搭載する際には、装置の開発者が事前に、入力情報の内容と形式とを考慮して、入力ミスが発生する条件を分析し、入力ミス検知ルールを作成しておく必要がある。
 従来の一般的な入力ミス検知手法の課題として、分析装置の入力情報の形式に依存して、分析装置の開発者が入力ミス検知ルールを作成しておく必要があるという点が挙げられる。
 情報システム自動分析装置においても、その課題は同様である。情報システム自動分析装置とは、情報システムに対して、設計工程および開発工程の作業コストを削減するため、あるいはシステムの性能および安全性等を向上させるために、既存の分析手法を用いて、システムの状態を評価する機能を備えている装置全体を指す。分析対象の情報システムは、個人用か組織用かを問わず特定の目的の下、設計または開発されている情報システムでもよいし、すでに運用されている情報システムでもよい。
 分析装置の入力情報は、分析の目的に応じて取捨選択される。開発コストに対する分析であれば、機器の費用および人的なコストに関する情報が選択される。サイバー攻撃に対する耐性またはセキュリティ対策に関する分析であれば、機器内の脆弱性およびセキュリティ機能の設定に関する情報が入力情報として選択される。そして、選択された情報は、文章、数値および画像といった形式、あるいはそれらが組み合わされた分析装置の要求する形式の情報として作成される。よって、情報システム自動分析装置の開発者も、入力情報の形式に依存して、入力ミス検知ルールを作成しなければならない。
 本発明は、入力情報の形式に依存せず、入力ミス検知ルールが必要のない入力ミス検知手法を提供することを目的とする。
 本発明の一態様に係る入力ミス検知装置は、
 情報システムの仕様が自然言語で記述されたシステム仕様書と、前記情報システムを分析する分析装置への入力情報と前記分析装置からの出力情報との少なくともいずれかが自然言語で記述された解析対象文書とに共通して出現する単語群を選別する選別部と、
 前記システム仕様書と前記解析対象文書とのそれぞれにおける、前記選別部により選別された単語群に属する個別の単語の意味を学習する学習部と、
 前記システム仕様書と前記解析対象文書との間における、前記学習部により学習された意味の変化を検知することで、前記解析対象文書に含まれる、前記入力情報の入力ミスに起因する単語の誤りを特定する検知部と
を備える。
 本発明では、システム仕様書と解析対象文書とに共通して出現する単語群に属する個別の単語の意味が学習される。そして、システム仕様書と解析対象文書との間における、学習された意味の変化を検知することで、解析対象文書に含まれる、入力情報の入力ミスに起因する単語の誤りが特定される。そのため、本発明によれば、入力情報の形式に依存せず、入力ミス検知ルールが必要のない入力ミス検知手法を提供することができる。
実施の形態1に係る入力ミス検知装置の構成を示すブロック図。 実施の形態1に係る入力ミス検知装置の言語化部の構成を示すブロック図。 実施の形態1に係る入力ミス検知装置の選別部の構成を示すブロック図。 実施の形態1に係る入力ミス検知装置の学習部の構成を示すブロック図。 実施の形態1に係る入力ミス検知装置の検知部の構成を示すブロック図。 実施の形態1に係る入力ミス検知装置の動作を示すフローチャート。 実施の形態1に係る入力ミス検知装置の言語化部の動作を示すフローチャート。 実施の形態1に係る入力ミス検知装置の選別部の動作を示すフローチャート。 実施の形態1に係る入力ミス検知装置の学習部の動作を示すフローチャート。 実施の形態1に係る入力ミス検知装置の検知部の動作を示すフローチャート。
 以下、本発明の実施の形態について、図を用いて説明する。各図中、同一または相当する部分には、同一符号を付している。実施の形態の説明において、同一または相当する部分については、説明を適宜省略または簡略化する。なお、本発明は、以下に説明する実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。例えば、以下に説明する実施の形態は、部分的に実施されても構わない。
 実施の形態1.
 本実施の形態について、図1から図10を用いて説明する。
 ***構成の説明***
 図1を参照して、本実施の形態に係る入力ミス検知装置100の構成を説明する。
 入力ミス検知装置100は、コンピュータである。入力ミス検知装置100は、プロセッサ101を備えるとともに、メモリ102、補助記憶装置103、通信デバイス104、入力機器105およびディスプレイ106といった他のハードウェアを備える。プロセッサ101は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
 入力ミス検知装置100は、機能要素として、言語化部107と、選別部108と、学習部109と、検知部110とを備える。言語化部107、選別部108、学習部109および検知部110の機能は、ソフトウェアにより実現される。具体的には、言語化部107、選別部108、学習部109および検知部110の機能は、入力ミス検知プログラムにより実現される。入力ミス検知プログラムは、言語化部107、選別部108、学習部109および検知部110により行われる処理をそれぞれ言語化処理、選別処理、学習処理および検知処理としてコンピュータに実行させるプログラムである。入力ミス検知プログラムは、コンピュータ読取可能な媒体に記録されて提供されてもよいし、記録媒体に格納されて提供されてもよいし、プログラムプロダクトとして提供されてもよい。入力ミス検知プログラムは、磁気ディスクまたは光ディスクといった可搬記録媒体に記憶されてもよい。
 プロセッサ101は、入力ミス検知プログラムを実行する装置である。プロセッサ101は、例えば、CPUである。「CPU」は、Central Processing Unitの略語である。
 メモリ102および補助記憶装置103は、入力ミス検知プログラムを記憶する装置である。メモリ102は、例えば、RAM、フラッシュメモリまたはこれらの組み合わせである。「RAM」は、Random Access Memoryの略語である。補助記憶装置103は、例えば、HDD、フラッシュメモリまたはこれらの組み合わせである。「HDD」は、Hard Disk Driveの略語である。
 通信デバイス104は、入力ミス検知プログラムに入力されるデータを受信するレシーバと、入力ミス検知プログラムから出力されるデータを送信するトランスミッタとを備える。通信デバイス104は、例えば、通信チップまたはNICである。「NIC」は、Network Interface Cardの略語である。
 入力機器105は、入力ミス検知プログラムへのデータの入力のためにユーザにより操作される機器である。入力機器105は、例えば、マウス、キーボード、タッチパネル、またはこれらのうちいくつかもしくはすべての組み合わせである。
 ディスプレイ106は、入力ミス検知プログラムから出力されるデータを画面に表示する機器である。ディスプレイ106は、例えば、LCDである。「LCD」は、Liquid Crystal Displayの略語である。
 入力ミス検知プログラムは、補助記憶装置103からメモリ102にロードされ、プロセッサ101に読み込まれ、プロセッサ101によって実行される。補助記憶装置103には、入力ミス検知プログラムだけでなく、OSも記憶されている。「OS」は、Operating Systemの略語である。プロセッサ101は、OSを実行しながら、入力ミス検知プログラムを実行する。なお、入力ミス検知プログラムの一部または全部がOSに組み込まれていてもよい。
 入力ミス検知装置100は、プロセッサ101を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、入力ミス検知プログラムの実行を分担する。それぞれのプロセッサは、例えば、CPUである。
 入力ミス検知プログラムにより利用、処理または出力されるデータ、情報、信号値および変数値は、メモリ102、補助記憶装置103、またはプロセッサ101内のレジスタもしくはキャッシュメモリに記憶される。
 入力ミス検知装置100は、1台のコンピュータで構成されていてもよいし、複数台のコンピュータで構成されていてもよい。入力ミス検知装置100が複数台のコンピュータで構成されている場合は、言語化部107、選別部108、学習部109および検知部110の機能が、各コンピュータに分散されて実現されてもよい。
 図2を参照して、言語化部107の構成を説明する。
 言語化部107は、入力情報理解部113と、出力情報理解部114と、統合加工部115とを備える。
 言語化部107は、分析装置入力情報111と分析装置出力情報112との少なくともいずれかから得られる分析対象システムに関する情報について纏めた、自然言語で記述された解析対象文書116を生成する機能を持つ。
 情報システム自動分析装置の入力データである分析装置入力情報111と、出力データである分析装置出力情報112は、通信デバイス104を介して入力される。なお、分析装置入力情報111と分析装置出力情報112は、メモリ102か、補助記憶装置103にあらかじめ記憶されていてもよい。
 言語化部107により生成された解析対象文書116は、メモリ102、補助記憶装置103、またはプロセッサ101内のレジスタもしくはキャッシュメモリに記憶される。なお、解析対象文書116は、磁気ディスクまたは光ディスクといった可搬記録媒体に記憶されてもよい。
 図3を参照して、選別部108の構成を説明する。
 選別部108は、頻出単語抽出部118と、共通単語特定部119とを備える。
 選別部108は、メモリ102、補助記憶装置103、またはプロセッサ101内のレジスタもしくはキャッシュメモリに記憶されている解析対象文書116と、システム仕様書117とから、両者の文章中で頻出する共通の単語を検索し、頻出共通単語リスト120を生成する機能を持つ。
 システム仕様書117は、通信デバイス104を介して入力される。なお、システム仕様書117は、メモリ102か、補助記憶装置103にあらかじめ記憶されていてもよい。
 頻出共通単語リスト120としては、あらかじめ用意した固定の単語リストを使用してもよい。あるいは、特定の単語を選別部108により生成された頻出共通単語リスト120に加えてもよい。
 選別部108により生成された頻出共通単語リスト120は、メモリ102、補助記憶装置103、またはプロセッサ101内のレジスタもしくはキャッシュメモリに記憶される。なお、頻出共通単語リスト120は、磁気ディスクまたは光ディスクといった可搬記録媒体に記憶されてもよい。
 図4を参照して、学習部109の構成を説明する。
 学習部109は、意味ベクトル生成部121を備える。
 学習部109は、メモリ102、補助記憶装置103、またはプロセッサ101内のレジスタもしくはキャッシュメモリに記憶されている頻出共通単語リスト120にある、すべての単語に対し、後述する分布仮説に基づく意味ベクトルを与える機能を持つ。
 単語に与える意味ベクトルは、2種類ある。1つ目は、システム仕様書117から学習した第1単語意味ベクトルリスト122である。2つ目は、解析対象文書116から学習した第2単語意味ベクトルリスト123である。
 第1単語意味ベクトルリスト122と第2単語意味ベクトルリスト123は、各々のベクトルが、頻出共通単語リスト120のどの単語の意味を表しているのか、一意に判定できる形式でメモリ102、補助記憶装置103、またはプロセッサ101内のレジスタもしくはキャッシュメモリに記憶される。なお、第1単語意味ベクトルリスト122と第2単語意味ベクトルリスト123は、磁気ディスクまたは光ディスクといった可搬記録媒体に記憶されてもよい。
 図5を参照して、検知部110の構成を説明する。
 検知部110は、変換行列計算部124と、外れベクトル抽出部125と、外れ値調整部126と、ベクトル対応単語検索部127とを備える。
 検知部110は、メモリ102、補助記憶装置103、またはプロセッサ101内のレジスタもしくはキャッシュメモリに記憶されている第1単語意味ベクトルリスト122と第2単語意味ベクトルリスト123とに対して、同一単語に対する両単語意味ベクトルの変換行列Uを求めることで、入力ミス単語リスト128を生成する機能を持つ。
 本実施の形態では、情報システム自動分析装置が分析する対象のシステムには、開発時に仕様書が作成される点に着目し、入力情報の形式に依存せず、入力ミス検知ルールが必要のない入力ミス検知手法を提案する。
 本手法について、詳しい解説を行う。
 情報システム自動分析装置の入力情報である分析装置入力情報111が、分析対象システムの仕様書であるシステム仕様書117にある情報をもとに作成されていると仮定する。そうすれば、ユーザによる分析装置入力情報111の作成作業を経て、システム仕様書117内の情報が文章、数値および画像等の異なる形式の情報へと変換されたとしても、本質的に定義されている情報は、システム仕様書117にある情報のサブセットとなっていることが期待できる。
 逆に言えば、システム仕様書117にない情報が分析装置入力情報111にあるという場合は、それは分析対象のシステムの状態を正しく反映できていないことを意味し、すなわち、入力ミスが存在していることになる。
 本実施の形態では、システム仕様書117と分析装置入力情報111にある情報とを比較するために、分析装置入力情報111をまず、その情報を説明した等価な内容の自然言語文へと変換する。
 例えば、分析装置入力情報111に、「装置Aと装置Bとが通信路Cで接続している」という状態を表すブロック図が定義されていた場合、この情報が「装置Aと装置Bとが通信路Cで接続している」という自然言語文に変換される。
 もし、入力ミスが生じ、分析装置入力情報111が、正しくシステム仕様書117にある情報を反映していなかった場合、自然言語文へ変換された分析装置入力情報111の中に、ユーザの入力ミスによって、本来の意味から変化してしまった単語が存在すると予測される。
 ここで指す、単語の意味とは、分布仮説に基づくものを指す。分布仮説とは、「意味的に似ている語句は、その出現文脈の分布も似ている傾向がある」[Harris 1954]という仮説である。
 上述した例がもし入力ミスであり、システム仕様書117に「装置Aと装置Bとが通信路Dで接続している」と記述されていた場合、「通信路C」という単語は、本来出現する、「装置A」と「装置B」という文脈に出現しないことになる。そのため、システム仕様書117と分析装置入力情報111との間で、「通信路C」の意味の変化が発生すると予測される。
 上記のような単語の意味変化を計測することで、入力ミスに関連する単語を検知することが可能となる。
 なお、単語の意味変化の計測には、自然言語処理技術を応用し、システム仕様書117と自然言語文に変換した情報システム自動分析装置の分析装置入力情報111とを処理する。
 大量に入力ミスが発生し、本来の意味から変化した単語が多い場合には、特定の単語の意味変化を検知することは困難であるが、通常は、入力ミスの発生は、低確率で発生するため問題ない。
 本手法では、分析装置入力情報111だけでなく、情報システム自動分析装置の出力情報である分析装置出力情報112も意味の変化の測定の材料として使用可能である。理由として、情報システム分析装置が妥当な分析を行えば、分析装置出力情報112は、分析装置入力情報111の内容を反映した情報となり、入力ミスによる単語の意味の変化が分析装置出力情報112にも現れると考えられるためである。
 これは、分析装置入力情報111が容易に自然言語文へ変換可能でない場合に、分析装置出力情報112のみでも、入力ミスを検知することができることを示している。
 ***動作の説明***
 初めに、本実施の形態に係る入力ミス検知装置100の動作の概要を、数学的な説明によって示す。
1.システム仕様書117と、自然言語化された分析装置入力情報111、分析装置出力情報112またはその両方とから共通して頻出する単語のリストWを抽出する。
 W:={w(1),w(2),・・・,w(n)}
2.Wのすべての単語w(i)について、分布仮説に基づく意味ベクトルを、システム仕様書117と、自然言語化された分析装置入力情報111、分析装置出力情報112またはその両方との上で、それぞれ計算する。
 v(S,w(i)):=システム仕様書117で学習した単語w(i)の単語意味ベクトル
 v(T,w(i)):=自然言語化された分析装置入力情報111、分析装置出力情報112またはその両方で学習した単語w(i)の単語意味ベクトル
3.次のような式を満たすような最適な変換行列Uを計算する。
 V(S)・U≒V(T)
 ここで、V(S):=i行目がv(S,w(i))である行列、V(T):=i行目がv(T,w(i))である行列。
4.ある閾値ε>0を設定し、次の式を満たすような単語w(i)を入力ミスとして検知する。
 d([V(S)・U]のi行目,V(T,w(i)))>ε
 ここで、d(x,y):=距離関数。
 次に、図6から図10を参照して、本実施の形態に係る入力ミス検知装置100の動作の詳細を説明する。入力ミス検知装置100の動作は、本実施の形態に係る入力ミス検知方法に相当する。
 図6は、入力ミス検知装置100の動作の流れを示している。
 ステップS11において、言語化部107は、分析装置入力情報111と分析装置出力情報112とを受け取る。その後、言語化部107は、両方の内容を自然言語文章に変換し、それらを統合した解析対象文書116を生成する。
 ここでいう分析装置入力情報111とは、情報システム自動分析装置へ入力される情報であり、ユーザがシステム仕様書117をもとに作成した情報が含まれており、かつ入力ミスが含まれているかもしれない情報である。分析装置入力情報111の形式は、数値、文章および図等どのような形式をとってもよいし、それらの形式の複合的な情報でもよい。
 分析装置出力情報112とは、情報システム自動分析装置が、分析装置入力情報111をもとに何らかの分析を実行した末に導き出された結果である。分析装置出力情報112の形式は、数値、文章および図等どのような形式をとってもよいし、それらの形式の複合的な情報でもよい。
 分析装置入力情報111と分析装置出力情報112とのどちらか一方だけが言語化部107に入力されてもよい。分析装置入力情報111と分析装置出力情報112とのどちらか一方だけが言語化部107に入力された場合、言語化部107は、一方の内容を自然言語文に変換して、そのまま解析対象文書116とする。
 ステップS12において、選別部108は、情報システム自動分析装置の分析対象のシステム仕様書117と言語化部107が生成した解析対象文書116とを受け取る。その後、選別部108は、システム仕様書117と解析対象文書116とのそれぞれで、頻出する単語のリストを作成し、その共通単語を特定することで、頻出共通単語リスト120を生成する。
 システム仕様書117は、一般的なシステム開発工程において作成される、企画書、設計仕様書、外部仕様書、内部仕様書および外内部仕様書等と呼ばれる文書である。本実施の形態が対象とする仕様書は、広義に「分析装置入力情報111を作成したユーザが、システムの情報を定義する上で参考にした文書であり、かつ分析装置入力情報111に、その文書にある同一名称の単語が使われるような文書」であれば任意である。
 ステップS13において、学習部109は、選別部108によって生成された頻出共通単語リスト120と、言語化部107によって生成された解析対象文書116と、システム仕様書117とを受け取る。その後、学習部109は、頻出共通単語リスト120にあるすべての単語に対して、分布仮説に基づく意味ベクトルを計算し、各単語にラベル付けをする形で、システム仕様書117から学習した第1単語意味ベクトルリスト122と、解析対象文書116から学習した第2単語意味ベクトルリスト123とを生成する。
 ステップS14において、検知部110は、学習部109によって生成された第1単語意味ベクトルリスト122および第2単語意味ベクトルリスト123を受け取る。その後、検知部110は、入力ミスの単語を、第1単語意味ベクトルリスト122を第2単語意味ベクトルリスト123へ変換する行列を計算することで特定し、入力ミス単語リスト128を出力する。
 以上説明したように、本実施の形態では、言語化部107は、情報システムを分析する分析装置への入力情報である分析装置入力情報111と分析装置からの出力情報である分析装置出力情報112との少なくともいずれかを自然言語文に変換することで、解析対象文書116を生成する。解析対象文書116は、分析装置入力情報111と分析装置出力情報112との少なくともいずれかが自然言語で記述された文書である。望ましくは、言語化部107は、分析装置入力情報111を変換して得られた自然言語文と、分析装置出力情報112を変換して得られた自然言語文とを統合することで、解析対象文書116を生成する。
 選別部108は、システム仕様書117と解析対象文書116とに共通して出現する単語群を選別する。システム仕様書117は、情報システムの仕様が自然言語で記述された文書である。具体的には、選別部108は、システム仕様書117と解析対象文書116とに出現する頻度が閾値を超える単語を上記単語群に属する単語として選別する。選別部108により選別された単語群は、頻出共通単語リスト120に記録される。
 学習部109は、システム仕様書117と解析対象文書116とのそれぞれにおける、選別部108により選別された単語群に属する個別の単語の意味を学習する。具体的には、学習部109は、システム仕様書117における上記単語群の意味を単語別に表す第1ベクトル群と、解析対象文書116における上記単語群の意味を単語別に表す第2ベクトル群とを生成することで、システム仕様書117と解析対象文書116とのそれぞれにおける上記個別の単語の意味を学習する。学習部109により生成された第1ベクトル群は、第1単語意味ベクトルリスト122に記録される。学習部109により生成された第2ベクトル群は、第2単語意味ベクトルリスト123に記録される。
 検知部110は、システム仕様書117と解析対象文書116との間における、学習部109により学習された意味の変化を検知することで、解析対象文書116に含まれる、分析装置入力情報111の入力ミスに起因する単語の誤りを特定する。具体的には、検知部110は、第1ベクトル群を第2ベクトル群に変換する行列を近似した変換行列Uを計算し、第2ベクトル群と、計算した変換行列Uを用いて第1ベクトル群を変換して得られる第3ベクトル群とを単語別に比較することで、システム仕様書117と解析対象文書116との間における上記変化を検知する。第3ベクトル群は、第3単語意味ベクトルリストに記録される。検知部110により、入力ミスに起因する誤りが特定された単語は、入力ミス単語リスト128に記録される。
 図7から図10は、図6における各処理の詳細な動作を示している。図7はステップS11、図8はステップS12、図9はステップS13、図10はステップS14の詳細化である。
 図7を用いて、ステップS11における、言語化部107の動作を説明する。
 ステップS15にて、言語化部107は、分析装置入力情報111と分析装置出力情報112とを受け取る。
 ステップS16にて、分析装置入力情報111が自然言語文に自動的に変換できるようであれば、ステップS17にて、入力情報理解部113がその変換を担う。具体的には、入力情報理解部113が、入力された分析装置入力情報111から分析対象システムに関する情報を抽出し、自然言語化する処理を行う。
 分析装置入力情報111の形式が自然言語に近いものであった場合は、単純な文書加工によって、自然言語化が行われる。分析装置入力情報111の形式が自然言語から離れていた場合、例として、以下のような処理を行って、その内容が自然言語化される。
 表形式であれば、表の1行ごとの情報が、パターン化された文章等で自然言語化される。このとき、表の上で関連のない単語同士が同じ文に含まれないように、表の1行ごとが独立した文章として自然言語化される。
 画像形式であれば、画像認識技術等を用いることで、画像の内容が自然言語化される。このとき、自然言語化される内容は、画像中の主体と動作とについての関係を適切に説明したものであることが好ましいが、画像中の物体の名称がただ列挙されてもよい。画像が複数存在する場合は、別の画像中の物体が同じ文章に含まれないように、それぞれの画像が自然言語化され、それぞれの画像の意味が混同されないように、独立した文章として表現される。
 ステップS18にて、分析装置出力情報112が自然言語文に自動的に変換できるようであれば、ステップS19にて、出力情報理解部114がその変換を行う。具体的には、出力情報理解部114が、入力された分析装置出力情報112から分析対象システムに関する情報を抽出し、自然言語化する処理を行う。
 分析装置出力情報112の形式が自然言語に近いものであった場合は、単純な文書加工によって、自然言語化が行われる。分析装置出力情報112の形式が自然言語から離れていた場合、例として、以下のような処理を行って、その内容が自然言語化される。
 表形式であれば、表の1行ごとの情報が、パターン化された文章等で自然言語化される。このとき、表の上で関連のない単語同士が同じ文に含まれないように、表の1行ごとが独立した文章として自然言語化される。
 画像形式であれば、画像認識技術等を用いることで、画像の内容が自然言語化される。このとき、自然言語化される内容は、画像中の主体と動作とについての関係を適切に説明したものであることが好ましいが、画像中の物体の名称がただ列挙されてもよい。画像が複数存在する場合は、別の画像中の物体が同じ文章に含まれないように、それぞれの画像が自然言語化され、それぞれの画像の意味が混同されないように、独立した文章として表現される。
 ステップS16およびステップS18で、分析装置入力情報111と分析装置出力情報112とが自動的に自然言語文に変換できない場合は、人手で解析対象文書116を作成してもよい。すなわち、分析装置入力情報111の自然言語化の処理については、人手で実行してもよい。同様に、分析装置出力情報112の自然言語化の処理については、人手で実行してもよい。
 分析装置入力情報111と分析装置出力情報112とのどちらかの自然言語化が困難である場合は、どちらか一方の情報のみを自然言語化して、解析対象文書116を生成してもよい。しかし、その場合は、学習部109において、意味を学習する学習データが不足し、入力ミス検知精度が低下する可能性もある。そのため、分析装置入力情報111と分析装置出力情報112との両方の情報を、自然言語化することが望ましい。
 ステップS16およびステップS17の処理と、ステップS18およびステップS19の処理との順番は、逆転してもよい。
 ステップS20において、統合加工部115は、自然言語化した分析装置入力情報111と分析装置出力情報112とを統合し、解析対象文書116を出力する。すなわち、統合加工部115は、入力情報理解部113と出力情報理解部114とによって自然言語化された分析装置入力情報111と分析装置出力情報112とから得られる分析対象システムの情報を、1つの文書に統合した解析対象文書116を生成する。
 図8を用いて、ステップS12における、選別部108の動作を説明する。
 ステップS21にて、入力ミスとして検知する候補である単語のリストがすでにユーザまたは開発者によって提示され、メモリ102または補助記憶装置103に格納されている場合は、ステップS26にて、選別部108は、それを頻出共通単語リスト120として出力する。
 ステップS22にて、選別部108は、システム仕様書117と解析対象文書116とを受け取る。
 ステップS23にて、頻出単語抽出部118が、システム仕様書117で頻出する単語のリストを作成する。このとき、頻出単語として適切な単語は、それぞれの文書を特徴付ける単語に限り、通常の文書で頻出する普遍的な単語等は除外する。
 ステップS24にて、頻出単語抽出部118が、解析対象文書116で頻出する単語のリストを作成する。このときも、頻出単語として適切な単語は、それぞれの文書を特徴付ける単語に限り、通常の文書で頻出する普遍的な単語等は除外する。
 ステップS23およびステップS24の処理では、TF-IDF法を活用してもよい。
 ステップS25にて、共通単語特定部119が、ステップS23およびステップS24で作成されたリストから、その共通単語を特定することで、頻出共通単語リスト120を生成する。
 ステップS26にて、共通単語特定部119が、生成した頻出共通単語リスト120を出力する。
 図9を用いて、ステップS13における、学習部109の動作を説明する
 ステップS27にて、学習部109は、頻出共通単語リスト120、システム仕様書117および解析対象文書116を受け取る。
 ステップS28およびステップS29で、意味ベクトル生成部121は、頻出共通単語リスト120にあるすべての単語に対して、分布仮説に基づく意味ベクトルを計算する。意味ベクトル生成部121は、各単語にラベル付けをする形で、システム仕様書117から学習した第1単語意味ベクトルリスト122と、解析対象文書116から学習した第2単語意味ベクトルリスト123とを生成する。第1単語意味ベクトルリスト122と第2単語意味ベクトルリスト123との次元数は必ずしも一致しなくともよい。
 意味ベクトル生成部121の処理を実現するための、分布仮説に基づく意味ベクトルを与える自然言語技術としては、word2vec、Latent Semantic IndexingまたはRandom Indexing等を用いることができる。あるいは、ここに挙げたものでなくとも、分布仮説に基づく、多次元の意味の特徴量ベクトルを生成するような自然言語技術、すなわち、分散表現であれば、任意の技術を用いてよい。
 本実施の形態では、単語間の相対的な意味関係の変化を、行列変換のフィッティングの整合性から検知し、入力ミス単語を特定する。したがって、意味ベクトルを与える手法としては、単語の意味ベクトル同士に、意味の加法性的な構造が生まれるword2vecを採用することが好ましい。
 ステップS28の処理と、ステップS29の処理との順番は、逆転してもよい。
 ステップS30において、意味ベクトル生成部121は、第1単語意味ベクトルリスト122と第2単語意味ベクトルリスト123とを出力する。
 図10を用いて、ステップS14における、検知部110の動作を説明する。
 ステップS31において、検知部110は、頻出共通単語リスト120、第1単語意味ベクトルリスト122および第2単語意味ベクトルリスト123を受け取る。
 ステップS32において、変換行列計算部124は、第1単語意味ベクトルリスト122を第2単語意味ベクトルリスト123へ変換する最適な行列Uを求める。
 ステップS33において、外れベクトル抽出部125は、第1単語意味ベクトルリスト122の行列Uの像である、第3単語意味ベクトルリストを生成する。
 ステップS34において、外れベクトル抽出部125は、あらかじめ与えられた微小な正値εをもとに、第3単語意味ベクトルリストと第2単語意味ベクトルリスト123との間での距離の差がεより大きい第1単語意味ベクトルリスト122中の外れベクトルを抽出する。距離としては、ユークリッド距離のほかにも、余弦角等、多次元の実数値ベクトルを比較可能な距離であれば何を使用してもよい。厳密な距離でなく、擬距離または反距離等を使用してもよい。
 ステップS35およびステップS36で、ベクトル対応単語検索部127が、外れベクトルをラベルとして持つ単語を特定し、入力ミス単語リスト128として出力する。
 ステップS37にて、入力ミス単語リスト128に含まれる単語数が余りに多かった場合には、入力ミスは低い確率で発生するという仮定の下、ステップS38で、外れ値調整部126がεの値を調節する。そして、再度、ステップS34からステップS36の処理が繰り返されて、適切な単語数の入力ミス単語リスト128が出力される。
 ***実施の形態の効果の説明***
 本実施の形態では、システム仕様書117と解析対象文書116とに共通して出現する単語群に属する個別の単語の意味が学習される。そして、システム仕様書117と解析対象文書116との間における、学習された意味の変化を検知することで、解析対象文書116に含まれる、分析装置入力情報111の入力ミスに起因する単語の誤りが特定される。そのため、本実施の形態によれば、分析装置入力情報111の形式に依存せず、入力ミス検知ルールが必要のない入力ミス検知手法を提供することができる。
 本実施の形態では、言語化部107は、情報システム自動分析装置の入力情報および出力情報の内容を自然言語文に変換し統合することで、入力ミスを検知するための解析対象文書116を生成する。選別部108は、分析対象のシステム仕様書117と解析対象文書116との頻出共通単語群を選別する。学習部109は、頻出共通単語群に属するすべての単語について、システム仕様書117と解析対象文書116とでそれぞれの分布仮説に基づく意味を学習する。検知部110は、入力ミスによって発生した意味の変化を検知し、頻出共通単語群の中から入力ミスと考えられる単語を特定する。
 本実施の形態によれば、情報システム自動分析装置の入力情報上に存在する入力ミスを特定し、自動でユーザに入力ミスと考えられる単語のリストをフィードバックすることができる。従来の入力ミス検知手法とは異なり、「どのような状態が入力ミスなのか?」という入力ミス検知用のルールを開発者が用意する必要がなく、情報システム自動分析装置の入力インタフェースの開発コストを低減させることができる。また、入力ミスを含んだまま分析が行われる機会が減少することで、不正な分析結果による、システム開発上の手戻りおよび不具合が減ることも期待できる。
 加えて、本実施の形態における、入力ミスの存在を、入力情報の内容を一旦、すべて自然言語文に変換して、単語の意味変化という観点から検知するという特徴は、分析装置の入力情報の形式が、数値、画像および文書等、様々な形式であっても入力ミスを検知できるという効果も奏する。
 このように、本実施の形態では、情報システムの状態を評価するための情報システム自動分析装置への入力情報を、ユーザが手動で作成した場合に発生し得る入力ミスを、自動的に検知することができる。検知した入力ミスはユーザへフィードバックされる。入力ミスの検知は、入力情報を一旦、等価な内容の自然言語文に変換することで、分析対象システムの仕様書上の食い違い、すなわち、単語の意味変化が発生していないか、を分布仮説に基づく自然言語処理技術を応用することで実行する。本実施の形態の効果によって、入力ミスを検知するためにルールを開発するコストが低減されるほか、ユーザの正確な入力情報の作成支援を行うことができる。
 ***他の構成***
 本実施の形態では、言語化部107、選別部108、学習部109および検知部110の機能がソフトウェアにより実現されるが、別の変形例として、言語化部107、選別部108、学習部109および検知部110の機能がソフトウェアとハードウェアとの組み合わせにより実現されてもよい。すなわち、言語化部107、選別部108、学習部109および検知部110の機能の一部が専用のハードウェアにより実現され、残りがソフトウェアにより実現されてもよい。
 専用のハードウェアは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA、FPGA、ASIC、またはこれらのうちいくつかもしくはすべての組み合わせである。「IC」は、Integrated Circuitの略語である。「GA」は、Gate Arrayの略語である。「FPGA」は、Field-Programmable Gate Arrayの略語である。「ASIC」は、Application Specific Integrated Circuitの略語である。
 プロセッサ101および専用のハードウェアは、いずれも処理回路である。すなわち、言語化部107、選別部108、学習部109および検知部110の機能がソフトウェアにより実現されるか、ソフトウェアとハードウェアとの組み合わせにより実現されるかに関わらず、言語化部107、選別部108、学習部109および検知部110の動作は、処理回路により行われる。
 100 入力ミス検知装置、101 プロセッサ、102 メモリ、103 補助記憶装置、104 通信デバイス、105 入力機器、106 ディスプレイ、107 言語化部、108 選別部、109 学習部、110 検知部、111 分析装置入力情報、112 分析装置出力情報、113 入力情報理解部、114 出力情報理解部、115 統合加工部、116 解析対象文書、117 システム仕様書、118 頻出単語抽出部、119 共通単語特定部、120 頻出共通単語リスト、121 意味ベクトル生成部、122 第1単語意味ベクトルリスト、123 第2単語意味ベクトルリスト、124 変換行列計算部、125 外れベクトル抽出部、126 外れ値調整部、127 ベクトル対応単語検索部、128 入力ミス単語リスト。

Claims (7)

  1.  情報システムの仕様が自然言語で記述されたシステム仕様書と、前記情報システムを分析する分析装置への入力情報と前記分析装置からの出力情報との少なくともいずれかが自然言語で記述された解析対象文書とに共通して出現する単語群を選別する選別部と、
     前記システム仕様書と前記解析対象文書とのそれぞれにおける、前記選別部により選別された単語群に属する個別の単語の意味を学習する学習部と、
     前記システム仕様書と前記解析対象文書との間における、前記学習部により学習された意味の変化を検知することで、前記解析対象文書に含まれる、前記入力情報の入力ミスに起因する単語の誤りを特定する検知部と
    を備える入力ミス検知装置。
  2.  前記学習部は、前記システム仕様書における前記単語群の意味を単語別に表す第1ベクトル群と、前記解析対象文書における前記単語群の意味を単語別に表す第2ベクトル群とを生成することで、前記システム仕様書と前記解析対象文書とのそれぞれにおける前記個別の単語の意味を学習し、
     前記検知部は、前記第1ベクトル群を前記第2ベクトル群に変換する行列を近似した変換行列を計算し、前記第2ベクトル群と、計算した変換行列を用いて前記第1ベクトル群を変換して得られる第3ベクトル群とを単語別に比較することで、前記システム仕様書と前記解析対象文書との間における前記変化を検知する請求項1に記載の入力ミス検知装置。
  3.  前記入力情報と前記出力情報との少なくともいずれかを自然言語文に変換することで、前記解析対象文書を生成する言語化部をさらに備える請求項1または2に記載の入力ミス検知装置。
  4.  前記言語化部は、前記入力情報を変換して得られた自然言語文と、前記出力情報を変換して得られた自然言語文とを統合することで、前記解析対象文書を生成する請求項3に記載の入力ミス検知装置。
  5.  前記選別部は、前記システム仕様書と前記解析対象文書とに出現する頻度が閾値を超える単語を前記単語群に属する単語として選別する請求項1から4のいずれか1項に記載の入力ミス検知装置。
  6.  選別部が、情報システムの仕様が自然言語で記述されたシステム仕様書と、前記情報システムを分析する分析装置への入力情報と前記分析装置からの出力情報との少なくともいずれかが自然言語で記述された解析対象文書とに共通して出現する単語群を選別し、
     学習部が、前記システム仕様書と前記解析対象文書とのそれぞれにおける、前記選別部により選別された単語群に属する個別の単語の意味を学習し、
     検知部が、前記システム仕様書と前記解析対象文書との間における、前記学習部により学習された意味の変化を検知することで、前記解析対象文書に含まれる、前記入力情報の入力ミスに起因する単語の誤りを特定する入力ミス検知方法。
  7.  コンピュータに、
     情報システムの仕様が自然言語で記述されたシステム仕様書と、前記情報システムを分析する分析装置への入力情報と前記分析装置からの出力情報との少なくともいずれかが自然言語で記述された解析対象文書とに共通して出現する単語群を選別する選別処理と、
     前記システム仕様書と前記解析対象文書とのそれぞれにおける、前記選別処理により選別された単語群に属する個別の単語の意味を学習する学習処理と、
     前記システム仕様書と前記解析対象文書との間における、前記学習処理により学習された意味の変化を検知することで、前記解析対象文書に含まれる、前記入力情報の入力ミスに起因する単語の誤りを特定する検知処理と
    を実行させる入力ミス検知プログラム。
PCT/JP2018/020172 2018-05-25 2018-05-25 入力ミス検知装置、入力ミス検知方法および入力ミス検知プログラム WO2019225007A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2018/020172 WO2019225007A1 (ja) 2018-05-25 2018-05-25 入力ミス検知装置、入力ミス検知方法および入力ミス検知プログラム
JP2020520987A JP6837604B2 (ja) 2018-05-25 2018-05-25 入力ミス検知装置、入力ミス検知方法および入力ミス検知プログラム
CN201880093603.7A CN112136136A (zh) 2018-05-25 2018-05-25 输入错误检测装置、输入错误检测方法及输入错误检测程序
US17/071,038 US20210049322A1 (en) 2018-05-25 2020-10-15 Input error detection device, input error detection method, and computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/020172 WO2019225007A1 (ja) 2018-05-25 2018-05-25 入力ミス検知装置、入力ミス検知方法および入力ミス検知プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/071,038 Continuation US20210049322A1 (en) 2018-05-25 2020-10-15 Input error detection device, input error detection method, and computer readable medium

Publications (1)

Publication Number Publication Date
WO2019225007A1 true WO2019225007A1 (ja) 2019-11-28

Family

ID=68617256

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/020172 WO2019225007A1 (ja) 2018-05-25 2018-05-25 入力ミス検知装置、入力ミス検知方法および入力ミス検知プログラム

Country Status (4)

Country Link
US (1) US20210049322A1 (ja)
JP (1) JP6837604B2 (ja)
CN (1) CN112136136A (ja)
WO (1) WO2019225007A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149680A (zh) * 2020-09-28 2020-12-29 武汉悦学帮网络技术有限公司 错字检测识别方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06259246A (ja) * 1993-03-09 1994-09-16 Hitachi Ltd プログラム検証方法とその装置
WO2016190035A1 (ja) * 2015-05-26 2016-12-01 株式会社日立製作所 エンジニアリングドキュメントからの知識抽出方法および装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06259246A (ja) * 1993-03-09 1994-09-16 Hitachi Ltd プログラム検証方法とその装置
WO2016190035A1 (ja) * 2015-05-26 2016-12-01 株式会社日立製作所 エンジニアリングドキュメントからの知識抽出方法および装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149680A (zh) * 2020-09-28 2020-12-29 武汉悦学帮网络技术有限公司 错字检测识别方法、装置、电子设备及存储介质
CN112149680B (zh) * 2020-09-28 2024-01-16 武汉悦学帮网络技术有限公司 错字检测识别方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JPWO2019225007A1 (ja) 2020-09-17
JP6837604B2 (ja) 2021-03-03
US20210049322A1 (en) 2021-02-18
CN112136136A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
CN109783796B (zh) 预测文本内容中的样式破坏
WO2022072037A1 (en) Extraquery context-aided search intent detection
US9218325B2 (en) Quick font match
US9766868B2 (en) Dynamic source code generation
US9619209B1 (en) Dynamic source code generation
US11537797B2 (en) Hierarchical entity recognition and semantic modeling framework for information extraction
US10255047B2 (en) Source code analysis and adjustment system
US20230075614A1 (en) Automatically identifying multi-word expressions
JP7203897B2 (ja) 文書レイアウト解析方法、装置、電子機器及び記憶媒体
US20230336532A1 (en) Privacy Preserving Document Analysis
JP7155625B2 (ja) 検査装置、検査方法、プログラム及び学習装置
WO2023038722A1 (en) Entry detection and recognition for custom forms
US11176311B1 (en) Enhanced section detection using a combination of object detection with heuristics
US20210049322A1 (en) Input error detection device, input error detection method, and computer readable medium
CN104123275A (zh) 翻译验证
US10705810B2 (en) Automatic code generation
JP2009295052A (ja) 複合語の区切り位置を推定する複合語区切り推定装置、方法、およびプログラム
KR102467096B1 (ko) 논문 메타데이터 영역 분류 모델을 학습하기 위한 데이터셋의 검수 방법 및 장치
US11119761B2 (en) Identifying implicit dependencies between code artifacts
Dalal et al. Evaluating sequence-to-sequence learning models for if-then program synthesis
JP2016009415A (ja) 用語集作成支援システムおよび方法、プログラム
US20180307669A1 (en) Information processing apparatus
JP6766972B1 (ja) 文書校正装置、文書校正方法、及びプログラム
WO2023162129A1 (ja) 学習用データ生成装置、リスク検知装置、学習用データ生成方法、リスク検知方法、学習用データ生成プログラム及びリスク検知プログラム
WO2022123716A1 (ja) 述語項構造修正プログラム、述語項構造修正方法、および情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18920035

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020520987

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18920035

Country of ref document: EP

Kind code of ref document: A1