WO2020021845A1 - 文書分類装置及び学習済みモデル - Google Patents

文書分類装置及び学習済みモデル Download PDF

Info

Publication number
WO2020021845A1
WO2020021845A1 PCT/JP2019/021289 JP2019021289W WO2020021845A1 WO 2020021845 A1 WO2020021845 A1 WO 2020021845A1 JP 2019021289 W JP2019021289 W JP 2019021289W WO 2020021845 A1 WO2020021845 A1 WO 2020021845A1
Authority
WO
WIPO (PCT)
Prior art keywords
document
word
feature amount
character
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/021289
Other languages
English (en)
French (fr)
Inventor
大志 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to US17/041,299 priority Critical patent/US12118308B2/en
Priority to JP2020532182A priority patent/JPWO2020021845A1/ja
Publication of WO2020021845A1 publication Critical patent/WO2020021845A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/93—Document management systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking

Definitions

  • the present invention relates to a document classification device and a trained model.
  • a technology for classifying documents using a model generated by machine learning is known.
  • Non-Patent Document 1 describes that a document classification model is generated based on a word-based feature amount using a feedforward neural network, which is a type of machine learning method, to perform document classification.
  • Patent Document 1 discloses that a character string corresponding to a predetermined collation condition is extracted from a document as a feature token, and a character obtained by dividing a character string that is not extracted as a feature token is extracted as a non-feature token. A technique is described in which a feature token is used for learning for document classification.
  • Patent Document 2 describes a technique of creating a dictionary for coping with fluctuations in word notation.
  • words may include typographical errors and omissions due to, for example, typographical errors and erroneous recognition by a user using a chatbot. If the input document contains typographical errors, omissions, or the like, the classification accuracy is reduced.
  • the fluctuation of the word notation can be dealt with by using a dictionary in which a plurality of notations are associated with one word as described in Patent Document 2. However, it is costly to create such a dictionary in advance.
  • Patent Literature 1 a plurality of variations in which the notation of a certain word fluctuates is not used for learning, so that it is impossible to prevent a decrease in classification accuracy when a document including an erroneous character, a missing character, or the like is input. .
  • An object of the present invention is to provide a document classification device and a trained model.
  • a document classification device is a model for classifying documents, and outputs identification information for identifying a classification result based on an input document.
  • a document classification device that generates a document classification model by machine learning, comprising: an acquisition unit configured to acquire learning data including a document and identification information associated with the document; a word included in the document; and a word included in the document.
  • a feature amount extraction unit that extracts, as a feature amount, one character of a character or a character string including a plurality of continuous characters in the word, and character information that is information that can be extracted from the word;
  • a model generation unit that performs machine learning based on the feature amount extracted from the document and the identification information associated with the document to generate a document classification model.
  • a document classification model is generated by using, as a feature amount, a word extracted from a learning document for generating a document classification model and character information including characters included in the word. Therefore, information in units of characters included in words is also reflected in the document classification model. Accordingly, even if a word included in a document to be classified includes an erroneous character, a misspelling, or the like, the character included in the word is also included in the document by being input as a feature amount to the document classification model. The characteristics of the characters that make up the word are added to the classification. Therefore, it is possible to prevent a decrease in the accuracy of document classification.
  • a trained model is a trained model for causing a computer to function so as to classify an input document and output identification information for identifying a result of the classification. And a character string consisting of a word included in the document and one of the characters constituting the word or a plurality of consecutive characters in the word, and one or more information that can be extracted from the word And machine information based on learning data that uses as input values a feature amount including the character information and an output value of identification information associated with the document.
  • the trained model of is constructed. Accordingly, even if a word included in a document to be classified includes an erroneous character, a misspelling, or the like, the character included in the word is also included in the document by being input as a feature amount to the learned model. The characteristics of the characters that make up the word are added to the classification. Therefore, it is possible to prevent a decrease in the accuracy of document classification.
  • FIG. 3 is a functional block diagram illustrating a functional configuration of the document classification device according to the embodiment in a generation state of the document classification model by machine learning.
  • FIG. 2 is a functional block diagram illustrating a functional configuration of the document classification device according to the present embodiment in a stage of document classification (prediction) using a document classification model. It is a hardware block diagram of a demand forecast system.
  • FIG. 4 is a diagram illustrating an example of a labeled document stored in a document database.
  • FIG. 9 is a diagram illustrating a specific example of a process from normalization of a document by a normalization unit to extraction of a feature by a feature extraction unit.
  • 5 is a flowchart illustrating processing contents of a generation method according to the embodiment. It is a flowchart which shows the processing content of the classification method of this embodiment.
  • FIG. 3 is a diagram illustrating a configuration of a document classification program.
  • FIGS. 1 and 2 are diagrams showing a functional configuration of the document classification device 1 according to the present embodiment.
  • the document classification device 1 generates, by machine learning, a document classification model that outputs identification information for identifying a result of document classification based on an input document, and classifies the document using the generated document classification model. , And outputs identification information indicating the result of the classification.
  • FIG. 1 is a functional block diagram showing a functional configuration of the document classification device 1A (1) in a stage of generation by machine learning of a document classification model, which is a model for classifying documents.
  • FIG. 2 is a block diagram showing a functional configuration of the document classification device 1B (1) in a document classification (prediction) phase using a document classification model.
  • the document classification device 1A includes an acquisition unit 11, a normalization unit 12, a feature amount extraction unit 13, and a model generation unit 14.
  • the model generation unit 14 includes a label prediction unit 15, a loss calculation unit 16, and a model update unit 17. Further, the document classification device 1A includes a document database 21 and a model storage unit 22.
  • the document classification device 1B includes an acquisition unit 11B (11), a normalization unit 12B (12), a feature amount extraction unit 13B (13), and a label prediction unit 15B (15).
  • the document classification device 1B includes a model storage unit 22 and a document database 23.
  • the document classification device 1A and the document classification device 1B may each be configured as separate devices or may be configured integrally. Further, each functional unit included in the document classification device 1A and the document classification device 1B may be configured to be distributed to a plurality of devices.
  • each functional block may be realized by one device physically and / or logically coupled, or two or more devices physically and / or logically separated from each other directly and / or indirectly. (For example, wired and / or wireless) and may be realized by these multiple devices.
  • the document classification device 1 may function as a computer.
  • FIG. 3 is a diagram illustrating an example of a hardware configuration of the document classification device 1 according to the present embodiment.
  • the document classification device 1 may be physically configured as a computer device including a processor 1001, a memory 1002, a storage 1003, a communication device 1004, an input device 1005, an output device 1006, a bus 1007, and the like.
  • the term “apparatus” can be read as a circuit, a device, a unit, or the like.
  • the hardware configuration of the document classification device 1 may be configured to include one or more devices shown in FIG. 3 or may be configured without including some devices.
  • the functions of the document classifying apparatus 1 are executed by reading predetermined software (program) on hardware such as the processor 1001 and the memory 1002, so that the processor 1001 performs an arithmetic operation, communication by the communication device 1004, and communication between the memory 1002 and the storage device. This is realized by controlling the reading and / or writing of data in 1003.
  • the processor 1001 controls the entire computer by operating an operating system, for example.
  • the processor 1001 may be configured by a central processing unit (CPU: Central Processing Unit) including an interface with a peripheral device, a control device, an arithmetic device, a register, and the like.
  • the processor 1001 may include a GPU (Graphics Processing Unit).
  • the functional units 11 to 17 shown in FIGS. 1 and 2 may be realized by the processor 1001.
  • the processor 1001 reads out a program (program code), a software module, and data from the storage 1003 and / or the communication device 1004 to the memory 1002, and executes various processes according to these.
  • a program program code
  • a software module software module
  • data data from the storage 1003 and / or the communication device 1004 to the memory 1002, and executes various processes according to these.
  • the program a program that causes a computer to execute at least a part of the operation described in the above embodiment is used.
  • each of the functional units 11 to 17 of the document classification device 1 may be realized by a control program stored in the memory 1002 and operated by the processor 1001.
  • Processor 1001 may be implemented with one or more chips.
  • the program may be transmitted from a network via a telecommunication line.
  • the memory 1002 is a computer-readable recording medium, and includes at least one of a ROM (Read Only Memory), an EPROM (Erasable Programmable ROM), an EEPROM (Electrically Erasable Programmable ROM), and a RAM (Random Access Memory). May be done.
  • the memory 1002 may be called a register, a cache, a main memory (main storage device), or the like.
  • the memory 1002 can store a program (program code), a software module, and the like that can be executed to execute the document classification method according to an embodiment of the present invention.
  • the storage 1003 is a computer-readable recording medium, for example, an optical disk such as a CD-ROM (Compact Disc), a hard disk drive, a flexible disk, and a magneto-optical disk (for example, a compact disk, a digital versatile disk, a Blu-ray). (Registered trademark) disk), a smart card, a flash memory (for example, a card, a stick, a key drive), a floppy (registered trademark) disk, and a magnetic strip.
  • the storage 1003 may be called an auxiliary storage device.
  • the storage medium described above may be, for example, a database including the memory 1002 and / or the storage 1003, a server, or any other suitable medium.
  • the communication device 1004 is hardware (transmitting / receiving device) for performing communication between computers via a wired and / or wireless network, and is also referred to as, for example, a network device, a network controller, a network card, a communication module, or the like.
  • the input device 1005 is an input device (for example, a keyboard, a mouse, a microphone, a switch, a button, a sensor, and the like) that receives an external input.
  • the output device 1006 is an output device that performs output to the outside (for example, a display, a speaker, an LED lamp, and the like). Note that the input device 1005 and the output device 1006 may have an integrated configuration (for example, a touch panel).
  • the devices such as the processor 1001 and the memory 1002 are connected by a bus 1007 for communicating information.
  • the bus 1007 may be configured by a single bus, or may be configured by a different bus between the devices.
  • the document classification device 1 includes hardware such as a microprocessor, a digital signal processor (DSP), an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), and an FPGA (Field Programmable Gate Array). And some or all of the functional blocks may be realized by the hardware.
  • the processor 1001 may be implemented by at least one of these hardware.
  • the acquisition unit 11 acquires learning data including a document and identification information associated with the document.
  • the acquisition unit 11 acquires from the document database 21 a labeled document to which a label constituting identification information is attached.
  • the document database 21 is storage means for storing a document with a label.
  • FIG. 4 is a diagram illustrating an example of a document with a label stored in the document database 21.
  • the document database 21 stores a document and a label in association with a document index for identifying the document.
  • the document with the document index “1” is a document “Bluetooth cannot be connected”, and this document is labeled “C001”.
  • the normalization unit 12 normalizes the document acquired by the acquisition unit 11. Specifically, the normalization unit 12 performs Unicode normalization on the document, for example, in order to unify the notation of the document.
  • the normalization format may be, for example, NFKC (Normalization Form Compatibility Composition). Further, the normalization unit 12 may further convert the alphabet included in the document into lowercase letters as the normalization processing.
  • the feature extraction unit 13 extracts a word included in the document and character information on characters constituting the word as a feature.
  • the character information is a character string including one character or a plurality of consecutive characters in a word included in the word included in the document. Character information is information that can be extracted one or more from one word.
  • the feature quantity extraction unit 13 extracts the words included in the document normalized by the normalization unit 12 and the parts of speech of the words by a well-known morphological analysis method. Further, from the extracted word, the feature amount extracting unit 13 extracts, as character information, one character of the characters constituting the word or a character string including a plurality of consecutive characters in the word. The word and character information extracted from the document in this way constitutes the feature amount of the document.
  • the normalization unit 12 performs a character string normalization process on the input sentence f1 “Bluetooth is not connected” acquired by the acquisition unit 11, and obtains a normalization result f2 “Bluetooth is not connected”.
  • the word "Bluetooth” is erroneously input and becomes "Bluetooth”.
  • the feature quantity extraction unit 13 performs a morphological analysis process on the normalization result f2 “bluetooth is not connected”, and extracts a word and the part of speech of the word from the normalization result f2.
  • the feature extraction unit 13 performs a partial character string extraction process for extracting a partial character string from each word extracted as the morphological analysis result f3, and obtains a partial character string extraction result f4.
  • the feature amount extraction unit 13 extracts a word unigram consisting of one extracted word, a character unigram consisting of one character that constitutes the extracted word, and an extracted word , A character bigram consisting of two consecutive characters is extracted from each word.
  • the feature amount extraction unit 13 converts the word “bluetooth / noun” having the word ID of 1 into “word unigram: bluetooth”, “character unigram: b, l, u, e, t, o, h "and” character bigram: bl, lu, ue, et, to, oo, oh, h are ".
  • the first character of the word located next to the word in the input sentence may be added to the last element of the extracted character bigram.
  • the feature amount extraction unit 13 extracts the word "word / gram” having the word ID of 2 from the "word unigram: ga”, “character unigram: ga”, and “character bigram: ga”. One "is extracted.
  • the feature amount extraction unit 13 converts the word “tsutsutsu / verb” whose word ID is 3 into “word unigram: tsutsutsu” and “character unigram: tsu, na, ga, hara”. And "character bigram: tsuna, nana, hira, nana”.
  • the feature amount extraction unit 13 converts the word “none / auxiliary verb” whose word ID is 4 into “word unigram: none”, “character unigram: na, i”, and “character bigram”. : No, ⁇ E> ”is extracted.
  • a character bigram from a word located at the end of the sentence in the input sentence, a special character indicating the end of the sentence, such as “ ⁇ E>”, is added to the last element of the extracted character bigram. It may be good.
  • the feature amount extraction unit 13 performs a feature amount selection process on the partial character string extraction result f4 to extract the feature amount f5.
  • the feature amount extraction unit 13 extracts a word unigram “bluetooth, is not connected,” which is a word extracted from the input sentence, as a feature amount.
  • the feature amount extraction unit 13 extracts a character unigram and a character bigram, which are character information included in a word extracted from the input sentence, as a feature amount.
  • the feature amount extraction unit 13 may extract character information from all the words included in the input sentence. However, as shown in an example shown in FIG. Character information may be extracted. If character information is extracted from all words included in an input document and all extracted character information is used as a feature amount, the number of dimensions of the feature amount (vector) input to the document classification model becomes enormous, The processing load related to model generation and document classification increases. By extracting only characters included in a word corresponding to the predetermined condition as character information, the processing load can be reduced.
  • the feature extracting unit 13 extracts character information from a word corresponding to a predetermined part of speech, among words included in the input sentence. By extracting character information from a word corresponding to a predetermined part of speech as a predetermined part of speech where a part of speech in which typographical errors and omissions are likely to occur, such a word was input as a document to be classified, including a typo, etc. Even in this case, it is possible to prevent the accuracy of the classification from lowering.
  • the feature information extraction unit 13 sets the extraction of the character information included in the noun as the feature information as the character information use condition, and sets the character information included in the noun word “bluetooth”.
  • a group (“character unigram: b, l, u, e, t, o, h” and “character bigram: bl, lu, ue, et, to, oo, oh, h") is extracted as a feature amount.
  • the feature amount extraction unit 13 outputs the word information “b, l, u, e, t, o, h,“ b, l, u, e, t, o, h ”included in the word“ bluetooth is not connected ”and the word“ bluetooth ”included in the input sentence.
  • bl, lu, ue, et, to, oo, oh, h ” are extracted as the feature value f5.
  • the feature amount extraction unit 13 may exclude a word corresponding to a predetermined part of speech from words included in the input sentence from words for extracting character information. For example, a part-of-speech that does not greatly affect the classification of a document, such as a particle, is regarded as a predetermined part-of-speech, and character information is not extracted from such a predetermined part-of-speech.
  • the amount of information input to the classification model can be appropriately reduced.
  • the feature amount extraction unit 13 may extract character information included at a predetermined frequency or less from the learning data acquired by the acquisition unit 11 as a feature amount.
  • a character included more than a predetermined frequency is likely to be a character such as a particle that does not greatly contribute to the accuracy of document classification.
  • the feature extraction unit 13 may remove duplicate character information from character information extracted from words included in the document. For example, in the example shown in FIG. 5, the character “na” is included in the word “tsutsuna” and the word “none” in an overlapping manner, so that one of the characters "na” obtained from each word is It may be removed. By removing overlapping characters from the feature amount in this way, the amount of information input to the document classification model can be reduced.
  • the model generation unit 14 performs machine learning based on the feature amount extracted from the document and the identification information associated with the document, and generates a document classification model.
  • the model generation unit 14 performs machine learning based on a feature amount extracted from an input sentence and a label associated with the input sentence.
  • the model generation unit 14 includes the label prediction unit 15, the loss calculation unit 16, and the model update unit 17.
  • the document classification model of this embodiment is configured to include a neural network (feedforward neural network).
  • a document classification model which is a model including a learned neural network, can be read or referenced by a computer, and can be regarded as a program that causes a computer to execute a predetermined process and realize a predetermined function.
  • the learned model of the present embodiment is used in a computer including a CPU and a memory.
  • the CPU of the computer responds to input from the input layer of the neural network (for example, a feature amount including word and character information) in accordance with an instruction from the learned model stored in the memory. Is performed based on the learned weighting coefficient corresponding to the above, the response function, and the like, and outputs the result (label) from the output layer.
  • the ⁇ ⁇ label predicting unit 15 converts a feature amount extracted from an input sentence into a feature vector using a feedforward neural network, and further performs affine transformation. Then, the label prediction unit 15 adapts the activation function to the feature vector, obtains a probability value of the label corresponding to the input sentence, and obtains a predicted label having the maximum probability value. The label predicting unit 15 acquires a label associated with the input sentence as a correct answer label.
  • the "correct label” is identification information for identifying the classification result of the input document.
  • the loss calculating unit 16 calculates a loss between the correct label and the predicted label using the probability value of each label obtained by the label predicting unit 15.
  • the model updating unit 17 propagates the loss back to the feedforward neural network, and updates the weight of the neural network.
  • the model generating unit 14 performs machine learning by the label predicting unit 15, the loss calculating unit 16, and the model updating unit 17, and when the updated neural network satisfies a predetermined condition regarding generation of a preset model, the neural network
  • the model including the network is stored in the model storage unit 22 as a learned document classification model.
  • the label predicting unit 15 predicts a label based on the feature extracted by the feature extracting unit 13.
  • Each element of X indicates each feature amount.
  • n indicates the number of features included in the input sentence.
  • a general feedforward neural network includes an input layer, a hidden layer, and an output layer.
  • the input layer converts a feature amount extracted from an input sentence into a feature vector.
  • the feature vector is a d-dimensional vector, and has a one-to-one correspondence with the feature amount of the input sentence (document) acquired from the document database 21.
  • E be a d1 ⁇ V-dimensional matrix that stores the feature vectors.
  • h W_in ⁇ S + b_in
  • W_in is a d2 ⁇ d1 dimension weight matrix
  • b_in is a bias vector of dimension d2.
  • h ′ tanh (h) is obtained using the activation function tanh.
  • affen transformation is performed on h ′, and an N-dimensional output layer O is obtained as follows.
  • N is the number of labels of the labels extracted from the document database associated with the labels.
  • O W_out ⁇ h ′ + b_out
  • W_out is an N ⁇ d two-dimensional weight matrix
  • b_out is a bias vector of dimension N.
  • the loss L between the correct label and the predicted label can be calculated. Is calculated.
  • the ⁇ model updating unit 17 updates the weight of the network by back-propagating the loss to the feedforward neural network using the error propagation method.
  • the model generation unit 14 causes the model storage unit 22 to store the generated model as a trained document classification model after reading the document associated with the label N times and updating the model.
  • each functional unit of the document classification device 1B will be described with reference to FIG.
  • the functions of the acquisition unit 11B, the normalization unit 12B, the feature amount extraction unit 13B, and the label prediction unit 15B of the document classification device 1B are the same as the acquisition unit 11, the normalization unit 12, the feature amount extraction unit 13, and the label prediction unit of the document classification device 1A. Since the function is the same as that of the unit 15, a brief description will be given.
  • the acquisition unit 11B acquires a document to be classified from the document database 23.
  • the document database 23 is a storage unit that stores documents to be classified.
  • the document to be classified is a document to which no label is associated.
  • the normalization unit 12B normalizes the document acquired by the acquisition unit 11B. Specifically, the normalization unit 12B performs, for example, Unicode normalization and a process of converting alphabets included in the document into lowercase letters in order to unify the notation of the document.
  • the feature amount extraction unit 13B extracts, as feature amounts, words included in the document and character information relating to characters constituting the words.
  • the label predicting unit 15B classifies the document based on the feature amount extracted by the feature amount extracting unit 13B, using the learned document classification model read from the model storage unit 22. Specifically, the label predicting unit 15B inputs a feature amount to the document classification model, and outputs a label output from the document classification model as identification information for identifying a result of the classification of the document.
  • FIG. 6 is a flowchart illustrating the processing content of the generation method according to the present embodiment.
  • step S1 the acquiring unit 11 acquires learning data including an input document and a label associated with the input document.
  • step S2 the feature amount extraction unit 13 extracts, as feature amounts, words included in the input document and character information on characters forming the words from the input document acquired in step S1.
  • the normalization unit 12 may normalize the input document prior to the extraction of the feature amount.
  • the model generation unit 14 performs machine learning based on the feature amount extracted from the document and the identification information associated with the document to generate a document classification model. More specifically, in step S3, the label predicting unit 15 obtains a predicted label having the maximum probability value based on the feature amount extracted from the input document using the feedforward neural network. I do.
  • step S4 the loss calculating unit 16 calculates a loss between the correct answer label and the predicted label using the label probability value obtained in step S3.
  • the correct answer label is a label associated with the input document acquired in step S1.
  • the model updating unit 17 propagates the loss back to the feedforward neural network, and updates the weight of the neural network.
  • step S5 the model generation unit 14 determines whether to end the learning process for generating a model in steps S1 to S4. This determination is made, for example, based on whether a predetermined condition is satisfied.
  • the predetermined condition may be, for example, that the number of pieces of learning data used for learning exceeds a threshold, or is not limited to this condition. If it is determined that the learning process is to be ended, the process returns to step S1. On the other hand, if it is not determined that the learning process is to be ended, the process proceeds to step S6.
  • step S6 the model generator 14 outputs the generated document classification model.
  • FIG. 7 is a flowchart showing the processing content of the classification method of the present embodiment.
  • step S11 the acquiring unit 11B acquires an input document that is a document to be classified.
  • step S12 the feature amount extraction unit 13B extracts, from the input document acquired in step S1, a word included in the input document and character information on characters constituting the word as a feature amount. Note that the normalization of the input document by the normalization unit 12B may be performed prior to the extraction of the feature amount.
  • step S13 the label prediction unit 15B reads the learned document classification model stored in the model storage unit 22.
  • the label predicting unit 15B classifies the input document using a document classification model including a feedforward neural network. Specifically, the label predicting unit 15B inputs a feature amount to the document classification model, and outputs a label output from the document classification model as identification information for identifying a result of the classification of the document.
  • FIG. 8 is a diagram showing a configuration of the document classification program P1.
  • the document classification program P1 includes a main module m10, an acquisition module m11, a normalization module m12, a feature amount extraction module m13, and a model generation module m14 that comprehensively control a model generation process in the document classification device 1.
  • the model generation module m14 includes a label prediction module m15, a loss calculation module m16, and a model update module m17.
  • the modules m11 to m17 are used for the acquisition unit 11, the normalization unit 12, the feature amount extraction unit 13, the model generation unit 14, the label prediction unit 15, the loss calculation unit 16, and the model update unit 17 in the document classification device 1. Functions are realized.
  • the document classification program P1 may be transmitted via a transmission medium such as a communication line, or may be stored in a recording medium M1 as shown in FIG.
  • a document extracted by using a word extracted from a learning document for generating a document classification model and character information including characters included in the word as a feature amount Since the classification model is generated, the information of each character included in the word is also reflected in the document classification model. Accordingly, even if a word included in a document to be classified includes an erroneous character, a misspelling, or the like, the character included in the word is also included in the document by being input as a feature amount to the document classification model. The characteristics of the characters that make up the word are added to the classification. Therefore, it is possible to prevent a decrease in the accuracy of document classification.
  • the learned document classification model not only a word extracted from a text to be classified but also a feature amount including character information including characters included in the word is used as learning data.
  • the feature amount extracting unit may extract character information from words included in the document and satisfying a predetermined condition.
  • the processing load can be reduced by extracting only the characters included in the word corresponding to the predetermined condition as character information.
  • the feature extraction unit may extract character information from a word corresponding to the first part of speech in words included in the document.
  • a part of speech in which erroneous characters and misspellings are likely to occur is used as a predetermined part of speech, and character information is extracted from a word corresponding to the predetermined part of speech. Even if the document is input as a document, it is possible to prevent a decrease in the accuracy of classification.
  • the feature amount extraction unit may exclude a word corresponding to the second part of speech from words included in the document from words for extracting character information.
  • a part of speech that does not significantly affect the classification of a document is set as a predetermined part of speech, and character information is not extracted from such a predetermined part of speech. And appropriately reducing the amount of information input to the document classification model.
  • the feature amount extraction unit may extract, as the feature amount, character information included at a predetermined frequency or lower in the learning data acquired by the acquisition unit.
  • a character included more than a predetermined frequency is likely to be a character such as a particle that does not greatly contribute to the accuracy of document classification. According to the above embodiment, by extracting characters included in the learning data as character information at an appropriately set predetermined frequency or less, it is possible to configure a feature amount that effectively contributes to prevention of a decrease in classification accuracy.
  • the feature amount extraction unit may remove duplicate character information from character information extracted from words included in the document.
  • the amount of information input to the document classification model can be reduced without lowering the classification accuracy.
  • Information and the like can be output from an upper layer (or lower layer) to a lower layer (or upper layer). Input and output may be performed via a plurality of network nodes.
  • Input and output information and the like may be stored in a specific place (for example, a memory) or may be managed in a management table. Information that is input and output can be overwritten, updated, or added. The output information or the like may be deleted. The input information or the like may be transmitted to another device.
  • the determination may be made based on a value (0 or 1) represented by one bit, a Boolean value (Boolean: true or false), or a comparison of numerical values (for example, a predetermined value). Value).
  • Each aspect / embodiment described in this specification may be used alone, may be used in combination, or may be switched with execution. Further, the notification of the predetermined information (for example, the notification of “X”) is not limited to being explicitly performed, and is performed implicitly (for example, not performing the notification of the predetermined information). Is also good.
  • software, instructions, and the like may be transmitted and received via a transmission medium.
  • a transmission medium such as coaxial cable, fiber optic cable, twisted pair and digital subscriber line (DSL) and / or a wireless technology such as infrared, wireless and microwave, the website, server, or other When transmitted from a remote source, these wired and / or wireless technologies are included within the definition of transmission medium.
  • the information, signals, etc. described herein may be represented using any of a variety of different technologies.
  • data, instructions, commands, information, signals, bits, symbols, chips, etc. that can be referred to throughout the above description are not limited to voltages, currents, electromagnetic waves, magnetic or magnetic particles, optical or photons, or any of these. May be represented by a combination of
  • system and “network” are used interchangeably.
  • information, parameters, and the like described in this specification may be represented by an absolute value, may be represented by a relative value from a predetermined value, or may be represented by another corresponding information. .
  • any reference to the element does not generally limit the quantity or order of the element. These designations may be used herein as a convenient way to distinguish between two or more elements. Thus, reference to a first and second element does not mean that only two elements may be employed therein, or that the first element must somehow precede the second element.
  • 1, 1A, 1B Document classifier, 11, 11B: Acquisition unit, 12, 12B: Normalization unit, 13, 13B: Feature extraction unit, 14: Model generation unit, 15, 15B: Label prediction unit, 16 ... Loss calculation unit, 17 model updating unit, 21 document database, 22 model storage unit, 23 document database, M1 recording medium, m10 main module, m11 acquisition module, m12 normalization module, m13 feature Quantity extraction module, m14: Model generation module, m15: Label prediction module, m16: Loss calculation module, m17: Model update module, P1: Document classification program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

文書分類装置は、文書を分類するためのモデルであって、入力された文書に基づいて、分類の結果を識別する識別情報を出力する文書分類モデルを機械学習により生成する装置であって、文書と該文書に関連付けられた識別情報とを含む学習データを取得する取得部と、文書に含まれる単語と、単語を構成する文字のうちの一の文字または単語において連続する複数の文字からなる文字列であって、前記単語から１または複数抽出可能な情報である文字情報と、を特徴量として抽出する特徴量抽出部と、文書から抽出された特徴量及び当該文書に関連付けられた識別情報に基づいて機械学習を行い、文書分類モデルを生成するモデル生成部と、を備える。

Description

文書分類装置及び学習済みモデル
　本発明は、文書分類装置及び学習済みモデルに関する。
　機械学習により生成されたモデルを用いて文書を分類する技術が知られている。このような技術においては、学習用の文書に対して形態素解析を行うことにより単語を抽出し、抽出した単語を特徴量として機械学習に供することが一般的である。
　非特許文献１には、機械学習手法の一種であるフィードフォワードニューラルネットワークを用いて単語単位の特徴量に基づいて文書分類モデルを生成し、文書分類を行うことが記載されている。
　特許文献１には、所定の照合条件に該当する文字列を特徴トークンとして文書から抽出し、特徴トークンとして抽出されなかった文字列を分割した文字を非特徴トークンとして抽出して、特徴トークン及び非特徴トークンを文書分類のための学習に用いる技術が記載されている。
　特許文献２には、語の表記揺れに対応するための辞書を作成する技術が記載されている。
特開２００９－９８９５２号公報 特開２０１６－１３９１６４号公報
Mohit Iyyer, Varun Manjunatha, Jordan Boyd-Graber and Hal Daume III. Deep Unordered Composition Rivals Syntactic Methods for Text Classification. Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, pages 1681-1691.
　分類対象として入力された文書において、例えば、チャットボットを利用するユーザーによるタイプミス及び誤認識等に起因して、単語に誤字及び脱字等が含まれる場合がある。入力された文書に誤字及び脱字等が含まれていると、分類精度の低下を招くこととなる。単語の表記揺れに対しては、特許文献２に記載されたような、一の単語に対して複数の表記を関連付けた辞書を用いることにより対応することができる。しかし、このような辞書を予め作成することにはコストがかかる。
　特許文献１に記載された技術では、ある単語に関して、表記が揺れた複数のバリエーションを学習に用いるわけではないので、誤字及び脱字等を含む文書が入力された場合の分類精度の低下を防止できない。
　そこで、本発明は、上記問題点に鑑みてなされたものであり、機械学習により生成されるモデルを用いた文書の分類において、誤字及び脱字等を含む文書の分類の精度の低下を防止可能な文書分類装置及び学習済モデルを提供することを目的とする。
　上記課題を解決するために、本発明の一形態に係る文書分類装置は、文書を分類するためのモデルであって、入力された文書に基づいて、分類の結果を識別する識別情報を出力する文書分類モデルを機械学習により生成する文書分類装置であって、文書と該文書に関連付けられた識別情報とを含む学習データを取得する取得部と、文書に含まれる単語と、当該単語を構成する文字のうちの一の文字または当該単語において連続する複数の文字からなる文字列であって、当該単語から１または複数抽出可能な情報である文字情報と、を特徴量として抽出する特徴量抽出部と、文書から抽出された特徴量及び当該文書に関連付けられた識別情報に基づいて機械学習を行い、文書分類モデルを生成するモデル生成部と、を備える。
　上記の形態によれば、文書分類モデルの生成のための学習用の文書から抽出された単語と共に、当該単語に含まれる文字からなる文字情報が特徴量として用いられて文書分類モデルが生成されるので、単語に含まれる文字単位の情報も文書分類モデルに反映される。これにより、分類対象の文書に含まれる単語に誤字及び脱字等が含まれている場合であっても、その単語に含まれる文字も特徴量として文書分類モデルに入力することにより、文書に含まれる単語を構成する文字に関する特徴が分類に加味される。従って、文書の分類の精度の低下を防止できる。
　上記課題を解決するために、本発明の一形態に係る学習済モデルは、入力された文書を分類し、分類の結果を識別する識別情報を出力するよう、コンピュータを機能させるための学習済みモデルであって、文書に含まれる単語と、当該単語を構成する文字のうちの一の文字または当該単語において連続する複数の文字からなる文字列であって、当該単語から１または複数抽出可能な情報である文字情報と、を含む特徴量を入力値とし、文書に関連付けられた識別情報を出力値とする学習データに基づく機械学習により構成される。
　上記の形態によれば、分類対象の文章から抽出された単語だけではなく、当該単語に含まれる文字からなる文字情報を含む特徴量が学習データとして用いられた機械学習により、文書を分類するための学習済みモデルが構成される。これにより、分類対象の文書に含まれる単語に誤字及び脱字等が含まれている場合であっても、その単語に含まれる文字も特徴量として学習済みモデルに入力することにより、文書に含まれる単語を構成する文字に関する特徴が分類に加味される。従って、文書の分類の精度の低下を防止できる。
　機械学習により生成されるモデルを用いた文書の分類において、誤字及び脱字等を含む文書の分類の精度の低下を防止可能な文書分類装置及び学習済モデルを提供することが可能となる。
文書分類モデルの機械学習による生成の局面における本実施形態に係る文書分類装置の機能的構成を示す機能ブロック図である。 文書分類モデルを用いた文書の分類（予測）の局面における本実施形態に係る文書分類装置の機能的構成を示す機能ブロック図である。 需要予測システムのハードブロック図である。 文書データベースに記憶されているラベル付き文書の例を示す図である。 正規化部による文書の正規化から特徴量抽出部による特徴量の抽出に至る処理の具体例を示す図である。 本実施形態の生成方法の処理内容を示すフローチャートである。 本実施形態の分類方法の処理内容を示すフローチャートである。 文書分類プログラムの構成を示す図である。
　本発明に係る文書分類装置及び学習済モデルの実施形態について図面を参照して説明する。なお、可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
　図１及び図２は、本実施形態に係る文書分類装置１の機能的構成を示す図である。文書分類装置１は、入力された文書に基づいて、文書の分類の結果を識別する識別情報を出力する文書分類モデルを機械学習により生成し、生成された文書分類モデルを用いて文書を分類し、分類の結果を示す識別情報を出力する。
　図１は、文書を分類するためのモデルである文書分類モデルの機械学習による生成の局面における文書分類装置１Ａ（１）の機能的構成を示す機能ブロック図である。図２は、文書分類モデルを用いた文書の分類（予測）の局面における文書分類装置１Ｂ（１）の機能的構成を示すブロック図である。
　図１に示すように、文書分類装置１Ａは、取得部１１、正規化部１２、特徴量抽出部１３及びモデル生成部１４を含む。モデル生成部１４は、ラベル予測部１５、損失計算部１６及びモデル更新部１７を含む。また、文書分類装置１Ａは、文書データベース２１及びモデル記憶部２２を含む。
　図２に示すように、文書分類装置１Ｂは、取得部１１Ｂ（１１）、正規化部１２Ｂ（１２）、特徴量抽出部１３Ｂ（１３）及びラベル予測部１５Ｂ（１５）を含む。また、文書分類装置１Ｂは、モデル記憶部２２及び文書データベース２３を含む。
　文書分類装置１Ａ及び文書分類装置１Ｂは、各々が別の装置として構成されてもよいし、一体に構成されてもよい。また、文書分類装置１Ａ及び文書分類装置１Ｂに含まれる各機能部は、複数の装置に分散されて構成されてもよい。
　なお、図１及び図２に示したブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に(例えば、有線及び／又は無線)で接続し、これら複数の装置により実現されてもよい。
　例えば、本発明の一実施の形態における文書分類装置１は、コンピュータとして機能してもよい。図３は、本実施形態に係る文書分類装置１のハードウェア構成の一例を示す図である。文書分類装置１は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。
　なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。文書分類装置１のハードウェア構成は、図３に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
　文書分類装置１における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信や、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。
　プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central　Processing　Unit）で構成されてもよい。また、プロセッサ１００１は、ＧＰＵ（Graphics　Processing　Unit）を含んで構成されてもよい。例えば、図１及び図２に示した各機能部１１～１７などは、プロセッサ１００１で実現されてもよい。
　また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、文書分類装置１の各機能部１１～１７は、メモリ１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよい。上述の各種処理は、１つのプロセッサ１００１で実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
　メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read　Only　Memory）、ＥＰＲＯＭ（Erasable　Programmable　ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random　Access　Memory）などの少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本発明の一実施の形態に係る文書分類方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。
　ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact　Disc　ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及び／又はストレージ１００３を含むデータベース、サーバその他の適切な媒体であってもよい。
　通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
　入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。
　また、プロセッサ１００１やメモリ１００２などの各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。
　また、文書分類装置１は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital　Signal　Processor）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＰＬＤ（Programmable　Logic　Device）、ＦＰＧＡ（Field　Programmable　Gate　Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。
　再び図１を参照して、文書分類装置１Ａの各機能部について説明する。取得部１１は、文書と当該文書に関連付けられた識別情報とを含む学習データを取得する。本実施形態では、取得部１１は、識別情報を構成するラベルが付されたラベル付き文書を文書データベース２１から取得する。
　文書データベース２１は、ラベル付き文書を記憶している記憶手段である。図４は、文書データベース２１に記憶されているラベル付き文書の例を示す図である。図４に示すように、文書データベース２１は、文書を識別する文書インデックスに関連付けて文書及びラベルを記憶している。例えば、文書インデックス「１」の文書は、「Ｂｌｕｅｔｏｏｔｈがつながらない」という文書であり、この文書には、ラベル「Ｃ００１」が付されている。
　正規化部１２は、取得部１１により取得された文書を正規化する。具体的には、正規化部１２は、例えば、文書の表記を統一するために、文書に対してＵｎｉｃｏｄｅ正規化を実施する。正規化形式は、例えば、ＮＦＫＣ（Normalization Form Compatibility Composition）であってもよい。また、正規化部１２は、さらに、正規化処理として、文書に含まれるアルファベットを小文字に変換してもよい。
　特徴量抽出部１３は、文書に含まれる単語と、当該単語を構成する文字に関する文字情報とを特徴量として抽出する。文字情報は、文書に含まれる単語を構成する文字のうちの一の文字または単語において連続する複数の文字からなる文字列である。文字情報は、一の単語から１または複数抽出可能な情報である。
　具体的には、特徴量抽出部１３は、周知の形態素解析の手法により、正規化部１２により正規化された文書に含まれる単語及び当該単語の品詞を抽出する。さらに、特徴量抽出部１３は、抽出した単語から、当該単語を構成する文字のうちの一の文字または当該単語において連続する複数の文字からなる文字列を、文字情報として抽出する。このように文書から抽出された単語及び文字情報が、文書の特徴量を構成する。
　ここで、図５を参照して、正規化部１２による文書の正規化から特徴量抽出部１３による特徴量の抽出に至る処理の具体例を説明する。まず、正規化部１２は、取得部１１により取得された入力文ｆ１「Ｂｌｕｅｔｏｏｈがつながらない」に対して文字列正規化処理を実施して、正規化結果ｆ２「ｂｌｕｅｔｏｏｈがつながらない」を得る。なお、この入力文ｆ１では、「Ｂｌｕｅｔｏｏｔｈ」という単語が誤入力されて、「Ｂｌｕｅｔｏｏｈ」となっている。
　次に、特徴量抽出部１３は、正規化結果ｆ２「ｂｌｕｅｔｏｏｈがつながらない」に対して形態素解析処理を実施して、正規化結果ｆ２から単語及びその単語の品詞を抽出する。図５の例では、特徴量抽出部１３は、形態素解析結果ｆ３として、「ｂｌｕｅｔｏｏｈ／名詞」、「が／助詞」、「つながら／動詞」、「ない／助動詞」を得る。これらの単語はそれぞれ、単語ＩＤ＝１～４により識別される。
　特徴量抽出部１３は、形態素解析結果ｆ３として抽出した各単語から部分文字列を抽出する部分文字列抽出処理を実施して、部分文字列抽出結果ｆ４を得る。図５に示す例では、特徴量抽出部１３は、抽出された一の単語からなる単語ユニグラムを抽出すると共に、抽出された単語を構成する一の文字からなる文字ユニグラム、及び、抽出された単語において連続する２文字からなる文字バイグラムを、各単語から抽出する。
　具体的には、特徴量抽出部１３は、符号ｆ４１に示すように、単語ＩＤが１である単語「ｂｌｕｅｔｏｏｈ／名詞」から、「単語ユニグラム：ｂｌｕｅｔｏｏｈ」、「文字ユニグラム：ｂ、ｌ、ｕ、ｅ、ｔ、ｏ、ｈ」及び「文字バイグラム：ｂｌ、ｌｕ、ｕｅ、ｅｔ、ｔｏ、ｏｏ、ｏｈ、ｈが」を抽出する。ここで、抽出される文字バイグラムの最後の要素には、入力文において当該単語の次に位置する単語の一文字目が付加されることとしてもよい。
　同様に、特徴量抽出部１３は、符号ｆ４２に示すように、単語ＩＤが２である単語「が／助詞」から、「単語ユニグラム：が」、「文字ユニグラム：が」及び「文字バイグラム：がつ」を抽出する。
　同様に、特徴量抽出部１３は、符号ｆ４３に示すように、単語ＩＤが３である単語「つながら／動詞」から、「単語ユニグラム：つながら」、「文字ユニグラム：つ、な、が、ら」及び「文字バイグラム：つな、なが、がら、らな」を抽出する。
　同様に、特徴量抽出部１３は、符号ｆ４４に示すように、単語ＩＤが４である単語「ない／助動詞」から、「単語ユニグラム：ない」、「文字ユニグラム：な、い」及び「文字バイグラム：ない、い＜Ｅ＞」を抽出する。ここで、入力文において文末に位置する単語から文字バイグラムを抽出する場合において、抽出される文字バイグラムの最後の要素には、例えば「＜Ｅ＞」のような、文末を示す特殊文字が付加されることとしてもよい。
　特徴量抽出部１３は、部分文字列抽出結果ｆ４に対して特徴量選択処理を実施して、特徴量ｆ５を抽出する。特徴量抽出部１３は、図５に示す例では、入力文から抽出された単語である単語ユニグラム「ｂｌｕｅｔｏｏｈ、が、つながら、ない」を特徴量として抽出する。また、特徴量抽出部１３は、入力文から抽出された単語に含まれる文字情報である文字ユニグラム及び文字バイグラムを特徴量として抽出する。
　特徴量抽出部１３は、入力文に含まれる全ての単語から文字情報を抽出してもよいが、図５に示す例のように、入力文に含まれる単語のうち所定条件に該当する単語から文字情報を抽出することとしてもよい。入力される文書に含まれる全ての単語から文字情報を抽出して抽出した全ての文字情報を特徴量とすると、文書分類モデルに入力する特徴量（ベクトル）の次元数が膨大になってしまい、モデルの生成及び文書の分類に係る処理負荷が大きくなる。所定条件に該当する単語に含まれる文字のみを文字情報として抽出することにより、処理負荷を軽減できる。
　特徴量抽出部１３は、入力文に含まれる単語のうち、所定の品詞に該当する単語から文字情報を抽出する。誤字及び脱字等が発生しやすい品詞を所定の品詞として、所定の品詞に該当する単語から文字情報を抽出することにより、そのような単語が誤字等を含んで、分類対象の文書として入力された場合であっても、分類の精度の低下を防止できる。
　図５に示す例では、特徴量抽出部１３は、具体的には名詞に含まれる文字情報を特徴量として抽出することを文字情報利用条件として、名詞である単語「ｂｌｕｅｔｏｏｈ」に含まれる文字情報群（「文字ユニグラム：ｂ、ｌ、ｕ、ｅ、ｔ、ｏ、ｈ」及び「文字バイグラム：ｂｌ、ｌｕ、ｕｅ、ｅｔ、ｔｏ、ｏｏ、ｏｈ、ｈが」）を特徴量として抽出する。
　そして、特徴量抽出部１３は、入力文に含まれる単語「ｂｌｕｅｔｏｏｈ、が、つながら、ない」及び単語「ｂｌｕｅｔｏｏｈ」に含まれる文字情報群「ｂ、ｌ、ｕ、ｅ、ｔ、ｏ、ｈ、ｂｌ、ｌｕ、ｕｅ、ｅｔ、ｔｏ、ｏｏ、ｏｈ、ｈが」を特徴量ｆ５として抽出する。
　また、特徴量抽出部１３は、入力文に含まれる単語のうち所定の品詞に該当する単語を、文字情報を抽出するための単語から除外することとしてもよい。例えば助詞等のような文書の分類に大きな影響を与えない品詞を所定の品詞として、そのような所定の品詞からの文字情報の抽出を行わないことにより、分類精度の低下を防止しつつ、文書分類モデルに入力する情報量を適切に削減できる。
　また、特徴量抽出部１３は、取得部１１により取得された学習データにおいて、所定頻度以下で含まれる文字情報を特徴量として抽出することとしてもよい。機械学習に用いる複数の学習データの文書において、所定頻度を超えて含まれる文字は、助詞等のように文書の分類の精度に大きく寄与しない文字である可能性が高い。適切に設定された所定頻度以下で学習データに含まれる文字を文字情報として抽出することにより、分類精度の低下の防止に効果的に寄与する特徴量を構成できる。
　また、特徴量抽出部１３は、文書に含まれる単語から抽出した文字情報から、重複する文字情報を除去することとしてもよい。例えば、図５に示す例において、文字「な」は、単語「つながら」及び単語「ない」に重複して含まれているので、それぞれの単語から取得された文字「な」のうちの一方を除去することとしてもよい。このように重複する文字を特徴量から除去することにより、文書分類モデルに入力する情報量を削減できる。
　再び図１を参照して、文書分類装置１Ａの機能部を説明する。モデル生成部１４は、文書から抽出された特徴量及び当該文書に関連付けられた識別情報に基づいて機械学習を行い、文書分類モデルを生成する。本実施形態では、モデル生成部１４は、入力文から抽出された特徴量及び当該入力文に関連付けられているラベルに基づいて機械学習を行う。前述のとおり、モデル生成部１４は、ラベル予測部１５、損失計算部１６及びモデル更新部１７を含む。
　本実施形態の文書分類モデルは、ニューラルネットワーク（フィードフォワードニューラルネットワーク）を含んで構成される。学習済みのニューラルネットワークを含むモデルである文書分類モデルは、コンピュータにより読み込まれ又は参照され、コンピュータに所定の処理を実行させ及びコンピュータに所定の機能を実現させるプログラムとして捉えることができる。
　即ち、本実施形態の学習済みモデルは、ＣＰＵ及びメモリを備えるコンピュータにおいて用いられる。具体的には、コンピュータのＣＰＵが、メモリに記憶された学習済みモデルからの指令に従って、ニューラルネットワークの入力層に入力された入力データ（例えば、単語及び文字情報を含む特徴量）に対し、各層に対応する学習済みの重み付け係数と応答関数等に基づく演算を行い、出力層から結果（ラベル）を出力するよう動作する。
　ラベル予測部１５は、フィードフォワードニューラルネットワークを用いて、入力文より抽出した特徴量を特徴ベクトルに変換し、さらにアフィン変換を行う。そして、ラベル予測部１５は、特徴ベクトルに活性化関数を適応させ、入力文に対応するラベルの確率値を求め、確率値が最大となる予測ラベルを取得する。ラベル予測部１５は、入力文に関連付けられているラベルを正解ラベルとして取得する。ここで、「正解ラベル」は、入力文書の分類結果を識別する識別情報である。
　損失計算部１６は、ラベル予測部１５により求められた各ラベルの確率値を用いて、正解ラベルと予測ラベルのとの間の損失を算出する。モデル更新部１７は、損失をフィードフォワードニューラルネットワークに逆伝搬させ、ニューラルネットワークの重みを更新する。
　モデル生成部１４は、ラベル予測部１５、損失計算部１６及びモデル更新部１７による機械学習を実施し、更新されたニューラルネットワークが予め設定されたモデルの生成に関する所定条件を満たした場合に、ニューラルネットワークを含むモデルを、学習済みの文書分類モデルとして、モデル記憶部２２に保存する。
　以下にモデル生成部１４によるモデル生成の例をより具体的に説明する。ラベル予測部１５は、特徴量抽出部１３により抽出された特徴量に基づいてラベルを予測する。ここで、入力文より得られた特徴量は、Ｘ＝｛ｘ＿１，ｘ＿２，・・・、ｘ＿ｎ｝のように表される。Ｘの各要素はそれぞれ、各特徴量を示す。nは入力文に含まれる特徴量の数を示す。一般的なフィードフォワードニューラルネットワークは、入力層、中間層、出力層により構成される。まず、入力層では、入力文より抽出した特徴量を特徴ベクトルに変換する。ここで特徴ベクトルは、ｄ次元のベクトルであり、文書データベース２１から取得された入力文（文書）の特徴量と一対一に対応している。また、特徴ベクトルを格納するｄ１×Ｖ次元の行列をＥとする。入力文から抽出された特徴量Ｘの各要素は、特徴ベクトルに変換され、特徴ベクトル列Ｃ＝｛ｃ＿１，ｃ＿２，・・・、ｃ＿ｎ｝となる。
　次に、中間層の入力とするため、特徴ベクトル列の平均をとり、ｄ１次元のベクトルとなるＳを求める。次に、Ｓに対してアフェン変換を行い、ｄ２次元の中間層ｈを得る。さらに、以下の式の計算により、ｈを得る。
ｈ＝Ｗ＿ｉｎ・Ｓ＋ｂ＿ｉｎ
ただし、Ｗ＿ｉｎはｄ２×ｄ１次元の重み行列であり、ｂ＿ｉｎは次元ｄ２のバイアスベクトルである。
　次に、活性化関数ｔａｎｈを用いて、ｈ’＝ｔａｎｈ（ｈ）を得る。そして、ｈ’に対してアフェン変換を行い、以下のようにＮ次元の出力層Ｏを求める。ここで、Ｎはラベルが関連付けられた文書データベースから抽出されたラベルのラベル数である。
Ｏ＝Ｗ＿ｏｕｔ・ｈ’＋ｂ＿ｏｕｔ
ただし、Ｗ＿ｏｕｔはＮ×ｄ２次元の重み行列であり、ｂ＿ｏｕｔは次元Ｎのバイアスベクトルである。
　求められたｈ’に、ソフトマックス関数を適応することで、各ラベルに対応する確率値を求めることができるので、各ラベルの確率値を用いて、正解ラベルと予測ラベルとの間の損失Ｌを算出する。損失Ｌは、クロスエントロピーにより以下の式により求められる。
Figure JPOXMLDOC01-appb-M000001
 ただし、上記式において、ｙ＿ｉ∈｛０，１｝であり、ラベルが正解ラベルである場合には、ｙ＿ｉ＝１となり、正解ラベルでない場合には、ｙ＿ｉ＝０となる。
　モデル更新部１７は、誤差伝搬法を用いて、損失をフィードフォワードニューラルネットワークに逆伝搬させ、ネットワークの重みを更新する。ここで更新すべき重みは、Ｗ＝｛Ｅ，Ｗ＿ｉｎ、ｂ＿ｉｎ、Ｗ＿ｏｕｔ、ｂ＿ｏｕｔ｝である。
　モデル生成部１４は、ラベルが関連付けられた文書のＮ回の読み込み及びモデルの更新の後、生成されたモデルを学習済みの文書分類モデルとしてモデル記憶部２２に記憶させる。
　次に、図２を参照して、文書分類装置１Ｂの各機能部について説明する。文書分類装置１Ｂの取得部１１Ｂ、正規化部１２Ｂ、特徴量抽出部１３Ｂ及びラベル予測部１５Ｂの機能は、文書分類装置１Ａの取得部１１、正規化部１２、特徴量抽出部１３及びラベル予測部１５の機能と同様であるので、簡単に説明する。
　取得部１１Ｂは、文書データベース２３から分類対象の文書を取得する。文書データベース２３は、分類対象の文書を記憶している記憶手段である。分類対象の文書は、ラベルが関連付けられていない文書である。
　正規化部１２Ｂは、取得部１１Ｂにより取得された文書を正規化する。具体的には、正規化部１２Ｂは、例えば、文書の表記を統一するために、文書に対してＵｎｉｃｏｄｅ正規化及び文書に含まれるアルファベットを小文字に変換する処理等を実施する。
　特徴量抽出部１３Ｂは、文書に含まれる単語と、当該単語を構成する文字に関する文字情報とを特徴量として抽出する。
　ラベル予測部１５Ｂは、特徴量抽出部１３Ｂにより抽出された特徴量に基づいて、モデル記憶部２２から読み出した学習済みの文書分類モデルを用いて、文書を分類する。具体的には、ラベル予測部１５Ｂは、文書分類モデルに特徴量を入力し、文書分類モデルから出力されるラベルを、文書の分類の結果を識別する識別情報として出力する。
　次に、図６を参照して、文書分類装置１における、文書分類モデルを機械学習により生成する生成方法について説明する。図６は、本実施形態の生成方法の処理内容を示すフローチャートである。
　ステップＳ１において、取得部１１は、入力文書と当該入力文書に関連付けられたラベルとを含む学習データを取得する。
　ステップＳ２において、特徴量抽出部１３は、ステップＳ１において取得された入力文書から、入力文書に含まれる単語と、当該単語を構成する文字に関する文字情報とを特徴量として抽出する。なお、特徴量の抽出に先立って、正規化部１２による入力文書の正規化が実施されてもよい。
　ステップＳ３及びステップ４において、モデル生成部１４は、文書から抽出された特徴量及び当該文書に関連付けられた識別情報に基づいて機械学習を行い、文書分類モデルを生成する。具体的には、ステップＳ３において、ラベル予測部１５は、ラベル予測部１５は、フィードフォワードニューラルネットワークを用いて、入力文書より抽出した特徴量に基づいて、確率値が最大となる予測ラベルを取得する。
　ステップＳ４において、損失計算部１６は、ステップＳ３において求められたラベルの確率値を用いて、正解ラベルと予測ラベルとの間の損失を算出する。正解ラベルはステップＳ１において取得された入力文書に関連付けられているラベルである。そして、モデル更新部１７は、損失をフィードフォワードニューラルネットワークに逆伝搬させ、ニューラルネットワークの重みを更新する。
　ステップＳ５において、モデル生成部１４は、ステップＳ１～Ｓ４のモデルの生成のための学習処理を終了するか否かを判定する。この判定は、例えば、所定条件が充足されたか否かにより行われる。所定条件は、例えば、学習に用いた学習データの数が閾値を超えること等とすることができるか、この条件に限定されない。学習処理を終了すると判定された場合には、処理はステップＳ１に戻る。一方、学習処理を終了すると判定されなかった場合には、処理はステップＳ６に進む。
　ステップＳ６において、モデル生成部１４は、生成された文書分類モデルを出力する。
　次に、図７を参照して、文書分類装置１Ｂ（１）における、文書分類モデルを用いた文書の分類（予測）方法について説明する。図７は、本実施形態の分類方法の処理内容を示すフローチャートである。
　ステップＳ１１において、取得部１１Ｂは、分類対象の文書である入力文書を取得する。
　ステップＳ１２において、特徴量抽出部１３Ｂは、ステップＳ１において取得された入力文書から、入力文書に含まれる単語と、当該単語を構成する文字に関する文字情報とを特徴量として抽出する。なお、特徴量の抽出に先立って、正規化部１２Ｂによる入力文書の正規化が実施されてもよい。
　ステップＳ１３において、ラベル予測部１５Ｂは、モデル記憶部２２に記憶されている学習済みの文書分類モデルを読み込む。
　ステップＳ１４において、ラベル予測部１５Ｂは、フィードフォワードニューラルネットワークを含む文書分類モデルを用いて、入力文書を分類する。具体的には、ラベル予測部１５Ｂは、文書分類モデルに特徴量を入力し、文書分類モデルから出力されるラベルを、文書の分類の結果を識別する識別情報として出力する。
　次に、コンピュータを、本実施形態の文書分類装置１として機能させるための文書分類プログラムについて説明する。図８は、文書分類プログラムＰ１の構成を示す図である。
　文書分類プログラムＰ１は、文書分類装置１におけるモデルの生成処理を統括的に制御するメインモジュールｍ１０、取得モジュールｍ１１、正規化モジュールｍ１２、特徴量抽出モジュールｍ１３及びモデル生成モジュールｍ１４を備えて構成される。モデル生成モジュールｍ１４は、ラベル予測モジュールｍ１５、損失計算モジュールｍ１６及びモデル更新モジュールｍ１７を含む。そして、各モジュールｍ１１～ｍ１７により、文書分類装置１における取得部１１、正規化部１２、特徴量抽出部１３、モデル生成部１４、ラベル予測部１５、損失計算部１６及びモデル更新部１７のための各機能が実現される。なお、文書分類プログラムＰ１は、通信回線等の伝送媒体を介して伝送される態様であってもよいし、図８に示されるように、記録媒体Ｍ１に記憶される態様であってもよい。
　以上説明した本実施形態の文書分類装置１では、文書分類モデルの生成のための学習用の文書から抽出された単語と共に、当該単語に含まれる文字からなる文字情報が特徴量として用いられて文書分類モデルが生成されるので、単語に含まれる文字単位の情報も文書分類モデルに反映される。これにより、分類対象の文書に含まれる単語に誤字及び脱字等が含まれている場合であっても、その単語に含まれる文字も特徴量として文書分類モデルに入力することにより、文書に含まれる単語を構成する文字に関する特徴が分類に加味される。従って、文書の分類の精度の低下を防止できる。
　また、本実施形態の学習済みの文書分類モデルでは、分類対象の文章から抽出された単語だけではなく、当該単語に含まれる文字からなる文字情報を含む特徴量が学習データとして用いられた機械学習により、文書を分類するための学習済みモデルが構成される。これにより、分類対象の文書に含まれる単語に誤字及び脱字等が含まれている場合であっても、その単語に含まれる文字も特徴量として学習済みモデルに入力することにより、文書に含まれる単語を構成する文字に関する特徴が分類に加味される。従って、文書の分類の精度の低下を防止できる。
　また、別の形態に係る文書分類装置では、特徴量抽出部は、文書に含まれる単語のうち所定条件に該当する単語から、文字情報を抽出することとしてもよい。
　入力される文書に含まれる全ての文字を特徴量とすると、文書分類モデルに入力する特徴量（ベクトル）の次元数が膨大になってしまい、モデルの生成及び文書の分類に係る処理負荷が大きくなる。上記形態によれば、所定条件に該当する単語に含まれる文字のみを文字情報として抽出することにより、処理負荷を軽減できる。
　また、別の形態に係る文書分類装置は、特徴量抽出部は、文書に含まれる単語のうち第１の品詞に該当する単語から、文字情報を抽出することとしてもよい。
　上記形態によれば、誤字及び脱字等が発生しやすい品詞を所定の品詞として、所定の品詞に該当する単語から文字情報を抽出することにより、そのような単語が誤字等を含んで、分類対象の文書として入力された場合であっても、分類の精度の低下を防止できる。
　また、別の形態に係る文書分類装置では、特徴量抽出部は、文書に含まれる単語のうち第２の品詞に該当する単語を、文字情報を抽出する単語から除外することとしてもよい。
　上記形態によれば、例えば助詞等のような文書の分類に大きな影響を与えない品詞を所定の品詞として、そのような所定の品詞からの文字情報の抽出を行わないことにより、分類精度の低下を防止しつつ、文書分類モデルに入力する情報量を適切に削減できる。
　また、別の形態に係る文書分類装置では、特徴量抽出部は、取得部により取得された学習データにおいて、所定頻度以下で含まれる文字情報を、特徴量として抽出することとしてもよい。
　機械学習に用いる複数の学習データの文書において、所定頻度を超えて含まれる文字は、助詞等のように文書の分類の精度に大きく寄与しない文字である可能性が高い。上記形態によれば、適切に設定された所定頻度以下で学習データに含まれる文字を文字情報として抽出することにより、分類精度の低下の防止に効果的に寄与する特徴量を構成できる。
　また、別の形態に係る文書分類装置では、特徴量抽出部は、文書に含まれる単語から抽出した文字情報から、重複する文字情報を除去することとしてもよい。
　上記形態によれば、分類精度の低下を招くことなく、文書分類モデルに入力する情報量を削減できる。
　以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。
　本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
　情報等は、上位レイヤ(または下位レイヤ)から下位レイヤ(または上位レイヤ)へ出力され得る。複数のネットワークノードを介して入出力されてもよい。
　入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
　判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
　本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
　ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
　また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。
　本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
　なお、本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。
　本明細書で使用する「システム」および「ネットワーク」という用語は、互換的に使用される。
　また、本明細書で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。
　本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
　本明細書で「第１の」、「第２の」などの呼称を使用した場合においては、その要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１および第２の要素への参照は、２つの要素のみがそこで採用され得ること、または何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。
　「含む（include）」、「含んでいる（including）」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。
　本明細書において、文脈または技術的に明らかに1つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。
　本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。
　１，１Ａ，１Ｂ…文書分類装置、１１，１１Ｂ…取得部、１２，１２Ｂ…正規化部、１３，１３Ｂ…特徴量抽出部、１４…モデル生成部、１５，１５Ｂ…ラベル予測部、１６…損失計算部、１７…モデル更新部、２１…文書データベース、２２…モデル記憶部、２３…文書データベース、Ｍ１…記録媒体、ｍ１０…メインモジュール、ｍ１１…取得モジュール、ｍ１２…正規化モジュール、ｍ１３…特徴量抽出モジュール、ｍ１４…モデル生成モジュール、ｍ１５…ラベル予測モジュール、ｍ１６…損失計算モジュール、ｍ１７…モデル更新モジュール、Ｐ１…文書分類プログラム。

Claims (7)

  1. 　文書を分類するためのモデルであって、入力された文書に基づいて、分類の結果を識別する識別情報を出力する文書分類モデルを機械学習により生成する文書分類装置であって、
    　文書と該文書に関連付けられた前記識別情報とを含む学習データを取得する取得部と、
    　前記文書に含まれる単語と、前記単語を構成する文字のうちの一の文字または前記単語において連続する複数の文字からなる文字列であって、前記単語から１または複数抽出可能な情報である文字情報と、を特徴量として抽出する特徴量抽出部と、
    　前記文書から抽出された特徴量及び当該文書に関連付けられた前記識別情報に基づいて機械学習を行い、前記文書分類モデルを生成するモデル生成部と、
    　を備える文書分類装置。
  2. 　前記特徴量抽出部は、前記文書に含まれる単語のうち所定条件に該当する単語から、前記文字情報を抽出する、
    　請求項１に記載の文書分類装置。
  3. 　前記特徴量抽出部は、前記文書に含まれる単語のうち第１の品詞に該当する単語から、前記文字情報を抽出する、
    　請求項２に記載の文書分類装置。
  4. 　前記特徴量抽出部は、前記文書に含まれる単語のうち第２の品詞に該当する単語を、前記文字情報を抽出する単語から除外する、
    　請求項２または３に記載の文書分類装置。
  5. 　前記特徴量抽出部は、前記取得部により取得された前記学習データにおいて、所定頻度以下で含まれる文字情報を、特徴量として抽出する、
    　請求項１～４のいずれか一項に記載の文書分類装置。
  6. 　前記特徴量抽出部は、前記文書に含まれる単語から抽出した文字情報から、重複する文字情報を除去する、
    　請求項１～５のいずれか一項に記載の文書分類装置。
  7. 　入力された文書を分類し、分類の結果を識別する識別情報を出力するよう、コンピュータを機能させるための学習済みモデルであって、
    　前記文書に含まれる単語と、前記単語を構成する文字のうちの一の文字または前記単語において連続する複数の文字からなる文字列であって、前記単語から１または複数抽出可能な情報である文字情報と、を含む特徴量を入力値とし、前記文書に関連付けられた前記識別情報を出力値とする学習データに基づく機械学習により構成された、
    　学習済みモデル。
PCT/JP2019/021289 2018-07-24 2019-05-29 文書分類装置及び学習済みモデル Ceased WO2020021845A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/041,299 US12118308B2 (en) 2018-07-24 2019-05-29 Document classification device and trained model
JP2020532182A JPWO2020021845A1 (ja) 2018-07-24 2019-05-29 文書分類装置及び学習済みモデル

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-138453 2018-07-24
JP2018138453 2018-07-24

Publications (1)

Publication Number Publication Date
WO2020021845A1 true WO2020021845A1 (ja) 2020-01-30

Family

ID=69181637

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/021289 Ceased WO2020021845A1 (ja) 2018-07-24 2019-05-29 文書分類装置及び学習済みモデル

Country Status (3)

Country Link
US (1) US12118308B2 (ja)
JP (1) JPWO2020021845A1 (ja)
WO (1) WO2020021845A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114155546A (zh) * 2022-02-07 2022-03-08 北京世纪好未来教育科技有限公司 一种图像矫正方法、装置、电子设备和存储介质
WO2023062799A1 (ja) * 2021-10-14 2023-04-20 株式会社Pfu 情報処理システム、原稿種識別方法、モデル生成方法及びプログラム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12307351B2 (en) * 2020-09-09 2025-05-20 Allegro Microsystems, Llc Method and apparatus for trimming sensor output using a neural network engine
CN112906380B (zh) * 2021-02-02 2024-09-27 北京有竹居网络技术有限公司 文本中角色的识别方法、装置、可读介质和电子设备
US12360181B2 (en) * 2021-04-20 2025-07-15 Allegro Microsystems, Llc Multi-domain detector based on artificial neural network
US11704352B2 (en) 2021-05-03 2023-07-18 Bank Of America Corporation Automated categorization and assembly of low-quality images into electronic documents
US11798258B2 (en) 2021-05-03 2023-10-24 Bank Of America Corporation Automated categorization and assembly of low-quality images into electronic documents
US11881041B2 (en) 2021-09-02 2024-01-23 Bank Of America Corporation Automated categorization and processing of document images of varying degrees of quality
US20230214403A1 (en) * 2021-12-30 2023-07-06 Breakwater Solutions Llc Method and System for Segmenting Unstructured Data Sources for Analysis
US20230350954A1 (en) * 2022-05-02 2023-11-02 SparkCognition, Inc. Systems and methods of filtering topics using parts of speech tagging
US11989506B2 (en) * 2022-07-27 2024-05-21 Capital One Services, Llc Systems for database searching and database schemas management and methods of use thereof
US11816427B1 (en) * 2022-10-27 2023-11-14 Intuit, Inc. Automated data classification error correction through spatial analysis using machine learning

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0554037A (ja) * 1991-08-28 1993-03-05 Fujitsu Ltd 文書分類方式
JPH08166965A (ja) * 1994-12-14 1996-06-25 Nippon Telegr & Teleph Corp <Ntt> 日本語テキスト自動分類方法
US20060089924A1 (en) * 2000-09-25 2006-04-27 Bhavani Raskutti Document categorisation system
CN108108351A (zh) * 2017-12-05 2018-06-01 华南理工大学 一种基于深度学习组合模型的文本情感分类方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000231560A (ja) * 1999-02-10 2000-08-22 Ricoh Co Ltd 文書自動分類方式
JP5056337B2 (ja) 2007-10-17 2012-10-24 三菱電機株式会社 情報検索システム
US8805689B2 (en) * 2008-04-11 2014-08-12 The Nielsen Company (Us), Llc Methods and apparatus to generate and use content-aware watermarks
KR20120009200A (ko) * 2010-07-23 2012-02-01 삼성전자주식회사 휴대용 단말기에서 문자 입력 방법 및 장치
JP6613569B2 (ja) 2015-01-26 2019-12-04 日本電気株式会社 表記揺れ辞書作成支援装置、表記揺れ辞書作成支援方法、及び表記揺れ辞書作成支援プログラム
US10698926B2 (en) * 2017-04-20 2020-06-30 Microsoft Technology Licensing, Llc Clustering and labeling streamed data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0554037A (ja) * 1991-08-28 1993-03-05 Fujitsu Ltd 文書分類方式
JPH08166965A (ja) * 1994-12-14 1996-06-25 Nippon Telegr & Teleph Corp <Ntt> 日本語テキスト自動分類方法
US20060089924A1 (en) * 2000-09-25 2006-04-27 Bhavani Raskutti Document categorisation system
CN108108351A (zh) * 2017-12-05 2018-06-01 华南理工大学 一种基于深度学习组合模型的文本情感分类方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023062799A1 (ja) * 2021-10-14 2023-04-20 株式会社Pfu 情報処理システム、原稿種識別方法、モデル生成方法及びプログラム
JPWO2023062799A1 (ja) * 2021-10-14 2023-04-20
JP7705468B2 (ja) 2021-10-14 2025-07-09 株式会社Pfu 情報処理システム、原稿種識別方法、モデル生成方法及びプログラム
CN114155546A (zh) * 2022-02-07 2022-03-08 北京世纪好未来教育科技有限公司 一种图像矫正方法、装置、电子设备和存储介质
CN114155546B (zh) * 2022-02-07 2022-05-20 北京世纪好未来教育科技有限公司 一种图像矫正方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
JPWO2020021845A1 (ja) 2021-02-15
US20210026874A1 (en) 2021-01-28
US12118308B2 (en) 2024-10-15

Similar Documents

Publication Publication Date Title
WO2020021845A1 (ja) 文書分類装置及び学習済みモデル
Wang et al. A neural transition-based model for nested mention recognition
US8380488B1 (en) Identifying a property of a document
US8655646B2 (en) Apparatus and method for detecting named entity
US20180293228A1 (en) Device and method for converting dialect into standard language
US10585989B1 (en) Machine-learning based detection and classification of personally identifiable information
US8909514B2 (en) Unsupervised learning using global features, including for log-linear model word segmentation
CN111291195A (zh) 一种数据处理方法、装置、终端及可读存储介质
JP6799562B2 (ja) 言語特徴の抽出装置、固有表現の抽出装置、抽出方法、及びプログラム
KR20210138266A (ko) 딥러닝 기반 키워드 추출 방법 및 장치
US20190095525A1 (en) Extraction of expression for natural language processing
JPWO2014073206A1 (ja) 情報処理装置、及び、情報処理方法
JP6737025B2 (ja) 符号化プログラム、検索プログラム、符号化装置、検索装置、符号化方法、及び検索方法
Noshin Jahan et al. Bangla real-word error detection and correction using bidirectional lstm and bigram hybrid model
Anam et al. A deep learning approach for Named Entity Recognition in Urdu language
KR102599980B1 (ko) 텍스트 데이터 복호화를 위한 데이터 처리 방법 및 그 데이터 처리 장치
Jin et al. Duluth UROP at SemEval-2018 task 2: Multilingual emoji prediction with ensemble learning and oversampling
Venčkauskas et al. Problems of authorship identification of the national language electronic discourse
US11842152B2 (en) Sentence structure vectorization device, sentence structure vectorization method, and storage medium storing sentence structure vectorization program
Al-Mubaid A Learning-Classification Based Approach for Word Prediction.
CN112182337B (zh) 从海量短新闻中识别相似新闻的方法及相关设备
CN119358544B (zh) 模型训练方法、分类及要素抽取方法、装置、设备和介质
CN113282717A (zh) 文本中实体关系的抽取方法、装置、电子设备及存储介质
JP6303508B2 (ja) 文書分析装置、文書分析システム、文書分析方法およびプログラム
US20210142007A1 (en) Entity identification system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19841499

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020532182

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19841499

Country of ref document: EP

Kind code of ref document: A1