WO2016189606A1 - データ分析システム、制御方法、制御プログラム、および記録媒体 - Google Patents

データ分析システム、制御方法、制御プログラム、および記録媒体 Download PDF

Info

Publication number
WO2016189606A1
WO2016189606A1 PCT/JP2015/064833 JP2015064833W WO2016189606A1 WO 2016189606 A1 WO2016189606 A1 WO 2016189606A1 JP 2015064833 W JP2015064833 W JP 2015064833W WO 2016189606 A1 WO2016189606 A1 WO 2016189606A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
target data
keyness
component
partial
Prior art date
Application number
PCT/JP2015/064833
Other languages
English (en)
French (fr)
Inventor
秀樹 武田
ヤコブ ハルスコウ
Original Assignee
株式会社Ｕｂｉｃ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｕｂｉｃ filed Critical 株式会社Ｕｂｉｃ
Priority to JP2015558244A priority Critical patent/JP5933863B1/ja
Priority to PCT/JP2015/064833 priority patent/WO2016189606A1/ja
Publication of WO2016189606A1 publication Critical patent/WO2016189606A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Definitions

  • the present invention relates to a data analysis system that analyzes data, and can be applied to, for example, an artificial intelligence system that analyzes big data.
  • the generative summarization method extracts several keywords from a target document (hereinafter referred to as “target document”), detects appropriate high-level concepts of the keywords for the extracted keywords, and detects the detected high-level concepts.
  • target document a target document
  • This is a method of creating a summary of a target document using (see, for example, Patent Document 1).
  • the present invention has been made in view of the above problems, and its object is to propose a data analysis system, a control method, a control program, and a recording medium that can generate a summary of data by a simple method. is there.
  • a data analysis system analyzes a target data including at least a part of content that can be recognized by a user, and generates a summary of the content.
  • a memory for storing the control program and a controller for executing the control program stored in the memory the controller disassembles the target data into a plurality of components based on the control program, For each of the components, a keyness that represents a deviation of the appearance frequency in the target data with respect to the appearance frequency of the component in a predetermined reference data set is calculated, and based on the calculated keyness for each of the components, The component that represents the characteristics of the target data is selected from the components.
  • the degree of importance of each partial data is estimated based on the keyness of the component representing the characteristics of the target data, and the partial data includes at least a part of the target data by including a plurality of the components.
  • the importance is estimated for each partial data based on the keyness as an index indicating the importance of the partial data in the target data, and each of the estimated partial data Based on the importance, the partial data that can be a summary of the target data is extracted from the partial data constituting the target data.
  • a control method of a data analysis system analyzes target data including at least a part of content that can be recognized by a user, and generates a summary of the content.
  • a first step of decomposing the target data into a plurality of components, and an appearance in the target data with respect to an appearance frequency of the components in a predetermined reference data set for each of the components A second step of calculating each keyness representing a frequency deviation; and a third step of selecting the component representing the feature of the target data from the components based on the calculated keyness for each component And the overlap of each partial data based on the keyness of the component representing the characteristics of the target data.
  • the partial data includes at least a part of the target data by including a plurality of the constituent elements, and the importance is the importance of the partial data in the target data
  • each partial data is estimated based on the keyness.
  • a control program provides a data analysis system that analyzes target data including at least a part of content that can be recognized by a user and generates a summary of the content.
  • the component representing the characteristic of the target data is selected from the components based on the second step of calculating the keyness representing the deviation of the appearance frequency in each and the calculated keyness for each component Based on the third step and the keyness of the component representing the characteristics of the target data, each partial data And extracting the partial data that can be a summary of the target data from the partial data constituting the target data based on the estimated importance of each of the partial data.
  • the partial data includes at least a part of the target data by including a plurality of the constituent elements, and the importance is determined by the partial data occupying the target data.
  • the data analysis system is caused to execute processing estimated for each partial data based on the keyness.
  • a storage medium provides a data analysis system that analyzes target data including at least part of content that can be recognized by a user and generates a summary of the content.
  • a recording medium storing a control program for controlling, wherein the control program includes a first step of decomposing the target data into a plurality of constituent elements, and a predetermined reference data set for each of the constituent elements.
  • the data analysis system is caused to execute processing estimated for each partial data based on the keyness.
  • FIG. 1 is a block diagram showing an example of a hardware configuration of a data analysis system 1 (hereinafter, simply referred to as “system 1”) according to the present embodiment.
  • the system 1 includes, for example, an arbitrary recording medium (for example, a memory or a hard disk) capable of storing data (including digital data and analog data), and a controller (for executing a control program stored in the recording medium).
  • an arbitrary recording medium for example, a memory or a hard disk
  • data including digital data and analog data
  • controller for executing a control program stored in the recording medium
  • a computer for example, a personal computer, a server device, a client device, a workstation, a mainframe, or the like
  • a computer system that includes a CPU (Central Processing Unit) and analyzes data stored at least temporarily in the recording medium
  • a server device that executes main processing for data analysis, a client device used by a user, a file server that stores data to be analyzed, and the like, and data analysis is realized through the integrated operation of multiple computers.
  • Cis May be implemented as a no).
  • FIG. 1 an example in which the system 1 is realized by the latter will be mainly described.
  • “data” may be any data expressed in a format that can be processed by the computer.
  • the data may be, for example, unstructured data whose structure definition is incomplete at least in part, and document data (for example, e-mail (attached file header) Information), technical documents (including a wide range of documents explaining technical matters such as academic papers, patent publications, product specifications, design drawings, etc.), presentation materials, spreadsheets, financial statements, meeting materials, Record reports, sales documents, contracts, organization charts, business plans, company analysis information, electronic medical records, web pages, blogs, comments posted on social network services, etc., audio data (eg conversation / music) Data), image data (eg, data composed of a plurality of pixels or vector information), video data (eg, Broadly includes such configured data) of a plurality of frame images.
  • document data for example, e-mail (attached file header) Information
  • technical documents including a wide range of documents explaining technical matters such as academic papers, patent publications, product specifications, design drawings, etc.
  • presentation materials including a wide
  • “reference data” is, for example, data associated with classification information by a user (classified data, which is a combination of data and classification information). It may be.
  • the “target data” may be data not associated with the classification information (unclassified data that is not presented to the user as reference data and is not classified for the user).
  • the “classification information” may be an identification label used for classifying the reference data. For example, a “Related” label indicating that the reference data and a predetermined case are related is particularly related.
  • the reference data may be information that classifies the reference data into five, such as “normal”, “slightly bad”, and “bad”.
  • the “predetermined case” includes a wide range of objects for which the system 1 evaluates relevance with data, and the scope thereof is not limited.
  • the predetermined case may be a case in which a discovery procedure is required, or when the system 1 is realized as a criminal investigation support system,
  • it may be fraudulent acts (for example, information leakage, collusion, etc.), or medical application systems (for example, pharmacovigilance support system, clinical trial efficiency system, medical care)
  • pharmacovigilance support system for example, pharmacovigilance support system, clinical trial efficiency system, medical care
  • it may be a case or case related to medicine
  • an Internet application system for example, smart mail system, information aggregation) (Curation) system, user supervision System, social media management system, etc.
  • it may be case examples / cases related to the Internet, and if implemented as a project evaluation system, it may be a project that has been carried
  • it may be a product / service targeted for marketing, or it may be realized as an intellectual property evaluation system, it may be an intellectual property subject to evaluation, or it may be realized as an unauthorized transaction monitoring system, It may be a fraudulent financial transaction, if it is realized as a call center escalation system, it may be a past response case, if it is realized as a credit check system, it may be a subject of credit check, and driving support When implemented as a system, the vehicle It may be that relating to the operation, if it is implemented as a sales support system may be operating results.
  • the data analysis system 1 includes, for example, a server device 2 that can execute a main process of data analysis and one or more that can execute a related process of the data analysis.
  • a storage system 5 including a plurality of client devices 3, a database 4 for recording data and evaluation results for the data, and a management computer 6 that provides a management function for data analysis to the client device 3 and the server device 2. And may be provided.
  • the client device 3 presents a part of the data as reference data to the user. As a result, the user can perform input for evaluation / classification of the reference data via the client device 3.
  • the client device 3 includes, as hardware resources, for example, a memory, a controller, a bus, an input / output interface (for example, a keyboard, a display, etc.), and a communication interface (communication means 7 using a predetermined network). 3 and the server apparatus 2 and the management computer 6 are communicably connected).
  • the server device 2 Based on the combination of data and classification information (reference data), the server device 2 broadly refers to patterns (for example, abstract rules, meanings, concepts, styles, distributions, samples, etc. included in the data) Is not limited to a so-called “specific pattern”), and the relevance between the target data and a predetermined case is evaluated based on the pattern. That is, the server device 2 can evaluate the relevance between the target data and the lawsuit based on the learned pattern, can also evaluate the relevance between the target data and the criminal investigation, And the user's preference can be evaluated, and the relationship between the target data and any other event can be evaluated.
  • the server device 2 may include, for example, a memory, a controller, a bus, an input / output interface, and a communication interface as hardware resources.
  • the management computer 6 executes predetermined management processing on the client device 3, the server device 2, and the storage system 22.
  • the management computer 6 may include, for example, a memory, a controller, a bus, an input / output interface, and a communication interface as hardware resources.
  • application programs that can control each device are stored in the memory provided in each of the client device 3, the server device 2, and the management computer 6, and each controller executes the application program to thereby execute the application program.
  • Programs (software resources) and hardware resources cooperate to operate each device.
  • the storage system 5 may be composed of, for example, a disk array system, and may include a database 4 that records data and results of evaluation / classification of the data.
  • the server apparatus 2 and the storage apparatus 18 are connected (16) by a DAS (Direct Attached Storage) method or a SAN (Storage Area Network).
  • DAS Direct Attached Storage
  • SAN Storage Area Network
  • FIG. 1 the hardware configuration shown in FIG. 1 is merely an example, and the system 1 can be realized by other hardware configurations.
  • a part or all of the processing executed in the server device 2 may be executed in the client device 3, or a part or all of the processing may be executed in the server device 2.
  • the storage system 5 may be built in the server device 2. It is understood by those skilled in the art that there can be various hardware configurations capable of realizing the system 1, and the present invention is not limited to one specific configuration (for example, the configuration illustrated in FIG. 1).
  • FIG. 2 is a functional block diagram illustrating an example of a predictive coding function provided in the data analysis system 1 according to the present embodiment.
  • the system 1 can include a predictive coding unit 10.
  • Predictive Coding unit 80 is based on a small number of data manually classified (reference data, a combination of data and classification information), and a large number of data (target data not associated with classification information, big data The target data is evaluated so that significant information can be extracted from the data.
  • the predictive coding unit 10 includes, for example, a data acquisition unit 11, a classification information acquisition unit 12, a data classification unit 13, a component extraction unit 14, a component evaluation unit 15, a component storage unit 16, and a data evaluation unit 17. Can do.
  • the data acquisition unit 11 acquires data from an arbitrary memory (for example, the storage system 5, the database provided in the system 1, the web server on the Internet, the mail server on the intranet, etc.).
  • the data acquisition unit 11 outputs data associating the classification information to the data classification unit 13 and outputs data to be subjected to data analysis as target data to the component extraction unit 14.
  • the classification information acquisition unit 12 acquires the classification information input by the user from an arbitrary input device (for example, the client device 3), and outputs the classification information to the data classification unit 13.
  • the data classification unit 13 combines the data input from the data acquisition unit 11 and the classification information input from the classification information acquisition unit 12, and outputs the combination to the component extraction unit 14 as reference data.
  • the component extraction unit 14 extracts the component constituting the reference data from the reference data input from the data classification unit 13.
  • the “component” may be partial data constituting at least a part of the data, for example, a morpheme, a keyword, a sentence, a paragraph, and / or metadata (for example, an email header) constituting the document.
  • Information partial audio that constitutes audio, volume (gain) information, and / or timbre information, partial image that constitutes an image, partial pixels, and / or luminance information, and video Frame image, motion information, and / or 3D information.
  • the component extraction unit 14 outputs the extracted component and classification information corresponding to the component to the component evaluation unit 15.
  • the constituent element extraction unit 14 extracts constituent elements constituting the target data from the target data input from the data acquisition unit 11 and outputs the constituent elements to the data evaluation unit 17.
  • the component evaluation unit 15 evaluates the component input from the component extraction unit 14. For example, the component evaluation unit 15 evaluates the degree to which a plurality of components constituting at least part of the reference data contribute to the combination (in other words, the distribution in which the component appears according to the classification information). To do. More specifically, the constituent element evaluation unit 15 uses, for example, a transmission information amount (for example, an information amount calculated from a predetermined definition formula using the appearance probability of the constituent element and the appearance probability of the classification information). Then, the evaluation value of the component is calculated by evaluating the component. Thereby, the component evaluation part 15 can learn the pattern contained in the said reference data. The component evaluation unit 15 outputs the component and the evaluation value of the component to the component storage unit 16.
  • a transmission information amount for example, an information amount calculated from a predetermined definition formula using the appearance probability of the constituent element and the appearance probability of the classification information.
  • the component storage unit 16 associates the component and the evaluation value input from the component evaluation unit 15, and stores both in an arbitrary memory (for example, the storage system 5).
  • the data evaluation unit 17 reads the evaluation value associated with the component input from the component extraction unit 14 from an arbitrary memory (for example, the storage system 5), and evaluates the target data based on the evaluation value. More specifically, the data evaluation unit 88 adds, for example, the evaluation values associated with the constituent elements constituting at least a part of the target data, thereby ranking the target data index (for example, the target data). Numerical values, letters, and / or symbols) can be derived. The data evaluation unit 88 associates the target data with the index, and stores both in an arbitrary memory (for example, the storage system 5).
  • the configuration indicated by “ ⁇ unit” is a functional configuration that is realized by the controller provided in the data analysis system 1 executing the program (data analysis program 1). , “ ⁇ processing” or “ ⁇ function”. Further, since “ ⁇ unit” can be replaced by hardware resources, those skilled in the art will understand that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof. Yes, it is not limited to either.
  • the predictive coding unit 10 provides given reference data and / or newly, for example, as described in (2-2-1) to (2-2-3) below. Based on the obtained reference data, the evaluation value of the component can be optimized.
  • the component evaluation unit 15 calculates the recall rate or the matching rate based on the result of evaluating the target data, and configures the configuration so that the recall rate or the matching rate increases.
  • the learned pattern can be updated by repeatedly evaluating the degree to which an element contributes to the combination of data and classification information.
  • the above-mentioned “recall rate” (RecallateRate) is an index indicating the ratio (coverability) of the data to be discovered to the predetermined number of data. For example, if “reproducibility is 80% compared to 30% of all data”, it indicates that 80% of the data to be found is included in the top 30% of the index (data If the data is brute force (linear review) without using the analysis system 1, the amount of data to be discovered is proportional to the amount reviewed, so the larger the deviation from the proportion, the better the performance of the system 1. ).
  • the “Precision Rate” is an index indicating the ratio (accuracy) of data to be truly discovered to the data discovered by the system 1. For example, if the expression “the relevance rate is 80% when 30% of all data is processed” is shown, the percentage of data to be discovered is 80% of the data of the top 30% of the index. .
  • the component extraction unit 14 calculates the recall rate or the conformance rate based on the result evaluated by the data evaluation unit 17, and when the recall rate or the conformance rate is lower than the target value, the recall rate or the conformance rate is the target. Re-extract the component from the data until the value is exceeded. At this time, the component extraction unit 14 may extract the component excluding the component extracted last time, or may replace a part of the component extracted last time with a new component.
  • the data evaluation unit 17 derives the index of the target data using the re-extracted component, the index (second index) of each data is derived using the re-extracted component and its evaluation value.
  • the recall rate or the matching rate may be derived again from the first index and the second index obtained before re-extracting the constituent elements.
  • the data analysis system 1 further exhibits an additional effect that the accuracy of data analysis can be improved.
  • the component evaluation unit 15 evaluates the component included in the reference data, and then convolves evaluation values of components other than the component The component can be re-evaluated so that the evaluation value of the other component is reflected in the evaluation value of the component. Thereby, since the relevance between the component and the other component is evaluated as the evaluation value of the component, the data analysis system 1 has the additional effect that the accuracy of the data analysis can be improved. Play further.
  • the component evaluation unit 15 can update a pattern (for example, a combination of a component and an evaluation value of the component) at an arbitrary timing. That is, for example, the component evaluation unit 15 (a) at a timing when an update request is received from an administrative user who manages the system, (b) at a timing when a preset date and time arrives, and / or (c) The pattern can be updated at a timing when an input regarding the additional review is received from the user.
  • a pattern for example, a combination of a component and an evaluation value of the component
  • the user can confirm (confirmation review) the content of the target data from which the index is derived by the data evaluation unit 17, and can newly input classification information for the target data.
  • the classification information acquisition unit 12 acquires newly input classification information
  • the data classification unit 13 combines the target data and the classification information, and uses the combination as new reference data.
  • the new reference data is stored in an arbitrary memory, and is fed back to the system, for example, at the timings (a) to (c).
  • the component extraction unit 14 extracts the component from the new reference data, and the component evaluation unit 15 evaluates the component.
  • the constituent element storage unit 16 replaces the evaluation value with a new evaluation result (evaluation value) and stores it. If not, the component and the evaluation value are associated with each other and newly stored in the memory.
  • the predictive coding unit 10 includes a plurality of constituent elements constituting at least a part of data corresponding to the classification information at an arbitrary timing (for example, timings (a) to (b) described above).
  • the learned pattern can be updated by re-evaluating the degree of contribution to the combination with the classification information.
  • the data analysis system 1 further exhibits an additional effect that the accuracy of data analysis can be improved.
  • the predictive coding unit 10 can further include a management unit 18 (not shown in FIG. 2).
  • the management unit 18 has, for example, the functions (2-3-1) to (2-3-6) described below.
  • the data evaluation unit 17 derives an index for each of a plurality of target data, and the user (for example, in the order in which the index indicates that the target data is highly related to the predetermined case) As an example, consider the case where each target data is confirmed and classification information is given (confirmed review). At this time, the management unit 18 uses the gradation corresponding to the ratio that the target data associated with the classification information occupies for all the target data, and the distribution of the ratio with respect to the result of evaluating each of the plurality of target data. Can be displayed in a visible manner.
  • the management unit 18 when the data evaluation unit 17 derives a numerical value ranging from 0 to 10000 as the index, the management unit 18, for example, has a range in which the index is divided every 1000 (that is, 0 to 1000 is defined as the first interval). , 1001 to 2000 is the second section, 2001 to 3000 is the third section, etc.) (for example, the target data whose index is 2500 is classified into the third section), and a certain range
  • the management unit 18 displays the other ranges in the same manner for the other ranges.
  • the management unit 18 can display the distribution of the ratio in each range using gradation, for example, the index indicates that the relevance between the target data and the predetermined case is high. If the above-mentioned ratio in the range is indicated by a cold color tone despite the range (for example, the ninth section where the index is 8001 to 9000), the confirmation review by the user may be wrong Can suggest that. That is, the data analysis system 1 further exhibits an additional effect that allows the user to grasp the distribution at a glance.
  • the management unit 18 can visualize interrelationships (eg, hierarchical relationships, series relationships, data transmission / reception, etc.) between a plurality of subjects (eg, people, organizations, computers, etc.). For example, when an e-mail is transmitted from the first computer to the second computer, the management unit 18 converts the first circle representing the first computer and the second circle representing the second computer into the first circle.
  • a predetermined display device for example, a display provided in the client device 3 is a diagram that is connected by an arrow (for example, it may have a thickness corresponding to the number of e-mails) from the circle to the second circle. Can be displayed.
  • the management unit 18 can visualize the interrelationship according to the result evaluated by the data evaluation unit 17. For example, when the data evaluation unit 17 derives a numerical value in the range of 0 to 10000 as the index, the management unit 18 may, for example, target data (for example, first data) associated with an index belonging to a specified section.
  • target data for example, first data
  • the diagram can be displayed on the predetermined display device only on the basis of the electronic mail transmitted from the computer to the second computer. Thereby, the data analysis system 1 further exhibits an additional effect that the user can grasp the interrelationship between a plurality of subjects at a glance.
  • the management unit 18 determines whether or not the first component representing the predetermined operation is included in the target data. When determining that the first component is included, the management unit 18 identifies the second component representing the target of the predetermined operation can do.
  • the management unit 18 includes meta information (attribute information) indicating attributes (properties / characteristics) of target data including the first component and the second component, the first component, and the second component. Associate with a component of Here, the meta information is information indicating a predetermined attribute of data.
  • the target data is an e-mail
  • the name of the person who sent the e-mail the name of the person who received the e-mail
  • the e-mail It may be an address, the date and time of transmission / reception, and the like.
  • the management unit 18 associates the two components with the meta information and displays them on a predetermined display device (for example, a display provided in the client device 3).
  • a predetermined display device for example, a display provided in the client device 3
  • the management unit 18 connects the circle representing the first component and the circle representing the second component with an arrow from the first circle to the second circle. It can be displayed on a display device.
  • the data analysis system 1 further exhibits an additional effect that the user can grasp the predetermined operation and its target at a glance.
  • the management unit 18 extracts, from each of a plurality of target data, data including constituent elements corresponding to subordinate concepts of a pre-selected concept, and the plurality of targets Content that can summarize data (eg, documents, graphs, tables, etc.) can be generated.
  • the user selects some concepts according to the topic to be detected from the target data, and registers the selected concepts in the management unit 18 in advance. For example, if the topic to be detected is “illegal” or “dissatisfied”, the concept category is divided into five categories of “behavior”, “emotion”, “nature / state”, “risk”, and “money” For example, “behavior” for “behavior”, “despise”, etc. “feeling” for “feelings”, “being angry”, etc. “dullness” for “nature / state”, “ The concept of “risk” and “danger” for “risk”, such as “bad attitude”, and “money paid for human labor” for “money” are given to the management unit 18 by the user. sign up.
  • the management unit 18 For each registered concept, the management unit 18 searches the reference data for a component corresponding to the subordinate concept of the concept, associates the searched component with the concept, and stores an arbitrary memory (for example, storage Store in system 5). Then, the management unit 18 extracts the stored constituent element from the target data, specifies a concept associated with the constituent element, and outputs a summary using the concept.
  • an arbitrary memory for example, storage Store in system 5
  • the management unit 18 extracts the concepts “system”, “sales” and “do” from the text “monitoring system order” included in a certain e-mail, and “accounting system introduction” included in another e-mail.
  • the concepts “system”, “sale”, and “do” are extracted from the text “”, and “sell system” is output as a summary of these emails.
  • the management unit 18 can show, for example, a graph (for example, a pie chart) indicating the ratio of target data including the concept of “sell system” to all target data.
  • the data analysis system 1 further exhibits the additional effect that the user can grasp the overall image of the target data.
  • the management unit 18 follows the processing procedure shown in FIG. 3 in the sentences (sentences) constituting the target document (hereinafter referred to as the target document). Important sentences can be extracted as a summary of the target document.
  • the management unit 18 first inputs the data of the target document acquired by the data acquisition unit 11 (SP1).
  • the target document input at this time may be a single document or a plurality of documents (document group).
  • the management unit 18 performs morphological analysis on the target document (SP2). At this time, the management unit 18 divides the target document for each sentence and also recognizes each sentence.
  • the management unit 18 extracts nouns, verbs, and adjectives as feature word candidates from the processing result of step SP2 (SP3). Specifically, the management unit 18 determines whether the verb and the adjective are tags associated with each morpheme in the morphological analysis of step SP2 (if it is a verb “verb-independence (automatic verb)” or “noun-sa-variant connection (transitive verb) ) ", If it is an adjective, extract it using" * adjective * ").
  • the management unit 18 extracts only the nouns that are likely to be important.
  • the syntactic role is one of the subject (Topic), subject (Subject), object (Object), or indirect object (Indirect Object). Extract only.
  • a morpheme existing before a particle is extracted. For example, the subject noun is preceded by “ha”, the subject noun is “ga”, the object noun is followed by “wo”, and the indirect object noun is followed by “ni”. Therefore, the morpheme preceding the morpheme having the syntactic role as the particle “ha”, “ga”, “ha” or “ni” is extracted as the noun of the feature word candidate.
  • the management unit 18 selects a feature word from the feature word candidates extracted in step SP3 (SP4). Specifically, for each feature word candidate, the management unit first biases the appearance frequency of the feature word candidate in the target document with respect to the appearance frequency of the feature word candidate in the reference corpus (hereinafter referred to as keyness). ).
  • the reference corpus is a reference data set (reference data set) for calculating keyness, and can be arbitrarily selected according to the type of data (target document) to be analyzed (for example, Wikipedia ( Wikipedia) Japanese version is available). For example, when audio data is to be analyzed, a set of audio data recording daily conversations can be selected as a reference data set. When image / video data is to be analyzed, a web search engine can be selected. A set of image / video data appearing as a search result when an image search is performed using a predetermined search word can be selected as a reference data set.
  • the keyness of the feature word candidate is calculated from (logarithmic) odds that can be calculated based on the appearance frequency of the feature word candidate in the target document, and (logarithmic) odds that can be calculated based on the appearance frequency of the feature word candidate in the reference corpus.
  • Ratio logarithm
  • odds ratio Log-Odds Ratio
  • logarithm likelihood likelihood that can be calculated based on the appearance frequency of the feature word candidate in the target document and the appearance frequency of the feature word candidate in the reference corpus
  • LLR logarithmic likelihood ratio
  • the frequency of occurrence in unknown data to be analyzed is O 11
  • the frequency of occurrence in the reference corpus is O 12
  • the frequency of occurrence of all other morphemes different from the morpheme in unknown data is O 21.
  • O 22 is the frequency at which all other morphemes appear in the reference corpus, It can ask for.
  • the log likelihood ratio is expressed by the following equations for R 1 and R 2 respectively: And C 1 , C 2 and N are respectively As Using the expected frequencies E 11 to E 22 calculated by Can be calculated.
  • the management unit 18 calculates an average value of keyness values (average keyness) for each feature word candidate (for each syntactic role or for each noun / verb / adjective), and using the calculated average keyness as a threshold value, Feature word candidates having a keyness value equal to or greater than a threshold value are selected as feature words.
  • the management unit 18 estimates the importance of each sentence viewed from the entire target document (SP5). Specifically, the management unit 18 calculates the following expression for each sentence of the target document.
  • the total keyness score of feature words included in the sentence (hereinafter referred to as the total keyness score) is calculated, and the calculated total keyness score for each sentence is viewed from the entire target document.
  • the importance of the sentence In Expression (12), S represents a sentence, F represents one type of feature word set (for example, a noun), and w represents a morpheme that appears in S.
  • the management unit 18 ranks each sentence based on the importance of each sentence acquired in step SP5 (SP6). For example, the management unit 18 normalizes each total keyness score by dividing the total keyness score of each sentence by the number of words in the sentence, and ranks the sentences based on the normalized total keyness score value. Attach. At this time, the management unit 18 assigns a smaller rank to a sentence having a larger value of the normalized total keyness score. Therefore, each sentence is ranked in the order of “first place” in the sentence with the highest normalized total keyness score value, “second place” in the sentence with the next highest normalized keyness score value, and so on. Attached. Alternatively, the management unit 18 can rank sentences according to the number of types of feature words.
  • the management unit 18 extracts sentences to be summarized based on the ranking performed in step SP6, and displays the sentences as representative contents (that is, summaries) representing the contents included in the target document.
  • SP7 Basically, the management unit 18 extracts, from the target document, the sentence having the highest rank in the ranking in step SP6 as a summary of the target document.
  • a sentence having a higher rank and including two or more feature words for example, including one or more nouns and one or more adjectives, or including one or more nouns and one or more verbs. May be extracted as a summary of the target document.
  • a stricter condition for example, only a sentence including a noun whose syntactic role is the topic (Topic) may be extracted as a summary of the target document.
  • a summary of the target document can be generated by a simple method.
  • the above-described extractive automatic summary generation function can be applied to ontology analysis.
  • summaries of a large number of documents are respectively generated by the above-described procedure, the summaries of the respective documents are converted into upper concepts using a predetermined electronic dictionary, and the respective documents are classified according to the contents of the converted abstract.
  • extractive automatic summary generation function can be used for emotion analysis.
  • the extractive automatic summary generation function not only the document but also the partial data constituting the target data (target data) such as audio data, image data, video data, and other data at that time. It is possible to extract important partial data as a summary of the target data.
  • the partial data is data that constitutes a part of the target data.
  • a part where the volume gain is lower than a predetermined value is used as a part from one part to the next part. It can be partial data.
  • a portion where the correlation of pixels falls below a predetermined value can be used as a partition, and a partial data from one partition to the next can be used as partial data.
  • a part where a scene is switched (a part where a correlation between a certain frame image and the next frame image is low) is used as a part, and a part data from a part to the next part can be used as partial data.
  • the management unit 18 can cluster the plurality of target data according to topics (subjects) included in the plurality of target data.
  • the management unit 18 can cluster a plurality of target data using an arbitrary classification model (for example, K-means, support vector machine, spherical clustering, etc.).
  • an arbitrary classification model for example, K-means, support vector machine, spherical clustering, etc.
  • the predictive coding unit 10 can further include a phase analysis unit 19 (not shown in FIG. 2).
  • the phase analysis unit 19 has functions (2-4-1) to (2-4-3) described below, for example.
  • phase analysis unit 19 can analyze a phase indicating each stage where a predetermined case progresses.
  • the system 1 is realized as a criminal investigation support system and the predetermined case is “collusion”
  • the flow of the phase analysis unit 19 analyzing the phase will be described.
  • the collusion involves the relationship building phase (the stage of building relationships with competitors), the preparation phase (the stage of exchanging information about competitors with competitors), and the competition phase (providing prices to customers, obtaining feedback, It is known to progress in the order of communication). Therefore, the administrator of the system 1 sets the three phases in the phase analysis unit 19.
  • the system 1 learns a plurality of patterns corresponding to the plurality of phases from a plurality of types of reference data respectively prepared for a plurality of preset phases, and targets based on the plurality of phases, respectively. By analyzing the data, for example, it is possible to specify “in which phase the organization to be analyzed is currently in”.
  • the component evaluation unit 15 refers to a plurality of types of reference data respectively prepared for a plurality of preset phases, evaluates components included in the plurality of types of reference data, and The element and the result (evaluation value) obtained by evaluating the component are associated with each other and stored in the memory for each phase (that is, a plurality of patterns corresponding to the plurality of phases are respectively learned).
  • the data evaluation unit 17 derives an index for each of a plurality of phases by analyzing the target data based on the pattern learned for each phase.
  • the phase analysis unit 19 determines whether or not the index satisfies a predetermined determination criterion (for example, a threshold value) set in advance for each phase (for example, whether or not the index exceeds the threshold value). ) And the count value corresponding to the phase is increased. Finally, the phase analysis unit 19 specifies the current phase based on the count value (for example, the phase having the maximum count value is set as the current phase). Or when it determines with the parameter
  • a predetermined determination criterion for example, a threshold value
  • phase analysis unit 19 is derived by evaluating a plurality of target data based on a model that can predict the progress of a predetermined action related to a predetermined case. The next action can be predicted and presented from the indicator.
  • the phase analysis unit 19 uses the index derived for the first phase (for example, the relationship building phase) and the index derived for the second phase (for example, the preparation phase) as variables. Assuming a regression model (a model in which the progress can be predicted), the possibility (for example, the probability) of proceeding to the third phase (for example, the competitive phase) can be predicted based on the regression coefficient optimized in advance. Thereby, the data analysis system 1 further exhibits an additional effect that the result of predicting the progress of the predetermined action related to the predetermined case can be suggested to the user.
  • a regression model a model in which the progress can be predicted
  • the possibility for example, the probability of proceeding to the third phase
  • the data analysis system 1 further exhibits an additional effect that the result of predicting the progress of the predetermined action related to the predetermined case can be suggested to the user.
  • the phase analysis unit 19 uses the above-mentioned determination criteria (predetermined preset for each phase) to identify the phase based on the index derived by the data evaluation unit 17. Can be optimized according to given data. For example, the management unit 18 performs regression analysis on the relationship between the index derived for each of the plurality of target data and the ranking of the index (that is, the rank when the indices are arranged in ascending order), and the regression Based on the result of the analysis, the determination criterion can be reset (for example, the threshold value is changed).
  • the administrator of the system 1 sets a ranking threshold in advance for the ranking.
  • a function (y e ⁇ x + ⁇ (e is the base of the natural logarithm) where the phase analysis unit 19 determines the relationship between the index derived by the data evaluation unit 17 and the ranking of the index.
  • ⁇ and ⁇ are parameters that take real values)) (for example, the parameters of the function are determined by the method of least squares), and the index corresponding to the ranking threshold is newly set in the function.
  • Each unit included in the predictive coding unit 10 can have, for example, the auxiliary functions (2-5-1) to (2-5-6) described below.
  • the data evaluation unit 17 can evaluate target data with high resolution. That is, the data evaluation unit 17 not only derives an index for the target data but also divides the target data into a plurality of parts (for example, sentences or paragraphs (partial target data) included in the target data). Based on the learned pattern, each of the plurality of partial target data can be evaluated (an index is derived for the partial target data).
  • the data evaluation unit 17 can also integrate a plurality of indices derived for each of the plurality of partial target data, and use the integrated index as an evaluation result of the target data (for example, each index is derived as a numerical value).
  • the maximum value of the index is extracted and used as an integrated index for the target data, or the average of the index is set as an integrated index for the target data, or a predetermined number of the indexes are added in descending order, Or an integrated indicator).
  • the data analysis system 1 further exhibits an additional effect that the accuracy of data analysis can be improved.
  • the component evaluation unit 15 Patterns are learned from reference data divided by time (for example, reference data of the first section, reference data of the second section, etc.) (that is, the component and the component are evaluated at each predetermined time) And the data evaluation unit 17 can evaluate the target data based on each of the patterns. That is, the data evaluation unit 17 can derive an index for the target data along the time series. Thereby, the data analysis system 1 further exhibits an additional effect that the accuracy of data analysis can be improved.
  • the data evaluation unit 17 can predict a future index based on the temporal change of the index. For example, the data evaluation unit 17 sets a model for time series analysis (for example, autoregressive model, moving average model, etc.) and within a predetermined period (for example, the past month) before new target data is obtained. The next index obtained when the new target data is evaluated can be predicted based on the index derived in step. Thereby, the data analysis system 1 further exhibits an additional effect that an event that may occur in the future (for example, a risk that an undesirable situation occurs) can be presented to the user.
  • a model for time series analysis for example, autoregressive model, moving average model, etc.
  • a predetermined period for example, the past month
  • Case-by-case evaluation Data whose nature changes according to the type of case (for example, the content changes according to the type of lawsuit (eg antitrust law violation, information leakage, patent infringement, etc.)
  • the component evaluation unit 15 When analyzing a lawsuit-related document, etc.), the component evaluation unit 15 generates patterns from reference data (for example, reference data related to antitrust violations, reference data related to information leakage, etc.) prepared for each case. Learning (that is, obtaining a component and a result of evaluating the component for each case), the data evaluation unit 17 can evaluate the target data based on each of the patterns. Thereby, the data analysis system 1 further exhibits an additional effect that the accuracy of data analysis can be improved.
  • reference data for example, reference data related to antitrust violations, reference data related to information leakage, etc.
  • the data evaluation unit 17 can analyze the structure of the target data and reflect the analysis result in the evaluation of the target data.
  • the data evaluation unit 17 represents the expression form of each sentence included in the document (for example, whether the sentence is a positive form or a negative form). Or the like, and the result of the analysis can be reflected in an index derived for the target data.
  • the positive form is an expression that affirms the subject (for example, “the dish is delicious”)
  • the negative form is an expression that denies the subject (for example, “the dish is not delicious” or “the dish is not delicious”).
  • the negative form may be an expression that affirms or denies the subject matter (eg, “the food was not delicious” or “the food was not delicious”).
  • the data evaluation unit 17 can adjust the index according to the expression form. For example, when the data evaluation unit 17 derives a numerical value in a predetermined range as the index, the data evaluation unit 17 adds, for example, “+ ⁇ ” to the positive form and “ ⁇ ” to the negative form, The above index can be adjusted by adding “+ ⁇ ” to the depolarized form ( ⁇ , ⁇ , and ⁇ may be arbitrary numerical values, respectively). Further, when the data evaluation unit 17 detects that the sentence included in the target data is negative, for example, by canceling the sentence, the component included in the sentence is not used as a basis for deriving the index ( The component is not considered).
  • the constituent element evaluation unit 15 can increase or decrease the evaluation value of the constituent element depending on, for example, whether a certain morpheme (constituent element) is a subject, an object, or a predicate of the sentence. Thereby, the data analysis system 1 further exhibits an additional effect that the accuracy of data analysis can be improved.
  • the data evaluation unit 17 correlates the first constituent element included in the target data and the second constituent element included in the target data. In consideration of (co-occurrence, for example, the frequency at which both appear simultaneously), an index for the target data can be derived.
  • the data evaluation unit 17 determines that the first keyword is Based on the number of occurrences of the second keyword (second component) at a second position (for example, a position included in a predetermined range including the first position) in the vicinity of the appearing first position, the index Can be derived.
  • the data analysis system 1 further exhibits an additional effect that the accuracy of data analysis can be improved.
  • the data evaluation unit 17 is the emotion of the user who generated the target data and is generated based on the evaluation information. It is possible to extract emotions for the predetermined case from the target data (evaluate emotions included in the target data).
  • the data evaluation unit 17 when data included in a website introducing a product / service (for example, an online product site, a restaurant guide) is to be analyzed, the data evaluation unit 17 is included in a comment (review) on the product / service.
  • Components for example, keywords such as “good”, “fun”, “bad”, “clogged”
  • evaluation of the product / service eg, “very good”, “good”, “
  • the target data for example, data included in other websites
  • the data evaluation unit 17 can increase or decrease the evaluation result according to, for example, exaggerated expressions (for example, “very”, “very”, etc.).
  • the data analysis system 1 further exhibits an additional effect that the accuracy of data analysis can be improved.
  • FIG. 4 is a flowchart illustrating an example of a process performed by the predictive coding unit 10 included in the data analysis system 1 according to the present embodiment.
  • the data acquisition unit 11 acquires data from an arbitrary memory (SP10).
  • the classification information acquisition unit 12 acquires the classification information input by the user from an arbitrary input device (SP11).
  • the data classification unit 13 classifies the data by combining the data and the classification information (reference data) (SP12), and the component extraction unit 14 selects the component constituting the reference data. Extracted from the reference data (SP13).
  • the constituent element evaluation unit 15 evaluates the constituent element (SP14), and the constituent element storage unit 16 associates the constituent element with the evaluation value and stores both in an arbitrary memory (SP15).
  • the processing of SP10 to SP15 is referred to as a “learning phase” (a phase in which the system 1 learns a pattern).
  • the data acquisition unit 11 acquires target data from an arbitrary memory (SP16).
  • the constituent element extraction unit 14 extracts constituent elements constituting the target data from the target data (SP17).
  • the data evaluation unit 17 reads an evaluation value associated with the constituent element from an arbitrary memory, and evaluates target data based on the evaluation value (SP18).
  • evaluation phase the system 1 evaluates the target data based on the pattern).
  • each process included in the learning phase is not an essential process in the system 1.
  • a memory that associates and stores a component and an evaluation value of the component is given in advance, and the predictive coding unit 10 performs target data based on the component and the evaluation value stored in the memory. Can also be evaluated.
  • Example in which data analysis system processes data other than document data In the present embodiment, the case where the data analysis system 1 analyzes document data is mainly assumed, and an example based on the assumption has been described. The system 1 can also analyze data other than document data (for example, audio data, image data, video data, etc.).
  • the system 1 may use the voice data itself as an analysis target, or convert the voice data into document data by voice recognition, and use the converted document data as an analysis target. Also good.
  • the system 1 for example, divides the voice data into partial voices of a predetermined length to form constituent elements, and uses the voice analysis method (for example, hidden Markov model, Kalman filter, etc.) to generate the partial voices.
  • the voice data can be analyzed by identifying.
  • a speech is recognized using an arbitrary speech recognition algorithm (for example, a recognition method using a hidden Markov model), and the procedure similar to the procedure described in the embodiment is performed on the recognized data. Can be analyzed.
  • the system 1 when analyzing image data, divides the image data into partial images of a predetermined size, for example, and forms an arbitrary image recognition method (for example, pattern matching, support vector machine, neural network).
  • the image data can be analyzed by identifying the partial image using a network or the like.
  • the system when analyzing video data, divides a plurality of frame images included in the video data into partial images each having a predetermined size to form a component, and an arbitrary image recognition technique (for example, The video data can be analyzed by identifying the partial image using pattern matching, support vector machine, neural network, or the like.
  • the control block of the data analysis system 1 may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like, or by software using a CPU. It may be realized.
  • the system 1 stores a CPU that executes a program (control program for the data analysis system 1) that is software for realizing each function, and the program and various data are recorded so as to be readable by a computer (or CPU).
  • a program control program for the data analysis system 1
  • a ROM Read Only Memory
  • a storage device latter are referred to as “recording media”
  • RAM Random Access Memory
  • the object of the present invention is achieved by the computer (or CPU) reading the program from the recording medium and executing it.
  • a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used.
  • the program may be supplied to the computer via an arbitrary transmission medium (such as a communication network or a broadcast wave) that can transmit the program.
  • a transmission medium such as a communication network or a broadcast wave
  • the present invention can also be realized in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.
  • the above program can be implemented in any programming language, for example, a script language such as Python, ActionScript, JavaScript (registered trademark), an object-oriented programming language such as Objective-C, Java (registered trademark), HTML5, or the like Can be implemented using other markup languages. Also, any recording medium that records the above program falls within the scope of the present invention.
  • the data analysis system 1 of the present invention is realized as an extractive automatic summary generation system that extracts a sentence having high importance from a target document as a summary of the target document.
  • the system 1 is, for example, a discovery support system, a forensic system, an e-mail monitoring system, a medical application system (for example, a pharmacovigilance support system, a clinical trial efficiency system, a medical risk hedging system, a fall prediction) (Anti-fall system), prognosis prediction system, diagnosis support system, etc.), Internet application system (eg, smart mail system, information aggregation (curation) system, user monitoring system, social media management system, etc.), information leakage It can be realized as an arbitrary system such as a leakage detection system, a project evaluation system, a marketing support system, an intellectual property evaluation system, an illegal transaction monitoring system, a call center escalation system, a credit check system.
  • the data analysis system 1 of the present invention is realized as a discovery support system
  • the contents of the document, audio, image, and video (hereinafter referred to as “document etc.”) to be investigated are extracted and automatically summarized in the present embodiment.
  • the generation function Summarize each using the generation function, present the summary results of each document, etc. to the user, and further summarize the summary results of each document etc. using the electronic dictionary,
  • These documents and the like may be classified based on the summary content, and the classification result may be presented to the user.
  • the data analysis system 1 of the present invention is realized as a forensic system
  • various survey materials including documents, sounds, images, and videos
  • the data analysis system 1 of the present invention When the data analysis system 1 of the present invention is implemented as an email monitoring system, the contents of each email are summarized using the extractive automatic summary generation function of the present embodiment, and The summary results are presented to the user, and the summary results of each email are converted into a higher level concept using an electronic dictionary, and the emails are classified based on the summary content of each higher level email. May be presented to the user.
  • the data analysis system 1 of the present invention is realized as a medical application system (for example, a pharmacovigilance support system, a clinical trial efficiency system, a medical risk hedging system, a fall prediction (fall prevention) system prognosis prediction system, a diagnosis support system, etc.)
  • a medical application system for example, a pharmacovigilance support system, a clinical trial efficiency system, a medical risk hedging system, a fall prediction (fall prevention) system prognosis prediction system, a diagnosis support system, etc.
  • the contents of each medical data such as medical charts are summarized using the extractive automatic summary generation function of the present embodiment, and a summary result of each medical data is presented to the user, and further each medical data
  • Each of the summary results may be converted into a superordinate concept using an electronic dictionary, and the medical data may be classified based on the summary contents of each medical data converted into a superordinate concept, and the classification result may be presented to the user.
  • the data analysis system 1 of the present invention is realized as an Internet application system (for example, a smart mail system, an information aggregation (curation) system, a user monitoring system, a social media management system, etc.), each data input by the user
  • the summary of each data is summarized using the extractive automatic summary generation function of the present embodiment, and the summary result of each data is presented to the user, and the summary result of each data is displayed using the electronic dictionary.
  • the data may be conceptualized, and the data may be classified based on the contents of the summary of each data, and the classification result may be presented to the user.
  • the data analysis system 1 of the present invention is realized as an information leakage detection system
  • the contents of each e-mail and document created by the employee are respectively summarized using the extractive automatic summary generation function of the present embodiment.
  • the summary results of individual emails and documents are presented to the user, and the summary results of each email and document are converted into higher concepts using an electronic dictionary, and each email and document is converted into a higher concept.
  • These e-mails, documents, etc. may be classified based on the contents of the summary, and the classification result may be presented to the user.
  • the data analysis system 1 of the present invention is realized as a project evaluation system
  • the contents of various reports are summarized using the extractive automatic summary generation function of the present embodiment, and individual reports are summarized.
  • the summary result may be presented to the user.
  • the data analysis system 1 of the present invention is realized as a marketing support system
  • the contents of documents such as a marketing research report are summarized using the extractive automatic summary generation function of the present embodiment, respectively.
  • the summary results of each document, etc. are presented to the user, and the summary results of each document, etc., are converted into higher-level concepts using an electronic dictionary, and these documents are classified based on the summary contents of each higher-level document.
  • the classification result may be presented to the user.
  • the data analysis system 1 of the present invention is realized as an intellectual property evaluation system
  • the contents of various documents related to various intellectual property rights such as patent gazettes are extracted using the automatic automatic summary generation function of this embodiment. Summarize each of them, present the summary results of each document, etc. to the user, and further summarize the summary results of each document, etc., using a computerized dictionary. These documents and the like may be classified based on the above, and the classification result may be presented to the user.
  • the data analysis system 1 of the present invention when the data analysis system 1 of the present invention is realized as a fraudulent transaction monitoring system, the contents of each e-mail or document created by the employee are respectively summarized using the extractive automatic summary generation function of the present embodiment.
  • the summary results of individual emails and documents are presented to the user, and the summary results of each email and document are converted into higher concepts using an electronic dictionary, and each email and document is converted into a higher concept.
  • These e-mails, documents, etc. may be classified based on the contents of the summary, and the classification result may be presented to the user.
  • the data analysis system 1 of the present invention is realized as a call center escalation system
  • the contents of documents and the like including the contents of inquiries and complaints from the user created by the call center operator are extracted and automatically summarized in this embodiment.
  • Summarize each using the generation function present the summary results of each document, etc. to the user, and further summarize the summary results of each document etc. using the electronic dictionary,
  • These documents and the like may be classified based on the summary contents, and the classification result may be presented to the user.
  • each check report is summarized using the extractive automatic summary generation function of the present embodiment, and each check report is summarized.
  • the summary results of each survey report are presented to the user, and the summary results of each survey report are converted into higher-level concepts using an electronic dictionary, and these survey reports are classified based on the summary contents of each higher-level survey report. Then, the classification result may be presented to the user.
  • the data analysis system 1 of the present invention is realized as a driving support system
  • information that is considered important is sequentially picked up from an image or sound acquired from a vehicle-mounted sensor, and each piece of picked-up information is extracted in this embodiment.
  • Automatically summarizing using the automatic summary generation function presenting the summary results to the user, further summarizing the summary results using the electronic dictionary, and classifying the information based on the summary concept contents Then, the classification result may be presented to the user.
  • each business report is summarized using the extractive automatic summary generation function of this embodiment, and each business report is summarized.
  • the summary results of each business report are presented to the user, and the summary results of each business report are converted into higher-level concepts using an electronic dictionary, and these business reports are classified based on the summary contents of each higher-level sales report. Then, the classification result may be presented to the user.
  • preprocessing for example, extracting an important part from the data and extracting only the important part from the data
  • the data analysis target may be applied), or the mode of displaying the data analysis result may be changed. It will be understood by those skilled in the art that a variety of such variations can exist, and all variations fall within the scope of the present invention.
  • a data analysis system is a control program in a data analysis system that analyzes target data including at least a part of content that can be recognized by a user and generates a summary of the content.
  • a controller that executes the control program stored in the memory, the controller disassembles the target data into a plurality of components based on the control program, and for each component And calculating a keyness representing a deviation of the appearance frequency in the target data with respect to the appearance frequency of the component in a predetermined reference data set, and based on the calculated keyness for each of the component elements,
  • the component representing the characteristics of the target data is selected from, and the target data
  • the degree of importance of each partial data is estimated based on the keyness of the component representing the characteristics of the component, and the partial data comprises at least a part of the target data by including a plurality of the components.
  • the importance is estimated for each partial data based on the keyness as an index representing the importance of the partial data in the target data.
  • the partial data that can be a summary of the target data is extracted.
  • a data analysis system control method that analyzes target data including at least part of content that can be recognized by a user, and generates a summary of the content.
  • a second step of calculating each of the components a third step of selecting the component representing the characteristics of the target data from the components based on the calculated keyness for each of the components, and the target data
  • the importance of each partial data is estimated based on the keyness of the component representing the characteristics of
  • the partial data includes at least a part of the target data by including a plurality of the constituent elements, and the importance is an index representing the importance of the partial data in the target data. It is estimated for each partial data based on keyness. In this way, according to the control method of the data analysis system, a sentence having high importance can be extracted as a summary of the target document, and thus a summary of the document can be generated by a simple method.
  • a control program for controlling a data analysis system analyzes a target data including at least a part of content that can be recognized by a user, and generates a summary of the content.
  • a first program for decomposing the target data into a plurality of components, and for each component, the target for the frequency of appearance of the components in a predetermined reference data set A second step of calculating keyness representing a deviation in appearance frequency in the data, and selecting the component representing the characteristic of the target data from the components based on the calculated keyness for each component Based on the keyness of the component representing the characteristic of the target data
  • the data analysis system is caused to execute processing
  • the recording medium includes a control program for controlling a data analysis system that analyzes target data including at least part of content that can be recognized by a user and generates a summary of the content.
  • the control program stores a first step of decomposing the target data into a plurality of components, and the frequency of appearance of the components in a predetermined reference data set for each component.
  • a second step of calculating a keyness representing an appearance frequency bias in the target data, and the configuration representing the characteristics of the target data from the components based on the calculated keyness for each component Based on a third step of selecting an element and the keyness of the component representing the characteristics of the target data.
  • the target data can be summarized from the partial data constituting the target data
  • the data analysis system is caused to execute processing estimated for each partial data based on the keyness.
  • the data analysis system 1 is, for example, a data analysis system that evaluates target data, and the system includes a memory, an input control device, and a controller.
  • the target data is evaluated, and the evaluation corresponds to, for example, the relationship between each target data and a predetermined case, and an index that enables ranking of the plurality of target data is generated by the evaluation.
  • the index can be changed based on an input given by the user via the input control device, and the memory stores, for example, at least temporarily the plurality of target data evaluated by the controller,
  • the input control device allows the user to input an order for the controller to order the plurality of target data, and
  • the order of data changes, for example, according to the indicator that changes based on the input, and the input includes, for example, reference data different from the plurality of target data, the reference data, and the predetermined data
  • the classification is based on the relevance to the case, and the classification is, for example, divided into a plurality of classification information according to the content of the reference data, and at least one of the plurality of classification information One of which is given to the reference data by the input, presents the reference data to the user, and the at least one classification given to the presented reference data by the user's input
  • a combination of information and the reference data is provided to the controller, and the controller includes, for example, a plurality of components included in the reference data.
  • a pattern characterized by the reference data is extracted from the reference data according to the classification information given by the input by evaluating the degree of contribution to each combination provided from the input control device, and the extracted Based on the pattern, the relevance between the target data and the predetermined case is evaluated to determine the index, the determined index is set in the target data, and the plurality of target data is set according to the index. Ordering is performed, and the plurality of target data that are ordered are notified to the user.
  • the present invention can be widely applied to an arbitrary computer such as a personal computer, a server device, a workstation, or a mainframe, and is particularly applicable to an artificial intelligence system that analyzes big data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

対象データを複数の構成要素に分解し、構成要素ごとに、所定の基準データセットでの出現頻度に対する対象データでの出現頻度の偏り具合を表すキーネスをそれぞれ算出し、算出した構成要素ごとのキーネスに基づいて、構成要素の中から対象データの特徴を表す構成要素を選定し、選定した構成要素のキーネスに基づいて、対象データの各部分データの重要度をそれぞれ推定し、推定した各部分データの重要度に基づいて、対象データを構成する部分データの中から当該対象データの要約となり得る部分データを抽出するようにした。

Description

データ分析システム、制御方法、制御プログラム、および記録媒体
　本発明は、データを分析するデータ分析システム等に関し、例えば、ビッグデータを分析する人工知能システムに応用可能なものである。
　従来、文書を自動的に要約する自動要約方法の１つとして生成的要約法がある。生成的要約法は、対象とする文書（以下、これを対象文書と呼ぶ）からキーワードを幾つか抽出し、抽出したこれらキーワードについて、それぞれそのキーワードの適切な上位概念を検出し、検出した上位概念を用いて対象文書の要約を作成する方法である（例えば、特許文献１参照）。
特開２０１５－８８０６４号公報
　上述した従来の生成的要約法によると、単語の多義性により、各キーワードの適切な上位概念を検出することが難しいという問題がある。また各キーワードの適切な上位概念を検出し得たとしても、要約を作成するに際しては自然言語生成が必要となるため、これらの上位概念を用いて自動的に要約（センテンス）を生成することは難しい。
　本発明は、上記の問題点に鑑みてなされたものであり、その目的は、データの要約を簡易な方法により生成し得るデータ分析システム、制御方法、制御プログラム、および記録媒体を提案することである。
　上記課題を解決するために、本発明の一態様に係るデータ分析システムは、ユーザが意味を認識可能なコンテンツを少なくとも一部に含む対象データを分析し、前記コンテンツの要約を生成するデータ分析システムにおいて、制御プログラムを記憶するメモリと、前記メモリに格納された前記制御プログラムを実行するコントローラとを備え、前記コントローラは、前記制御プログラムに基づいて、前記対象データを複数の構成要素に分解し、前記構成要素ごとに、所定の基準データセットにおける前記構成要素の出現頻度に対する、前記対象データにおける出現頻度の偏りを表すキーネスをそれぞれ算出し、算出した前記構成要素ごとの前記キーネスに基づいて、前記構成要素の中から前記対象データの特徴を表す前記構成要素を選定し、前記対象データの特徴を表す前記構成要素の前記キーネスに基づいて、各部分データの重要度をそれぞれ推定し、前記部分データは、前記構成要素を複数含むことによって前記対象データの少なくとも一部を構成するものであり、前記重要度は、前記部分データが前記対象データに占める重要性を表す指標として、前記キーネスに基づいて前記部分データごとに推定されるものであり、推定した各前記部分データの重要度に基づいて、前記対象データを構成する前記部分データの中から当該対象データの要約となり得る前記部分データを抽出するようにした。
　上記課題を解決するために、本発明の一態様に係るデータ分析システムの制御方法は、ユーザが意味を認識可能なコンテンツを少なくとも一部に含む対象データを分析し、前記コンテンツの要約を生成するデータ分析システムの制御方法において、前記対象データを複数の構成要素に分解する第１のステップと、前記構成要素ごとに、所定の基準データセットにおける前記構成要素の出現頻度に対する、前記対象データにおける出現頻度の偏りを表すキーネスをそれぞれ算出する第２のステップと、算出した前記構成要素ごとの前記キーネスに基づいて、前記構成要素の中から前記対象データの特徴を表す前記構成要素を選定する第３のステップと、前記対象データの特徴を表す前記構成要素の前記キーネスに基づいて、各部分データの重要度をそれぞれ推定する第４のステップと、推定した各前記部分データの重要度に基づいて、前記対象データを構成する前記部分データの中から当該対象データの要約となり得る前記部分データを抽出する第５のステップとを備え、前記部分データは、前記構成要素を複数含むことによって前記対象データの少なくとも一部を構成するものであり、前記重要度は、前記部分データが前記対象データに占める重要性を表す指標として、前記キーネスに基づいて前記部分データごとに推定されようにした。
　上記課題を解決するために、本発明の一態様に係る制御プログラムは、ユーザが意味を認識可能なコンテンツを少なくとも一部に含む対象データを分析し、前記コンテンツの要約を生成するデータ分析システムを制御するための制御プログラムであって、前記対象データを複数の構成要素に分解する第１のステップと、前記構成要素ごとに、所定の基準データセットにおける前記構成要素の出現頻度に対する、前記対象データにおける出現頻度の偏りを表すキーネスをそれぞれ算出する第２のステップと、算出した前記構成要素ごとの前記キーネスに基づいて、前記構成要素の中から前記対象データの特徴を表す前記構成要素を選定する第３のステップと、前記対象データの特徴を表す前記構成要素の前記キーネスに基づいて、各部分データの重要度をそれぞれ推定する第４のステップと、推定した各前記部分データの重要度に基づいて、前記対象データを構成する前記部分データの中から当該対象データの要約となり得る前記部分データを抽出する第５のステップとを備え、前記部分データは、前記構成要素を複数含むことによって前記対象データの少なくとも一部を構成するものであり、前記重要度は、前記部分データが前記対象データに占める重要性を表す指標として、前記キーネスに基づいて前記部分データごとに推定される処理を前記データ分析システムに実行させるようにした。
　上記課題を解決するために、本発明の一態様に係る記憶媒体は、ユーザが意味を認識可能なコンテンツを少なくとも一部に含む対象データを分析し、前記コンテンツの要約を生成するデータ分析システムを制御するための制御プログラムが格納された記録媒体であって、前記制御プログラムは、前記対象データを複数の構成要素に分解する第１のステップと、前記構成要素ごとに、所定の基準データセットにおける前記構成要素の出現頻度に対する、前記対象データにおける出現頻度の偏りを表すキーネスをそれぞれ算出する第２のステップと、算出した前記構成要素ごとの前記キーネスに基づいて、前記構成要素の中から前記対象データの特徴を表す前記構成要素を選定する第３のステップと、前記対象データの特徴を表す前記構成要素の前記キーネスに基づいて、各部分データの重要度をそれぞれ推定する第４のステップと、推定した各前記部分データの重要度に基づいて、前記対象データを構成する前記部分データの中から当該対象データの要約となり得る前記部分データを抽出する第５のステップとを備え、前記部分データは、前記構成要素を複数含むことによって前記対象データの少なくとも一部を構成するものであり、前記重要度は、前記部分データが前記対象データに占める重要性を表す指標として、前記キーネスに基づいて前記部分データごとに推定される処理を前記データ分析システムに実行させるようにした。
　本発明の一態様に係るデータ分析システム、制御方法、制御プログラム、および記録媒体によれば、データの要約を簡易な方法により生成することができるという効果を奏する。
本発明の一態様に係るデータ分析システムのハードウェア構成の一例を示すブロック図である。 上記データ分析システムが備えた予測コーディング機能の一例を示す機能ブロック図である。 上記データ分析システムが備えた抽出的自動要約生成機能の説明に供するフローチャートである。 上記データ分析システムが備えた予測コーディング部が実行する処理の一例を示すフローチャートである。
　図１～図４に基づいて、本発明の実施の形態を説明する。
（１）データ分析システムの構成
　図１は、本実施の形態に係るデータ分析システム１（以下、単に「システム１」と略記することがある）のハードウェア構成の一例を示すブロック図である。当該システム１は、例えば、データ（デジタルデータおよびアナログデータを含む）を格納可能な任意の記録媒体（例えば、メモリ、ハードディスクなど）と、当該記録媒体に格納された制御プログラムを実行可能なコントローラ（例えば、ＣＰＵ：Central Processing Unit）とを備え、当該記録媒体に少なくとも一時的に格納されたデータを分析するコンピュータ（例えば、パーソナルコンピュータ、サーバ装置、クライアント装置、ワークステーション、メインフレームなど）またはコンピュータシステム（例えば、データ分析のための主要処理を実行するサーバ装置、ユーザが使用するクライアント装置、分析対象となるデータを格納するファイルサーバなど、複数のコンピュータが統合的に動作することによってデータ分析を実現するシステム）として実現され得る。本実施の形態においては、上記システム１が後者によって実現される例（図１）を主に説明する。
　なお、本実施の形態において、「データ」は、上記コンピュータによって処理可能となる形式で表現された任意のデータであってよい。上記データは、例えば、少なくとも一部において構造定義が不完全な非構造化データであってよく、自然言語によって記述された文書を少なくとも一部に含む文書データ（例えば、電子メール（添付ファイル・ヘッダ情報を含む）、技術文書（例えば、学術論文、特許公報、製品仕様書、設計図など、技術的事項を説明する文書を広く含む）、プレゼンテーション資料、表計算資料、決算報告書、打ち合わせ資料、報告書、営業資料、契約書、組織図、事業計画書、企業分析情報、電子カルテ、ウェブページ、ブログ、ソーシャルネットワークサービスに投稿されたコメントなど）、音声データ（例えば、会話・音楽などを録音したデータ）、画像データ（例えば、複数の画素またはベクター情報から構成されるデータ）、映像データ（例えば、複数のフレーム画像から構成されるデータ）などを広く含む。
　また、本実施の形態において、「参照データ」（reference data）は、例えば、ユーザによって分類情報が対応付けられたデータ（分類済みのデータであり、データと分類情報との組み合わせでなるデータ）であってよい。一方、「対象データ」（target data）は、当該分類情報が対応付けられていないデータ（参照データとしてユーザに提示されておらず、ユーザにとっては分類されていない未分類のデータ）であってよい。ここで、上記「分類情報」は、参照データを分類するために用いる識別ラベルであってよく、例えば、参照データと所定の事案とが関係することを示す「Related」ラベル、両者が特に関係することを示す「High」ラベル、および、両者が関係しないことを示す「Non-Related」ラベルのように当該参照データを３つに分類する情報であったり、「良い」、「やや良い」、「普通」、「やや悪い」、および「悪い」のように、当該参照データを５つに分類する情報であったりしてよい。
　また、上記「所定の事案」は、上記システム１がデータとの関連性を評価する対象を広く含み、その範囲は制限されない。例えば、所定の事案は、当該システム１がディスカバリ支援システムとして実現される場合、ディスカバリ手続きが要求される本件訴訟であってよいし、犯罪捜査支援システムとして実現される場合、捜査対象となる犯罪であってよいし、電子メール監視システムとして実現される場合、不正行為（例えば、情報漏えい、談合など）であってよいし、医療応用システム（例えば、ファーマコビジランス支援システム、治験効率化システム、医療リスクヘッジシステム、転倒予測（転倒防止）システム、予後予測システム、診断支援システムなど）として実現される場合、医薬に関する事例・事案であってよいし、インターネット応用システム（例えば、スマートメールシステム、情報アグリゲーション（キュレーション）システム、ユーザ監視システム、ソーシャルメディア運営システムなど）として実現される場合、インターネットに関する事例・事案であってよいし、プロジェクト評価システムとして実現される場合、過去に遂行したプロジェクトであってよいし、マーケティング支援システムとして実現される場合、マーケティング対象となる商品・サービスであってよいし、知財評価システムとして実現される場合、評価対象となる知的財産であってよいし、不正取引監視システムとして実現される場合、不正な金融取引であってよいし、コールセンターエスカレーションシステムとして実現される場合、過去の対応事例であってよいし、信用調査システムとして実現される場合、信用調査する対象であってよいし、ドライビング支援システムとして実現される場合、車両の運転に関することであってよいし、営業支援システムとして実現される場合、営業成績であってよい。
　図１に例示されるように、本実施の形態に係るデータ分析システム１は、例えば、データ分析の主要処理を実行可能なサーバ装置２と、当該データ分析の関連処理を実行可能な一つまたは複数のクライアント装置３と、データおよび当該データに対する評価結果を記録するデータベース４を備えるストレージシステム５と、クライアント装置３およびサーバ装置２に対して、データ分析のための管理機能を提供する管理計算機６とを備えてよい。
　クライアント装置３は、データの一部を参照データとしてユーザに提示する。これにより、当該ユーザは、クライアント装置３を介して参照データに対する評価・分類のための入力を行うことができる。クライアント装置３は、ハードウェア資源として、例えば、メモリと、コントローラと、バスと、入出力インターフェース（例えば、キーボード、ディスプレイなど）と、通信インターフェース（所定のネットワークを用いた通信手段７によって、クライアント装置３とサーバ装置２および管理計算機６とを通信可能に接続する）とを備えてよい。
　サーバ装置２は、データと分類情報との組み合わせ（参照データ）に基づいて、当該データからパターン（例えば、データに含まれる抽象的な規則、意味、概念、様式、分布、サンプルなどを広く指し、いわゆる「特定のパターン」に限定されない）を学習し、当該パターンに基づいて、対象データと所定の事案との関連性を評価する。すなわち、サーバ装置２は、上記学習したパターンに基づいて、対象データと訴訟との関連性を評価することもできるし、対象データと犯罪捜査との関連性を評価することもできるし、対象データとユーザの嗜好との関連性を評価することもできるし、対象データとその他の任意の事象との関連性を評価することもできる。サーバ装置２は、クライアント装置３と同様に、ハードウェア資源として、例えば、メモリと、コントローラと、バスと、入出力インターフェースと、通信インターフェースとを備えてよい。
　管理計算機６は、クライアント装置３、サーバ装置２、およびストレージシステム２２に対して、所定の管理処理を実行する。管理計算機６は、クライアント装置３と同様に、ハードウェア資源として、例えば、メモリと、コントローラと、バスと、入出力インターフェースと、通信インターフェースとを備えてよい。なお、クライアント装置３、サーバ装置２、管理計算機６がそれぞれ備えたメモリには、各装置を制御可能なアプリケーションプログラムが記憶されており、各コントローラが当該アプリケーションプログラムをそれぞれ実行することにより、当該アプリケーションプログラム（ソフトウェア資源）とハードウェア資源とが協働し、各装置が動作する。
　ストレージシステム５は、例えば、ディスクアレイシステムから構成され、データと当該データに対する評価・分類の結果とを記録するデータベース４を備えてよい。サーバ装置２とストレージ装置１８とは、ＤＡＳ（Direct Attached Storage）方式、またはＳＡＮ（Storage Area Network）によって接続（１６）されている。
　なお、図１に示されるハードウェア構成はあくまで例示に過ぎず、上記システム１は、他のハードウェア構成によっても実現され得る。例えば、サーバ装置２において実行される処理の一部または全部がクライアント装置３において実行される構成であってもよいし、当該処理の一部または全部がサーバ装置２において実行される構成であってもよいし、ストレージシステム５がサーバ装置２に内蔵される構成であってもよい。当該システム１を実現可能なハードウェア構成が多様に存在し得ることは、当業者に理解されるところであり、特定の１つの構成（例えば、図１に例示されるような構成）に限定されない。
（２）データ分析システムが備えた予測コーディング機能
　図２は、本実施の形態に係るデータ分析システム１が備えた予測コーディング機能の一例を示す機能ブロック図である。
（２－１）予測コーディングの基本構成
　図２に例示されるように、上記システム１は、予測コーディング部１０を備えることができる。予測コーディング（Predictive Coding）部８０は、人手で分類された少数のデータ（参照データ、データと分類情報との組み合わせ）に基づいて、多数のデータ（分類情報が対応付けられていない対象データ、ビッグデータ）から有意な情報を抽出できるように、当該対象データを評価する。
　予測コーディング部１０は、例えば、データ取得部１１、分類情報取得部１２、データ分類部１３、構成要素抽出部１４、構成要素評価部１５、構成要素格納部１６、およびデータ評価部１７を備えることができる。
　データ取得部１１は、任意のメモリ（例えば、ストレージシステム５、上記システム１が備えたデータベース、インターネット上のウェブサーバ、イントラネット上のメールサーバなど）からデータを取得する。データ取得部１１は、分類情報を対応付けるデータをデータ分類部１３に出力し、データ分析の対象とするデータを対象データとして構成要素抽出部１４に出力する。
　分類情報取得部１２は、ユーザによって入力された分類情報を、任意の入力装置（例えば、クライアント装置３）から取得し、当該分類情報をデータ分類部１３に出力する。
　データ分類部１３は、データ取得部１１から入力されたデータと、分類情報取得部１２から入力された分類情報とを組み合わせ、当該組み合わせを参照データとして構成要素抽出部１４に出力する。
　構成要素抽出部１４は、データ分類部１３から入力された参照データから、当該参照データを構成する構成要素を抽出する。ここで、「構成要素」は、データの少なくとも一部を構成する部分データであってよく、例えば、文書を構成する形態素、キーワード、センテンス、段落、および／またはメタデータ（例えば、電子メールのヘッダ情報）であったり、音声を構成する部分音声、ボリューム（ゲイン）情報、および／または音色情報であったり、画像を構成する部分画像、部分画素、および／または輝度情報であったり、映像を構成するフレーム画像、モーション情報、および／または３次元情報であったりしてよい。構成要素抽出部１４は、抽出した構成要素と当該構成要素に対応する分類情報とを構成要素評価部１５に出力する。同様に、構成要素抽出部１４は、データ取得部１１から入力された対象データから、当該対象データを構成する構成要素を抽出し、当該構成要素をデータ評価部１７に出力する。
　構成要素評価部１５は、構成要素抽出部１４から入力された構成要素を評価する。構成要素評価部１５は、例えば、参照データの少なくとも一部を構成する複数の構成要素が、上記組み合わせに寄与する度合い（言い換えれば、当該構成要素が分類情報に応じて出現する分布）をそれぞれ評価する。より具体的には、構成要素評価部１５は、例えば、伝達情報量（例えば、構成要素の出現確率と分類情報の出現確率とを用いて、所定の定義式から算出される情報量）を用いて構成要素を評価することによって、当該構成要素の評価値を算出する。これにより、構成要素評価部１５は、当該参照データに含まれるパターンを学習することができる。構成要素評価部１５は、構成要素と当該構成要素の評価値とを構成要素格納部１６に出力する。
　構成要素格納部１６は、構成要素評価部１５から入力された構成要素および評価値を対応付け、両者を任意のメモリ（例えば、ストレージシステム５）に格納する。
　データ評価部１７は、構成要素抽出部１４から入力された構成要素に対応付けられた評価値を任意のメモリ（例えば、ストレージシステム５）から読み出し、当該評価値に基づいて対象データを評価する。より具体的には、データ評価部８８は、例えば、対象データの少なくとも一部を構成する構成要素に対応付けられた評価値を合算することによって、当該対象データの指標（例えば、対象データを序列化可能にする数値、文字、および／または記号であってよい）を導出することができる。データ評価部８８は、当該対象データと当該指標とを対応付け、両者を任意のメモリ（例えば、ストレージシステム５）に格納する。
　なお、上記において、「～部」と表記した構成は、データ分析システム１が備えたコントローラが、プログラム（データ分析プログラム１）を実行することによって実現する機能構成であるため、「～部」を、「～処理」または「～機能」と言い換えてもよい。また、「～部」をハードウェア資源によって代替することもできるため、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによって多様な形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
（２－２）パターン更新機能
　予測コーディング部１０は、例えば、以下に説明する（２－２－１）～（２－２－３）のように、所与の参照データ、および／または新たに得られた参照データに基づいて、構成要素の評価値を最適化することができる。
（２－２－１）評価値の最適化
　構成要素評価部１５は、対象データを評価した結果に基づいて再現率または適合率を算出し、当該再現率または適合率が上昇するように、構成要素がデータと分類情報との組み合わせに寄与する度合いを繰り返し評価することによって、上記学習したパターンを更新することができる。
　ここで、上記「再現率」（Recall Rate）は、所定数のデータに対して発見すべきデータが占める割合（網羅性）を示す指標である。例えば、「全データの30％に対して再現率が80％」と表現した場合、発見すべきデータの80％が、指標の上位30％のデータの中に含まれていることを示す（データ分析システム１を用いず、データに総当たり（リニアレビュー）した場合、発見すべきデータの量はレビューした量に比例するため、当該比例からの乖離が大きいほどシステム１の性能が良いことを示す）。また、上記「適合率」（Precision Rate）は、上記システム１によって発見されたデータに対して、真に発見すべきデータが占める割合（正確性）を示す指標である。例えば、「全データを30％処理した時点で、適合率が80％」と表現した場合、指標の上位30％のデータに対して、発見すべきデータの占める割合が80％であることを示す。
　構成要素抽出部１４は、データ評価部１７によって評価された結果に基づいて再現率または適合率を算出し、当該再現率または適合率が目標値を下回っていた場合、再現率または適合率が目標値を上回るまで、構成要素をデータから再抽出する。このとき、構成要素抽出部１４は、前回抽出した構成要素を除いた構成要素を抽出するようにしてもよいし、前回抽出した構成要素の一部を新たな構成要素に置き換えてもよい。また、データ評価部１７が、再抽出された構成要素で対象データの指標を導出する場合、再抽出された構成要素とその評価値とを用いて各データの指標（第２指標）を導出し、構成要素を再抽出する前に得られた第１指標と第２指標とから、再現率または適合率を導出し直してもよい。これにより、データ分析システム１は、データ分析の精度を向上させることができるという付加的な効果をさらに奏する。
（２－２－２）畳み込み手法に基づく構成要素の評価
　構成要素評価部１５は、参照データに含まれる構成要素を評価した後、当該構成要素以外の他の構成要素の評価値を畳み込むことによって、当該構成要素の評価値に当該他の構成要素の評価値を反映させるように、当該構成要素を再評価することができる。これにより、構成要素と他の構成要素との関連性が、当該構成要素の評価値として評価されるため、データ分析システム１は、データ分析の精度を向上させることができるという付加的な効果をさらに奏する。
（２－２－３）最適化のタイミング
　構成要素評価部１５は、任意のタイミングでパターン（例えば、構成要素と当該構成要素の評価値との組み合わせ）を更新することができる。すなわち、構成要素評価部１５は、例えば、（ａ）上記システムを管理する管理ユーザから更新リクエストを受け付けたタイミングで、（ｂ）予め設定された日時が到来したタイミングで、および／または（ｃ）ユーザから追加レビューに関する入力を受け付けたタイミングで、上記パターンを更新することができる。
　ユーザは、データ評価部１７によって指標が導出された対象データの内容を確認（確認レビュー）し、当該対象データに対する分類情報を新たに入力することができる。このとき、分類情報取得部１２は、新たに入力された分類情報を取得し、データ分類部１３は、上記対象データと当該分類情報とを組み合わせ、当該組み合わせを新たな参照データとする。当該新たな参照データは、任意のメモリに蓄積され、例えば、上記（ａ）～（ｃ）のタイミングで上記システムにフィードバックされる。
　これにより、構成要素抽出部１４は、上記新たな参照データから構成要素を抽出し、構成要素評価部１５は、当該構成要素を評価する。当該構成要素が以前に評価され、当該構成要素とその評価値とがメモリに格納されている場合、構成要素格納部１６は、当該評価値を新たな評価結果（評価値）と置き換え、格納されていない場合、当該構成要素とその評価値とを対応付けて、当該メモリに新たに格納する。
　すなわち、予測コーディング部１０は、任意のタイミング（例えば、上記（ａ）～（ｂ）のタイミング）で、当該分類情報に対応するデータの少なくとも一部を構成する複数の構成要素が、当該データと当該分類情報との組み合わせに寄与する度合いを再評価することによって、上記学習したパターンを更新することができる。これにより、データ分析システム１は、データ分析の精度を向上させることができるという付加的な効果をさらに奏する。
（２－３）管理機能
　予測コーディング部１０は、管理部１８をさらに備えることができる（図２において図示されていない）。管理部１８は、例えば、以下に説明する（２－３－１）～（２－３－６）の機能を有する。
（２－３－１）レビュー・ヒートマップ（Review Heat Map）
　データ評価部１７が、複数の対象データに対してそれぞれ指標を導出し、（例えば、当該指標によって当該対象データと所定の事案との関連性が高いことが示された順に）ユーザが、当該複数の対象データをそれぞれ確認して分類情報を付与した（確認レビューした）場合を一例として考える。このとき、管理部１８は、分類情報が対応付けられた対象データが、すべての対象データに対して占める割合に応じたグラデーションを用いて、複数の対象データをそれぞれ評価した結果に対する当該割合の分布を視認可能に表示することができる。
　例えば、データ評価部１７が、０～10000の値域をとる数値を上記指標として導出する場合、管理部１８は、例えば、当該指標を1000ごとに区切った範囲（すなわち、０～1000を第１区間、1001～2000を第２区間、2001～3000を第３区間・・・とする）に対象データをそれぞれ分類し（例えば、指標が2500である対象データを第３区間に分類する）、ある範囲に分類された対象データの総数に対して、所定の分類情報（例えば、「Related」）が付与された対象データが占める割合が視認可能となるように、例えば、当該範囲の色調を変化させて（例えば、当該割合が高いほど暖色系に近づき、低いほど寒色系に近づく）、当該範囲を表示させることができる。管理部１８は、他の範囲についても、同様に当該他の範囲を表示させる。
　これにより、管理部１８は、各範囲における上記割合の分布を、グラデーションを用いて表示することができるため、例えば、上記指標によって対象データと所定の事案との関連性が高いことが示されている範囲（例えば、当該指標が8001～9000である第９区間）にもかかわらず、当該範囲における上記割合が寒色系の色調で示されている場合、ユーザによる確認レビューが間違っているおそれがあることを示唆することができる。すなわち、データ分析システム１は、ユーザに当該分布を一目で把握させることができるという付加的な効果をさらに奏する。
（２－３－２）セントラル・リンケージ（Central Linkage）
　管理部１８は、複数の主体（例えば、人、組織、コンピュータなど）間の相互関係（例えば、上下関係、系列関係、データ送受信の多寡など）を可視化することができる。例えば、第１コンピュータから第２コンピュータに電子メールが送信された場合、管理部１８は、当該第１コンピュータを表す第１の円と当該第２コンピュータを表す第２の円とを、当該第１の円から当該第２の円に向かう矢印（例えば、電子メールの多寡に応じた太さを有してよい）で結んだダイアグラムを、所定の表示装置（例えば、クライアント装置３が備えたディスプレイ）に表示させることができる。
　また、管理部１８は、データ評価部１７によって評価された結果に応じて、上記相互関係を可視化することができる。例えば、データ評価部１７が、０～10000の値域をとる数値を上記指標として導出する場合、管理部１８は、例えば、指定された区間に属する指標が対応付けられた対象データ（例えば、第１コンピュータから第２コンピュータに送信された電子メール）のみに基づいて、上記ダイアグラムを上記所定の表示装置に表示させることができる。これにより、データ分析システム１は、複数の主体間の相互関係をユーザに一目で把握させることができるという付加的な効果をさらに奏する。
（２－３－３）行動抽出（Behavior Extractor）
　管理部１８は、所定の動作を表す第１の構成要素が対象データに含まれるか否かを判定し、含まれると判定する場合、当該所定の動作の対象を表す第２の構成要素を特定することができる。
　例えば、「仕様を確定する」という文書が上記対象データに含まれる場合、当該文書から「仕様」および「確定する」という構成要素を抽出し、「確定する」という所定の動作を表す第１の構成要素（動詞）の対象である「仕様」という第２の構成要素（目的語）を特定する。次に、管理部１８は、上記第１の構成要素および第２の構成要素を含む対象データの属性（性質・特徴）を示すメタ情報（属性情報）と、当該第１の構成要素および第２の構成要素とを関連付ける。ここで、上記メタ情報とは、データが有する所定の属性を示す情報であり、例えば、上記対象データが電子メールである場合、当該電子メールを送信した人物の名前、受信した人物の名前、メールアドレス、送受信された日時などであってよい。
　そして、管理部１８は、２つの構成要素とメタ情報とを対応付けて、所定の表示装置（例えば、クライアント装置３が備えたディスプレイ）に表示させる。例えば、管理部１８は、第１の構成要素を表す円と第２の構成要素を表す円とを、当該第１の円から当該第２の円に向かう矢印で結んだダイアグラムを、上記所定の表示装置に表示させることができる。これにより、データ分析システム１は、上記所定の動作とその対象とをユーザに一目で把握させることができるという付加的な効果をさらに奏する。
（２－３－４）生成的概念抽出に基づく自動要約
　管理部１８は、予め選定された概念の下位概念に対応する構成要素を含むデータを複数の対象データからそれぞれ抽出し、当該複数の対象データを要約可能なコンテンツ（例えば、文書、グラフ、表など）を生成することができる。
　まず、ユーザが、対象データから検出したいトピックに応じたいくつかの概念を選定し、当該選定した概念を予め管理部１８に登録する。例えば、検出すべきトピックが「不正」または「不満」である場合、概念のカテゴリを「行動」、「感情」、「性質・状態」、「リスク」、および「金銭」の５つに分け、例えば「行動」については「復讐する」、「軽蔑する」など、「感情」については「苦しむこと」、「腹を立てること」など、「性質・状態」については「鈍重であること」、「態度が悪いこと」など、「リスク」については「脅す」、「だます」など、「金銭」については「人の労働に対して支払われるお金」などの概念を、ユーザが管理部１８にそれぞれ登録する。
　管理部１８は、登録された概念ごとに、当該概念の下位概念に対応する構成要素を参照データから検索し、当該検索された構成要素を当該概念に対応付けて、任意のメモリ（例えば、ストレージシステム５）に格納する。そして、管理部１８は、当該格納された構成要素を対象データから抽出し、当該構成要素に対応付けられた概念を特定し、当該概念を用いた要約を出力する。
　例えば、管理部１８は、ある電子メールに含まれる「監視システム受注」というテキストから「システム」、「販売」、および「する」という概念を抽出し、他の電子メールに含まれる「会計システム導入」というテキストから「システム」、「販売」、および「する」という概念を抽出し、これら電子メールの要約として「システムを販売する」を出力する。このとき、管理部１８は、例えば、「システムを販売する」の概念を含む対象データが、すべての対象データに対して占める割合を示すグラフ（例えば、円グラフ）を示すことができる。これにより、データ分析システム１は、対象データの全体像をユーザに把握させることができるという付加的な効果をさらに奏する。
（２－３－５）抽出的自動要約
　管理部１８は、図３に示す処理手順に従って、対象とする文書（以下、これを対象文書と呼ぶ、対象データ）を構成するセンテンス（文）の中から重要なセンテンスをその対象文書の要約として抽出することができる。
　この場合、管理部１８は、まずデータ取得部１１が取得した対象文書のデータを入力する（ＳＰ１）。このとき入力する対象文書は、単独の文書でも、また複数の文書（文書群）でもよい。
　続いて、管理部１８は、対象文書を形態素解析する（ＳＰ２）。この際、管理部１８は、対象文書をセンテンスごとに区切り、各センテンスの認識も併せて行う。
　次いで、管理部１８は、ステップＳＰ２の処理結果から、名詞、動詞および形容詞を特徴語候補として抽出する（ＳＰ３）。具体的に、管理部１８は、動詞および形容詞は、ステップＳＰ２の形態素解析の際に各形態素に関連付けられたタグ（動詞であれば「動詞－自立（自動詞）」または「名詞－サ変接続（他動詞）」、形容詞であれば「＊形容＊」）を利用して抽出する。
　また管理部１８は、名詞については、重要そうなもののみを抽出する。本実施の形態においては、名詞のうち、構文的役割（Syntactic role）が主題（Topic）、主語（Subject）、目的語（Object）、または、間接目的語（Indirect Object）のいずれかであるもののみを抽出する。これら名詞の抽出手法としては、助詞の前に存在する形態素を抽出する。例えば、主題の名詞の後には「は」、主語の名詞の後には「が」、目的語の名詞の後には「を」、間接目的語の名詞の後には「に」という助詞がそれぞれ付加されるため、これら「は」、「が」、「を」または「に」という助詞としての構文的役割を有する形態素の前の形態素を特徴語候補の名詞として抽出する。
　次いで、管理部１８は、ステップＳＰ３で抽出した特徴語候補の中から特徴語を選定する（ＳＰ４）。具体的に、管理部は、まず特徴語候補ごとに、リファレンスコーパスにおけるその特徴語候補の出現頻度に対する、対象文書における当該特徴語候補の出現頻度の偏り（以下、これをキーネス（keyness）と呼ぶ）を計算する。
　なおリファレンスコーパスは、キーネスを計算するために基準となるデータセット（基準データセット）であり、分析の対象とするデータ（対象文書）の種類に応じて任意に選択することができる（例えばウィキペディア（Wikipedia）日本語版を利用することができる）。例えば、音声データを分析対象とする場合には、日常会話を録音した音声データの集合を基準データセットとして選択することができ、画像・映像データを分析対象とする場合には、ウェブ検索エンジンを用いて所定の検索ワードで画像検索した場合に検索結果として現れる画像・映像データの集合を基準データセットとして選択することができる。
　特徴語候補のキーネスは、対象文書における特徴語候補の出現頻度に基づいて算出可能な（対数）オッズと、リファレンスコーパスにおける当該特徴語候補の出現頻度に基づいて算出可能な（対数）オッズとの比(対数)（オッズ比（Log-Odds Ratio））、または、対象文書における当該特徴語候補の出現頻度に基づいて算出可能な（対数）尤度と、リファレンスコーパスにおける当該特徴語候補の出現頻度に基づいて算出可能な（対数）尤度若しくは（対数）オッズとの比（(対数)尤度比（LLR:Log-likelihood Ratio）として算出することができる。
　対数オッズ比は、分析対象となる未知データに出現する頻度をＯ１１、参照コーパスに出現する頻度をＯ１２とし、当該形態素とは異なる他のすべての形態素が未知データに出現する頻度をＯ２１、当該他のすべての形態素が参照コーパスに出現する頻度をＯ２２として、次式
Figure JPOXMLDOC01-appb-M000001
 により求めることができる。
　また対数尤度比は、Ｒ１及びＲ２をそれぞれ次式
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
 とし、Ｃ１、Ｃ２、Ｎをそれぞれ次式
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
 として、次式
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
 によりそれぞれ算出される期待出現頻度（expected frequencies）Ｅ１１～Ｅ２２を利用して、次式
Figure JPOXMLDOC01-appb-M000011
 により算出することができる。
　この後、管理部１８は、特徴語候補ごとに（構文的役割ごとまたは名詞/動詞/形容詞ごと）に、キーネスの値の平均値（平均キーネス）を算出し、算出した平均キーネスを閾値として、キーネスの値が閾値以上の特徴語候補を特徴語として選定する。
　次いで、管理部１８は、対象文書全体から見た各センテンスの重要度を推定する（ＳＰ５）。具体的に、管理部１８は、対象文書のセンテンスごとに、次式
Figure JPOXMLDOC01-appb-M000012
 のように、そのセンテンスに含まれる特徴語のキーネスの合計値（以下、これを合計キーネススコアと呼ぶ）を算出し、算出したセンテンスごとの合計キーネススコアを、それぞれ対象文書全体から見たそのセンテンスの重要度とする。なお（１２）式において、Ｓはセンテンス、Ｆは１種類の特徴語セット（例えば名詞）、ｗはＳに出現する形態素をそれぞれ表す。
　この後、管理部１８は、ステップＳＰ５で取得した各センテンスの重要度に基づいて、各センテンスを順位付け（ランキング）する（ＳＰ６）。例えば、管理部１８は、各センテンスの合計キーネススコアをそれぞれそのセンテンスの単語数で除算することにより各合計キーネススコアを正規化し、正規化した合計キーネススコアの値に基づいてセンテンスを順位付けする。この際、管理部１８は、正規化した合計キーネススコアの値がより大きいセンテンスに対して、より小さい順位を付与する。従って、正規化した合計キーネススコアの値が最も大きいセンテンスに「１位」、次に正規化した合計キーネススコアの値が大きいセンテンスに「２位」、……というように各センテンスが順位付けされる。または、管理部１８は、特徴語の種類の数にしたがってセンテンスを順位付けすることもできる。
　続いて、管理部１８は、ステップＳＰ６で行った順位付けに基づいて、要約とすべきセンテンスを抽出し、当該センテンスを当該対象文書に含まれるコンテンツを代表する代表コンテンツ（すなわち、要約）として表示する（ＳＰ７）。管理部１８は、基本的には、ステップＳＰ６の順位付けで最も順位が高いセンテンスを対象文書の要約として対象文書から抽出する。ただし、より順位が高く、かつ２種類以上の特徴語を含む（例えば、１つ以上の名詞および１つ以上の形容詞を含む、または、１つ以上の名詞および１つ以上の動詞を含む）センテンスを対象文書の要約として抽出するようにしてもよい。また、より厳しい条件として、例えば、構文的役割が主題（Topic）である名詞を含むセンテンスのみを対象文書の要約として抽出するようにしてもよい。
　以上のような抽出的自動要約によれば、対象文書の要約を簡易な方法により生成することができる。
　なお、大量の文書について、個々の文書の要約を上述した抽出的自動要約生成機能を利用してそれぞれ自動生成し、生成した文書ごとの要約をその内容に応じてクラスタリングすることで、上記大量の文書をその内容に応じて分類することができる。従って、この分類結果を表示することで、上記大量の文書のざっくりとした内容をユーザに提示することができる。
　また上述した抽出的自動要約生成機能をオントロジ分析にも適用することができる。この場合、上述の手順により大量の文書の要約をそれぞれ生成し、各文書の要約をそれぞれ所定の電子化辞書を用いて上位概念化し、上位概念化した要約の内容に応じて各文書を分類する。
　また上述した抽出的自動要約生成機能を感情分析に利用することもできる。
　さらに上述した抽出的自動要約生成機能を利用しては、文書だけでなく、音声データ、画像データおよび映像データやその他のデータなどのそのとき対象とするデータ（対象データ）を構成する部分データの中から重要な部分データをその対象データの要約として抽出することができる。
　なお部分データとは、対象データの一部を構成するデータのことであり、例えば、音声データの場合には、音量ゲインが所定値を下回った箇所を区切りとして、ある区切りから次の区切りまでを部分データとすることができる。また画像の場合には、例えば、画素の相関が所定値を下回った箇所を区切りとして、ある区切りから次の区切りまでを部分データとすることができる。さらに映像データの場合には、例えば、シーンが切り替わる箇所（あるフレーム画像と次のフレーム画像との相関が低い箇所）を区切りとして、ある区切りから次の区切りまでを部分データとすることができる。
（２－３－６）トピッククラスタリング（Topic Clustering）
　管理部１８は、複数の対象データに含まれるトピック（主題）に応じて、当該複数の対象データをクラスタリングすることができる。例えば、管理部１８は、任意の分類モデル（例えば、Ｋ平均法、サポートベクターマシン、球面クラスタリングなど）を用いて、複数の対象データをクラスタリングすることができる。これにより、データ分析システム１は、対象データの全体像をユーザに把握させることができるという付加的な効果をさらに奏する。
（２－４）フェーズ分析機能
　予測コーディング部１０は、フェーズ分析部１９をさらに備えることができる（図２において図示されていない）。フェーズ分析部１９は、例えば、以下に説明する（２－４－１）～（２－４－３）の機能を有する。
（２－４－１）フェーズ分析
　フェーズ分析部１９は、所定の事案が進展する各段階を示すフェーズを分析することができる。ここで、上記システム１が犯罪捜査支援システムとして実現され、所定の事案が「談合行為」である例に基づいて、フェーズ分析部１９がフェーズを分析する流れを説明する。
　談合行為は、関係構築フェーズ（競合他社と関係を構築する段階）、準備フェーズ（競合他社と競合に関する情報を交換する段階）、競合フェーズ（顧客へ価格を提示し、フィードバックを得て、競合他社とコミュニケーションを取る段階）の順に進展することが知られている。そこで、上記システム１の管理者は、フェーズ分析部１９に上記３つのフェーズを設定する。上記システム１は、予め設定された複数のフェーズに対してそれぞれ準備される複数種類の参照データから、当該複数のフェーズに対応する複数のパターンをそれぞれ学習し、当該複数のフェーズにそれぞれ基づいて対象データを分析することによって、例えば「分析対象である組織が、現在どのフェーズにあるか」を特定することができる。
　すなわち、構成要素評価部１５は、予め設定された複数のフェーズに対してそれぞれ準備される複数種類の参照データを参照し、当該複数種類の参照データにそれぞれ含まれる構成要素を評価し、当該構成要素と当該構成要素を評価した結果（評価値）とを対応付けて、フェーズごとにメモリに格納する（すなわち、当該複数のフェーズに対応する複数のパターンをそれぞれ学習する）。次に、データ評価部１７は、上記フェーズごとに学習されたパターンに基づいて対象データを分析することにより、複数のフェーズに対してそれぞれ指標を導出する。
　そして、フェーズ分析部１９は、当該指標が各フェーズに対して予め設定された所定の判定基準（例えば、閾値）を満たしているか否か（例えば、当該指標が当該閾値を超過しているか否か）を判定し、満たしていると判定する場合、当該フェーズに対応するカウント値を増加させる。最後に、フェーズ分析部１９は、当該カウント値に基づいて現在のフェーズを特定する（例えば、最大のカウント値を有するフェーズを、現在のフェーズとする）。または、フェーズごとに導出された指標が、当該フェーズに設定された所定の判定基準を満たしていると判定した場合、フェーズ分析部１９は、当該フェーズを現在のフェーズとして特定することもできる。これにより、データ分析システム１は、所定の事案が進展する各段階を示すフェーズを、ユーザに示唆することができるという付加的な効果をさらに奏する。
（２－４－２）予測モデルに基づくフェーズ進展予測
　フェーズ分析部１９は、所定の事案に関係する所定の行為の進展を予測可能なモデルに基づいて、複数の対象データを評価することによって導出した指標から、次の行為を予測・提示することができる。
　すなわち、フェーズ分析部１９は、例えば、第１フェーズ（例えば、関係構築フェーズ）に対して導出された指標と、第２フェーズ（例えば、準備フェーズ）に対して導出された指標とを変数とする回帰モデル（上記進展を予測可能なモデル）を仮定し、予め最適化した回帰係数に基づいて、第３フェーズ（例えば、競合フェーズ）に進む可能性（例えば、確率）を予測することができる。これにより、データ分析システム１は、所定の事案に関係する所定の行為の進展を予測した結果を、ユーザに示唆することができるという付加的な効果をさらに奏する。
（２－４－３）判定基準の最適化
　フェーズ分析部１９は、データ評価部１７によって導出された指標に基づいてフェーズを特定するための上記判定基準（各フェーズに対して予め設定された所定の判定基準であり、例えば、閾値）を、所与のデータに応じて最適化することができる。管理部１８は、例えば、複数の対象データに対してそれぞれ導出された指標と当該指標のランキング（すなわち、指標を昇順で並べた場合における順位）との関係に対して回帰分析を行い、当該回帰分析の結果に基づいて上記判定基準を再設定（例えば、上記閾値を変更）することができる。
　まず、上記システム１の管理者は、上記ランキングに対して予めランキング閾値を設定しておく。フェーズ分析部１９は、データ評価部１７によって導出された指標と当該指標のランキングとの関係に対して、例えば、指数型分布族に属する関数（ｙ＝ｅαｘ＋β（ｅは自然対数の底、αおよびβは実数値をとるパラメータである））を用いた回帰分析を行い（例えば、最小自乗法により上記関数の上記パラメータを決定する）、当該関数において上記ランキング閾値に対応する指標を、新たな判定基準（変更後の閾値）として設定する。これにより、データ分析システム１は、所与のデータに応じて判定基準を最適化することができるため、データ分析の精度を向上させることができるという付加的な効果をさらに奏する。
（２－５）補助機能
　予測コーディング部１０が備えた各部は、例えば、以下に説明する（２－５－１）～（２－５－６）の補助機能を有することができる。
（２－５－１）高解像度評価
　データ評価部１７は、高い解像度で対象データを評価することができる。すなわち、データ評価部１７は、対象データに対して指標を導出するだけでなく、例えば、対象データを複数のパーツ（例えば、当該対象データに含まれるセンテンスまたは段落（部分対象データ））に分割し、学習したパターンに基づいて当該複数の部分対象データをそれぞれ評価（部分対象データに対して指標を導出）することができる。
　そして、データ評価部１７は、複数の部分対象データに対してそれぞれ導出した複数の指標を統合し、当該統合指標を対象データの評価結果とすることもできる（例えば、各指標が数値として導出される場合、当該指標の最大値を抽出して当該対象データに対する統合指標としたり、当該指標の平均を当該対象データに対する統合指標としたり、当該指標を大きい順から所定数合算して当該対象データの統合指標としたりすることができる）。これにより、データ分析システム１は、データ分析の精度を向上させることができるという付加的な効果をさらに奏する。
（２－５－２）時系列評価
　時間の経過とともにその性質が変化するデータ（例えば、時間の経過とともに進行する病状を記録した電子カルテなど）を分析する場合、構成要素評価部１５は、所定時間ごとに区切られた参照データ（例えば、第１区間の参照データ、第２区間の参照データ・・・）からそれぞれパターンを学習し（すなわち、当該所定時間ごとに構成要素と当該構成要素を評価した結果とを取得し）、データ評価部１７は、当該パターンにそれぞれ基づいて対象データを評価することができる。すなわち、データ評価部１７は、時系列に沿って対象データに対する指標を導出することができる。これにより、データ分析システム１は、データ分析の精度を向上させることができるという付加的な効果をさらに奏する。
　このとき、データ評価部１７は、上記指標の時間的変化に基づいて、将来の指標を予測することができる。例えば、データ評価部１７は、新たに対象データが得られる前に、時系列分析のためのモデル（例えば、自己回帰モデル、移動平均モデルなど）と、所定の期間内（例えば、過去１ヶ月）において導出された指標とに基づいて、当該新たな対象データを評価した場合に得られる次の指標を予測することができる。これにより、データ分析システム１は、将来起こり得る事象（例えば、好ましくない事態が起こるリスク）をユーザに提示できるという付加的な効果をさらに奏する。
（２－５－３）案件別評価
　案件の種類に応じてその性質が変化するデータ（例えば、訴訟の種類（例えば、独占禁止法違反、情報漏洩、特許権侵害など）に応じて内容が変化する訴訟関連文書など）を分析する場合、構成要素評価部１５は、案件ごとに準備された参照データ（例えば、独占禁止法違反に関する参照データ、情報漏洩に関する参照データ、……）からそれぞれパターンを学習し（すなわち、当該案件ごとに構成要素と当該構成要素を評価した結果とを取得し）、データ評価部１７は、当該パターンにそれぞれ基づいて対象データを評価することができる。これにより、データ分析システム１は、データ分析の精度を向上させることができるという付加的な効果をさらに奏する。
（２－５－４）構文解析
　データ評価部１７は、対象データが有する構造を解析し、当該解析した結果を当該対象データの評価に反映させることができる。例えば、対象データが少なくとも一部に文書（テキスト）を含む場合、データ評価部１７は、当該文書に含まれる各センテンスの表現形態（例えば、当該センテンスが肯定形であるか、否定形であるか、消極形であるかなど）を解析し、当該解析した結果を対象データに対して導出する指標に反映させることができる。ここで、肯定形は、主題を肯定する表現（例えば、「料理が美味しい」）であり、否定形は、主題を否定する表現（例えば、「料理が不味い」または「料理が美味しくない」）であり、消極形は、主題を婉曲に肯定または否定する表現（例えば、「料理が美味しいとはいえなかった」または「料理が不味いとはいえかった」）であってよい。
　データ評価部１７は、上記表現形態に応じて指標を調整することができる。例えば、データ評価部１７が所定の値域をとる数値を上記指標として導出する場合、データ評価部１７は、例えば、肯定形に「＋α」を加算し、否定形に「－β」を加算し、消極形に「＋θ」を加算することによって(α、β、およびθは、それぞれ任意の数値であってよい)、上記指標を調整することができる。また、データ評価部１７は、対象データに含まれるセンテンスが否定型であることを検知した場合、例えば、当該センテンスをキャンセルすることにより、当該センテンスに含まれる構成要素を指標導出の基礎にしない（当該構成要素を考慮しない）ことができる。
　さらに、構成要素評価部１５は、例えば、ある形態素（構成要素）がセンテンスの主語、目的語、および述語のいずれかに応じて、当該構成要素の評価値を増減させることができる。これにより、データ分析システム１は、データ分析の精度を向上させることができるという付加的な効果をさらに奏する。
（２－５－５）構成要素間の相関（共起）を考慮した評価
　データ評価部１７は、対象データに含まれる第１構成要素と、当該対象データに含まれる第２構成要素との相関（共起、例えば、両者が同時に出現する頻度）を考慮して、当該対象データに対する指標を導出することができる。
　例えば、対象データが少なくとも一部に文書（テキスト）を含む場合において、当該文書に「価格」という第１キーワード（第１構成要素）が出現するとき、データ評価部１７は、当該第１キーワードが出現した第１位置の近傍にある第２位置（例えば、当該第１位置を含む所定の範囲に含まれる位置）に、第２キーワード（第２構成要素）が出現する数に基づいて、上記指標を導出することができる。これにより、データ分析システム１は、データ分析の精度を向上させることができるという付加的な効果をさらに奏する。
（２－５－６）感情分析
　対象データが所定の事案に対するユーザの評価情報を含む場合、データ評価部１７は、当該対象データを生成したユーザの感情であって、当該評価情報に基づいて生じた当該所定の事案に対する感情を、当該対象データから抽出する（当該対象データに含まれる感情を評価する）ことができる。
　例えば、商品・サービスを紹介するウェブサイト（例えば、オンライン商品サイト、レストランガイドなど）に含まれるデータを分析対象とする場合、データ評価部１７は、当該商品・サービスに対するコメント（レビュー）に含まれる構成要素（例えば、「良かった」、「楽しかった」、「悪かった」、「つまらなった」などのキーワード）と、当該商品・サービスに対する評価（例えば、「とても良い」、「良い」、「普通」、「悪い」、「とても悪い」の５段階評価）との組み合わせ（参照データ）に基づいて、対象データ（例えば、他のウェブサイトに含まれるデータ）を評価することができる。このとき、データ評価部１７は、例えば、誇張表現（例えば、「とても」、「非常に」など）に応じて当該評価結果を増減させることができる。これにより、データ分析システム１は、データ分析の精度を向上させることができるという付加的な効果をさらに奏する。
（３）予測コーディング部１０が実行する処理
　図４は、本実施の形態に係るデータ分析システム１が備えた予測コーディング部１０が実行する処理の一例を示すフローチャートである。
　まず、データ取得部１１が、任意のメモリからデータを取得する（ＳＰ１０）。次に分類情報取得部１２が、ユーザによって入力された分類情報を、任意の入力装置から取得する（ＳＰ１１）。次に、データ分類部１３が、当該データと分類情報とを組み合わせることによって（参照データ）、当該データを分類し（ＳＰ１２）、構成要素抽出部１４が、当該参照データを構成する構成要素を当該参照データから抽出する（ＳＰ１３）。そして、構成要素評価部１５が、当該構成要素を評価し（ＳＰ１４）、構成要素格納部１６が、当該構成要素と評価値とを対応付け、両者を任意のメモリに格納する（ＳＰ１５）。なお、上記ＳＰ１０～ＳＰ１５の処理を、「学習フェーズ」（上記システム１がパターンを学習するフェーズ）と称する。
　データ取得部１１が、任意のメモリから対象データを取得する（ＳＰ１６）。構成要素抽出部１４が、当該対象データを構成する構成要素を当該対象データから抽出する（ＳＰ１７）。データ評価部１７は、当該構成要素に対応付けられた評価値を任意のメモリから読み出し、当該評価値に基づいて対象データを評価する（ＳＰ１８）。なお、上記Ｓ７～Ｓ９の処理を、「評価フェーズ」（上記システム１が上記パターンに基づいて対象データを評価する）と称する。
　なお、上記学習フェーズに含まれる各処理は、いずれも上記システム１において必須の処理ではないことに注意する。例えば、構成要素と当該構成要素の評価値とを対応付けて記憶するメモリが予め与えられており、予測コーディング部１０が、当該メモリに格納された当該構成要素および評価値に基づいて、対象データを評価することもできる。
（４）データ分析システムが文書データ以外のデータを処理する例
　本実施の形態においては、データ分析システム１が文書データを分析する場合を主に想定し、当該想定に基づく一例を説明したが、当該システム１は、文書データ以外のデータ（例えば、音声データ、画像データ、映像データなど）を分析することもできる。
　例えば、音声データを分析する場合、上記システム１は、当該音声データ自体を分析の対象としてもよいし、音声認識により当該音声データを文書データに変換し、変換後の文書データを分析の対象としてもよい。前者の場合、上記システム１は、例えば、音声データを所定の長さの部分音声に分割して構成要素とし、任意の音声分析手法（例えば、隠れマルコフモデル、カルマンフィルタなど）を用いて当該部分音声を識別することによって、当該音声データを分析できる。後者の場合、任意の音声認識アルゴリズム（例えば、隠れマルコフモデルを用いた認識方法など）を用いて音声を認識し、認識後のデータに対して、実施の形態において説明した手順と同様の手順で分析できる。
　また、画像データを分析する場合、上記システム１は、例えば、画像データを所定の大きさの部分画像に分割して構成要素とし、任意の画像認識手法（例えば、パターンマッチング、サポートベクターマシン、ニューラルネットワークなど）を用いて当該部分画像を識別することによって、当該画像データを分析できる。
　さらに、映像データを分析する場合、上記システム１は、例えば、映像データに含まれる複数のフレーム画像を所定の大きさの部分画像にそれぞれ分割して構成要素とし、任意の画像認識手法（例えば、パターンマッチング、サポートベクターマシン、ニューラルネットワークなど）を用いて当該部分画像を識別することによって、当該映像データを分析できる。
（５）ソフトウェア・ハードウェアによる実現例
　データ分析システム１の制御ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵを用いてソフトウェアによって実現してもよい。
　後者の場合、上記システム１は、各機能を実現するソフトウェアであるプログラム（データ分析システム１の制御プログラム）を実行するＣＰＵ、当該プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、当該プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。
　そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。
　また、上記プログラムは、当該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　なお、上記プログラムは、任意のプログラミング言語によって実装可能であり、例えば、Python、ActionScript、JavaScript（登録商標）などのスクリプト言語、Objective-C、Java（登録商標）などのオブジェクト指向プログラミング言語、HTML5などのマークアップ言語などを用いて実装され得る。また、上記プログラムを記録した任意の記録媒体も、本発明の範疇に入る。
（６）他のアプリケーション例
　上記した実施の形態においては、本発明のデータ分析システム１が、対象文書から重要度が高いセンテンスを当該対象文書の要約として抽出する抽出的自動要約生成システムとして実現される例を説明したが、当該システム１は、例えば、ディスカバリ支援システム、フォレンジックシステム、電子メール監視システム、医療応用システム（例えば、ファーマコビジランス支援システム、治験効率化システム、医療リスクヘッジシステム、転倒予測（転倒防止）システム、予後予測システム、診断支援システムなど）、インターネット応用システム（例えば、スマートメールシステム、情報アグリゲーション（キュレーション）システム、ユーザ監視システム、ソーシャルメディア運営システムなど）、情報漏洩検知システム、プロジェクト評価システム、マーケティング支援システム、知財評価システム、不正取引監視システム、コールセンターエスカレーションシステム、信用調査システムなど、任意のシステムとしても実現され得る。
　例えば、本発明のデータ分析システム１がディスカバリ支援システムとして実現される場合、調査対象の文書・音声・画像・映像（以下「文書等」と称する）の内容を本実施の形態の抽出的自動要約生成機能を利用してそれぞれ要約し、個々の文書等の要約結果をユーザに提示したり、さらに各文書等の要約結果をそれぞれ電子化辞書を用いて上位概念化し、上位概念化した各文書等の要約の内容に基づいてこれらの文書等を分類し、分類結果をユーザに提示するようにしてもよい。
　また、本発明のデータ分析システム１がフォレンジックシステムとして実現される場合、各種調査資料（文書・音声・画像・映像を広く含む）を本実施の形態の抽出的自動要約生成機能を利用してそれぞれ要約し、個々の調査資料の要約結果をユーザに提示したり、さらに各調査資料の要約結果をそれぞれ電子化辞書を用いて上位概念化し、上位概念化した各調査資料の要約の内容に基づいてこれらの調査資料を分類し、分類結果をユーザに提示するようにしてもよい。
　また、本発明のデータ分析システム１が電子メール監視システムとして実現される場合、各電子メールの内容を本実施の形態の抽出的自動要約生成機能を利用してそれぞれ要約し、個々の電子メールの要約結果をユーザに提示したり、さらに各電子メールの要約結果をそれぞれ電子化辞書を用いて上位概念化し、上位概念化した各電子メールの要約の内容に基づいてこれら電子メールを分類し、分類結果をユーザに提示するようにしてもよい。
　また、本発明のデータ分析システム１が医療応用システム（例えば、ファーマコビジランス支援システム、治験効率化システム、医療リスクヘッジシステム、転倒予測（転倒防止）システム予後予測システム、診断支援システムなど）として実現される場合、カルテ等の各医療データの内容を本実施の形態の抽出的自動要約生成機能を利用してそれぞれ要約し、個々の医療データの要約結果をユーザに提示したり、さらに各医療データの要約結果をそれぞれ電子化辞書を用いて上位概念化し、上位概念化した各医療データの要約の内容に基づいてこれら医療データを分類し、分類結果をユーザに提示するようにしてもよい。
　また、本発明のデータ分析システム１がインターネット応用システム（例えば、スマートメールシステム、情報アグリゲーション（キュレーション）システム、ユーザ監視システム、ソーシャルメディア運営システムなど）として実現される場合、ユーザが入力した各データの内容を本実施の形態の抽出的自動要約生成機能を利用してそれぞれ要約し、個々のデータの要約結果をユーザに提示したり、さらに各データの要約結果をそれぞれ電子化辞書を用いて上位概念化し、上位概念化した各データの要約の内容に基づいてこれらデータを分類し、分類結果をユーザに提示するようにしてもよい。
　また、本発明のデータ分析システム１が情報漏洩検知システムとして実現される場合、社員が作成した各電子メールや文書等の内容を本実施の形態の抽出的自動要約生成機能を利用してそれぞれ要約し、個々の電子メールや文書等の要約結果をユーザに提示したり、さらに各電子メールや文書等の要約結果をそれぞれ電子化辞書を用いて上位概念化し、上位概念化した各電子メールや文書等の要約の内容に基づいてこれら電子メールや文書等を分類し、分類結果をユーザに提示するようにしてもよい。
　また、本発明のデータ分析システム１がプロジェクト評価システムとして実現される場合、種々の報告書の内容を本実施の形態の抽出的自動要約生成機能を利用してそれぞれ要約し、個々の報告書の要約結果をユーザに提示するようにしてもよい。
　また、本発明のデータ分析システム１がマーケティング支援システムとして実現される場合、マーケティング調査報告書などの文書等の内容を本実施の形態の抽出的自動要約生成機能を利用してそれぞれ要約し、個々の文書等の要約結果をユーザに提示したり、さらに各文書等の要約結果をそれぞれ電子化辞書を用いて上位概念化し、上位概念化した各文書等の要約の内容に基づいてこれら文書を分類し、分類結果をユーザに提示するようにしてもよい。
　また、本発明のデータ分析システム１が知財評価システムとして実現される場合、特許公報などの各種知的財産権に関連する各種文書等の内容を本実施の形態の抽出的自動要約生成機能を利用してそれぞれ要約し、個々の文書等の要約結果をユーザに提示したり、さらに各文書等の要約結果をそれぞれ電子化辞書を用いて上位概念化し、上位概念化した各文書等の要約の内容に基づいてこれら文書等を分類し、分類結果をユーザに提示するようにしてもよい。
　また、本発明のデータ分析システム１が不正取引監視システムとして実現される場合、社員が作成した各電子メールや文書等の内容を本実施の形態の抽出的自動要約生成機能を利用してそれぞれ要約し、個々の電子メールや文書等の要約結果をユーザに提示したり、さらに各電子メールや文書等の要約結果をそれぞれ電子化辞書を用いて上位概念化し、上位概念化した各電子メールや文書等の要約の内容に基づいてこれら電子メールや文書等を分類し、分類結果をユーザに提示するようにしてもよい。
　また、本発明のデータ分析システム１がコールセンターエスカレーションシステムとして実現される場合、コールセンタのオペレータが作成したユーザからの問合せ内容や苦情内容等を含む文書等の内容を本実施の形態の抽出的自動要約生成機能を利用してそれぞれ要約し、個々の文書等の要約結果をユーザに提示したり、さらに各文書等の要約結果をそれぞれ電子化辞書を用いて上位概念化し、上位概念化した各文書等の要約の内容に基づいてこれら文書等を分類し、分類結果をユーザに提示するようにしてもよい。
　また、本発明のデータ分析システム１が信用調査システムとして実現される場合、各調査報告書の内容を本実施の形態の抽出的自動要約生成機能を利用してそれぞれ要約し、個々の調査報告書の要約結果をユーザに提示したり、さらに各調査報告書の要約結果をそれぞれ電子化辞書を用いて上位概念化し、上位概念化した各調査報告書の要約の内容に基づいてこれら調査報告書を分類し、分類結果をユーザに提示するようにしてもよい。
　また、本発明のデータ分析システム１がドライビング支援システムとして実現される場合、車載センサから取得された画像や音声から重要と考えられる情報を順次ピックアップし、ピックアップした各情報を本実施の形態の抽出的自動要約生成機能を利用してそれぞれ要約し、要約結果をユーザに提示したり、さらに要約結果をそれぞれ電子化辞書を用いて上位概念化し、上位概念化した要約結果の内容に基づいて情報を分類し、分類結果をユーザに提示するようにしてもよい。
　さらに、本発明のデータ分析システム１が営業支援システムとして実現される場合、各営業報告書の内容を本実施の形態の抽出的自動要約生成機能を利用してそれぞれ要約し、個々の営業報告書の要約結果をユーザに提示したり、さらに各営業報告書の要約結果をそれぞれ電子化辞書を用いて上位概念化し、上位概念化した各営業報告書の要約の内容に基づいてこれら営業報告書を分類し、分類結果をユーザに提示するようにしてもよい。
　なお、本発明のデータ分析システム１が応用される分野によっては、当該分野に特有の事情を考慮して、例えば、データに前処理（例えば、当該データから重要箇所を抜き出し、当該重要箇所のみをデータ分析の対象とするなど）を施したり、データ分析の結果を表示する態様を変化させたりしてよい。こうした変形例が多様に存在し得ることは、当業者に理解されるところであり、すべての変形例が本発明の範疇に入る。
（７）まとめ
　本発明の一態様に係るデータ分析システムは、ユーザが意味を認識可能なコンテンツを少なくとも一部に含む対象データを分析し、前記コンテンツの要約を生成するデータ分析システムにおいて、制御プログラムを記憶するメモリと、前記メモリに格納された前記制御プログラムを実行するコントローラとを備え、前記コントローラは、前記制御プログラムに基づいて、前記対象データを複数の構成要素に分解し、前記構成要素ごとに、所定の基準データセットにおける前記構成要素の出現頻度に対する、前記対象データにおける出現頻度の偏りを表すキーネスをそれぞれ算出し、算出した前記構成要素ごとの前記キーネスに基づいて、前記構成要素の中から前記対象データの特徴を表す前記構成要素を選定し、前記対象データの特徴を表す前記構成要素の前記キーネスに基づいて、各部分データの重要度をそれぞれ推定し、前記部分データは、前記構成要素を複数含むことによって前記対象データの少なくとも一部を構成するものであり、前記重要度は、前記部分データが前記対象データに占める重要性を表す指標として、前記キーネスに基づいて前記部分データごとに推定されるものであり、推定した各前記部分データの重要度に基づいて、前記対象データを構成する前記部分データの中から当該対象データの要約となり得る前記部分データを抽出する。かくするにつき本データ分析システムによれば、重要度の高い部分データを対象データの要約として抽出することができ、かくしてデータの要約を簡易な方法により生成することができる。
　また本発明の一態様に係るデータ分析システムの制御方法は、ユーザが意味を認識可能なコンテンツを少なくとも一部に含む対象データを分析し、前記コンテンツの要約を生成するデータ分析システムの制御方法において、前記対象データを複数の構成要素に分解する第１のステップと、前記構成要素ごとに、所定の基準データセットにおける前記構成要素の出現頻度に対する、前記対象データにおける出現頻度の偏りを表すキーネスをそれぞれ算出する第２のステップと、算出した前記構成要素ごとの前記キーネスに基づいて、前記構成要素の中から前記対象データの特徴を表す前記構成要素を選定する第３のステップと、前記対象データの特徴を表す前記構成要素の前記キーネスに基づいて、各部分データの重要度をそれぞれ推定する第４のステップと、推定した各前記部分データの重要度に基づいて、前記対象データを構成する前記部分データの中から当該対象データの要約となり得る前記部分データを抽出する第５のステップとを備え、前記部分データは、前記構成要素を複数含むことによって前記対象データの少なくとも一部を構成するものであり、前記重要度は、前記部分データが前記対象データに占める重要性を表す指標として、前記キーネスに基づいて前記部分データごとに推定される。かくするにつき本データ分析システムの制御方法によれば、重要度の高いセンテンスを対象文書の要約として抽出することができ、かくして文書の要約を簡易な方法により生成することができる。
　さらに本発明の一態様に係るデータ分析システムを制御するための制御プログラムは、ユーザが意味を認識可能なコンテンツを少なくとも一部に含む対象データを分析し、前記コンテンツの要約を生成するデータ分析システムを制御するための制御プログラムであって、前記対象データを複数の構成要素に分解する第１のステップと、前記構成要素ごとに、所定の基準データセットにおける前記構成要素の出現頻度に対する、前記対象データにおける出現頻度の偏りを表すキーネスをそれぞれ算出する第２のステップと、算出した前記構成要素ごとの前記キーネスに基づいて、前記構成要素の中から前記対象データの特徴を表す前記構成要素を選定する第３のステップと、前記対象データの特徴を表す前記構成要素の前記キーネスに基づいて、各部分データの重要度をそれぞれ推定する第４のステップと、推定した各前記部分データの重要度に基づいて、前記対象データを構成する前記部分データの中から当該対象データの要約となり得る前記部分データを抽出する第５のステップとを備え、前記部分データは、前記構成要素を複数含むことによって前記対象データの少なくとも一部を構成するものであり、前記重要度は、前記部分データが前記対象データに占める重要性を表す指標として、前記キーネスに基づいて前記部分データごとに推定される処理をデータ分析システムに実行させる。かくするにつき本制御プログラムによれば、重要度の高いセンテンスを対象文書の要約として抽出することができ、かくして文書の要約を簡易な方法により生成することができる。
　さらに本発明の一態様に係る記録媒体は、ユーザが意味を認識可能なコンテンツを少なくとも一部に含む対象データを分析し、前記コンテンツの要約を生成するデータ分析システムを制御するための制御プログラムが格納された記録媒体であって、前記制御プログラムは、前記対象データを複数の構成要素に分解する第１のステップと、前記構成要素ごとに、所定の基準データセットにおける前記構成要素の出現頻度に対する、前記対象データにおける出現頻度の偏りを表すキーネスをそれぞれ算出する第２のステップと、算出した前記構成要素ごとの前記キーネスに基づいて、前記構成要素の中から前記対象データの特徴を表す前記構成要素を選定する第３のステップと、前記対象データの特徴を表す前記構成要素の前記キーネスに基づいて、各部分データの重要度をそれぞれ推定する第４のステップと、推定した各前記部分データの重要度に基づいて、前記対象データを構成する前記部分データの中から当該対象データの要約となり得る前記部分データを抽出する第５のステップとを備え、前記部分データは、前記構成要素を複数含むことによって前記対象データの少なくとも一部を構成するものであり、前記重要度は、前記部分データが前記対象データに占める重要性を表す指標として、前記キーネスに基づいて前記部分データごとに推定される処理をデータ分析システムに実行させる。かくするにつき本記録媒体によれば、重要度の高いセンテンスを対象文書の要約として抽出することができ、かくして文書の要約を簡易な方法により生成することができる。
　さらに本発明の別態様に係るデータ分析システム１は、例えば、対象データを評価するデータ分析システムであって、前記システムは、メモリと、入力制御装置と、コントローラとを備え、前記コントローラは、複数の対象データを評価し、当該評価は、例えば、各対象データと所定の事案との関連性に対応するものであり、前記複数の対象データの序列化を可能とする指標を、前記評価により生成し、ユーザが前記入力制御装置を介して与えた入力に基づいて前記指標を変化させることができ、前記メモリは、例えば、前記コントローラが評価する前記複数の対象データを少なくとも一時的に記憶し、前記入力制御装置は、例えば、前記コントローラが前記複数の対象データを序列化するための入力を前記ユーザに許容し、当該複数の対象データの序列は、例えば、前記入力に基づいて変化する前記指標に応じて変化するものであり、前記入力は、例えば、前記複数の対象データとは異なる参照データを、当該参照データと前記所定の事案との関連性に基づいて分類するものであり、当該分類は、例えば、前記参照データの内容に応じて複数の分類情報に分けられたものであり、前記複数の分類情報のうちの少なくとも１つは、前記入力によって前記参照データに付与されるものであり、前記参照データを前記ユーザに提示し、前記ユーザの入力により、前記提示された参照データに対して与えられた前記少なくとも１つの分類情報と当該参照データとの組み合わせを、前記コントローラに提供し、前記コントローラは、例えば、前記参照データに含まれる複数の構成要素が、前記入力制御装置から提供された組み合わせにそれぞれ寄与する度合いを評価することによって、前記入力により付与された分類情報に応じて当該参照データが特徴付けられるパターンを当該参照データから抽出し、前記抽出したパターンに基づいて、前記対象データと前記所定の事案との関連性を評価して前記指標を決定し、前記決定した指標を前記対象データに設定し、前記指標に応じて前記複数の対象データを序列化し、前記序列化した複数の対象データをユーザに報知する。
（８）付記事項
　本発明は上述したそれぞれの実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施の形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施の形態についても、本発明の技術的範囲に含まれる。さらに、各実施の形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成できる。
　本発明は、例えば、パーソナルコンピュータ、サーバ装置、ワークステーション、メインフレームなど、任意のコンピュータに広く適用することができ、特に、ビッグデータを分析する人工知能システムに適用可能である。
　１……データ分析システム、２……サーバ装置、３……クライアント装置、４……データベース、５……ストレージシステム、６……管理計算機、１０……予測コーディング部、１１……データ取得部、１２……分類情報取得部、１３……データ分類部、１４……構成要素抽出部、１５……構成要素評価部、１６……構成要素格納部、１７……データ評価部、１８……管理部、１９……フェーズ分析部。

Claims (10)

  1. 　ユーザが意味を認識可能なコンテンツを少なくとも一部に含む対象データを分析し、前記コンテンツの要約を生成するデータ分析システムにおいて、
    　制御プログラムを記憶するメモリと、
    　前記メモリに格納された前記制御プログラムを実行するコントローラと
    　を備え、
    　前記コントローラは、前記制御プログラムに基づいて、
    　前記対象データを複数の構成要素に分解し、
    　前記構成要素ごとに、所定の基準データセットにおける前記構成要素の出現頻度に対する、前記対象データにおける出現頻度の偏りを表すキーネスをそれぞれ算出し、
    　算出した前記構成要素ごとの前記キーネスに基づいて、前記構成要素の中から前記対象データの特徴を表す前記構成要素を選定し、
    　前記対象データの特徴を表す前記構成要素の前記キーネスに基づいて、各部分データの重要度をそれぞれ推定し、前記部分データは、前記構成要素を複数含むことによって前記対象データの少なくとも一部を構成するものであり、前記重要度は、前記部分データが前記対象データに占める重要性を表す指標として、前記キーネスに基づいて前記部分データごとに推定されるものであり、
    　推定した各前記部分データの重要度に基づいて、前記対象データを構成する前記部分データの中から当該対象データの要約となり得る前記部分データを抽出する
    　ことを特徴とするデータ分析システム。
  2. 　前記対象データは、文書を表すデータであり、
    　前記構成要素は、形態素であり、
    　前記対象データの特徴を表す前記構成要素は、特徴語であり、
    　前記部分データは、センテンスであり、
    　前記コントローラは、
    　前記対象データを複数の前記形態素に分解した後に、各前記形態素の構文的役割に基づいて、前記対象データの前記特徴語となり得る前記形態素を抽出し、
    　抽出した前記形態素ごとの前記キーネスをそれぞれ算出し、算出した前記形態素ごとの前記キーネスに基づいて、前記形態素の中から前記対象データの前記特徴語を選定する
    　ことを特徴とする請求項１に記載のデータ分析システム。
  3. 　前記コントローラは、
    　動詞若しくは形容詞しての前記構文的役割、または、主題、主語、目的語若しくは間接目的語となる名詞としての前記構文的役割を有するすべての前記形態素を抽出する
    　ことを特徴とする請求項２に記載のデータ分析システム。
  4. 　前記コントローラは、
    　助詞としての前記構文的役割を有する前記形態素の前に存在する前記形態素を、主題、主語、目的語または間接目的語となる名詞としての前記構文的役割を有する前記創生要素として抽出する
    　ことを特徴とする請求項３に記載のデータ分析システム。
  5. 　前記コントローラは、
    　各前構成要素の前記キーネスの平均値を算出し、前記キーネスが当該平均値以上の前記構成要素を前記対象データの特徴を表す前記構成要素として選定する
    　ことを特徴とする請求項１に記載のデータ分析システム。
  6. 　前記コントローラは、
    　前記部分データごとに、当該部分データに含まれる前記対象データの特徴を表す前記構成要素の前記キーネスの合計値でなる合計キーネススコアを当該部分データの重要度としてそれぞれ算出する
    　ことを特徴とする請求項１に記載のデータ分析システム。
  7. 　前記コントローラは、
    　前記部分データごとに、当該部分データの前記合計キーネススコアを当該部分データに含まれる前記構成要素の数で除算することにより正規化し、正規化した前記合計キーネススコアがより大きい前記部分データを前記対象データの前記要約として抽出する
    　ことを特徴とする請求項６に記載のデータ分析システム。
  8. 　ユーザが意味を認識可能なコンテンツを少なくとも一部に含む対象データを分析し、前記コンテンツの要約を生成するデータ分析システムの制御方法において、
    　前記対象データを複数の構成要素に分解する第１のステップと、
    　前記構成要素ごとに、所定の基準データセットにおける前記構成要素の出現頻度に対する、前記対象データにおける出現頻度の偏りを表すキーネスをそれぞれ算出する第２のステップと、
    　算出した前記構成要素ごとの前記キーネスに基づいて、前記構成要素の中から前記対象データの特徴を表す前記構成要素を選定する第３のステップと、
    　前記対象データの特徴を表す前記構成要素の前記キーネスに基づいて、各部分データの重要度をそれぞれ推定する第４のステップと、
    　推定した各前記部分データの重要度に基づいて、前記対象データを構成する前記部分データの中から当該対象データの要約となり得る前記部分データを抽出する第５のステップと
    　を備え、
    　前記部分データは、前記構成要素を複数含むことによって前記対象データの少なくとも一部を構成するものであり、
    　前記重要度は、前記部分データが前記対象データに占める重要性を表す指標として、前記キーネスに基づいて前記部分データごとに推定される
    　ことを特徴とするデータ分析システムの制御方法。
  9. 　ユーザが意味を認識可能なコンテンツを少なくとも一部に含む対象データを分析し、前記コンテンツの要約を生成するデータ分析システムを制御するための制御プログラムであって、
    　前記対象データを複数の構成要素に分解する第１のステップと、
    　前記構成要素ごとに、所定の基準データセットにおける前記構成要素の出現頻度に対する、前記対象データにおける出現頻度の偏りを表すキーネスをそれぞれ算出する第２のステップと、
    　算出した前記構成要素ごとの前記キーネスに基づいて、前記構成要素の中から前記対象データの特徴を表す前記構成要素を選定する第３のステップと、
    　前記対象データの特徴を表す前記構成要素の前記キーネスに基づいて、各部分データの重要度をそれぞれ推定する第４のステップと、
    　推定した各前記部分データの重要度に基づいて、前記対象データを構成する前記部分データの中から当該対象データの要約となり得る前記部分データを抽出する第５のステップと
    　を備え、
    　前記部分データは、前記構成要素を複数含むことによって前記対象データの少なくとも一部を構成するものであり、
    　前記重要度は、前記部分データが前記対象データに占める重要性を表す指標として、前記キーネスに基づいて前記部分データごとに推定される
    　処理を前記データ分析システムに実行させることを特徴とする制御プログラム。
  10. 　ユーザが意味を認識可能なコンテンツを少なくとも一部に含む対象データを分析し、前記コンテンツの要約を生成するデータ分析システムを制御するための制御プログラムが格納された記録媒体であって、
    　前記制御プログラムは、
    　前記対象データを複数の構成要素に分解する第１のステップと、
    　前記構成要素ごとに、所定の基準データセットにおける前記構成要素の出現頻度に対する、前記対象データにおける出現頻度の偏りを表すキーネスをそれぞれ算出する第２のステップと、
    　算出した前記構成要素ごとの前記キーネスに基づいて、前記構成要素の中から前記対象データの特徴を表す前記構成要素を選定する第３のステップと、
    　前記対象データの特徴を表す前記構成要素の前記キーネスに基づいて、各部分データの重要度をそれぞれ推定する第４のステップと、
    　推定した各前記部分データの重要度に基づいて、前記対象データを構成する前記部分データの中から当該対象データの要約となり得る前記部分データを抽出する第５のステップと
    　を備え、
    　前記部分データは、前記構成要素を複数含むことによって前記対象データの少なくとも一部を構成するものであり、
    　前記重要度は、前記部分データが前記対象データに占める重要性を表す指標として、前記キーネスに基づいて前記部分データごとに推定される
    　処理を前記データ分析システムに実行させることを特徴とする記録媒体。
PCT/JP2015/064833 2015-05-22 2015-05-22 データ分析システム、制御方法、制御プログラム、および記録媒体 WO2016189606A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015558244A JP5933863B1 (ja) 2015-05-22 2015-05-22 データ分析システム、制御方法、制御プログラム、および記録媒体
PCT/JP2015/064833 WO2016189606A1 (ja) 2015-05-22 2015-05-22 データ分析システム、制御方法、制御プログラム、および記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/064833 WO2016189606A1 (ja) 2015-05-22 2015-05-22 データ分析システム、制御方法、制御プログラム、および記録媒体

Publications (1)

Publication Number Publication Date
WO2016189606A1 true WO2016189606A1 (ja) 2016-12-01

Family

ID=56120505

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/064833 WO2016189606A1 (ja) 2015-05-22 2015-05-22 データ分析システム、制御方法、制御プログラム、および記録媒体

Country Status (2)

Country Link
JP (1) JP5933863B1 (ja)
WO (1) WO2016189606A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019067270A (ja) * 2017-10-03 2019-04-25 富士通株式会社 分類プログラム、分類方法、および分類装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11481690B2 (en) 2016-09-16 2022-10-25 Foursquare Labs, Inc. Venue detection
CN113704407B (zh) * 2021-08-30 2023-08-25 平安银行股份有限公司 基于类别分析的投诉量分析方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000048025A (ja) * 1998-07-28 2000-02-18 Brother Ind Ltd 通信装置
JP2002049632A (ja) * 2000-08-03 2002-02-15 Nec Corp 要約システムとその要約方法、及び要約プログラムを記録した記録媒体
JP2013016106A (ja) * 2011-07-06 2013-01-24 Kyocera Communication Systems Co Ltd 要約文生成装置
JP2014106551A (ja) * 2012-11-22 2014-06-09 Nippon Telegr & Teleph Corp <Ntt> トークスクリプト抽出装置、方法、及びプログラム
JP2014225158A (ja) * 2013-05-16 2014-12-04 日本電信電話株式会社 文書要約装置、方法、及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005078240A (ja) * 2003-08-29 2005-03-24 Mamoru Tanaka データマイニングによる知識抽出法
JP5526199B2 (ja) * 2012-08-22 2014-06-18 株式会社東芝 文書分類装置および文書分類処理プログラム
JP6173848B2 (ja) * 2013-09-11 2017-08-02 株式会社東芝 文書分類装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000048025A (ja) * 1998-07-28 2000-02-18 Brother Ind Ltd 通信装置
JP2002049632A (ja) * 2000-08-03 2002-02-15 Nec Corp 要約システムとその要約方法、及び要約プログラムを記録した記録媒体
JP2013016106A (ja) * 2011-07-06 2013-01-24 Kyocera Communication Systems Co Ltd 要約文生成装置
JP2014106551A (ja) * 2012-11-22 2014-06-09 Nippon Telegr & Teleph Corp <Ntt> トークスクリプト抽出装置、方法、及びプログラム
JP2014225158A (ja) * 2013-05-16 2014-12-04 日本電信電話株式会社 文書要約装置、方法、及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019067270A (ja) * 2017-10-03 2019-04-25 富士通株式会社 分類プログラム、分類方法、および分類装置

Also Published As

Publication number Publication date
JP5933863B1 (ja) 2016-06-15
JPWO2016189606A1 (ja) 2017-06-22

Similar Documents

Publication Publication Date Title
US10204153B2 (en) Data analysis system, data analysis method, data analysis program, and storage medium
Mostafa Clustering halal food consumers: A Twitter sentiment analysis
Salas-Zárate et al. Feature-based opinion mining in financial news: an ontology-driven approach
JP5885875B1 (ja) データ分析システム、データ分析方法、プログラム、および、記録媒体
CN106611375A (zh) 一种基于文本分析的信用风险评估方法及装置
WO2016203652A1 (ja) データ分析に係るシステム、制御方法、制御プログラム、および、その記録媒体
Zhu et al. Identifying the technology convergence using patent text information: A graph convolutional networks (GCN)-based approach
Hajhmida et al. Predicting mobile application breakout using sentiment analysis of Facebook posts
Chatterjee et al. Classifying facts and opinions in Twitter messages: a deep learning-based approach
Sandhu et al. Enhanced Text Mining Approach for Better Ranking System of Customer Reviews
JP5933863B1 (ja) データ分析システム、制御方法、制御プログラム、および記録媒体
WO2016189605A1 (ja) データ分析に係るシステム、制御方法、制御プログラム、および、その記録媒体
JP2017201543A (ja) データ分析システム、データ分析方法、データ分析プログラム、および、記録媒体
Kim et al. Opinion Mining‐Based Term Extraction Sentiment Classification Modeling
JP6178480B1 (ja) データ分析システム、その制御方法、プログラム、及び、記録媒体
JP6026036B1 (ja) データ分析システム、その制御方法、プログラム、及び、記録媒体
Jishag et al. Automated review analyzing system using sentiment analysis
Liu et al. A new feature selection method for text categorization of customer reviews
Tanaltay et al. Can Social Media Predict Soccer Clubs’ Stock Prices? The Case of Turkish Teams and Twitter
Hou et al. Civil aviation safety risk intelligent early warning model based on text mining and multi-model fusion
WO2016111007A1 (ja) データ分析システム、データ分析システムの制御方法、及びデータ分析システムの制御プログラム
Shanmugarajah et al. WoKnack–A Professional Social Media Platform for Women Using Machine Learning Approach
Tu et al. Real-time detection and sorting of news on microblogging platforms
Matsuyama et al. Consumer analysis of high sensitivity layer
Çeltek Opinion mining or sentiment analysis of online reviews in tourism

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2015558244

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15893242

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15893242

Country of ref document: EP

Kind code of ref document: A1