WO2010023939A1 - テキストマイニング装置、テキストマイニング方法、及びコンピュータ読み取り可能な記録媒体 - Google Patents

テキストマイニング装置、テキストマイニング方法、及びコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2010023939A1
WO2010023939A1 PCT/JP2009/004211 JP2009004211W WO2010023939A1 WO 2010023939 A1 WO2010023939 A1 WO 2010023939A1 JP 2009004211 W JP2009004211 W JP 2009004211W WO 2010023939 A1 WO2010023939 A1 WO 2010023939A1
Authority
WO
WIPO (PCT)
Prior art keywords
text data
reliability
text
mining
unique
Prior art date
Application number
PCT/JP2009/004211
Other languages
English (en)
French (fr)
Inventor
石川開
田村晃裕
安藤真一
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US13/060,587 priority Critical patent/US8380741B2/en
Priority to JP2010526564A priority patent/JP5472641B2/ja
Publication of WO2010023939A1 publication Critical patent/WO2010023939A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Definitions

  • the present invention relates to a text mining apparatus and a text mining method that target text data obtained by computer processing as a mining target.
  • text mining has attracted attention as a technique for extracting useful information from a large amount of text data.
  • text mining a collection of unformatted sentences is divided into words and phrases using a natural language analysis technique, and feature words are extracted. Then, the appearance frequency and correlation of feature words are analyzed, and useful information is provided to the analyst. According to the text mining, it is possible to analyze a huge amount of text data that has been impossible to analyze manually.
  • An example of the field of application of such text mining is a free description questionnaire.
  • the text mining is executed on text data obtained by typing or character recognition of a questionnaire response result (see, for example, Patent Document 1, Patent Document 2, and Non-Patent Document 1).
  • An analyst can perform various analyzes and verification of hypotheses using the results of text mining.
  • a corporate call center Another example of application fields of text mining is a corporate call center.
  • the call center accumulates a large amount of voice recording of calls between the customer and the operator, and memos created by key input or the like when the operator responds.
  • this information has become an important source of knowledge for companies to know the needs of consumers and the improvements of their products and services.
  • text mining is performed on text data (speech recognition text data) obtained from voice recognition of a call or text data (call memo text data) obtained from a call memo created by an operator. Is executed against. Which text data is subjected to text mining is determined from the viewpoint of analysis required by the analyst.
  • speech recognition text data covers all calls between operators and consumers. Therefore, if the purpose is to extract consumer demand for products and services, it is necessary to cover all of the utterances of the consumer, so text mining is performed on the speech recognition text data.
  • call memo text data covers a narrow range, but includes matters that the operator has determined to be important in the call, and further includes matters that the operator has recognized and determined based on the content of the call. It is out. Therefore, when analysis that focuses on operator additional information is required, such as when extracting expert operator's know-how to be shared by other operators or judgment errors of new operators, etc. Mining is executed.
  • the speech recognition text data includes a recognition error in most cases.
  • feature words may not be extracted accurately due to the influence of recognition errors.
  • it has been proposed to perform text mining using speech recognition text data for example, see Non-Patent Document 2) in which reliability is given to word candidates obtained by speech recognition.
  • Patent Document 3 In the text mining described in Patent Literature 3, when the extracted feature words are counted, correction based on the reliability is performed, and the influence due to the recognition error is reduced.
  • the voice recognition text data and the call memo text data described in the call center example are information obtained from the same event (call) via different channels. Both are information with different channels, but the information sources of both are the same. Therefore, if you perform text mining that uses the characteristics of both and using both in a complementary manner, than text mining for one text data or simply text mining for both. However, it is thought that complicated analysis will be possible.
  • the voice recognition text data is separated into a part common to the call memo text data and a part specific to the call voice not described in the call memo text data.
  • the call memo text data is also divided into a part common to the voice recognition text data and a part unique to the call memo not described in the voice recognition text data.
  • text mining is executed for the part unique to the call voice of the voice recognition text data.
  • This text mining performs an intensive analysis on information that appears in the call voice but is missing from the description of the call memo. And by this analysis, information that should have been recorded as a call memo but leaked is extracted. The extracted information can be used to improve the description guidelines for call memos.
  • text mining is executed for the part unique to the call memo of the call memo text data.
  • This text mining performs a focused analysis on information that appears in the call memo but does not appear in the voice recognition text data of the call voice. According to this analysis, it is possible to extract the judgment know-how of an experienced operator more reliably than when text mining is performed only on the above-mentioned call memo text data.
  • the extracted judgment know-how can be used as educational material for new operators.
  • cross channel text mining Such text mining (hereinafter referred to as “cross channel text mining”) performed on a plurality of text data obtained from the same event via different channels can be used in other examples.
  • cross-channel text mining can be used to analyze the corporate image from the reported content, or to analyze the conversation content in a communication place such as a meeting.
  • text mining is executed on speech recognition text data from an utterance such as an announcer and text data such as an utterance manuscript or a newspaper article.
  • voice recognition text data obtained by voice recognition of the conversation of the participant, text data such as a document referenced by the participant on the spot, a memo or minutes made by the participant, Text mining is executed for.
  • the mining target need not be speech recognition text data or text data created by key input.
  • character recognition text data (see Non-Patent Document 3) obtained by character recognition of the above-described questionnaires, minutes, etc. are also subject to mining.
  • text data generated by computer processing such as voice recognition or character recognition contains errors.
  • the recognition error is included in the speech recognition text data.
  • these errors affect the discrimination between the common part and the unique part between text data, and thus may greatly reduce the reliability of the mining result.
  • Patent Document 3 discloses a technique for reducing a case where a recognition error in speech recognition affects text mining.
  • this technique is applied to cross-channel text mining. It is not a technology that takes into account. Even if the technique disclosed in Patent Document 3 is applied to cross-channel text mining, it is difficult to improve the reliability of the mining results because the influence of recognition errors on the discrimination between common parts and unique parts between text data is not removed. It is.
  • An object of the present invention is to solve the above-mentioned problems, and in text mining for a plurality of text data including text data generated by computer processing, a text mining device capable of suppressing the influence of a computer processing error on a mining result, A text mining method and a computer-readable recording medium are provided.
  • a text mining device is a text mining device that executes text mining on a plurality of text data including text data generated by computer processing, A reliability is set for each of the plurality of text data, For each of the plurality of text data, a unique part extraction unit that extracts a unique part of each text data with respect to other text data; A unique reliability setting unit that sets a unique reliability indicating the reliability of each unique part in each unique part of each text data with respect to other text data using the reliability set for each of the plurality of text data When, A mining processing unit that performs text mining on each of the unique parts of the text data with respect to other text data using the inherent reliability is provided.
  • a text mining method in the present invention is a text mining method for executing text mining on a plurality of text data including text data generated by computer processing, (A) setting reliability for each of the plurality of text data; (B) for each of the plurality of text data, extracting a unique portion of each text data with respect to other text data; (C) using the reliability set for each of the plurality of text data, setting a unique reliability indicating the reliability of each unique part for each unique part of each text data with respect to other text data; , (D) performing a text mining on each unique part of each text data with respect to other text data using the inherent reliability.
  • a computer-readable recording medium storing a program, In the computer device, (A) setting reliability for each of the plurality of text data; (B) for each of the plurality of text data, extracting a unique portion of each text data with respect to other text data; (C) using the reliability set for each of the plurality of text data, setting a unique reliability indicating the reliability of each unique part for each unique part of each text data with respect to other text data; , (D) A program including an instruction for executing a step of executing text mining on each unique part of each text data with respect to other text data using the inherent reliability is recorded.
  • FIG. 1 is a block diagram showing a schematic configuration of a text mining apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram illustrating an example of data that is a target of text mining in Embodiment 1 of the present invention.
  • FIG. 3 is a diagram illustrating an example of speech recognition text data in which reliability is set.
  • FIG. 4 is a diagram illustrating an example of speech recognition text data in which the reliability is set and the language is English.
  • FIG. 5 is a diagram for explaining a unique part extraction process executed by the text mining apparatus according to Embodiment 1 of the present invention.
  • FIG. 6 is a diagram illustrating an example of a setting state of inherent reliability.
  • FIG. 7 is a diagram illustrating an example of a result of the text mining process.
  • FIG. 1 is a block diagram showing a schematic configuration of a text mining apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram illustrating an example of data that is a target of text
  • FIG. 8 is a flowchart showing the flow of processing performed by the text mining method according to Embodiment 1 of the present invention.
  • FIG. 9 is a block diagram showing a schematic configuration of the text mining device according to Embodiment 2 of the present invention.
  • FIG. 10 is a diagram illustrating an example of the unique part extracted by the text mining device according to Embodiment 2 of the present invention.
  • FIG. 11 is a flowchart showing a flow of processing performed by the text mining method according to Embodiment 2 of the present invention.
  • FIG. 12 is a block diagram showing a schematic configuration of the text mining device according to Embodiment 3 of the present invention.
  • FIG. 13 is a flowchart showing a flow of processing performed by the text mining method according to Embodiment 3 of the present invention.
  • Embodiment 1 The text mining device, text mining method, and program according to Embodiment 1 of the present invention will be described below with reference to FIGS. First, the configuration of the text mining apparatus according to Embodiment 2 of the present invention will be described with reference to FIGS.
  • FIG. 1 is a block diagram showing a schematic configuration of a text mining apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram illustrating an example of data that is a target of text mining in Embodiment 1 of the present invention.
  • FIG. 3 is a diagram illustrating an example of speech recognition text data in which reliability is set.
  • FIG. 4 is a diagram illustrating an example of speech recognition text data in which the reliability is set and the language is English.
  • FIG. 5 is a diagram for explaining a unique part extraction process executed by the text mining apparatus according to Embodiment 1 of the present invention.
  • FIG. 6 is a diagram illustrating an example of a setting state of inherent reliability.
  • FIG. 7 is a diagram illustrating an example of a result of the text mining process.
  • the text mining apparatus 1 shown in FIG. 1 executes text mining on a plurality of text data including text data generated by computer processing.
  • the text mining device 1 includes a unique part extraction unit 6, a unique reliability setting unit 7, and a mining processing unit 8.
  • reliability is set for each of the multiple text data.
  • the “reliability” here indicates the degree of appropriateness of the words constituting the text data.
  • the “reliability” is an indicator of whether each word constituting the text data is correct as a processing result of the computer processing.
  • the unique part extraction unit 6 extracts a unique part of each text data with respect to other text data for each of the plurality of text data.
  • the unique part of each text data with respect to other text data is a word or phrase constituting each text data, which is not included in the other text data at all, or is slightly included even if included. It means what is.
  • the unique reliability setting unit 7 uses the reliability set for each of the plurality of text data to indicate the reliability of each unique part to each unique part of each text data with respect to the other text data.
  • the mining processing unit 8 executes text mining on each unique part of each text data with respect to other text data using the inherent reliability.
  • the text mining apparatus 1 sets the inherent reliability indicating the reliability of the specific part in the specific part of each text data.
  • the inherent reliability is obtained from the reliability set for each text data, and serves as an index as to whether the inherent part is correct as a processing result of the computer processing. In the text mining process, the inherent reliability is referred to.
  • the influence of errors in computer processing can be easily removed from the mining result.
  • a highly reliable mining result in which the influence of errors in computer processing is suppressed can be obtained.
  • computer processing refers to analysis processing executed by a computer according to a certain algorithm.
  • text data obtained by computer processing refers to text data automatically generated by computer processing.
  • Specific examples of computer processing include processing such as speech recognition processing, character recognition processing, and machine translation processing.
  • the text mining apparatus 1 receives three types of data such as call voice data D1, call memo text data D2, and incidental information D3 shown in FIG.
  • the call voice data D1 is voice data in which communication between the operator and the customer at the call center is recorded.
  • “A” indicates an operator
  • “B” indicates a customer.
  • the call memo text data D2 is text data created as a memo by the operator during a call and is not text data obtained by computer processing.
  • the incidental information D3 is data accompanying the call voice data D1 and the call memo text data D2, and only a part is shown in FIG.
  • the incidental information D3 is mainly used in the calculation of the characteristic degree described later.
  • the call voice data D1 is one unit (one record) from the start to the end of the call between the operator and the customer, and the call memo text data D2 and the accompanying information D3 are created for each record.
  • FIG. 2 shows one record of call voice data D1, corresponding call memo text data D2, and incidental information D3.
  • the call voice data D1 (l) in the record with the record number l, the call memo text data D2 (l) and the accompanying information D3 (l) corresponding to the call voice data D1 (l) are set as one set, and a plurality of sets are text mining devices. 1 is input.
  • the text mining device 1 includes a data input unit 2, a speech recognition unit 3, a language in addition to the specific part extraction unit 6, the specific reliability setting unit 7, and the mining processing unit 8. And a processing unit 5.
  • an input device 13 and an output device 14 are connected to the text mining device 1.
  • Specific examples of the input device 13 include a keyboard and a mouse.
  • Specific examples of the output device 14 include a display device such as a liquid crystal display, a printer, and the like.
  • the input device 13 and the output device 14 may be attached to another computer device connected to the text mining device 1 via a network.
  • input data such as call voice data D1 (l), corresponding call memo text data D2 (l), and corresponding incidental information D3 (l) corresponding to each record l are input to the data input unit 2.
  • these data may be directly input to the data input unit 2 from an external computer device via a network, or may be provided in a state stored in a recording medium.
  • an interface for connecting the outside and the text mining device 1 is used as the data input unit 2.
  • a reading device is used as the data input unit 2.
  • the data input unit 2 When these data are input, the data input unit 2 outputs the call voice data D1 (l) to the voice recognition unit 3, and outputs the call memo text data D2 (l) to the language processing unit 5. Further, the data input unit 2 outputs the incidental information D3 (l) to the mining processing unit 8.
  • the voice recognition unit 3 performs voice recognition on the call voice data D1 (l) and generates voice recognition text data.
  • the voice recognition unit 3 includes a reliability setting unit 4.
  • the reliability setting unit 4 sets the reliability for each word constituting the speech recognition text data.
  • the speech recognition text data in which the reliability is set is output to the unique part extraction unit 6.
  • processing in the voice recognition unit 3 will be described based on FIGS. 3 and 4 using the conversation included in the call voice data D1 shown in FIG.
  • the many conversations included in the call voice data D1 “Do you have a storage function” and “Is there white?” Are used as conversations.
  • the voice recognition unit 3 performs voice recognition for each call voice data D1 (l) in each record l. Then, as shown in FIG. 3, the speech recognition unit 3 extracts candidate words w i for each time frame m.
  • the numbers attached to the horizontal axis are frame numbers, and the frame numbers are continuous in one record l.
  • the speech recognition unit 3 extracts a plurality of words.
  • a plurality of words In the example of FIG. 3, in frame number 20, two candidates of “storage” and “thermal insulation” are extracted. Further, in frame number 33, two of “color” and “white” are extracted.
  • the speech recognition unit 3 extracts candidate words w i for each time frame m. For example, when the conversation is “Does it have heat retaining function?” And “Do you have white color?” Corresponding to the English translation of the example of FIG. 3, the speech recognition unit 3, as shown in FIG. 4, The word w i is extracted.
  • the speech recognition unit 3 does not have to extract all words as candidates.
  • the speech recognition unit 3 does not extract words that do not make sense alone, such as particles and prepositions, regardless of the language type, and as part of speech of independent words such as nouns, verbs, and adverbs. Only as candidates.
  • the reliability setting unit 4 sets the reliability R Call (w i , l, m) for each word w i .
  • R Call (w i , l, m) is not particularly limited, and serves as an index as to whether or not the words constituting the speech recognition text data are correct as a recognition result. If it is good.
  • Non-Patent Document 2 For example, as the reliability R Call (w i , l, m), “Confidence Measure” disclosed in Non-Patent Document 2 described above can be used. Specifically, it is assumed that an input voice or an acoustic feature amount observed for the voice is given as a premise. In this case, word w i of the reliability R Call (w i, l, m) is the word as a posterior probability of w i, the input speech or Forward-Backward algorithm based on the word graph is obtained as a recognition result for acoustic features Can be calculated using.
  • reliability setting unit 4 for each word w i, reliability obtained in the above R Call (w i, l, m) using a reliability R Call (w i, l) for each record l also calculate. Specifically, the reliability setting unit 4 calculates all the words w i using the following equation (Equation 1).
  • voice recognition is performed in advance by a voice recognition device external to the text mining device 1, and voice recognition text data in which reliability is set for each word is input to the text mining device 1.
  • the aspect created previously may be sufficient.
  • the text mining device 1 does not need to include the speech recognition unit 3, and the speech recognition text data is input to the unique part extraction unit 6 via the data input unit 2.
  • the text mining device 1 includes the speech recognition unit 3, the language model and the acoustic model used for speech recognition can be easily adjusted, and the recognition accuracy of speech recognition can be improved.
  • the language processing unit 5 performs language processing such as morphological analysis, dependency analysis, synonym processing, non-term processing, etc. on the call memo text data.
  • the language processing unit 5 generates a word string by dividing the call memo text data for each word w j so as to correspond to the word w i of the speech recognition text data.
  • the word string is output to the unique part extraction unit 6.
  • the unique part extraction unit 6 extracts a unique part of the speech recognition text data for the call memo text data and a unique part of the call memo text data for the speech recognition text data.
  • these unique parts are referred to as “unique part of speech recognition text data” and “unique part of call memo text data”, respectively.
  • the unique part extraction unit 6 first extracts words that do not match words constituting other text data from the word group constituting each text data. To do. Next, the unique part extraction unit 6 sets the extracted word as a unique part for other text data of each text data.
  • the unique part extraction unit 6 extracts “white” as a unique part of the speech recognition text data.
  • the speech recognition text data obtained from the call voice data D (1) does not include “color”, but the corresponding call memo text data D (1) includes “color”. Yes.
  • the unique part extraction unit 6 extracts “color” as a unique part of the call memo text data D (1).
  • the voice recognition text data obtained from the call voice data D (3) has two candidates of “color” and “white” for the same frame number. (See FIG. 3).
  • Corresponding call memo text data D (3) includes only “white”.
  • the unique part extraction unit 6 extracts “color” as a unique part of the speech recognition text data, but does not extract “white” as any unique part.
  • the unique part of the speech recognition text data and the unique part of the call memo text data extracted in this way are input to the unique reliability setting unit 7.
  • the word w i (hereinafter referred to as “unique partial element w i ”) extracted as the unique part of the speech recognition text data
  • the word w j (hereinafter referred to as “unique part” extracted as the unique part of the call memo text data).
  • Element w j ′′) is input to the inherent reliability setting unit 7.
  • the unique reliability setting unit 7 first uses the word string output from the language processing unit 5 to determine the reliability R Memo for each word w j constituting the call memo text data.
  • Set (w j , l) the reliability is “1.0” if the word is included in the call memo text data.
  • the reliability of words not included in the call memo text data is “0.0”.
  • intrinsic reliability setting unit 7 sets specific reliability C Call (w i, l) for the specific part element w i as the inherent reliability C Memo (w j, l) for the specific part element w j and To do.
  • the inherent reliability setting unit 7 includes the reliability R Call (w i , l), the reliability R Memo (w j , l), the reliability R Call (w j , l), and the reliability R Memo (w i , l) is applied to the following equations (Equation 2) and (Equation 3).
  • the inherent reliability C Call (w i , l) and the inherent reliability C Memo (w j , l) are calculated.
  • the calculated intrinsic reliability C Call (w i , l) and intrinsic reliability C Memo (w j , l) are input to the mining processing unit 8 together with the eigensubelement w i and eigensubelement w j. .
  • the inherent reliability setting unit 7 when the inherent reliability setting unit 7 sets the inherent reliability in the specific part of one text data, the reliability set in the other text data is set from 1. The value obtained by subtraction is multiplied by the reliability set in one text data. The inherent reliability obtained in this way is easy to set and reliably presents the reliability of the inherent part.
  • the mining processing unit 8 performs so-called cross-channel text mining using the inherent reliability C call (w i , l) and the inherent reliability C Memo (w j , l). That is, the mining processing unit 8 performs a mining process on the unique subelement w i and a mining process on the unique subelement w j .
  • the mining processing unit 8 extracts feature words as the mining process and calculates the feature degree.
  • “Characteristic words” refer to words and phrases extracted by the mining process.
  • the feature word is extracted from the words determined to be the unique partial element w i or the unique partial element w j .
  • “Characteristic” indicates the degree to which the extracted characteristic word is characteristic in an arbitrary category (for example, a record set having a specific value in the incidental information D3). .
  • the mining processing unit 8 includes a mining processing management unit 8, a feature word counting unit 10, a feature degree calculation unit 11, and a mining result output unit 12.
  • the feature word counting unit 10 extracts feature words from the unique subelement w i and the unique subelement w j and counts how many times the extracted feature words appear in the corresponding text data or in all text data. To do. Thereby, the appearance frequency and the total appearance frequency are obtained (see FIG. 7).
  • the feature word counting unit 10 extracts feature words by using the inherent reliability C call (w i , l) and the inherent reliability C Memo (w j , l). For example, a threshold is set for the unique reliability, and only unique subelements with the unique reliability equal to or higher than the threshold are extracted as feature words. In the example of FIG. 7, the threshold is set to 0.4, and the unique subelement “black” having the inherent reliability set to 0.3 is excluded from the feature word.
  • the threshold value may be set as appropriate. However, it is preferable that an experiment is performed in advance and the threshold value is set based on the experimental result. Specifically, speech data with a unique part set in advance and text data with a unique part preset in advance are used as experimental data, and the inherent reliability C call (w i , l) and unique The reliability C Memo (w j , l) is calculated. Then, a threshold value is set so that a unique part preset in each data is extracted. In this case, the threshold value can be set for each inherent reliability. In order to increase the reliability of the set threshold value, it is preferable to prepare as much experimental data as possible.
  • the feature word counting unit 10 can count feature words for a plurality of records.
  • the number of records to be counted for feature words is not particularly limited. Note that, when cross-channel mining is not performed, the feature word counting unit 10 is not a unique subelement, but all words (except words that do not make sense) included in the speech recognition text data or the call memo text data. On the other hand, the appearance frequency is counted.
  • the feature degree calculation unit 11 calculates the feature degree (see FIG. 7) using the appearance frequency and the total appearance frequency obtained by the feature word counting unit 10.
  • the calculation method of the feature degree is not particularly limited, and can be performed using various statistical analysis techniques according to the purpose of mining.
  • the feature word calculation unit 11 calculates statistical measures such as the frequency of each word, log likelihood ratio, ⁇ 2 value, Yates correction ⁇ 2 value, self-mutual information amount, SE, ESC, etc. in a specific category, It is calculated as a feature amount of the word, and the obtained value can be used as the feature degree.
  • the record set etc. which have the specific value which an analyst designates in incidental information D3 are mentioned, for example.
  • statistical analysis techniques such as multiple regression analysis, principal component analysis, factor analysis, discriminant analysis, and cluster analysis can be used for calculating the degree of feature.
  • the mining processing management unit 8 receives the mining condition input by the user via the input device 13, and operates the feature word counting unit 10 and the feature degree calculating unit 11 according to the received condition. For example, when the user instructs to perform text mining only on the unique part of the speech recognition text data, the mining processing management unit 8 instructs the feature word counting unit 10 to use the unique part element w of the speech recognition text data. The feature words are extracted from i and the feature words are counted. Further, the mining processing management unit 8 causes the feature degree calculation unit 11 to calculate the feature degree.
  • the mining result output unit 12 outputs a mining result as shown in FIG.
  • the mining result includes a feature word, an appearance frequency, a total appearance frequency, an inherent reliability, and a feature degree.
  • the mining results for both the voice recognition text data and the call memo text data are output.
  • the mining result is displayed on the display screen when the display device is the output device 14.
  • FIG. 8 is a flowchart showing the flow of processing performed by the text mining method according to Embodiment 1 of the present invention.
  • the text mining method according to the first embodiment can be implemented by operating the text mining apparatus 1 shown in FIG. Therefore, hereinafter, the text mining method according to the first embodiment will be described together with the description of the operation of the text mining apparatus 1 shown in FIG. 1 with appropriate reference to FIGS.
  • the language processing unit 5 executes language processing on the call memo text data (step A1).
  • the call memo text data becomes a word string of the word w j , and is output to the unique part extraction unit 6 and the unique reliability setting unit 7 in a state of being a word string.
  • Step A2 the speech recognition unit 3, performs speech recognition, to create a speech recognition text data by extracting a word w i as a candidate (step A2).
  • reliability setting unit 4 the speech recognition text data, for each word w i constituting it, sets reliability reliability R Call (w i, l, m) a.
  • the reliability setting unit 4 calculates the reliability R Call (w i , l) for each record l by applying the reliability R Call (w i , l, m) to the above equation (Equation 1). (Step A3).
  • steps A2 and A3 are omitted. Steps A2 and A3 may be executed before step A1, or may be executed simultaneously with step A1.
  • step A4 specific part extraction section 6, and comparing the word w j of call notes text data and word w i of the speech recognition text data, the specific part of speech recognition text data (specific part element w i), call notes A unique part (unique partial element w j ) of the text data is extracted (step A4).
  • the unique part extraction unit 6 inputs the extracted unique part element w i and the unique part element w j to the unique reliability setting unit 7.
  • the unique reliability setting unit 7 uses the word string output from the language processing unit 5 to perform the following for each word w j constituting the call memo text data D2 (l) in each record l.
  • the reliability R Memo (w j , l) is set (step A5).
  • intrinsic reliability setting unit 7 sets specific reliability C Call (w i, l) for the specific part element w i as the inherent reliability C Memo (w j, l) for the specific part element w j and (Step A6).
  • the inherent reliability setting unit 7 applies the reliability R Call (w i , l) and the reliability R Memo (w j , l) to the above equations (Equation 2) and (Equation 3),
  • the intrinsic reliability C Call (w i , l) and the intrinsic reliability C Memo (w j , l) are calculated.
  • the specific reliability setting unit 7 inputs the calculated specific reliability C Call (w i , l) and the specific reliability C Memo (w j , l) to the feature word counting unit 10.
  • the mining processing unit 8 executes a mining process (step A7). Specifically, first, the feature word counting unit 10 uses the inherent reliability C Call (w i , l) and the inherent reliability C Memo (w j , l) to perform the eigensubelement w i and the eigenpart. A feature word is extracted from the element w j . Further, the feature word counting unit 10 counts the appearance frequency and the total appearance frequency. And the feature word calculation part 11 calculates a feature degree about the extracted feature word. By executing step A7, data shown in FIG. 7 is obtained.
  • the mining result output unit 14 outputs the result obtained in step A7 to the output device 14 (step A8).
  • the text mining device 1 ends the process.
  • the mining process for the unique part is performed using the unique reliability set for the unique part of each text data. For this reason, the influence that the recognition error generated during the speech recognition has on the mining result is extremely small.
  • the program according to the first embodiment may be a program including instructions that cause a computer to execute steps A1 to A8 shown in FIG.
  • the text mining apparatus 1 can be realized by installing the program according to the first embodiment on a computer and executing the program.
  • the CPU Central Processing Unit
  • the CPU Central Processing Unit of the computer functions as the speech recognition unit 3, the language processing unit 5, the specific part extraction unit 6, the specific reliability setting unit 7 and the mining processing unit 8, and the steps A1 to A Process A8 is performed.
  • the program according to the first embodiment is supplied in a state of being stored in a computer-readable recording medium such as an optical disk, a magnetic disk, a magneto-optical disk, a semiconductor memory, a floppy disk, or the like. .
  • FIG. 9 is a block diagram showing a schematic configuration of the text mining device according to Embodiment 2 of the present invention.
  • FIG. 10 is a diagram illustrating an example of the unique part extracted by the text mining device according to Embodiment 2 of the present invention.
  • the text mining device 20 according to the second embodiment is different from the text mining device 1 according to the first embodiment shown in FIG. .
  • whether or not it is a unique part is determined more strictly than in the first embodiment.
  • the difference from the first embodiment will be mainly described.
  • the unique part extraction unit 6 calculates the score S call (w i , l) or the score S Memo (w j , l) for each word constituting each text data. ) And a unique part of each text data is extracted based on the calculated value.
  • the score S call (w i , l) indicates the degree to which each word w i constituting the speech recognition text data corresponds to its unique part.
  • the score S Memo (w j , l) indicates the degree to which each word w j constituting the voice memo text data corresponds to its unique part.
  • the unique part extraction unit 6 includes a frequency calculation unit 15, a score calculation unit 16, and a unique part determination unit 17.
  • the frequency calculation unit 15 uses the word string output from the language processing unit 5 to set the reliability R Memo (w j , l) for each word w j constituting the call memo text data.
  • the frequency calculation unit 15 Set by The calculated reliability R Memo (w j , l) is also input to the inherent reliability setting unit 7 because it is necessary for calculating the inherent reliability.
  • the frequency calculation unit 15 calculates each of the word w i and the word w j from the reliability R Call (w i , l) set by the reliability setting unit 4 and the reliability R Memo (w j , l). Appearance frequencies N Call (w i ) and N Memo (w j ) are obtained. In addition, the frequency calculation unit 15 uses both the reliability R Call (w i , l) and the reliability R Memo (w j , l) for both records (record (1) to record (L)). cause frequency N Call, Memo (w i, w j) also seek.
  • the frequency calculation unit 15 obtains the appearance frequency N Call (w i ) of the word w i using the following formula (Formula 4), and uses the following formula (Formula 5) to calculate the word w determine the j of the frequency of occurrence N Memo (w j). Also, the frequency calculation unit 15 uses the equation (5) below, obtains the co-occurrence frequency N Call, Memo the (w i, w j). After that, the frequency calculation unit 15 outputs the appearance frequency N Call (w i ), the appearance frequency N Memo (w j ), and the co-occurrence frequency N Call, Memo (w i , w j ) to the score calculation unit 16.
  • the score calculation unit 16 uses the appearance frequency N Call (w i ), the appearance frequency N Memo (w j ), and the co-occurrence frequency N Call, Memo (w i , w j ) to score S call (w i , l) and the score S Memo (w j , l) are calculated. Specifically, the score calculation unit 16 first calculates a mutual information amount I (w i ; w j ) using w i and w j as discrete random variables.
  • P Call (w i ) and P Memo (w j ) be the peripheral probability distribution functions of the mutual information I (w i ; w j ).
  • P Call (w i ) is calculated by the following equation (Equation 8).
  • P Memo (w j ) is calculated by the following equation (Equation 9).
  • P Call (w i ) is a marginal probability distribution function for a probability event that the word w i appears in the speech recognition text data Call in a certain record.
  • P Memo (w j ) is a peripheral probability distribution function for the probability event that the word w j appears in the call memo text data Memo in one record.
  • the score calculation unit 16 calculates the score S call (w i , l) and the score S Memo (w j , l) using the mutual information amount I (w i ; w j ).
  • the score S call (w i , l) and the score S Memo (w j , l) a function that monotonously decreases with respect to the mutual information amount I (w i ; w j ) is used. .
  • the score S call (w i , l) is calculated by the following equation (Equation 11)
  • the score S Memo (w j , l) is calculated by the following equation (Equation 12).
  • ⁇ is an arbitrary constant larger than 0 (zero).
  • the calculated score S call (w i , l) and score S Memo (w j , l) are output to the unique part determination unit 17.
  • the score calculated in this way varies depending on the reliability value set in the voice recognition text data and voice memo text data. That is, the score varies depending on a recognition error in speech recognition.
  • the method for calculating the score S call (w i , l) and the score S Memo (w j , l) is not limited to the above calculation method.
  • the score S call (w i , l) and the score S Memo (w j , l) may be any as long as they can be used to determine whether they are unique parts.
  • the unique part determination unit 17 compares the score S call (w i , l) and the score S Memo (w j , l) with a preset threshold value, and determines whether the part is a unique part.
  • the fixed part determination unit 9 determines that the word is a unique part when the score is equal to or greater than a threshold value. For example, as shown in FIG. 10, a score is calculated for the word w i constituting the speech recognition text data and the word w j constituting the call memo text data, and the thresholds are score S call (w i , l) and score S It is assumed that 0.500 is set for all of Memo (w j , l).
  • the unique part determination unit 17 extracts “advertisement” and “white” as unique parts of the speech recognition text data. Further, the unique part determination unit 17 extracts “future”, “color variation”, “increase”, “new”, “addition”, and “examination” as unique parts of the call memo text data.
  • the size of the threshold used for determining the unique portion is not particularly limited, and may be appropriately selected based on the result of the text mining process.
  • the threshold value is set based on an experimental result obtained in advance.
  • the setting of the threshold value in this case can also be performed in the same manner as in the case where the threshold value is set for the inherent reliability in the first embodiment. That is, using the speech data in which the unique part is preset and text data in which the unique part is preset in advance as the experimental data, the score S call (w i , l) and the score S Memo (w j , L). Then, a threshold value is set so that each unique part preset in each data is extracted. In this case, the threshold value can be set for each score. In order to increase the reliability of the set threshold value, it is preferable to prepare as much experimental data as possible.
  • the unique part determination unit 17 determines the word w i (unique partial element w i ) determined as the unique part of the speech recognition text data and the word w j (unique partial element w j ) determined as the unique part of the call memo text data. ) Is input to the inherent reliability setting unit 7.
  • the unique reliability setting unit 7 functions in the same manner as in the first embodiment except for the process of setting the reliability R Memo (w j , l), and the unique reliability C Call (w i for each unique part. , L) and the inherent reliability C Memo (w j , l).
  • the mining processing unit 8 also functions in the same manner as in the first embodiment and executes mining.
  • FIG. 11 is a flowchart showing a flow of processing performed by the text mining method according to Embodiment 2 of the present invention.
  • the text mining method according to the second embodiment can be implemented by operating the text mining device 20 shown in FIG. For this reason, hereinafter, the text mining method according to the second embodiment will be described together with the description of the operation of the text mining apparatus 20 shown in FIG. 9 with appropriate reference to FIGS. 9 and 10.
  • step A11 language processing by the language processing unit 5 (step A11), speech recognition by the speech recognition unit 3 (step A12), and reliability R Call (w i , l by the reliability setting unit 4). ) Is calculated (step A13).
  • Steps A11 to A13 are the same as steps A1 to A3 shown in FIG. 8 in the first embodiment.
  • the frequency calculation unit 15 uses the word string output from the language processing unit 5 to determine the reliability R Memo for each word w j constituting the call memo text data.
  • ( Wj , l) is set (step A14).
  • Step A14 is performed by the same processing as Step A5 shown in FIG. 8 in the first embodiment.
  • step A15 a word w i of the reliability R Call (w i, l), the reliability of a word w j R Memo (w j, l) from the respective frequency N Call (w i ) and N Memo (w j ) and the co-occurrence frequencies N Call, Memo (w i , w j ) of all records (record (1) to record (L)) are obtained (step A15).
  • step A15 the above equations (Equation 4) to (Equation 6) are used.
  • the score calculation unit 16 performs the appearance frequencies N Call (w i ) and N Memo (w j ), and the co-occurrence frequencies N Call, Memo.
  • Scores S call (w i , l) and S Memo (w j , l) are calculated using (w i , w j ) (step A16).
  • the scores S call (w i , l) and S Memo (w j , l) are calculated for each of the records (1) to (L).
  • the score calculation unit 8 calculates the mutual information amount I (w i , w j ) using the above formulas (Equation 7) to (Equation 10), and then calculates this. It applies to said Formula (Formula 11) and (Formula 12). As a result of Step A16, data shown in FIG. 10 is obtained.
  • the unique part determination unit 9 sets in advance the corresponding score S call (w i , l) or score S Memo (w j , l) for each word of the records (1) to (L). It is determined whether or not the threshold value is equal to or greater than the threshold value, and a word that is equal to or greater than the threshold value is determined to be a unique part (step A17). Information specifying the word determined to be the unique part in step A17 is sent to the unique reliability setting unit 7.
  • Step A18 is the same as step A6 shown in FIG. 8 in the first embodiment.
  • step A19 the mining processing unit 8 performs a mining process
  • step A20 the mining result output unit 12 outputs a mining result
  • the program according to the second embodiment may be a program including instructions that cause a computer to execute steps A11 to A20 shown in FIG.
  • the text mining device 20 can be realized by installing the program according to the second embodiment on a computer and executing the program.
  • the CPU (Central Processing Unit) of the computer functions as the speech recognition unit 3, the language processing unit 5, the specific part extraction unit 6, and the mining processing unit 8, and performs the processing of Step A11 to Step A20.
  • the program according to the second embodiment is supplied in a state stored in a computer-readable recording medium, for example, an optical disk, a magnetic disk, a magneto-optical disk, a semiconductor memory, a floppy disk, or the like, or via a network. .
  • a computer-readable recording medium for example, an optical disk, a magnetic disk, a magneto-optical disk, a semiconductor memory, a floppy disk, or the like, or via a network.
  • FIG. 12 is a block diagram showing a schematic configuration of the text mining device according to Embodiment 3 of the present invention.
  • the text mining device 21 shown in FIG. 12 uses voice recognition text data and text data (character recognition text data) obtained by performing character recognition as mining targets. For this reason, the text mining device 21 receives image data D4 of a document output from an optical reading device such as a scanner.
  • a character recognition unit 22 is provided.
  • the text mining device 21 is applied to a call center as in the first embodiment.
  • the document that is the basis of the image data D4 (l) corresponding to each record l is a memo created by handwriting by an operator, a FAX sent from a customer, or the like.
  • the character recognition unit 22 performs character recognition for each image data D4 (l) corresponding to each record l, and generates character recognition text data corresponding to each record l. Moreover, the character recognition part 22 extracts the word which comprises character recognition text data, and sets reliability for every word.
  • the reliability in this case may be an index indicating whether or not the words constituting the character recognition text data are correct as the recognition result of the input image.
  • the character recognition feature amount observed from the input image data D4, (l) or the input image data D4 (l) is given.
  • the posterior probability of the word can be used. Specifically, “Estimated ⁇ ⁇ posterior probability” disclosed in Non-Patent Document 3 described above can be used as the posterior probability in this case.
  • the text mining device 21 is configured in the same manner as the text mining device 1 shown in FIG. 1 except for the points described above. Therefore, the data input unit 2, the speech recognition unit 3, the specific part extraction unit 6, the specific reliability setting unit 7, and the mining processing unit 10 function in the same manner as in the example of the first embodiment. In the third embodiment, the extraction of the unique part and the setting of the unique reliability are performed on the speech recognition text data and the character recognition text data, and then cross-channel mining is executed.
  • character recognition is performed in advance by a character recognition device external to the text mining device 21, and character recognition text data in which reliability is set for each word is input to the text mining device 21.
  • the aspect created previously may be sufficient.
  • the text mining device 21 does not need to include the character recognition unit 22, and the character recognition text data is input to the unique part extraction unit 6 via the data input unit 2.
  • FIG. 13 is a flowchart showing a flow of processing performed by the text mining method according to Embodiment 3 of the present invention.
  • the text mining method according to the third embodiment can be implemented by operating the text mining device 21 shown in FIG.
  • the text mining method according to the third embodiment will be described together with the description of the operation of the text mining device 21 shown in FIG. 12 with appropriate reference to FIG.
  • call voice data D1 (l), image data D4 (l), and incidental information D3 (l) for each of records (1) to (L) are input to the data input unit 2 of the text mining device 20.
  • One set is input for each set.
  • the character recognition unit 22 performs character recognition on each of the image data D4 (l) corresponding to each record l (step A21).
  • the image data D4 from (l) character recognition text data is generated, furthermore, the extraction of a word w j which constitutes the character recognition text data, the reliability of the setting for each word w j is performed.
  • Step A22 the speech recognition text data is generated by the speech recognition unit 3 (step A22), and the reliability R Call (w i , l) is calculated by the reliability setting unit 4 (step A23).
  • Step A22 and step A23 are the same steps as the steps A2 and A3 shown in FIG.
  • step A21 is omitted.
  • steps A22 and A23 are also omitted. Steps A22 and A23 may be executed before step A21 or may be executed simultaneously with step A21.
  • the unique part extraction unit 6 extracts the unique part element w i and the unique part element w j (step A24).
  • the intrinsic reliability setting unit 7 sets the intrinsic reliability for the intrinsic subelement w i and the intrinsic reliability for the intrinsic subelement w j (step A25).
  • Step A24 and step A25 are the same steps as steps A4 and A6 shown in FIG. 8, respectively. However, in setting the inherent reliability in step A25, the reliability set in step A21 is used.
  • step A26 the mining processing unit 8 performs a mining process
  • step A27 the mining result output unit 12 outputs a mining result
  • the inherent reliability is set for the unique part of the speech recognition text data and the unique part of the character recognition text data. According to the third embodiment, when one of the mining targets is character recognition text data, it is possible to suppress the influence of a recognition error that occurs during character recognition on the mining result.
  • the program according to the third embodiment may be a program including instructions that cause a computer to execute steps A21 to A27 shown in FIG.
  • the text mining device 21 can be realized by installing the program according to the first embodiment on a computer and executing the program.
  • the CPU Central Processing ⁇ Unit
  • the CPU functions as the voice recognition unit 3, the character recognition unit 22, the unique part extraction unit 6, and the mining processing unit 8, and performs the processing of Step A21 to Step A27.
  • the program according to the third embodiment is supplied in a state stored in a computer-readable recording medium, for example, an optical disk, a magnetic disk, a magneto-optical disk, a semiconductor memory, a floppy disk, or the like, or via a network. .
  • a computer-readable recording medium for example, an optical disk, a magnetic disk, a magneto-optical disk, a semiconductor memory, a floppy disk, or the like, or via a network.
  • Embodiments 1 to 3 show examples in which the text mining device is applied to a call center, but the application example of the text mining device is not limited to this.
  • the text mining device can be applied to the case of analyzing a corporate image from the contents reported on television or radio, or the case of analyzing the contents of conversation in a communication place such as a meeting.
  • the extraction of the unique part is performed on two text data, but the present invention is not limited to this.
  • the extraction of the unique part may be performed on three or more text data.
  • Embodiments 1 and 2 described above describe an example in which a set of speech recognition text data that may contain an error and call memo text data that does not contain an error is targeted for text mining.
  • Embodiment 3 described above describes an example in which a combination of speech recognition text data that may contain an error and character recognition text data that may also contain an error is targeted for text mining.
  • the present invention is not limited to the case where the above combination is targeted, and text mining can be executed for combinations other than the above combinations.
  • a unique reliability is set for each unique part of a plurality of text data, and text mining is performed using this. Therefore, for example, a group other than the above-described group, for example, a group of voice recognition text data for an operator's call voice and a voice recognition text data for a customer's call voice can be set as a text mining target.
  • the text data to be subjected to text mining may be text data other than voice recognition text data, text data generated by key input (call memo text data), and character recognition text data. Even if it is such text data, the word which is the component can be extracted, and if the reliability can be set for each word, the present invention can be applied. Specific examples include text data obtained by machine translation.
  • the text mining apparatus, text mining method, and computer-readable recording medium according to the present invention have the following characteristics.
  • a text mining device that executes text mining on a plurality of text data including text data generated by computer processing, A reliability is set for each of the plurality of text data, For each of the plurality of text data, a unique part extraction unit that extracts a unique part of each text data with respect to other text data; A unique reliability setting unit that sets a unique reliability indicating the reliability of each unique part in each unique part of each text data with respect to other text data using the reliability set for each of the plurality of text data When, A text mining device, comprising: a mining processing unit that executes text mining on each unique part of each text data with respect to other text data using the inherent reliability.
  • the reliability is set to a numerical value of 1 or less for each of the plurality of text data,
  • the specific reliability setting unit sets the specific reliability in a specific part of one text data with respect to other text data, the specific reliability is obtained by subtracting the reliability set in the other text data from 1.
  • the text mining device according to (1), wherein the inherent reliability is set by multiplying the value set by the reliability set in the one text data.
  • the unique part extraction unit extracts, for each text data, a word that does not match a word constituting another text data from a word group constituting the text data, The text mining device according to (1), wherein each text data is a unique part with respect to other text data.
  • the unique part extraction unit uses the reliability set for each of the plurality of text data, and for each text data, each word constituting the text data corresponds to the other text data of each text data Calculate the degree corresponding to the unique part,
  • the text mining device according to (1), wherein a unique portion of each text data with respect to other text data is extracted based on the calculated degree.
  • Text data generated by speech recognition is used as the text data generated by the computer processing, Further, the text data generated by the voice recognition is provided with a reliability setting unit that sets the reliability using the word graph or N best word string obtained at the time of the voice recognition.
  • the text mining device according to (1).
  • a text mining method for executing text mining on a plurality of text data including text data generated by computer processing, (A) setting reliability for each of the plurality of text data; (B) for each of the plurality of text data, extracting a unique portion of each text data with respect to other text data; (C) using the reliability set for each of the plurality of text data, setting a unique reliability indicating the reliability of each unique part for each unique part of each text data with respect to other text data; , (D) A text mining method comprising: performing text mining on each unique part of each text data with respect to other text data using the inherent reliability.
  • the reliability is set to a numerical value of 1 or less for each of the plurality of text data.
  • the reliability set in the other text data is subtracted from 1 when setting the inherent reliability in the unique part of the text data with respect to the other text data.
  • the text mining method according to (6), wherein the inherent reliability is set by multiplying the value set by the reliability set in the one text data.
  • a word that does not match a word constituting another text data is extracted from a word group constituting the text data, and the extracted word is The text mining method according to (6), wherein each text data is a unique part with respect to other text data.
  • each word constituting the text data is another text data of the text data. Calculate the degree to which it corresponds to the specific part for The text mining method according to (6), wherein a unique portion of each text data with respect to other text data is extracted based on the calculated degree.
  • Text data generated by speech recognition is used as the text data generated by the computer processing,
  • the text according to (6) further comprising a step of setting a reliability using the word graph or N best word string obtained at the time of voice recognition for the text data generated by the voice recognition. Mining method.
  • a computer-readable recording medium storing a program for executing text mining on a plurality of text data including text data generated by computer processing using a computer device, In the computer device, (A) setting reliability for each of the plurality of text data; (B) for each of the plurality of text data, extracting a unique portion of each text data with respect to other text data; (C) using the reliability set for each of the plurality of text data, setting a unique reliability indicating the reliability of each unique part for each unique part of each text data with respect to other text data; , (D) A computer readable recording of a program including instructions for executing a step of executing text mining on each unique portion of each text data with respect to other text data using the inherent reliability. recoding media.
  • the reliability is set to a numerical value of 1 or less for each of the plurality of text data.
  • the reliability set in the other text data is subtracted from 1 when setting the inherent reliability in the unique part of the text data with respect to the other text data.
  • each word constituting the text data is another text data for each text data. Calculate the degree to which it corresponds to the specific part for The computer-readable recording medium according to (11), wherein a unique portion of each text data with respect to other text data is extracted based on the calculated degree.
  • Text mining device (Embodiment 1) DESCRIPTION OF SYMBOLS 2 Data input part 3 Voice recognition part 4 Reliability setting part 5 Language processing part 6 Eigenpart extraction part 7 Intrinsic reliability setting part 8 Mining process part 9 Mining process management part 10 Feature word count part 11 Feature degree calculation part 12 Mining result Output unit 13 Input device 14 Output device 15 Frequency calculation unit 16 Score calculation unit 17 Eigen part determination unit 20 Text mining device (Embodiment 2) 21 Text mining device (Embodiment 3) 22 Character recognition part D1 (l) Call voice data D2 (l) Call memo text data D3 (l) Additional information D4 (l) Image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

　コンピュータ処理によって生成されたテキストデータを含む複数のテキストデータに対するテキストマイニングにおいて、コンピュータ処理の誤りがマイニング結果に与える影響を抑制し得る、テキストマイニング装置、テキストマイニング方法、及びプログラムを提供する。コンピュータ処理によって生成されたテキストデータを含む、複数のテキストデータそれぞれについて、各テキストデータの他のテキストデータに対する固有部分を抽出する固有部分抽出部６と、各テキストデータに設定された信頼度を用いて、各テキストデータの固有部分に、各固有部分の信頼性を示す固有信頼度を設定する固有信頼度設定部７と、固有信頼度を用いて、各テキストデータの固有部分に対して、テキストマイニングを実行するマイニング処理部８とを備えた、テキストマイニング装置１を用いる。

Description

テキストマイニング装置、テキストマイニング方法、及びコンピュータ読み取り可能な記録媒体
　本発明は、コンピュータ処理によって得られたテキストデータをマイニング対象とする、テキストマイニング装置、及びテキストマイニング方法に関する。
　近年、大量のテキストデータの中から有益な情報を抽出する技術として、テキストマイニングが注目されている。テキストマイニングは、定型化されていない文章の集まりを、自然言語解析の手法を使って単語やフレーズに分割し、特徴語を抽出する。そして、特徴語の出現頻度や相関関係が分析され、分析者に有益な情報が提供される。テキストマイニングによれば、これまで人手で分析することが不可能であった、膨大な量のテキストデータの分析が可能となる。
　このようなテキストマイニングの適用分野の一例として、自由記述形式のアンケートが挙げられる。この場合、テキストマイニングは、アンケートの回答結果をタイピング又は文字認識することによって得られたテキストデータに対して実行される（例えば、特許文献１、特許文献２及び非特許文献１参照。）。分析者は、テキストマイニングの結果を用いて、様々な分析や、仮説の検証を行うことができる。
　また、テキストマイニングの適用分野の他の例としては、企業のコールセンターが挙げられる。コールセンターは、顧客とオペレータとの通話を録音した音声や、オペレータが応対の際にキー入力等によって作成したメモを、大量に蓄積している。これらの情報は、近年、企業にとって、消費者のニーズや、自社の製品及びサービスの改善点などを知るための重要な知識源となっている。
　コールセンターへの適用の場合は、テキストマイニングは、通話の音声認識から得られたテキストデータ（音声認識テキストデータ）に対して、又はオペレータが作成した通話メモから得られるテキストデータ（通話メモテキストデータ）に対して実行される。いずれのテキストデータに対してテキストマイニングが実行されるかは、分析者が求める分析の観点によって決定される。
　例えば、音声認識テキストデータは、オペレータと消費者との間の通話を全て網羅している。よって、製品やサービスに対する消費者の要望の抽出が目的である場合は、消費者の発話を全て網羅する必要があるため、音声認識テキストデータに対してテキストマイニングが実行される。
　一方、通話メモテキストデータは、網羅する範囲は狭いが、オペレータが通話の中で重要であると判断した事項、更には、オペレータが通話の内容をヒントにして認識した事項や判断した事項を含んでいる。よって、他のオペレータも共有すべきベテランオペレータの判断ノウハウや、新人オペレータの判断ミスなどを抽出する場合等、オペレータの付加情報に着目した分析が求められる場合は、通話メモテキストデータに対してテキストマイニングが実行される。
　但し、音声認識テキストデータは、殆どの場合、認識誤りを含んでいる。このため、音声認識テキストデータに対するテキストマイニングでは、認識誤りの影響により、特徴語の抽出が正確になされない場合がある。このような問題を解決するため、音声認識によって得られた単語候補に信頼度が付与された音声認識テキストデータ（例えば、非特許文献２参照。）を用いて、テキストマイニングを行うことが提案されている（例えば、特許文献３参照。）。特許文献３に記載のテキストマイニングにおいては、抽出された特徴語を計数する際に、信頼度に基づいた補正が行われ、認識誤りによる影響が低減される。
　ところで、上記コールセンターの例で述べた、音声認識テキストデータ及び通話メモテキストデータは、同一の事象（通話）から別々のチャネルを介して得られる情報である。両者は、チャネルが異なる情報ではあるが、両者の情報源は同一である。よって、両者の特性を利用し、両者を相補的に用いるテキストマイニングを実行すれば、一方のテキストデータに対してテキストマイニングを行った場合や、単に両方それぞれに対してテキストマイニングを行った場合よりも、複雑な分析が可能になると考えられる。
　具体的には、先ず、音声認識テキストデータは、通話メモテキストデータと共通の部分と、通話メモテキストデータには記述されていない通話音声に固有の部分とに分離される。同様に、通話メモテキストデータも、音声認識テキストデータと共通の部分と、音声認識テキストデータには記述されていない通話メモに固有の部分とに分離される。
　次に、音声認識テキストデータの通話音声に固有の部分について、テキストマイニングが実行される。このテキストマイニングは、通話音声には出現するが、通話メモの記述から漏れている情報に対して、重点的な分析を実行する。そして、この分析により、通話メモとして記録すべきであったが、漏れてしまった情報が抽出される。抽出された情報は、通話メモの記述ガイドラインの改良に利用できる。
　続いて、通話メモテキストデータの通話メモに固有の部分について、テキストマイニングが実行される。このテキストマイニングは、通話メモには出現するが、通話音声の音声認識テキストデータには現れない情報に対して、重点的な分析を実行する。この分析によれば、上述した通話メモテキストデータのみに対してテキストマイニングを実行する場合よりも、確実に、経験を積んだオペレータの判断ノウハウを抽出できる。抽出された判断ノウハウは、新人オペレータの教育材料に活用できる。
　このような、同一の事象から別々のチャンネルを介して得られる複数のテキストデータに対して行うテキストマイニング（以下「クロスチャネルテキストマイニング」という。）は、他の例にも利用できる。
　例えば、クロスチャネルテキストマイニングは、報道された内容から企業イメージを分析する場合、会議などのコミュニケーションの場における会話内容を分析する場合に利用できる。前者の場合は、アナウンサー等の発話からの音声認識テキストデータと、発話原稿や新聞記事等のテキストデータとに対してテキストマイニングが実行される。また、後者の場合は、参加者の会話を音声認識することによって得られた音声認識テキストデータと、その場において参加者が参照した文書、参加者が作成したメモや議事録等のテキストデータとに対してテキストマイニングが実行される。
　また、クロスチャネルテキストマイニングにおいて、マイニング対象は、音声認識テキストデータや、キー入力によって作成されたテキストデータである必要は無い。例えば、上述したアンケートや議事録等を文字認識することによって得られた文字認識テキストデータ（非特許文献３参照。）等も、マイニング対象となる。
　また、クロスチャネルテキストマイニングを実行する場合は、一方のテキストデータと他方のテキストデータとの間で、それぞれの共通部分と固有の部分とを明確に分けることが重要である。明確でない場合は、分析精度が大きく低下してしまうからである。
特開２００１－１０１１９４号公報 特開２００４－１６４０７９号公報 特開２００８－０３９９８３号公報
H. Li and K. Yamanishi, "Mining from open answers inquestionnaire data", In Proceedings of the seventh ACM SIGKDDinternational conference on Knowledge discovery and data mining, pp.443-449,2001. Frank Wessel 他, "Confidence Measures for Large Vocabulary Continuous SpeechRecognition", IEEE Trans. Speech and Audio Processing, vol. 9, No. 3,March 2001, pp.288-298. John F. Pitrelli, Michael P. Perrone, "Confidence-scoring post-processing for off-linehandwritten-character recognition verification", In Proceedings of the seventh InternationalConference on Document Analysis and Recognition (ICDAR), vol. 1, August 2003,pp.278-282.
　しかしながら、音声認識や文字認識といったコンピュータ処理によって生成されたテキストデータには、殆どの場合、誤りが含まれている。例えば、上述したように、音声認識テキストデータには、認識誤りが含まれている。これらの誤りは、特に、クロスチャネルテキストマイニングにおいては、テキストデータ間の共通部分と固有部分との判別に影響を与えるため、マイニング結果の信頼性を大きく低下させる可能性がある。
　また、上述したように、上記特許文献３は、音声認識の認識誤りがテキストマイニングに影響を与える場合に、それを軽減する技術を開示しているが、この技術はクロスチャネルテキストマイニングへの適用を考慮した技術ではない。特許文献３に開示の技術をクロスチャネルテキストマイニングに適用したとしても、認識誤りがテキストデータ間の共通部分と固有部分との判別に与える影響は除去されないため、マイニング結果の信頼性の向上は困難である。
　本発明の目的は、上記問題を解消し、コンピュータ処理によって生成されたテキストデータを含む複数のテキストデータに対するテキストマイニングにおいて、コンピュータ処理の誤りがマイニング結果に与える影響を抑制し得る、テキストマイニング装置、テキストマイニング方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
　上記目的を達成するために本発明におけるテキストマイニング装置は、コンピュータ処理によって生成されたテキストデータを含む複数のテキストデータを対象としてテキストマイニングを実行するテキストマイニング装置であって、
　前記複数のテキストデータそれぞれに信頼度が設定されており、
　前記複数のテキストデータそれぞれについて、各テキストデータの他のテキストデータに対する固有部分を抽出する、固有部分抽出部と、
　前記複数のテキストデータそれぞれに設定された信頼度を用いて、前記各テキストデータの他のテキストデータに対する固有部分それぞれに、各固有部分の信頼性を示す固有信頼度を設定する固有信頼度設定部と、
　前記固有信頼度を用いて、前記各テキストデータの他のテキストデータに対する固有部分それぞれに対して、テキストマイニングを実行するマイニング処理部とを備えている、ことを特徴とする。
　また、上記目的を達成するため本発明におけるテキストマイニング方法は、コンピュータ処理によって生成されたテキストデータを含む複数のテキストデータを対象としたテキストマイニングを実行するテキストマイニング方法であって、
（ａ）前記複数のテキストデータそれぞれに信頼度を設定するステップと、
（ｂ）前記複数のテキストデータそれぞれについて、各テキストデータの他のテキストデータに対する固有部分を抽出するステップと、
（ｃ）前記複数のテキストデータそれぞれに設定された信頼度を用いて、前記各テキストデータの他のテキストデータに対する固有部分それぞれに、各固有部分の信頼性を示す固有信頼度を設定するステップと、
（ｄ）前記固有信頼度を用いて、前記各テキストデータの他のテキストデータに対する固有部分それぞれに対して、テキストマイニングを実行するステップとを有する、ことを特徴とする。
　また、上記目的を達成するため、本発明におけるコンピュータ読み取り可能な記録媒体、コンピュータ装置を用いて、コンピュータ処理によって生成されたテキストデータを含む複数のテキストデータを対象としてテキストマイニングを実行するための、プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータ装置に、
（ａ）前記複数のテキストデータそれぞれに信頼度を設定するステップと、
（ｂ）前記複数のテキストデータそれぞれについて、各テキストデータの他のテキストデータに対する固有部分を抽出するステップと、
（ｃ）前記複数のテキストデータそれぞれに設定された信頼度を用いて、前記各テキストデータの他のテキストデータに対する固有部分それぞれに、各固有部分の信頼性を示す固有信頼度を設定するステップと、
（ｄ）前記固有信頼度を用いて、前記各テキストデータの他のテキストデータに対する固有部分それぞれに対して、テキストマイニングを実行するステップとを実行させる、命令を含むプログラムを記録していることを特徴とする。
　以上の特徴により、本発明によれば、コンピュータ処理で生成されたテキストデータを含む複数のテキストデータに対するテキストマイニングにおいて、コンピュータ処理の誤りがマイニング結果に与える影響を抑制できる。
図１は、本発明の実施の形態１におけるテキストマイニング装置の概略構成を示すブロック図である。 図２は、本発明の実施の形態１においてテキストマイニングの対象となるデータの一例を示す図である。 図３は、信頼度が設定された音声認識テキストデータの一例を示す図である。 図４は、信頼度が設定された音声認識テキストデータの一例であって言語が英語である場合を示す図である。 図５は、本発明の実施の形態１におけるテキストマイニング装置で実行される固有部分の抽出処理について説明する図である。 図６は、固有信頼度の設定状況の一例を示す図である。 図７は、テキストマイニング処理の結果の一例を示す図である。 図８は、本発明の実施の形態１におけるテキストマイニング方法で行われる処理の流れを示すフロー図である。 図９は、本発明の実施の形態２におけるテキストマイニング装置の概略構成を示すブロック図である。 図１０は、本発明の実施の形態２におけるテキストマイニング装置が抽出した固有部分の一例を示す図である。 図１１は、本発明の実施の形態２におけるテキストマイニング方法で行われる処理の流れを示すフロー図である。 図１２は、本発明の実施の形態３におけるテキストマイニング装置の概略構成を示すブロック図である。 図１３は、本発明の実施の形態３におけるテキストマイニング方法で行われる処理の流れを示すフロー図である。
　（実施の形態１）
　以下、本発明の実施の形態１におけるテキストマイニング装置、テキストマイニング方法及びプログラムについて、図１～図８を参照しながら説明する。最初に、本発明の実施の形態２におけるテキストマイニング装置の構成について図１～図７を用いて説明する。
　図１は、本発明の実施の形態１におけるテキストマイニング装置の概略構成を示すブロック図である。図２は、本発明の実施の形態１においてテキストマイニングの対象となるデータの一例を示す図である。図３は、信頼度が設定された音声認識テキストデータの一例を示す図である。図４は、信頼度が設定された音声認識テキストデータの一例であって言語が英語である場合を示す図である。図５は、本発明の実施の形態１におけるテキストマイニング装置で実行される固有部分の抽出処理について説明する図である。図６は、固有信頼度の設定状況の一例を示す図である。図７は、テキストマイニング処理の結果の一例を示す図である。
　図１に示すテキストマイニング装置１は、コンピュータ処理によって生成されたテキストデータを含む複数のテキストデータを対象としてテキストマイニングを実行する。図１に示すように、テキストマイニング装置１は、固有部分抽出部６と、固有信頼度設定部７と、マイニング処理部８とを備えている。
　また、複数のテキストデータそれぞれには、信頼度が設定されている。ここでいう「信頼度」は、テキストデータを構成する単語が適切であることの度合いを示している。よって、例えば、コンピュータ処理によって生成されたテキストデータにおいては、「信頼度」は、テキストデータを構成する各単語がコンピュータ処理の処理結果として正しいかどうかの指標となる。
　固有部分抽出部６は、複数のテキストデータそれぞれについて、各テキストデータの他のテキストデータに対する固有部分を抽出する。ここで、各テキストデータの他のテキストデータに対する固有部分とは、各テキストデータそれぞれを構成する単語又はフレーズであって、他のテキストデータに全く含まれていなもの、又は含まれていても僅かであるものをいう。
　また、固有信頼度設定部７は、複数のテキストデータそれぞれに設定された信頼度を用いて、各テキストデータの他のテキストデータに対する固有部分それぞれに、各固有部分の信頼性を示す固有信頼度を設定する。マイニング処理部８は、固有信頼度を用いて、各テキストデータの他のテキストデータに対する固有部分それぞれに対して、テキストマイニングを実行する。
　このように、テキストマイニング装置１は、各テキストデータの固有部分に、固有部分の信頼性を示す固有信頼度を設定する。また、固有信頼度は、各テキストデータに設定された信頼度から求められており、固有部分が、コンピュータ処理の処理結果として正しいかどうかの指標となる。そして、テキストマイニング処理においては、この固有信頼度が参照される。
　このため、テキストマイニング装置１によれば、マイニング結果から、簡単に、コンピュータ処理における誤りの影響が除去される。この結果、コンピュータ処理における誤りの影響が抑制された、信頼性の高いマイニング結果が得られることとなる。
　なお、本発明において「コンピュータ処理」とは、一定のアルゴリズムに従ってコンピュータによって実行される解析処理をいう。また、「コンピュータ処理によって得られたテキストデータ」とは、コンピュータ処理によって自動的に生成されるテキストデータをいう。コンピュータ処理の具体例としては、音声認識処理、文字認識処理、機械翻訳処理といった処理が挙げられる。
　続いて、テキストマイニング装置１の構成について更に具体的に説明する。また、以下においては、テキストマイニング装置１をコールセンターに適用する例について説明する。本実施の形態１では、コールセンターで録音された通話音声データＤ１（図２参照）を音声認識（コンピュータ処理）して得られたテキストデータと、通話メモテキストデータＤ２（図２参照）とが、マイニング対象となる。
　図１に示すように、テキストマイニング装置１には、図２に示す、通話音声データＤ１、通話メモテキストデータＤ２、及び付帯情報Ｄ３といった三種類のデータが入力される。通話音声データＤ１は、コールセンターでのオペレータと顧客とのやりとりを記録した音声データである。図２において「Ａ」はオペレータを示し、「Ｂ」は顧客を示している。
　通話メモテキストデータＤ２は、オペレータが通話の際にメモとして作成したテキストデータであり、コンピュータ処理によって得られたテキストデータではない。付帯情報Ｄ３は、通話音声データＤ１及び通話メモテキストデータＤ２に付随するデータであり、図２には一部のみが示されている。付帯情報Ｄ３は、主に、後述する特徴度の算出において利用される。
　また、通話音声データＤ１は、オペレータと顧客との通話の開始から終了までを１単位（１レコード）とし、通話メモテキストデータＤ２及び付帯情報Ｄ３は、１レコード毎に作成される。図２は、１レコードの通話音声データＤ１と、対応する通話メモテキストデータＤ２及び付帯情報Ｄ３とが示されている。実際には、レコード番号ｌのレコードにおける通話音声データＤ１（ｌ）と、これに対応する通話メモテキストデータＤ２（ｌ）及び付帯情報Ｄ３（ｌ）とを１組として、複数組がテキストマイニング装置１に入力される。なお、以降において、「ｌ」は、１からＬまでの自然数である（ｌ＝１、２、・・・、Ｌ）。
　また、図１に示すように、テキストマイニング装置１は、固有部分抽出部６、固有信頼度設定部７、及びマイニング処理部８に加えて、データ入力部２と、音声認識部３と、言語処理部５とを備えている。
　更に、テキストマイニング装置１には、入力装置１３及び出力装置１４が接続されている。入力装置１３の具体例としては、キーボードや、マウス等が挙げられる。出力装置１４の具体例としては、液晶ディスプレイ等の表示装置や、プリンタ等が挙げられる。また、入力装置１３及び出力装置１４は、テキストマイニング装置１にネットワークを介して接続された別のコンピュータ装置に、取り付けられていても良い。
　先ず、各レコードｌにおける通話音声データＤ１（ｌ）、対応する通話メモテキストデータＤ２（ｌ）、及び同じく対応する付帯情報Ｄ３（ｌ）といった入力データは、データ入力部２に入力される。このとき、これらのデータは、外部のコンピュータ装置からネットワークを介して、直接、データ入力部２に入力されても良いし、記録媒体に格納された状態で提供されても良い。前者の場合は、データ入力部２としては、外部とテキストマイニング装置１とを接続するためのインターフェイスが用いられる。また、後者の場合は、データ入力部２としては、読取装置が用いられる。
　これらのデータが入力されると、データ入力部２は、通話音声データＤ１（ｌ）を音声認識部３に出力し、通話メモテキストデータＤ２（ｌ）を言語処理部５に出力する。また、データ入力部２は、付帯情報Ｄ３（ｌ）をマイニング処理部８に出力する。
　音声認識部３は、通話音声データＤ１（ｌ）に対して音声認識を実行し、音声認識テキストデータを生成する。また、音声認識部３は、信頼度設定部４を備えている。信頼度設定部４は、音声認識テキストデータに対して、それを構成する単語毎に、信頼度を設定する。信頼度が設定された音声認識テキストデータは、固有部分抽出部６に出力される。
　ここで、図２に示した通話音声データＤ１に含まれる会話を用いて、音声認識部３における処理を図３及び図４に基づいて説明する。会話としては、通話音声データＤ１に含まれる多数の会話のうち、「保存機能は付いていますか」と、「白は無いですか。」とが用いられることとする。
　先ず、音声認識部３は、各レコードｌにおける通話音声データＤ１（ｌ）毎に、音声認識を行う。そして、音声認識部３は、図３に示すように、時間フレームｍ毎に候補となる単語ｗｉを抽出する。図３において、横軸に付された番号はフレーム番号であり、一つのレコードｌ内においてフレーム番号は連続している。
　また、同一の時間フレームｍに複数の候補が存在する場合は、音声認識部３は、複数個の単語を抽出する。図３の例では、フレーム番号２０において、「保存」と「保温」の二つの候補が抽出されている。また、フレーム番号３３において、「色」と「白」の二つが抽出されている。
　また、会話の言語が英語である場合も、音声認識部３は、時間フレームｍ毎に候補となる単語ｗｉを抽出する。例えば、会話が、図３の例の英訳に相当する「Does it have heat retaining function ?」及び「Do you have white color ?」である場合は、音声認識部３は、図４に示すように、単語ｗｉを抽出する。
　但し、図４の例では、フレーム番号２３－２４において、「heat retaining」と「eat remaining」の二つの候補が抽出され、フレーム番号３７において、「color」と「collar」の二つの候補が抽出されている。また、図４においても、横軸に付された番号はフレーム番号であり、一つのレコードｌ内においてフレーム番号は連続している。
　なお、音声認識部３は全ての単語を候補として抽出する必要はない。本実施の形態では、音声認識部３は、言語の種類に拘わらず、助詞や前置詞等の単独では意味を成さない単語については候補として抽出せず、名詞、動詞、副詞といった自立語の品詞のみを候補として抽出する。
　信頼度設定部４は、単語ｗｉ毎に、信頼度ＲＣａｌｌ（ｗｉ，ｌ，ｍ）を設定する。図３及び図４においては、各単語の下側に併記された０以上１以下の数字が信頼度を表している。また、本実施の形態では、信頼度ＲＣａｌｌ（ｗｉ，ｌ，ｍ）は、特に限定されるものではなく、音声認識テキストデータを構成する単語が認識結果として正しいかどうかの指標となるものであれば良い。
　例えば、信頼度ＲＣａｌｌ（ｗｉ，ｌ，ｍ）としては、上述した非特許文献２に開示された「Confidence Measure」を用いることができる。具体的には、前提として、入力音声又はその音声に対して観測された音響特徴量が与えられているとする。この場合、単語ｗｉの信頼度ＲＣａｌｌ（ｗｉ，ｌ，ｍ）は、単語ｗｉの事後確率として、入力音声又は音響特徴量に対する認識結果として得られるワードグラフを元にForward-Backwardアルゴリズムを用いて計算可能である。
　更に、信頼度設定部４は、各単語ｗｉについて、上記で求めた信頼度ＲＣａｌｌ（ｗｉ，ｌ，ｍ）を用いて、各レコードｌに対する信頼度ＲＣａｌｌ（ｗｉ，ｌ）も算出する。具体的には、信頼度設定部４は、下記の式（数１）を用いて、全ての単語ｗｉについて計算を行う。
Figure JPOXMLDOC01-appb-M000001
  
　また、本実施の形態１は、予め、テキストマイニング装置１の外部の音声認識装置によって音声認識が行われ、単語毎に信頼度が設定された音声認識テキストデータが、テキストマイニング装置１への入力前に作成されている態様であっても良い。この場合は、テキストマイニング装置１は音声認識部３を備える必要がなく、音声認識テキストデータは、データ入力部２を介して、固有部分抽出部６に入力される。但し、テキストマイニング装置１が、音声認識部３を備える場合は、音声認識に用いられる言語モデルや音響モデルの調整が容易となり、音声認識の認識精度の向上が図られる。
　言語処理部５は、通話メモテキストデータに対して、形態素解析、係り受け解析、同義語処理、不用語処理等の言語処理を実行する。また、言語処理部５は、通話メモテキストデータを、音声認識テキストデータの単語ｗｉに対応するように、単語ｗｊ毎に区切り、単語列を生成する。単語列は、固有部分抽出部６に出力される。
　固有部分抽出部６は、本実施の形態１では、音声認識テキストデータの通話メモテキストデータに対する固有部分と、通話メモテキストデータの音声認識テキストデータに対する固有部分とを抽出する。なお、以降においては、これらの固有部分は、それぞれ「音声認識テキストデータの固有部分」、「通話メモテキストデータの固有部分」とする。
　また、本実施の形態１においては、固有部分抽出部６は、先ず、各テキストデータについて、それを構成する単語群の中から、他のテキストデータを構成している単語と一致しない単語を抽出する。次に、固有部分抽出部６は、抽出された単語を、各テキストデータの他のテキストデータに対する固有部分とする。
　具体的には、図５に示すように、例えば、レコード１では、通話音声データＤ（１）から得られた音声認識テキストデータに「白」が含まれているが、対応する通話メモテキストデータＤ（１）には「白」が含まれていない。この場合、固有部分抽出部６は、「白」を音声認識テキストデータの固有部分として抽出する。また、レコード１では、通話音声データＤ（１）から得られた音声認識テキストデータに「色」は含まれていないが、対応する通話メモテキストデータＤ（１）に「色」が含まれている。この場合、固有部分抽出部６は、「色」を通話メモテキストデータＤ（１）の固有部分として抽出する。
　一方、図５に示すように、レコード２では、通話音声データＤ（２）から得られた音声認識テキストデータと、対応する通話メモテキストデータＤ（２）との両方に、白が含まれている。この場合、固有部分抽出部６は、「白」をいずれの固有部分としても抽出しない。
　また、図５に示すように、レコード３では、通話音声データＤ（３）から得られた音声認識テキストデータは、同一のフレーム番号について「色」と「白」との二つの候補を有している（図３参照）。対応する通話メモテキストデータＤ（３）には、「白」のみが含まれている。この場合は、固有部分抽出部６は、「色」を音声認識テキストデータの固有部分として抽出するが、「白」についてはいずれの固有部分としても抽出しない。
　このようにして抽出された、音声認識テキストデータの固有部分と、通話メモテキストデータの固有部分とは、固有信頼度設定部７に入力される。具体的には、音声認識テキストデータの固有部分として抽出された単語ｗｉ（以下「固有部分要素ｗｉ」）と、通話メモテキストデータの固有部分として抽出された単語ｗｊ（以下「固有部分要素ｗｊ」）とが、固有信頼度設定部７に入力される。
　固有信頼度設定部７は、本実施の形態１では、先ず、言語処理部５が出力した単語列を用いて、通話メモテキストデータを構成している各単語ｗｊに対して信頼度ＲＭｅｍｏ（ｗｊ，ｌ）を設定する。この場合、通話メモテキストデータは、オペレータによるキー入力によって生成されているため、通話メモテキストデータ中に含まれている単語であれば、その信頼度は「１．０」となる。なお、通話メモテキストデータ中に含まれていない単語の信頼度は、「０．０」となる。
　続いて、固有信頼度設定部７は、固有部分要素ｗｉに対する固有信頼度ＣＣａｌｌ（ｗｉ，ｌ）と、固有部分要素ｗｊに対する固有信頼度ＣＭｅｍｏ（ｗｊ，ｌ）とを設定する。具体的には、固有信頼度設定部７は、信頼度ＲＣａｌｌ（ｗｉ，ｌ）、信頼度ＲＭｅｍｏ（ｗｊ，ｌ）、信頼度ＲＣａｌｌ（ｗｊ，ｌ）、及び信頼度ＲＭｅｍｏ（ｗｉ，ｌ）を、下記の式（数２）及び（数３）に当てはめる。
　なお、ここで、信頼度ＲＣａｌｌ（ｗｊ，ｌ）は、通話テキストデータに含まれる単語ｗｊと同一の音声認識テキストデータ中の単語に設定されている信頼度を示している。よって、単語ｗｊが音声認識テキストデータ中に含まれない場合は、信頼度ＲＣａｌｌ（ｗｊ，ｌ）＝０として計算する。また、信頼度ＲＭｅｍｏ（ｗｉ，ｌ）は、音声認識テキストデータに含まれている単語ｗｉと同一の通話メモテキストデータ中の単語に設定されている信頼度を示している。同様に、単語ｗｉが通話メモテキストデータ中に含まれない場合は、信頼度ＲＭｅｍｏ（ｗｉ，ｌ）＝０として計算する。
　この結果、例えば、図６に示すように、固有信頼度ＣＣａｌｌ（ｗｉ，ｌ）及び固有信頼度ＣＭｅｍｏ（ｗｊ，ｌ）が算出される。算出された、固有信頼度ＣＣａｌｌ（ｗｉ，ｌ）及び固有信頼度ＣＭｅｍｏ（ｗｊ，ｌ）は、固有部分要素ｗｉ及び固有部分要素ｗｊと共に、マイニング処理部８に入力される。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　このように、本実施の形態１においては、固有信頼度設定部７は、一のテキストデータの固有部分に固有信頼度を設定する際、他のテキストデータに設定されている信頼度を１から減算して得られる値を、一のテキストデータに設定されている信頼度に乗算する。このようにして得られた固有信頼度は、設定が容易で、且つ、確実に固有部分の信頼性を提示する。
　マイニング処理部８は、本実施の形態１では、固有信頼度Ｃｃａｌｌ（ｗｉ，ｌ）及び固有信頼度ＣＭｅｍｏ（ｗｊ，ｌ）を用いて、いわゆるクロスチャネルテキストマイニングを実行する。つまり、マイニング処理部８によって、固有部分要素ｗｉに対するマイニング処理と、固有部分要素ｗｊに対するマイニング処理とが行われる。
　具体的には、本実施の形態１においては、マイニング処理部８は、マイニング処理として、特徴語を抽出し、その特徴度を算出する。「特徴語」とは、マイニング処理によって抽出される単語やフレーズをいう。例えば、固有部分要素ｗｉ又は固有部分要素ｗｊと判断された単語の中から、特徴語が抽出される。「特徴度」は、抽出された特徴語が、任意のカテゴリー（例えば、付帯情報Ｄ３において特定の値を持つレコード集合が挙げられる。）において、どの程度特徴的であるかの度合いを示している。
　上記の処理を行うため、マイニング処理部８は、マイニング処理管理部８と、特徴語計数部１０と、特徴度算出部１１と、マイニング結果出力部１２とを備えている。特徴語計数部１０は、固有部分要素ｗｉ及び固有部分要素ｗｊから特徴語を抽出し、抽出した特徴語が、対応するテキストデータにおいて、或いは、全てのテキストデータにおいて何回出現したかカウントする。これにより、出現頻度及び総出現頻度が求められる（図７参照）。
　具体的には、特徴語計数部１０は、固有信頼度Ｃｃａｌｌ（ｗｉ，ｌ）及び固有信頼度ＣＭｅｍｏ（ｗｊ，ｌ）を用いて、特徴語を抽出する。例えば、固有信頼度に閾値を設定し、固有信頼度が閾値以上の固有部分要素のみを特徴語として抽出する。図７の例では、閾値は０．４に設定されており、固有信頼度が０．３に設定された固有部分要素「黒」は、特徴語から除外されている。
　また、本実施の形態１において、閾値は、適宜設定されれば良いが、予め実験を行い、その実験結果に基づいて設定されるのが好ましい。具体的には、固有部分が予め設定された音声データと、同じく固有部分が予め設定されたテキストデータとを実験データとして用い、上述した手順で固有信頼度Ｃｃａｌｌ（ｗｉ，ｌ）及び固有信頼度ＣＭｅｍｏ（ｗｊ，ｌ）を算出する。そして、各データで予め設定されている固有部分が、抽出されるように、閾値を設定する。この場合、閾値の設定は、固有信頼度毎に行うことができる。また、設定された閾値の信頼性を高めるため、できるだけ多くの実験データを用意しておくのが好ましい。
　また、特徴語計数部１０は、複数のレコードに対して、特徴語の計数を行うことができる。本実施の形態では、特徴語の計数の対象となるレコードの数は特に限定されるものではない。なお、クロスチャネルマイニングが行われない場合は、特徴語計数部１０は、固有部分要素ではなく、音声認識テキストデータ又は通話メモテキストデータに含まれる全ての単語（意味をなさない単語を除く）に対して、出現頻度をカウントする。
　特徴度算出部１１は、特徴語計数部１０で得られた出現頻度や総出現頻度を用いて特徴度（図７参照）を算出する。特徴度の算出方法は、特に限定されるものではなく、マイニングの目的等に応じて、種々の統計解析技術を利用して行うことができる。
　具体的には、特徴語算出部１１は、特定のカテゴリーにおける、各単語の頻度、対数尤度比、χ２値、イエーツ補正χ２値、自己相互情報量、ＳＥ、ＥＳＣなどの統計的尺度を、単語の特徴量として計算し、得られた値を特徴度とすることができる。なお、特定のカテゴリーとしては、上述したように、例えば、付帯情報Ｄ３において分析者が指定する特定の値を持つレコード集合等が挙げられる。また、特徴度の算出には、重回帰分析、主成分分析、因子分析、判別分析、クラスター解析などの統計解析技術を用いることもできる。
　また、マイニング処理管理部８は、入力装置１３を介して、ユーザが入力したマイニング条件を受け付け、受け付けた条件に応じて、特徴語計数部１０及び特徴度算出部１１を動作させている。例えば、ユーザが、音声認識テキストデータの固有部分に対してのみテキストマイニングを行う旨を指示した場合は、マイニング処理管理部８は、特徴語計数部１０に、音声認識テキストデータの固有部分要素ｗｉから特徴語を抽出させ、特徴語の計数を実施させる。また、マイニング処理管理部８は、特徴度算出部１１に対しては、特徴度の算出を行わせる。
　マイニング結果出力部１２は、図７に示すようなマイニング結果を出力装置１４に出力する。図７においては、マイニング結果は、特徴語、出現頻度、総出現頻度、固有信頼度及び特徴度を含んでいる。また、本実施の形態では、クロスチャネルテキストマイニングが実行されるため、音声認識テキストデータと通話メモテキストデータとの両方についてのマイニング結果が出力される。マイニング結果は、表示装置が出力装置１４である場合は、表示画面に表示される。
　次に、本発明の実施の形態１におけるテキストマイニング方法について、図８を用いて説明する。図８は、本発明の実施の形態１におけるテキストマイニング方法で行われる処理の流れを示すフロー図である。
　本実施の形態１におけるテキストマイニング方法は、図１に示したテキストマイニング装置１を動作させることによって実施できる。このため、以降において、本実施の形態１におけるテキストマイニング方法の説明は、適宜図１～図７を参酌しながら、図１に示したテキストマイニング装置１の動作の説明と共に行う。
　先ず、レコード（１）～レコード（Ｌ）それぞれの通話音声データＤ１（ｌ）、通話メモテキストデータＤ２（ｌ）、及び付帯情報Ｄ３（ｌ）が、テキストマイニング装置１のデータ入力部２に入力される。このとき、各レコードｌ（ｌ＝１、２、・・・、Ｌ）における、通話音声データＤ１（ｌ）、通話メモテキストデータＤ２（ｌ）、及び付帯情報Ｄ３（ｌ）は、レコード番号が同一のものを一つの組として、組毎に入力される。
　それにより、図８に示すように、言語処理部５が、通話メモテキストデータに対して、言語処理を実行する（ステップＡ１）。ステップＡ１の結果、通話メモテキストデータは、単語ｗｊの単語列となり、単語列となった状態で、固有部分抽出部６及び固有信頼度設定部７に出力される。
　次に、音声認識部３が、音声認識を行い、候補となる単語ｗｉを抽出して音声認識テキストデータを作成する（ステップＡ２）。また、ステップＡ２においては、信頼度設定部４は、音声認識テキストデータに対して、それを構成する単語ｗｉ毎に、信頼度信頼度ＲＣａｌｌ（ｗｉ，ｌ，ｍ）を設定する。続いて、信頼度設定部４が、信頼度ＲＣａｌｌ（ｗｉ，ｌ，ｍ）を上記の式（数１）に当てはめて、各レコードｌに対する信頼度ＲＣａｌｌ（ｗｉ，ｌ）を算出する（ステップＡ３）。
　なお、単語毎に信頼度が設定された音声認識テキストデータが、テキストマイニング装置１への入力前に作成されている場合は、ステップＡ２及びＡ３は省略される。また、ステップＡ２及びＡ３は、ステップＡ１の前に実行しても良いし、ステップＡ１と同時に実行しても良い。
　次に、固有部分抽出部６が、音声認識テキストデータの単語ｗｉと通話メモテキストデータの単語ｗｊとを対比し、音声認識テキストデータの固有部分（固有部分要素ｗｉ）と、通話メモテキストデータの固有部分（固有部分要素ｗｊ）とを抽出する（ステップＡ４）。また、固有部分抽出部６は、抽出した固有部分要素ｗｉ及び固有部分要素ｗｊを固有信頼度設定部７に入力する。
　次に、固有信頼度設定部７は、言語処理部５が出力した単語列を用いて、各レコードｌにおける通話メモテキストデータＤ２（ｌ）を構成している、各単語ｗｊに対して、信頼度ＲＭｅｍｏ（ｗｊ，ｌ）を設定する（ステップＡ５）。続いて、固有信頼度設定部７は、固有部分要素ｗｉに対する固有信頼度ＣＣａｌｌ（ｗｉ，ｌ）と、固有部分要素ｗｊに対する固有信頼度ＣＭｅｍｏ（ｗｊ，ｌ）とを設定する（ステップＡ６）。
　具体的には、固有信頼度設定部７は、信頼度ＲＣａｌｌ（ｗｉ，ｌ）及び信頼度ＲＭｅｍｏ（ｗｊ，ｌ）を上記の式（数２）及び（数３）に当てはめ、固有信頼度ＣＣａｌｌ（ｗｉ，ｌ）と固有信頼度ＣＭｅｍｏ（ｗｊ，ｌ）とを算出する。固有信頼度設定部７は、算出した固有信頼度ＣＣａｌｌ（ｗｉ，ｌ）及び固有信頼度ＣＭｅｍｏ（ｗｊ，ｌ）を、特徴語計数部１０に入力する。
　次いで、マイニング処理部８がマイニング処理を実行する（ステップＡ７）。具体的には、先ず、特徴語計数部１０は、固有信頼度ＣＣａｌｌ（ｗｉ，ｌ）及び固有信頼度ＣＭｅｍｏ（ｗｊ，ｌ）を利用して、固有部分要素ｗｉ及び固有部分要素ｗｊの中から特徴語を抽出する。更に、特徴語計数部１０は、その出現頻度及び総出現頻度をカウントする。そして、特徴語算出部１１が、抽出された特徴語について、特徴度を算出する。ステップＡ７の実行により、図７に示すデータが得られる。
　その後、マイニング結果出力部１４が、ステップＡ７で得られた結果を出力装置１４に出力する（ステップＡ８）。ステップＡ８の実行後、テキストマイニング装置１は、処理を終了する。
　このように、本実施の形態１におけるテキストマイニング方法では、各テキストデータの固有部分に設定された固有信頼度を用いて、固有部分に対するマイニング処理が行われる。このため、音声認識時に発生した認識誤りがマイニング結果に与える影響は、極めて小さいものとなる。
　また、本実施の形態１におけるプログラムは、コンピュータに、図８に示すステップＡ１～ステップＡ８を実行させる命令を含むプログラムであれば良い。この場合、コンピュータに、この本実施の形態１におけるプログラムをインストールし、このプログラムを実行することによって、テキストマイニング装置１を実現することができる。更に、この場合、コンピュータのＣＰＵ（Central Processing Unit）は、音声認識部３、言語処理部５、固有部分抽出部６、固有信頼度設定部７及びマイニング処理部８として機能し、ステップＡ１～ステップＡ８の処理を行なう。
　また、本実施の形態１におけるプログラムは、コンピュータ読み取り可能な記録媒体、例えば、光ディスク、磁気ディスク、光磁気ディスク、半導体メモリ、フロッピーディスク等に記憶された状態で、又はネットワークを介して供給される。
　（実施の形態２）
　次に、本発明の実施の形態２におけるテキストマイニング装置、テキストマイニング方法及びプログラムについて、図９～図１１を参照しながら説明する。最初に、本発明の実施の形態２におけるテキストマイニング装置の構成について、図９及び図１０を用いて説明する。図９は、本発明の実施の形態２におけるテキストマイニング装置の概略構成を示すブロック図である。図１０は、本発明の実施の形態２におけるテキストマイニング装置が抽出した固有部分の一例を示す図である。
　図９に示すように、本実施の形態２におけるテキストマイニング装置２０は、固有部分抽出部６の構成及び機能の点で、図１に示した実施の形態１におけるテキストマイニング装置１と異なっている。本実施の形態２においては、固有部分かどうかの判断が、実施の形態１に比べて更に厳密に行われる。以下、実施の形態１との相違点を中心に説明する。
　なお、本実施の形態２においても、テキストマイニング装置２０をコールセンターに適用する例について説明する。そして、レコード番号１～レコード番号Ｌまでのレコードがテキストマイニング装置２０に入力される。また、レコード番号ｌ（ｌ＝１、２、・・・、Ｌ）のレコードにおける通話音声データＤ１（ｌ）と、これに対応する通話メモテキストデータＤ２（ｌ）と、同じく対応する付帯情報Ｄ３（ｌ）とを１組として、複数組がテキストマイニング装置２０に入力される。
　図９に示すように、本実施の形態２においては、固有部分抽出部６は、各テキストデータを構成する単語毎に、スコアＳｃａｌｌ（ｗｉ，ｌ）又はスコアＳＭｅｍｏ（ｗｊ，ｌ）を算出し、算出された値に基づいて、各テキストデータの固有部分を抽出する。スコアＳｃａｌｌ（ｗｉ，ｌ）は、音声認識テキストデータを構成する各単語ｗｉがその固有部分に該当する度合いを示している。また、スコアＳＭｅｍｏ（ｗｊ，ｌ）は、音声メモテキストデータを構成する各単語ｗｊがその固有部分に該当する度合いを示している。
　上記機能を実現するため、固有部分抽出部６は、頻度算出部１５と、スコア算出部１６と、固有部分判定部１７とを備えている。頻度算出部１５は、言語処理部５が出力した単語列を用いて、通話メモテキストデータを構成している各単語ｗｊに対して、信頼度ＲＭｅｍｏ（ｗｊ，ｌ）を設定する。
　このとき設定される信頼度ＲＭｅｍｏ（ｗｊ，ｌ）は、実施の形態１において、固有信頼度設定部７が設定していた信頼度ＲＭｅｍｏ（ｗｊ，ｌ）と同一のものである。本実施の形態２では、信頼度ＲＭｅｍｏ（ｗｊ，ｌ）は、スコアＳｃａｌｌ（ｗｉ，ｌ）又はスコアＳＭｅｍｏ（ｗｊ，ｌ）の算出に必要であるため、頻度算出部１５によって設定される。また、算出された信頼度ＲＭｅｍｏ（ｗｊ，ｌ）は、固有信頼度の算出にも必要となるため、固有信頼度設定部７に入力される。
　また、頻度算出部１５は、信頼度設定部４が設定した信頼度ＲＣａｌｌ（ｗｉ，ｌ）と、信頼度ＲＭｅｍｏ（ｗｊ，ｌ）とから、単語ｗｉ及び単語ｗｊそれぞれの出現頻度ＮＣａｌｌ（ｗｉ）及びＮＭｅｍｏ（ｗｊ）を求める。また、頻度算出部１５は、信頼度ＲＣａｌｌ（ｗｉ，ｌ）と信頼度ＲＭｅｍｏ（ｗｊ，ｌ）とから、全てのレコード（レコード（１）～レコード（Ｌ））に対する両者の共起頻度ＮＣａｌｌ，Ｍｅｍｏ（ｗｉ，ｗｊ）も求める。
　具体的には、頻度算出部１５は、下記の式（数４）を用いて、単語ｗｉの出現頻度ＮＣａｌｌ（ｗｉ）を求め、下記の式（数５）を用いて、単語ｗｊの出現頻度ＮＭｅｍｏ（ｗｊ）を求める。また、頻度算出部１５は、下記の式（数５）を用いて、共起頻度ＮＣａｌｌ，Ｍｅｍｏ（ｗｉ，ｗｊ）を求める。その後、頻度算出部１５は、出現頻度ＮＣａｌｌ（ｗｉ）、出現頻度ＮＭｅｍｏ（ｗｊ）、共起頻度ＮＣａｌｌ，Ｍｅｍｏ（ｗｉ，ｗｊ）をスコア算出部１６に出力する。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　スコア算出部１６は、出現頻度ＮＣａｌｌ（ｗｉ）、出現頻度ＮＭｅｍｏ（ｗｊ）、及び共起頻度ＮＣａｌｌ，Ｍｅｍｏ（ｗｉ，ｗｊ）を用いて、上述したスコアＳｃａｌｌ（ｗｉ，ｌ）及びスコアＳＭｅｍｏ（ｗｊ，ｌ）を算出する。具体的には、スコア算出部１６は、先ず、ｗｉとｗｊとを離散確率変数とする相互情報量Ｉ（ｗｉ；ｗｊ）を算出する。
　ここで、出現頻度ＮＣａｌｌ（ｗｉ）、出現頻度ＮＭｅｍｏ（ｗｊ）、及び共起頻度ＮＣａｌｌ，Ｍｅｍｏ（ｗｉ，ｗｊ）の計数対象である全レコード数が、「Ｌ」であるとする。また、相互情報量Ｉ（ｗｉ；ｗｊ）の同時分布関数をＰＣａｌｌ，Ｍｅｍｏ（ｗｉ，ｗｊ）とする。ＰＣａｌｌ，Ｍｅｍｏ（ｗｉ，ｗｊ）は、下記の式（数７）によって算出できる。
Figure JPOXMLDOC01-appb-M000007
　上記の式（数７）より、ＰＣａｌｌ，Ｍｅｍｏ（ｗｉ，ｗｊ）は、ある１レコードにおいて、単語ｗｉが音声認識テキストデータＣａｌｌに出現し、且つ、単語ｗｊが通話メモテキストデータＭｅｍｏに出現する確率事象に対する、同時分布関数であることが分かる。
　また、相互情報量Ｉ（ｗｉ；ｗｊ）の周辺確率分布関数をＰＣａｌｌ（ｗｉ）及びＰＭｅｍｏ（ｗｊ）とする。ＰＣａｌｌ（ｗｉ）は下記の式（数８）によって算出される。また、ＰＭｅｍｏ（ｗｊ）は、下記の式（数９）によって算出される。
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
　上記の式（数８）より、ＰＣａｌｌ（ｗｉ）は、ある１レコードにおいて、単語ｗｉが音声認識テキストデータＣａｌｌに出現する確率事象に対する、周辺確立分布関数であることが分かる。また、上記の式（数９）より、ＰＭｅｍｏ（ｗｊ）は、ある１レコードにおいて、単語ｗｊが通話メモテキストデータＭｅｍｏに出現する確率事象に対する、周辺確率分布関数であることが分かる。
　そして、ｗｉとｗｊとを離散確率変数とする相互情報量Ｉ（ｗｉ；ｗｊ）は、下記の式（数１０）を用いて算出することができる。
Figure JPOXMLDOC01-appb-M000010
　次に、スコア算出部１６は、相互情報量Ｉ（ｗｉ；ｗｊ）を利用して、スコアＳｃａｌｌ（ｗｉ，ｌ）及びスコアＳＭｅｍｏ（ｗｊ，ｌ）を算出する。本実施の形態では、スコアＳｃａｌｌ（ｗｉ，ｌ）及びスコアＳＭｅｍｏ（ｗｊ，ｌ）としては、相互情報量Ｉ（ｗｉ；ｗｊ）に対して単調に減少する関数が用いられる。具体的には、スコアＳｃａｌｌ（ｗｉ，ｌ）は、下記の式（数１１）によって算出され、スコアＳＭｅｍｏ（ｗｊ，ｌ）は、下記の式（数１２）によって算出される。なお、式（数１１）及び式（数１２）において、βは、０（ゼロ）より大きい任意の定数である。算出されたスコアＳｃａｌｌ（ｗｉ，ｌ）及びスコアＳＭｅｍｏ（ｗｊ，ｌ）は、固有部分判定部１７に出力される。
Figure JPOXMLDOC01-appb-M000011
Figure JPOXMLDOC01-appb-M000012
　このようにして算出されたスコアは、音声認識テキストデータや音声メモテキストデータに設定された信頼度の値に応じて変動する。つまり、スコアは、音声認識における認識誤りに応じても変動する。
　なお、本実施の形態において、スコアＳｃａｌｌ（ｗｉ，ｌ）及びスコアＳＭｅｍｏ（ｗｊ，ｌ）の算出方法は、上記の算出方法に限定されるものではない。スコアＳｃａｌｌ（ｗｉ，ｌ）及びスコアＳＭｅｍｏ（ｗｊ，ｌ）は、固有部分かどうかの判定に使用できるものであれば良い。
　固有部分判定部１７は、スコアＳｃａｌｌ（ｗｉ，ｌ）及びスコアＳＭｅｍｏ（ｗｊ，ｌ）を、予め設定された閾値と対比し、固有部分かどうかを判定する。本実施の形態では、固定部分判定部９は、スコアが閾値以上の場合に、その単語を固有部分と判定する。例えば、図１０に示すように、音声認識テキストデータを構成する単語ｗｉと通話メモテキストデータを構成する単語ｗｊについてスコアが算出され、閾値がスコアＳｃａｌｌ（ｗｉ，ｌ）及びスコアＳＭｅｍｏ（ｗｊ，ｌ）のいずれに対しても０．５００に設定されていたとする。
　この場合は、固有部分判定部１７は、音声認識テキストデータの固有部分として、「広告」と「白」を抽出する。また、固有部分判定部１７は、通話メモテキストデータの固有部分として「今後」、「カラーバリエーション」、「増加」、「新たな」、「付加」、及び「検討」を抽出する。
　また、本実施の形態２において、固有部分の判定に用いられる閾値の大きさは、特に限定されず、テキストマイニング処理の結果に基づいて、適宜選択すれば良い。但し、クロスチャネルテキストマイニングにおいて、良好な結果を得る点からは、閾値は、予め実験を行い、その実験結果に基づいて設定するのが好ましい。
　具体的には、この場合の閾値の設定も、実施の形態１において、固有信頼度に閾値を設定する場合と同様に行うことができる。つまり、固有部分が予め設定された音声データと、同じく固有部分が予め設定されたテキストデータとを実験データとして用い、上述した手順でスコアＳｃａｌｌ（ｗｉ，ｌ）及びスコアＳＭｅｍｏ（ｗｊ，ｌ）を算出する。そして、各データで予め設定されている各固有部分が、抽出されるように、閾値を設定する。この場合、閾値の設定は、スコア毎に行うことができる。また、設定された閾値の信頼性を高めるため、できるだけ多くの実験データを用意しておくのが好ましい。
　そして、固有部分判定部１７は、音声認識テキストデータの固有部分と判定した単語ｗｉ（固有部分要素ｗｉ）と、通話メモテキストデータの固有部分と判定した単語ｗｊ（固有部分要素ｗｊ）とを、固有信頼度設定部７に入力する。なお、固有信頼度設定部７は、信頼度ＲＭｅｍｏ（ｗｊ，ｌ）の設定処理を除き、実施の形態１と同様に機能し、各固有部分に対して固有信頼度ＣＣａｌｌ（ｗｉ，ｌ）及び固有信頼度ＣＭｅｍｏ（ｗｊ，ｌ）を設定する。また、マイニング処理部８も、実施の形態１と同様に機能し、マイニングを実行する。
　次に、本発明の実施の形態２におけるテキストマイニング方法について、図１１を用いて説明する。図１１は、本発明の実施の形態２におけるテキストマイニング方法で行われる処理の流れを示すフロー図である。
　本実施の形態２におけるテキストマイニング方法は、図９に示したテキストマイニング装置２０を動作させることによって実施できる。このため、以降において、本実施の形態２におけるテキストマイニング方法の説明は、適宜図９及び図１０を参酌しながら、図９に示したテキストマイニング装置２０の動作の説明と共に行う。
　先ず、レコード（１）～レコード（Ｌ）それぞれの通話音声データＤ１（ｌ）、通話メモテキストデータＤ２（ｌ）、及び付帯情報Ｄ３（ｌ）が、テキストマイニング装置１のデータ入力部２に入力される。このとき、各レコードｌ（ｌ＝１、２、・・・、Ｌ）における、通話音声データＤ１（ｌ）、通話メモテキストデータＤ２（ｌ）、及び付帯情報Ｄ３（ｌ）は、レコード番号が同一のものを一つの組として、組毎に入力される。
　それにより、図８に示すように、言語処理部５による言語処理（ステップＡ１１）、音声認識部３による音声認識（ステップＡ１２）、及び信頼度設定部４による信頼度ＲＣａｌｌ（ｗｉ，ｌ）の算出（ステップＡ１３）が、実行される。ステップＡ１１～Ａ１３は、実施の形態１において図８に示したステップＡ１～Ａ３と同様のステップである。
　次に、本実施の形態２においては、頻度算出部１５が、言語処理部５が出力した単語列を用いて、通話メモテキストデータを構成している各単語ｗｊに対して信頼度ＲＭｅｍｏ（ｗｊ，ｌ）を設定する（ステップＡ１４）。なお、ステップＡ１４は、実施の形態１において図８に示されたステップＡ５と同様の処理によって行われる。
　続いて、頻度算出部１５は、単語ｗｉの信頼度ＲＣａｌｌ（ｗｉ，ｌ）と、単語ｗｊの信頼度ＲＭｅｍｏ（ｗｊ，ｌ）とから、それぞれの出現頻度ＮＣａｌｌ（ｗｉ）及びＮＭｅｍｏ（ｗｊ）と、全てのレコード（レコード（１）～レコード（Ｌ））に対する両者の共起頻度ＮＣａｌｌ，Ｍｅｍｏ（ｗｉ，ｗｊ）とを求める（ステップＡ１５）。ステップＡ１５では、上記の式（数４）～（数６）が用いられる。
　次に、頻度算出部１５での処理（ステップＡ１４及びＡ１５）が終了すると、スコア算出部１６が、出現頻度ＮＣａｌｌ（ｗｉ）及びＮＭｅｍｏ（ｗｊ）と、共起頻度ＮＣａｌｌ，Ｍｅｍｏ（ｗｉ，ｗｊ）とを用いて、スコアＳｃａｌｌ（ｗｉ，ｌ）及びＳＭｅｍｏ（ｗｊ，ｌ）を算出する（ステップＡ１６）。スコアＳｃａｌｌ（ｗｉ，ｌ）及びＳＭｅｍｏ（ｗｊ，ｌ）の算出は、レコード（１）～レコード（Ｌ）それぞれについて行われている。具体的には、上述したように、スコア算出部８は、上記の式（数７）～（数１０）を用いて、相互情報量Ｉ（ｗｉ，ｗｊ）を算出した後、これを上記の式（数１１）と（数１２）とに当てはめる。ステップＡ１６の結果、図１０に示すデータが得られる。
　次に、固有部分判定部９は、レコード（１）～レコード（Ｌ）それぞれの各単語について、対応するスコアＳｃａｌｌ（ｗｉ，ｌ）又はスコアＳＭｅｍｏ（ｗｊ，ｌ）が、予め設定された閾値以上となっているかどうかを判定し、閾値以上となった単語を固有部分であると判定する（ステップＡ１７）。ステップＡ１７において固有部分であると判定された単語を特定する情報が、固有信頼度設定部７に送られる。
　次に、固有信頼度設定部７によって、レコード（１）～レコード（Ｌ）それぞれの固有部分であると判定された各単語について、固有信頼度ＣＣａｌｌ（ｗｉ，ｌ）及び固有信頼度ＣＭｅｍｏ（ｗｊ，ｌ）が設定される（ステップＡ１８）。ステップＡ１８は、実施の形態１において図８に示したステップＡ６と同様のステップである。
　その後、マイニング処理部８によるマイニング処理（ステップＡ１９）、マイニング結果出力部１２によるマイニング結果の出力（ステップＡ２０）が行われる。ステップＡ２０の実行後、テキストマイニング装置２０は、処理を終了する。
　このように本実施の形態２によれば、固有部分かどうかの判断が、実施の形態１に比べて厳密に行われる。よって、クロスチャネルマイニングによって得られるマイニング結果の信頼性を更に高めることができる。なお、実施の形態１を用いた場合は、固有部分の抽出に必要な処理を軽減でき、テキストマイニング装置全体における処理速度の向上が図られる。
　また、本実施の形態２におけるプログラムは、コンピュータに、図１１に示すステップＡ１１～ステップＡ２０を実行させる命令を含むプログラムであれば良い。この場合、コンピュータに、この本実施の形態２におけるプログラムをインストールし、このプログラムを実行することによって、テキストマイニング装置２０を実現することができる。更に、この場合、コンピュータのＣＰＵ（Central Processing Unit）は、音声認識部３、言語処理部５、固有部分抽出部６、及びマイニング処理部８として機能し、ステップＡ１１～ステップＡ２０の処理を行なう。
　また、本実施の形態２におけるプログラムは、コンピュータ読み取り可能な記録媒体、例えば、光ディスク、磁気ディスク、光磁気ディスク、半導体メモリ、フロッピーディスク等に記憶された状態で、又はネットワークを介して供給される。
　（実施の形態３）
　次に、本発明の実施の形態３におけるテキストマイニング装置、テキストマイニング方法及びプログラムについて、図１２及び図１３を参照しながら説明する。最初に、本発明の実施の形態３におけるテキストマイニング装置の構成について、図１２を用いて説明する。図１２は、本発明の実施の形態３におけるテキストマイニング装置の概略構成を示すブロック図である。
　図１２に示すテキストマイニング装置２１は、音声認識テキストデータと、文字認識を行うことによって得られたテキストデータ（文字認識テキストデータ）とをマイニング対象とする。このため、テキストマイニング装置２１には、スキャナー等の光学読取装置から出力された文書の画像データＤ４が入力される。
　なお、本実施の形態３においても、レコード番号１～レコード番号Ｌまでのレコードがテキストマイニング装置２０に入力される。また、レコード番号ｌ（ｌ＝１、２、・・・、Ｌ）のレコードにおける通話音声データＤ１（ｌ）と、これに対応する画像データＤ４（ｌ）と、同じく対応する付帯情報Ｄ３（ｌ）とを１組として、複数組がテキストマイニング装置２０に入力される。
　図１２に示すように、テキストマイニング装置２１は、各レコードｌに対応する文書の画像データＤ４（ｌ）毎に、文字認識を行うため、実施の形態１において図１に示された言語処理部５の代わりに、文字認識部２２を備えている。
　本実施の形態３においても、テキストマイニング装置２１は、実施の形態１と同様に、コールセンターに適用される。各レコードｌに対応する画像データＤ４（ｌ）の元となった文書は、オペレータが手書きで作成したメモや、顧客から送られてきたＦＡＸ等である。
　文字認識部２２は、各レコードｌに対応する画像データＤ４（ｌ）毎に、文字認識を行い、各レコードｌに対応する文字認識テキストデータを生成する。また、文字認識部２２は、文字認識テキストデータを構成する単語を抽出し、単語毎に信頼度を設定する。この場合の信頼度は、文字認識テキストデータを構成する単語が入力画像の認識結果として正しいかどうかの指標となるものであれば良い。
　具体的には、文字認識テキストデータ中の単語の信頼度としては、入力画像データＤ４、（ｌ）又は入力画像データＤ４（ｌ）から観測された文字認識の特徴量が与えられた場合における、単語の事後確率を用いることができる。具体的には、この場合の事後確率としては、上述した非特許文献３に開示された「Estimated posterior probability」を用いることができる。
　なお、上述した点以外については、テキストマイニング装置２１は、図１に示したテキストマイニング装置１と同様に構成されている。よって、データ入力部２、音声認識部３、固有部分抽出部６、固有信頼度設定部７及びマイニング処理部１０は、実施の形態１の例と同様に機能する。本実施の形態３においては、音声認識テキストデータと文字認識テキストデータとに対して、固有部分の抽出及び固有信頼度の設定が行われ、その後、クロスチャネルマイニングが実行される。
　また、本実施の形態３は、予め、テキストマイニング装置２１の外部の文字認識装置によって文字認識が行われ、単語毎に信頼度が設定された文字認識テキストデータが、テキストマイニング装置２１への入力前に作成されている態様であっても良い。この場合は、テキストマイニング装置２１は文字認識部２２を備える必要がなく、文字認識テキストデータは、データ入力部２を介して、固有部分抽出部６に入力される。
　次に、本発明の実施の形態３におけるテキストマイニング方法について、図１３を用いて説明する。図１３は、本発明の実施の形態３におけるテキストマイニング方法で行われる処理の流れを示すフロー図である。
　本実施の形態３におけるテキストマイニング方法は、図１２に示したテキストマイニング装置２１を動作させることによって実施できる。以降においては、本実施の形態３におけるテキストマイニング方法の説明は、適宜図１２を参酌しながら、図１２に示したテキストマイニング装置２１の動作の説明と共に行う。
　先ず、レコード（１）～レコード（Ｌ）それぞれの通話音声データＤ１（ｌ）、画像データＤ４（ｌ）、及び付帯情報Ｄ３（ｌ）が、テキストマイニング装置２０のデータ入力部２に入力されるこのとき、各レコードｌ（ｌ＝１、２、・・・、Ｌ）における、通話音声データＤ１（ｌ）、画像データＤ４（ｌ）、及び付帯情報Ｄ３（ｌ）は、レコード番号が同一のものを一つの組として、組毎に入力される。
　それにより、図１３に示すように、文字認識部２２が、各レコードｌに対応する画像データＤ４（ｌ）それぞれに対して、文字認識を実行する（ステップＡ２１）。これにより、各画像データＤ４（ｌ）から文字認識テキストデータが生成され、更に、文字認識テキストデータを構成する単語ｗｊの抽出、単語ｗｊ毎の信頼度の設定が行われる。
　次に、音声認識部３による音声認識テキストデータの生成（ステップＡ２２）、信頼度設定部４による信頼度ＲＣａｌｌ（ｗｉ，ｌ）の算出（ステップＡ２３）が、行われる。ステップＡ２２及びステップＡ２３は、図８に示したステップＡ２及びＡ３のステップと同様のステップである。
　なお、単語毎に信頼度が設定された文字認識テキストデータが、テキストマイニング装置２１への入力前に作成されている場合は、ステップＡ２１は省略される。また、単語毎に信頼度が設定された音声認識テキストデータが、テキストマイニング装置１への入力前に作成されている場合は、ステップＡ２２及びＡ２３も省略される。また、ステップＡ２２及びＡ２３は、ステップＡ２１の前に実行しても良いし、ステップＡ２１と同時に実行しても良い。
　次に、固有部分抽出部６が、固有部分要素ｗｉ及び固有部分要素ｗｊを抽出する（ステップＡ２４）。続いて、固有信頼度設定部７が、固有部分要素ｗｉに対する固有信頼度と、固有部分要素ｗｊに対する固有信頼度とを設定する（ステップＡ２５）。ステップＡ２４及びステップＡ２５は、それぞれ、図８に示したステップＡ４及びＡ６と同様のステップである。但し、ステップＡ２５における固有信頼度の設定においては、ステップＡ２１において設定された信頼度が用いられる。
　その後、マイニング処理部８によるマイニング処理（ステップＡ２６）、マイニング結果出力部１２によるマイニング結果の出力（ステップＡ２７）が行われる。ステップＡ２７の実行後、テキストマイニング装置２１は、処理を終了する。
　このように、本実施の形態３では、音声認識テキストデータの固有部分と、文字認識テキストデータの固有部分とに対して固有信頼度が設定される。本実施の形態３によれば、マイニング対象の一つが文字認識テキストデータである場合に、文字認識時に発生した認識誤りがマイニング結果に与える影響を抑制できる。
　また、本実施の形態３におけるプログラムは、コンピュータに、図１３に示すステップＡ２１～ステップＡ２７を実行させる命令を含むプログラムであれば良い。この場合、コンピュータに、この本実施の形態１におけるプログラムをインストールし、このプログラムを実行することによって、テキストマイニング装置２１を実現することができる。更に、この場合、コンピュータのＣＰＵ（Central Processing Unit）は、音声認識部３、文字認識部２２、固有部分抽出部６、及びマイニング処理部８として機能し、ステップＡ２１～ステップＡ２７の処理を行なう。
　また、本実施の形態３におけるプログラムは、コンピュータ読み取り可能な記録媒体、例えば、光ディスク、磁気ディスク、光磁気ディスク、半導体メモリ、フロッピーディスク等に記憶された状態で、又はネットワークを介して供給される。
　実施の形態１～３は、テキストマイニング装置がコールセンターに適用される例を示しているが、テキストマイニング装置の適用例は、これに限定されるものではない。テキストマイニング装置は、テレビやラジオで報道された内容から企業イメージを分析する場合や、会議などのコミュニケーションの場における会話内容を分析する場合等にも適用できる。また、実施の形態１～３では、固有部分の抽出は、二つのテキストデータに対して行われているが、これに限定されるものではない。固有部分の抽出は、三つ以上のテキストデータに対して行われていても良い。
　また、上述した実施の形態１及び２は、誤りを含み得る音声認識テキストデータと、誤りを含まない通話メモテキストデータとの組を、テキストマイニングの対象とする例について説明している。上述した実施の形態３は、誤りを含み得る音声認識テキストデータと、同じく誤りを含みうる文字認識テキストデータとの組みを、テキストマイニングの対象とする例について説明している。但し、本発明は、上記の組み合わせを対象とする場合に限定されず、上記の組み合わせ以外の組み合わせに対しても、テキストマイニングを実行することができる。
　本発明は、複数のテキストデータそれぞれの固有部分について、固有信頼度を設定し、これを用いてテキストマイニングを実施する。よって、例えば、上記の組以外の組、例えば、オペレータの通話音声に対する音声認識テキストデータと、顧客の通話音声に対する音声認識テキストデータとの組をテキストマイニングの対象とすることもできる。
　また、テキストマイニングの対象となるテキストデータは、音声認識テキストデータや、キー入力によって生成されたテキストデータ（通話メモテキストデータ）、文字認識テキストデータ以外のテキストデータであっても良い。このようなテキストデータであっても、その構成要素である単語を抽出でき、更に単語毎に信頼度の設定が可能であれば、本発明の適用は可能である。具体的には、その他に、機械翻訳によって得られたテキストデータが挙げられる。
　以上、実施の形態１～３を参照して本願発明を説明したが、本願発明は上記実施の形態１～３に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２００８年８月２９日出願された日本出願特願２００８－２２２４５５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本願発明におけるテキストマイニング装置、テキストマイニング方法、及びコンピュータ読み取り可能な記録媒体は以下の特徴を有する。
（１）コンピュータ処理によって生成されたテキストデータを含む複数のテキストデータを対象としてテキストマイニングを実行するテキストマイニング装置であって、
　前記複数のテキストデータそれぞれに信頼度が設定されており、
　前記複数のテキストデータそれぞれについて、各テキストデータの他のテキストデータに対する固有部分を抽出する、固有部分抽出部と、
　前記複数のテキストデータそれぞれに設定された信頼度を用いて、前記各テキストデータの他のテキストデータに対する固有部分それぞれに、各固有部分の信頼性を示す固有信頼度を設定する固有信頼度設定部と、
　前記固有信頼度を用いて、前記各テキストデータの他のテキストデータに対する固有部分それぞれに対して、テキストマイニングを実行するマイニング処理部とを備えている、ことを特徴とするテキストマイニング装置。
（２）前記複数のテキストデータそれぞれに、１以下の数値で前記信頼度が設定され、
　前記固有信頼度設定部が、一のテキストデータの他のテキストデータに対する固有部分に前記固有信頼度を設定する際に、前記他のテキストデータに設定されている信頼度を１から減算して得られる値を、前記一のテキストデータに設定されている信頼度に乗算することによって、前記固有信頼度を設定する、上記（１）に記載のテキストマイニング装置。
（３）前記固有部分抽出部が、前記各テキストデータについて、それを構成する単語群の中から、他のテキストデータを構成している単語と一致しない単語を抽出し、抽出された単語を、前記各テキストデータの他のテキストデータに対する固有部分とする、上記（１）に記載のテキストマイニング装置。
（４）前記固有部分抽出部が、前記複数のテキストデータそれぞれに設定された信頼度を用いて、前記各テキストデータについて、それを構成する各単語が、前記各テキストデータの他のテキストデータに対する固有部分に該当する度合いを算出し、
算出された前記度合いに基づいて、前記各テキストデータの他のテキストデータに対する固有部分を抽出する、上記（１）に記載のテキストマイニング装置。
（５）前記コンピュータ処理によって生成されたテキストデータとして、音声認識によって生成されたテキストデータが用いられ、
　更に、前記音声認識によって生成されたテキストデータに、音声認識の際に得られた単語グラフ又はＮベスト単語列を利用して、信頼度を設定する信頼度設定部が、備えられている、上記（１）に記載のテキストマイニング装置。
（６）コンピュータ処理によって生成されたテキストデータを含む複数のテキストデータを対象としたテキストマイニングを実行するテキストマイニング方法であって、
（ａ）前記複数のテキストデータそれぞれに信頼度を設定するステップと、
（ｂ）前記複数のテキストデータそれぞれについて、各テキストデータの他のテキストデータに対する固有部分を抽出するステップと、
（ｃ）前記複数のテキストデータそれぞれに設定された信頼度を用いて、前記各テキストデータの他のテキストデータに対する固有部分それぞれに、各固有部分の信頼性を示す固有信頼度を設定するステップと、
（ｄ）前記固有信頼度を用いて、前記各テキストデータの他のテキストデータに対する固有部分それぞれに対して、テキストマイニングを実行するステップとを有する、ことを特徴とするテキストマイニング方法。
（７）前記（ａ）のステップにおいて、前記複数のテキストデータそれぞれに、１以下の数値で前記信頼度が設定され、
　前記（ｃ）のステップにおいて、一のテキストデータの他のテキストデータに対する固有部分に前記固有信頼度を設定する際に、前記他のテキストデータに設定されている信頼度を１から減算して得られる値を、前記一のテキストデータに設定されている信頼度に乗算することによって、前記固有信頼度を設定する、上記（６）に記載のテキストマイニング方法。
（８）前記（ｂ）のステップにおいて、前記各テキストデータについて、それを構成する単語群の中から、他のテキストデータを構成している単語と一致しない単語を抽出し、抽出された単語を、前記各テキストデータの他のテキストデータに対する固有部分とする、上記（６）に記載のテキストマイニング方法。
（９）前記（ｂ）のステップにおいて、前記複数のテキストデータそれぞれに設定された信頼度を用いて、前記各テキストデータについて、それを構成する各単語が、前記各テキストデータの他のテキストデータに対する固有部分に該当する度合いを算出し、
算出された前記度合いに基づいて、前記各テキストデータの他のテキストデータに対する固有部分を抽出する、上記（６）に記載のテキストマイニング方法。
（１０）前記コンピュータ処理によって生成されたテキストデータとして、音声認識によって生成されたテキストデータが用いられ、
　更に、前記音声認識によって生成されたテキストデータに、音声認識の際に得られた単語グラフ又はＮベスト単語列を利用して、信頼度を設定するステップを有する、上記（６）に記載のテキストマイニング方法。
（１１）コンピュータ装置を用いて、コンピュータ処理によって生成されたテキストデータを含む複数のテキストデータを対象としてテキストマイニングを実行するための、プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータ装置に、
（ａ）前記複数のテキストデータそれぞれに信頼度を設定するステップと、
（ｂ）前記複数のテキストデータそれぞれについて、各テキストデータの他のテキストデータに対する固有部分を抽出するステップと、
（ｃ）前記複数のテキストデータそれぞれに設定された信頼度を用いて、前記各テキストデータの他のテキストデータに対する固有部分それぞれに、各固有部分の信頼性を示す固有信頼度を設定するステップと、
（ｄ）前記固有信頼度を用いて、前記各テキストデータの他のテキストデータに対する固有部分それぞれに対して、テキストマイニングを実行するステップとを実行させる、命令を含むプログラムを記録したコンピュータ読み取り可能な記録媒体。
（１２）前記（ａ）のステップにおいて、前記複数のテキストデータそれぞれに、１以下の数値で前記信頼度が設定され、
　前記（ｃ）のステップにおいて、一のテキストデータの他のテキストデータに対する固有部分に前記固有信頼度を設定する際に、前記他のテキストデータに設定されている信頼度を１から減算して得られる値を、前記一のテキストデータに設定されている信頼度に乗算することによって、前記固有信頼度を設定する、上記（１１）に記載のコンピュータ読み取り可能な記録媒体。
（１３）前記（ｂ）のステップにおいて、前記各テキストデータについて、それを構成する単語群の中から、他のテキストデータを構成している単語と一致しない単語を抽出し、抽出された単語を、前記各テキストデータの他のテキストデータに対する固有部分とする、上記（１１）に記載のコンピュータ読み取り可能な記録媒体。
（１４）前記（ｂ）のステップにおいて、前記複数のテキストデータそれぞれに設定された信頼度を用いて、前記各テキストデータについて、それを構成する各単語が、前記各テキストデータの他のテキストデータに対する固有部分に該当する度合いを算出し、
算出された前記度合いに基づいて、前記各テキストデータの他のテキストデータに対する固有部分を抽出する、上記（１１）に記載のコンピュータ読み取り可能な記録媒体。
（１５）前記コンピュータ処理によって生成されたテキストデータとして、音声認識によって生成されたテキストデータが用いられ、
　前記プログラムが、前記音声認識によって生成されたテキストデータに、音声認識の際に得られた単語グラフ又はＮベスト単語列を利用して、信頼度を設定するステップを、前記コンピュータ装置に実行させる命令を更に含む、上記（１１）に記載のコンピュータ読み取り可能な記録媒体。
　１　テキストマイニング装置（実施の形態１）
　２　データ入力部
　３　音声認識部
　４　信頼度設定部
　５　言語処理部
　６　固有部分抽出部
　７　固有信頼度設定部
　８　マイニング処理部
　９　マイニング処理管理部
　１０　特徴語計数部
　１１　特徴度算出部
　１２　マイニング結果出力部
　１３　入力装置
　１４　出力装置
　１５　頻度算出部
　１６　スコア算出部
　１７　固有部分判定部
　２０　テキストマイニング装置（実施の形態２）
　２１　テキストマイニング装置（実施の形態３）
　２２　文字認識部
　Ｄ１（ｌ）　通話音声データ
　Ｄ２（ｌ）　通話メモテキストデータ
　Ｄ３（ｌ）　付帯情報
　Ｄ４（ｌ）　画像データ

Claims (15)

  1. 　コンピュータ処理によって生成されたテキストデータを含む複数のテキストデータを対象としてテキストマイニングを実行するテキストマイニング装置であって、
    　前記複数のテキストデータそれぞれに信頼度が設定されており、
    　前記複数のテキストデータそれぞれについて、各テキストデータの他のテキストデータに対する固有部分を抽出する、固有部分抽出部と、
    　前記複数のテキストデータそれぞれに設定された信頼度を用いて、前記各テキストデータの他のテキストデータに対する固有部分それぞれに、各固有部分の信頼性を示す固有信頼度を設定する固有信頼度設定部と、
    　前記固有信頼度を用いて、前記各テキストデータの他のテキストデータに対する固有部分それぞれに対して、テキストマイニングを実行するマイニング処理部とを備えている、ことを特徴とするテキストマイニング装置。
  2. 　前記複数のテキストデータそれぞれに、１以下の数値で前記信頼度が設定され、
    　前記固有信頼度設定部が、一のテキストデータの他のテキストデータに対する固有部分に前記固有信頼度を設定する際に、前記他のテキストデータに設定されている信頼度を１から減算して得られる値を、前記一のテキストデータに設定されている信頼度に乗算することによって、前記固有信頼度を設定する、請求項１に記載のテキストマイニング装置。
  3. 　前記固有部分抽出部が、前記各テキストデータについて、それを構成する単語群の中から、他のテキストデータを構成している単語と一致しない単語を抽出し、抽出された単語を、前記各テキストデータの他のテキストデータに対する固有部分とする、請求項１または２に記載のテキストマイニング装置。
  4. 　前記固有部分抽出部が、前記複数のテキストデータそれぞれに設定された信頼度を用いて、前記各テキストデータについて、それを構成する各単語が、前記各テキストデータの他のテキストデータに対する固有部分に該当する度合いを算出し、
    算出された前記度合いに基づいて、前記各テキストデータの他のテキストデータに対する固有部分を抽出する、請求項１または２に記載のテキストマイニング装置。
  5. 　前記コンピュータ処理によって生成されたテキストデータとして、音声認識によって生成されたテキストデータが用いられ、
    　更に、前記音声認識によって生成されたテキストデータに、音声認識の際に得られた単語グラフ又はＮベスト単語列を利用して、信頼度を設定する信頼度設定部が、備えられている、請求項１～４のいずれかに記載のテキストマイニング装置。
  6. 　コンピュータ処理によって生成されたテキストデータを含む複数のテキストデータを対象としたテキストマイニングを実行するテキストマイニング方法であって、
    （ａ）前記複数のテキストデータそれぞれに信頼度を設定するステップと、
    （ｂ）前記複数のテキストデータそれぞれについて、各テキストデータの他のテキストデータに対する固有部分を抽出するステップと、
    （ｃ）前記複数のテキストデータそれぞれに設定された信頼度を用いて、前記各テキストデータの他のテキストデータに対する固有部分それぞれに、各固有部分の信頼性を示す固有信頼度を設定するステップと、
    （ｄ）前記固有信頼度を用いて、前記各テキストデータの他のテキストデータに対する固有部分それぞれに対して、テキストマイニングを実行するステップとを有する、ことを特徴とするテキストマイニング方法。
  7. 　前記（ａ）のステップにおいて、前記複数のテキストデータそれぞれに、１以下の数値で前記信頼度が設定され、
    　前記（ｃ）のステップにおいて、一のテキストデータの他のテキストデータに対する固有部分に前記固有信頼度を設定する際に、前記他のテキストデータに設定されている信頼度を１から減算して得られる値を、前記一のテキストデータに設定されている信頼度に乗算することによって、前記固有信頼度を設定する、請求項６に記載のテキストマイニング方法。
  8. 　前記（ｂ）のステップにおいて、前記各テキストデータについて、それを構成する単語群の中から、他のテキストデータを構成している単語と一致しない単語を抽出し、抽出された単語を、前記各テキストデータの他のテキストデータに対する固有部分とする、請求項６または７に記載のテキストマイニング方法。
  9. 　前記（ｂ）のステップにおいて、前記複数のテキストデータそれぞれに設定された信頼度を用いて、前記各テキストデータについて、それを構成する各単語が、前記各テキストデータの他のテキストデータに対する固有部分に該当する度合いを算出し、
    算出された前記度合いに基づいて、前記各テキストデータの他のテキストデータに対する固有部分を抽出する、請求項６または７に記載のテキストマイニング方法。
  10. 　前記コンピュータ処理によって生成されたテキストデータとして、音声認識によって生成されたテキストデータが用いられ、
    　更に、前記音声認識によって生成されたテキストデータに、音声認識の際に得られた単語グラフ又はＮベスト単語列を利用して、信頼度を設定するステップを有する、請求項６～９のいずれかに記載のテキストマイニング方法。
  11. 　コンピュータ装置を用いて、コンピュータ処理によって生成されたテキストデータを含む複数のテキストデータを対象としてテキストマイニングを実行するための、プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記コンピュータ装置に、
    （ａ）前記複数のテキストデータそれぞれに信頼度を設定するステップと、
    （ｂ）前記複数のテキストデータそれぞれについて、各テキストデータの他のテキストデータに対する固有部分を抽出するステップと、
    （ｃ）前記複数のテキストデータそれぞれに設定された信頼度を用いて、前記各テキストデータの他のテキストデータに対する固有部分それぞれに、各固有部分の信頼性を示す固有信頼度を設定するステップと、
    （ｄ）前記固有信頼度を用いて、前記各テキストデータの他のテキストデータに対する固有部分それぞれに対して、テキストマイニングを実行するステップとを実行させる、命令を含むプログラムを記録したコンピュータ読み取り可能な記録媒体。
  12. 　前記（ａ）のステップにおいて、前記複数のテキストデータそれぞれに、１以下の数値で前記信頼度が設定され、
    　前記（ｃ）のステップにおいて、一のテキストデータの他のテキストデータに対する固有部分に前記固有信頼度を設定する際に、前記他のテキストデータに設定されている信頼度を１から減算して得られる値を、前記一のテキストデータに設定されている信頼度に乗算することによって、前記固有信頼度を設定する、請求項１１に記載のコンピュータ読み取り可能な記録媒体。
  13. 　前記（ｂ）のステップにおいて、前記各テキストデータについて、それを構成する単語群の中から、他のテキストデータを構成している単語と一致しない単語を抽出し、抽出された単語を、前記各テキストデータの他のテキストデータに対する固有部分とする、請求項１１または１２に記載のコンピュータ読み取り可能な記録媒体。
  14. 　前記（ｂ）のステップにおいて、前記複数のテキストデータそれぞれに設定された信頼度を用いて、前記各テキストデータについて、それを構成する各単語が、前記各テキストデータの他のテキストデータに対する固有部分に該当する度合いを算出し、
    算出された前記度合いに基づいて、前記各テキストデータの他のテキストデータに対する固有部分を抽出する、請求項１１または１２に記載のコンピュータ読み取り可能な記録媒体。
  15. 　前記コンピュータ処理によって生成されたテキストデータとして、音声認識によって生成されたテキストデータが用いられ、
    　前記プログラムが、前記音声認識によって生成されたテキストデータに、音声認識の際に得られた単語グラフ又はＮベスト単語列を利用して、信頼度を設定するステップを、前記コンピュータ装置に実行させる命令を更に含む、請求項１１～１４のいずれかに記載のコンピュータ読み取り可能な記録媒体。
PCT/JP2009/004211 2008-08-29 2009-08-28 テキストマイニング装置、テキストマイニング方法、及びコンピュータ読み取り可能な記録媒体 WO2010023939A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/060,587 US8380741B2 (en) 2008-08-29 2009-08-28 Text mining apparatus, text mining method, and computer-readable recording medium
JP2010526564A JP5472641B2 (ja) 2008-08-29 2009-08-28 テキストマイニング装置、テキストマイニング方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008222455 2008-08-29
JP2008-222455 2008-08-29

Publications (1)

Publication Number Publication Date
WO2010023939A1 true WO2010023939A1 (ja) 2010-03-04

Family

ID=41721120

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/004211 WO2010023939A1 (ja) 2008-08-29 2009-08-28 テキストマイニング装置、テキストマイニング方法、及びコンピュータ読み取り可能な記録媒体

Country Status (3)

Country Link
US (1) US8380741B2 (ja)
JP (1) JP5472641B2 (ja)
WO (1) WO2010023939A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017090731A (ja) * 2015-11-12 2017-05-25 日本電信電話株式会社 音声認識結果圧縮装置、音声認識結果圧縮方法、プログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9400790B2 (en) * 2009-12-09 2016-07-26 At&T Intellectual Property I, L.P. Methods and systems for customized content services with unified messaging systems
US8538987B1 (en) * 2011-06-07 2013-09-17 Sprint Communications Company L.P. Care agent call classification
US10902481B1 (en) * 2017-05-23 2021-01-26 Walgreen Co. Method and system for providing a seamless handoff from a voice channel to a call agent
US20200137224A1 (en) * 2018-10-31 2020-04-30 International Business Machines Corporation Comprehensive log derivation using a cognitive system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007026347A (ja) * 2005-07-21 2007-02-01 Nec Corp テキストマイニング装置、テキストマイニング方法およびテキストマイニングプログラム
WO2007066704A1 (ja) * 2005-12-09 2007-06-14 Nec Corporation テキストマイニング装置、テキストマイニング方法、および、テキストマイニングプログラム
WO2007138872A1 (ja) * 2006-05-26 2007-12-06 Nec Corporation テキストマイニング装置、テキストマイニング方法、および、テキストマイニングプログラム
JP2008039983A (ja) * 2006-08-03 2008-02-21 Nec Corp テキストマイニング装置、テキストマイニング方法、およびテキストマイニング用プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6185527B1 (en) * 1999-01-19 2001-02-06 International Business Machines Corporation System and method for automatic audio content analysis for word spotting, indexing, classification and retrieval
JP2001101194A (ja) 1999-09-27 2001-04-13 Mitsubishi Electric Corp テキストマイニング方法、テキストマイニング装置及びテキストマイニングプログラムが記録された記録媒体
US6973428B2 (en) * 2001-05-24 2005-12-06 International Business Machines Corporation System and method for searching, analyzing and displaying text transcripts of speech after imperfect speech recognition
US7010515B2 (en) * 2001-07-12 2006-03-07 Matsushita Electric Industrial Co., Ltd. Text comparison apparatus
JP3955522B2 (ja) 2002-11-11 2007-08-08 株式会社ジャストシステム データ分析装置及び方法、並びにプログラム
JP2004178123A (ja) * 2002-11-26 2004-06-24 Hitachi Ltd 情報処理装置、該情報処理装置を実現するためのプログラム
US20050283357A1 (en) * 2004-06-22 2005-12-22 Microsoft Corporation Text mining method
US7461056B2 (en) * 2005-02-09 2008-12-02 Microsoft Corporation Text mining apparatus and associated methods

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007026347A (ja) * 2005-07-21 2007-02-01 Nec Corp テキストマイニング装置、テキストマイニング方法およびテキストマイニングプログラム
WO2007066704A1 (ja) * 2005-12-09 2007-06-14 Nec Corporation テキストマイニング装置、テキストマイニング方法、および、テキストマイニングプログラム
WO2007138872A1 (ja) * 2006-05-26 2007-12-06 Nec Corporation テキストマイニング装置、テキストマイニング方法、および、テキストマイニングプログラム
JP2008039983A (ja) * 2006-08-03 2008-02-21 Nec Corp テキストマイニング装置、テキストマイニング方法、およびテキストマイニング用プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017090731A (ja) * 2015-11-12 2017-05-25 日本電信電話株式会社 音声認識結果圧縮装置、音声認識結果圧縮方法、プログラム

Also Published As

Publication number Publication date
JPWO2010023939A1 (ja) 2012-01-26
US8380741B2 (en) 2013-02-19
US20110161367A1 (en) 2011-06-30
JP5472641B2 (ja) 2014-04-16

Similar Documents

Publication Publication Date Title
JP5472640B2 (ja) テキストマイニング装置、テキストマイニング方法、及びプログラム
US10515156B2 (en) Human-to-human conversation analysis
US8750489B2 (en) System and method for automatic call segmentation at call center
CN102906735B (zh) 语音流增强的笔记记录
US9014363B2 (en) System and method for automatically generating adaptive interaction logs from customer interaction text
JP5440815B2 (ja) 情報分析装置、情報分析方法、及びプログラム
US9904927B2 (en) Funnel analysis
JP5496863B2 (ja) 感情推定装置、その方法、プログラム及びその記録媒体
JP4453687B2 (ja) テキストマイニング装置、テキストマイニング方法、およびテキストマイニング用プログラム
JP5472641B2 (ja) テキストマイニング装置、テキストマイニング方法、及びプログラム
Kopparapu Non-linguistic analysis of call center conversations
WO2023124647A1 (zh) 一种纪要确定方法及其相关设备
WO2011071174A1 (ja) テキストマイニング方法、テキストマイニング装置及びテキストマイニングプログラム
Camelin et al. Detection and interpretation of opinion expressions in spoken surveys
JP2012168669A (ja) インタビュー支援装置、方法及びプログラム
JP6743108B2 (ja) パターン認識モデル及びパターン学習装置、その生成方法、それを用いたｆａｑの抽出方法及びパターン認識装置、並びにプログラム
Boulis et al. The role of disfluencies in topic classification of human-human conversations
Ikbal et al. Intent focused summarization of caller-agent conversations
Renard et al. A Tool to Evaluate Error Correction Resources and Processes Suited for Documents Improvement

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09809594

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010526564

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13060587

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09809594

Country of ref document: EP

Kind code of ref document: A1