WO2019198165A1 - 情報処理装置、データ分類支援システム及び方法、非一時的なコンピュータ可読媒体 - Google Patents

情報処理装置、データ分類支援システム及び方法、非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2019198165A1
WO2019198165A1 PCT/JP2018/015144 JP2018015144W WO2019198165A1 WO 2019198165 A1 WO2019198165 A1 WO 2019198165A1 JP 2018015144 W JP2018015144 W JP 2018015144W WO 2019198165 A1 WO2019198165 A1 WO 2019198165A1
Authority
WO
WIPO (PCT)
Prior art keywords
cluster
data
basic
label
unit
Prior art date
Application number
PCT/JP2018/015144
Other languages
English (en)
French (fr)
Inventor
圭吾 木村
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2018/015144 priority Critical patent/WO2019198165A1/ja
Publication of WO2019198165A1 publication Critical patent/WO2019198165A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00—Subject matter not provided for in other groups of this subclass

Definitions

  • the present invention relates to an information processing apparatus, a data classification support system, a data classification support method, and a non-transitory computer readable medium storing a data classification support program, and in particular, data classification for solving a super multi-label classification problem.
  • the present invention relates to an information processing apparatus, a data classification support system, a data classification support method, and a non-transitory computer-readable medium storing a data classification support program.
  • a classification problem called “multi-label classification” is that when data is classified into the corresponding category from the characteristics of the data, one data belongs to multiple categories (labels) at the same time. It is a classification problem that allows That is, the classification problem of “multi-label classification” is a problem of estimating one or more labels attached to data that has not yet been labeled (that is, unclassified data). In other words, the classification problem of “multi-label classification” is a problem of forming a classifier that calculates one or more labels attached to unclassified data.
  • the multi-label classification problem called “extra-large multi-label classification” is a multi-label classification in which the number of data, the number of features expressing the data, and the number of labels are enormous.
  • the super large-scale multi-label classification problem corresponds to a problem in which the number of features and the number of labels reaches several million or more.
  • the data group to be classified is divided into a plurality of groups in advance, and the conventional multi-label classification problem is solved independently for a relatively small problem for each divided group. It is known that the method is effective.
  • Non-Patent Document 1 and Non-Patent Document 2 can be mentioned.
  • Non-Patent Document 1 is a method of simply dividing data having similar features using the K-means method for dividing the data.
  • Non-Patent Document 2 uses the Graph-Cut method for data division.
  • Non-Patent Document 2 is a method of performing data division from a K-neighbor graph obtained by extending an edge between data that shares data with one node and a plurality of labels (between nodes). As a result, it is known that label information can be used to increase the accuracy of multi-label classification after division.
  • Patent Document 1 discloses a technique related to a learning method for generating a predetermined data pair from a learning data set and learning a hyperplane.
  • the number of labels given to each feature vector included in the data set, the number of types of labels, the number of feature vectors given the same label, and the like are counted.
  • Patent Document 2 discloses a technique related to an identification information adding device for giving identification information (label) to learning target data.
  • the identification information assigning device first creates a decision tree based on learning data that is a combination of a feature vector extracted from a learning target and identification information assigned to the learning target. And the said identification information provision apparatus groups each data based on a decision tree.
  • Patent Document 3 discloses a technique relating to a feature word extraction system that extracts a feature word group for each category from a document set including multi-label documents.
  • the feature word extraction system first groups document sets including multi-label documents into document sets of the same category number. Then, if the grouped document set is a set of multi-label documents, the feature word extraction system divides it into a set of single-label documents. Thereafter, the feature word extraction system extracts feature words for each category from the document set of the divided single label documents.
  • Non-Patent Documents 1 and 2 the classification accuracy after that depends on the way of division at the time of data division performed in advance in order to solve the super large-scale multi-label classification problem, and the classification accuracy becomes low. There is a problem that there is a risk of being.
  • Non-Patent Document 1 since the label information is not used when the super-large-scale multi-label classification problem is divided, the accuracy of the multi-label classifier after the division depends on how the problem is divided. There is a low possibility. In particular, when a label having a low appearance frequency is divided into different groups (problems) by data division, it becomes more difficult to construct a classifier for the label, and the accuracy is lowered.
  • Non-Patent Document 2 labels with low appearance frequency are not necessarily assigned to the same cluster. Therefore, as in Non-Patent Document 1, labels with low appearance frequency are divided into different groups (problems) by data division, and the accuracy of the divided multi-label classifier may be lowered. In the technique according to Non-Patent Document 2, a long calculation time is required to construct the K neighborhood graph.
  • the present disclosure has been made to solve such problems, and is an information processing apparatus, a data classification support system, and a data classification support method for improving classification accuracy for solving a super-large-scale multi-label classification problem. It is an object of the present invention to provide a data classification support program.
  • M is a natural number greater than or equal to 2) types of feature quantities
  • N is a natural number greater than or equal to 2.
  • a setting unit that sets multiple allocation conditions for allocating a part of the data to one of multiple groups
  • a basic cluster constructing unit that constructs a plurality of basic clusters based on the plurality of groups by allocating two or more data corresponding to the same allocation condition among the N pieces of data to the same group
  • a cluster allocation unit that performs cluster integration and refinement on the plurality of basic clusters, and determines cluster allocation for each of the N pieces of data; Is provided.
  • the data classification support system includes: M (M is a natural number greater than or equal to 2) types of feature quantities, and N (L is a natural number greater than or equal to 2). ) A storage unit that stores the data of the matter, A setting unit for setting a plurality of allocation conditions for allocating a part of the N pieces of data stored in the storage unit to any of a plurality of groups; A basic cluster constructing unit that constructs a plurality of basic clusters based on the plurality of groups by allocating two or more data corresponding to the same allocation condition among the N pieces of data to the same group; A cluster allocation unit that performs cluster integration and refinement on the plurality of basic clusters, and determines cluster allocation for each of the N pieces of data; Is provided.
  • the data classification support method includes: Computer M (M is a natural number greater than or equal to 2) types of feature quantities, and N (L is a natural number greater than or equal to 2). ) Set multiple allocation conditions to allocate part of the data to one of multiple groups, Of the N pieces of data, assign two or more data corresponding to the same assignment condition to the same group, and construct a plurality of basic clusters based on the plurality of groups, Cluster integration and refinement are performed on the plurality of basic clusters, and cluster allocation is determined for each of the N pieces of data.
  • a data classification support program includes: M (M is a natural number greater than or equal to 2) types of feature quantities, and N (L is a natural number greater than or equal to 2). ) Setting multiple allocation conditions to allocate a part of the data to one of multiple groups, A process of allocating two or more data corresponding to the same allocation condition among the N pieces of data to the same group and constructing a plurality of basic clusters based on the plurality of groups; A process of performing cluster integration and refinement for the plurality of basic clusters, and determining a cluster assignment for each of the N pieces of data; Is executed on the computer.
  • an information processing apparatus for improving classification accuracy for solving a super-large-scale multi-label classification problem.
  • FIG. 1 is a block diagram showing a configuration of an information processing apparatus according to a first embodiment.
  • 6 is a flowchart for explaining a flow of a data classification support method according to the first exemplary embodiment; It is a block diagram which shows the whole structure of the data classification assistance system concerning this Embodiment 2. It is a figure explaining the concept of the relationship between the feature matrix and label matrix concerning this Embodiment 2. FIG. It is a figure explaining the concept of the cluster allocation information concerning this Embodiment 2.
  • FIG. It is a flowchart for demonstrating the flow of the data classification assistance method concerning this Embodiment 2.
  • FIG. It is a figure explaining the example of the hierarchical structure of the cluster structure concerning this Embodiment 2.
  • FIG. 12 is a flowchart for explaining a flow of a data classification support method according to the third exemplary embodiment. It is a block diagram which shows the whole structure of the data classification assistance system concerning this Embodiment 4.
  • FIG. 1 is a block diagram illustrating a configuration of the information processing apparatus 1 according to the first embodiment.
  • the information processing apparatus 1 is a computer that performs cluster analysis on N (N is a natural number of 2 or more) data.
  • the result of the cluster analysis can be used to form a classifier for solving the multi-label classification problem.
  • each of the N pieces of data has M (M is a natural number of 2 or more) types of feature amounts.
  • M is a natural number of 2 or more) types of feature amounts.
  • Each of the N pieces of data defines the presence or absence of each of L (L is a natural number of 2 or more) types of labels.
  • Each of the M types of feature amounts, the L types of labels, and the N pieces of data is one million or more. Therefore, the information processing apparatus 1 according to the first embodiment can be used to form a classifier for solving the super large-scale multi-label classification problem.
  • the information processing apparatus 1 includes a setting unit 11, a basic cluster construction unit 12, and a cluster allocation unit 13.
  • the setting unit 11 sets a plurality of allocation conditions for allocating a part of N data to any of a plurality of groups. That is, the allocation condition is condition information that is applied to a part of the N pieces of data.
  • the allocation condition is information defining a feature amount or a label presence / absence condition in each data.
  • the basic cluster construction unit 12 assigns two or more data corresponding to the same assignment condition among the N pieces of data to the same group, and constructs a plurality of basic clusters based on the plurality of groups.
  • the basic cluster construction unit 12 only needs to allocate at least a part of the data to which the allocation condition is applied among N data to any of a plurality of groups. Then, the basic cluster construction unit 12 may construct one group as it is as one basic cluster.
  • the basic cluster construction unit 12 may integrate a plurality of groups and construct a single basic cluster. For this reason, the basic cluster is a set of data to which one or more of the N pieces of data belong. Further, the basic cluster may include data that is not subject to the allocation condition among N pieces of data.
  • the condition for allocating data that is not subject to the allocation condition may be anything other than the allocation condition.
  • the cluster allocation unit 13 performs cluster integration and sophisticate on the plurality of basic clusters constructed by the basic cluster construction unit 12, and determines cluster allocation for each of N pieces of data. It should be noted that known techniques can be used for cluster integration and refinement. However, the cluster allocating unit 13 does not use a plurality of basic clusters as a final cluster as they are, but integrates at least a plurality of basic clusters by a predetermined method, and then refines the integrated cluster by a predetermined method. In other words, a plurality of clusters are generated by dividing. Therefore, each data assigned to one of the plurality of basic clusters is assigned to at least one of the plurality of clusters generated by the cluster assigning unit 13.
  • the information processing apparatus 1 includes a processor, a memory, and a storage device as components not shown. Further, the storage device stores a computer program in which the data classification support processing according to the present embodiment is implemented. Then, the processor reads a computer program from the storage device into the memory and executes the computer program. Thereby, the processor realizes the functions of the setting unit 11, the basic cluster construction unit 12, and the cluster allocation unit 13.
  • the storage device may further store the N data described above.
  • the setting unit 11 acquires N pieces of data from the storage device, temporarily stores the data in the memory, and performs the setting.
  • the N pieces of data described above may be stored in an external storage device connected to the information processing apparatus 1 via a communication line.
  • the setting unit 11 acquires N pieces of data from the external storage device via a communication line, temporarily stores them in the memory, and performs the setting.
  • the setting unit 11 performs the setting by temporarily storing the allocation condition at least in the memory.
  • the basic cluster construction unit 12 refers to the N data and allocation conditions stored in the memory, constructs allocation to the group and basic clusters, and stores the plurality of constructed basic clusters in at least the memory.
  • the cluster allocation unit 13 refers to the N data and basic clusters stored in the memory, determines cluster allocation, and stores the determined cluster allocation in at least the memory.
  • the cluster allocation unit 13 may store the determined cluster allocation in the storage device or output the cluster allocation to the outside of the information processing device 1.
  • FIG. 2 is a flowchart for explaining the flow of the data classification support method according to the first embodiment.
  • the setting unit 11 sets a plurality of allocation conditions for allocating a part of N (N is a natural number of 2 or more) data to any of a plurality of groups (S11).
  • the basic cluster construction unit 12 assigns two or more data corresponding to the same assignment condition among the N pieces of data to the same group to form a plurality of groups.
  • the basic cluster construction unit 12 constructs a plurality of basic clusters based on the assigned groups (S12).
  • the cluster allocation unit 13 performs cluster integration and refinement on the plurality of basic clusters, and determines cluster allocation for each of the N pieces of data (S13).
  • the classification accuracy for solving the super-large-scale multi-label classification problem can be improved. That is, the data classification support method according to the present embodiment does not perform initial classification (data division) uniformly on all N pieces of data under the same conditions, but some data satisfying a specific allocation condition. Is assigned to a specific base cluster. Therefore, for example, data having a label with a relatively low appearance frequency among all data among L labels can be assigned to a specific basic cluster by applying a specific division rule. That is, it is possible to prevent data labeled with a low appearance frequency from being distributed to different basic clusters.
  • the information processing apparatus 1 according to the present embodiment can be called a malware classification support apparatus.
  • the information processing apparatus 1 according to the present embodiment can also be called a moving image data tagging support apparatus.
  • the information processing apparatus 1 according to the present embodiment can also be called a Web page recommendation support apparatus.
  • the second embodiment is an application example of the first embodiment described above.
  • the data classification support system according to the second exemplary embodiment includes a storage unit, a setting unit, a basic cluster construction unit, and a cluster allocation unit.
  • the storage unit stores N pieces of data that have M types of feature values and that define the presence or absence of each of the L types of labels.
  • the setting unit, the basic cluster construction unit, and the cluster allocation unit may have at least the same functions as those of the first embodiment.
  • the setting unit sets the allocation condition to have a part of the L types of labels. In this way, by using the presence / absence of a label as a base cluster assignment criterion, the classification accuracy based on the label can be improved.
  • the setting unit selects a part of the L types of labels as attention labels based on the appearance frequency of the labels in the N data, and sets a set of the attention labels as the allocation condition. It is desirable to set as
  • the basic cluster construction unit preferably constructs the basic cluster by allocating two or more data defined as having the same attention label among the N pieces of data to the same group. Thereby, since a basic cluster can be constructed taking into account the label of interest based on the appearance frequency of the label, data with a common label is assigned to the same basic cluster, and the classification accuracy is improved.
  • the setting unit calculates the appearance frequency of the label in the N data for each of the L types of labels, and is lower than a predetermined order in the descending order of the appearance frequency among the L types of labels.
  • a label may be selected as the attention label.
  • the setting unit corresponds to each of the N data, and based on the appearance frequency of the label calculated from N label vectors including the presence or absence of each of the L types of labels, The attention label may be selected.
  • the basic cluster construction unit may construct the basic cluster by allocating two or more label vectors having elements having the same target label among the N label vectors to the same group. . As a result, it is possible to construct a basic cluster with high accuracy without using a feature vector, thereby improving processing performance.
  • the basic cluster construction unit allocates the specific data to two or more different groups corresponding to the allocation conditions, Each group may be constructed as the basic cluster.
  • a basic cluster that directly reflects the allocation condition can be constructed, and the basic cluster can be finely defined.
  • the basic cluster construction unit may integrate the two or more groups and construct one basic cluster. Thereby, while maintaining the classification accuracy, the number of basic clusters can be reduced, and the efficiency of subsequent cluster integration and refinement processing can be improved.
  • the cluster allocation unit performs the following processing.
  • the cluster allocating unit hierarchizes the plurality of basic clusters based on the feature amount of each data belonging to the basic cluster or the presence / absence of the label, and creates a hierarchical structure by the integration. Record.
  • the cluster allocation unit divides the cluster from the integrated cluster to a predetermined hierarchy in the hierarchical structure.
  • the cluster allocation unit determines the cluster allocation so that each of the N pieces of data belongs to one of the divided clusters. For example, by agglomerative clustering, the hierarchical structure is integrated from basic clusters that are effectively allocated for data that satisfies some conditions. Therefore, there is a high probability that data satisfying the specific condition is classified in advance in the same cluster in the lower hierarchy, and it becomes possible to determine cluster allocation with high accuracy.
  • each of the M types of feature quantities, the L types of labels, and the N pieces of data is one million or more. As a result, it can be applied to an ultra-large multi-label classification problem.
  • FIG. 3 is a block diagram showing the overall configuration of the data classification support system 100 according to the second embodiment.
  • the data classification support system 100 is realized by one or a plurality of computer devices.
  • the data classification support system 100 includes a storage unit 110, a control unit 120, a memory 130, and an IF (InterFace) unit 140.
  • IF InterFace
  • the storage unit 110 is a storage device such as a hard disk or a flash memory.
  • the storage unit 110 includes a feature matrix 111, a label matrix 112, an attention label definition 113, an attention label set 114, cluster allocation information 115, a return condition 116, and a program 117.
  • the feature matrix 111 represents each of N pieces of data as an M-dimensional feature vector.
  • each M-dimensional element corresponds to the above-described M types of feature amounts.
  • each row corresponds to a feature vector of each data.
  • the label matrix 112 is expressed by a label vector that defines the presence or absence of each of L types of labels for each of N data.
  • each row corresponds to a label vector of each data. That is, the label matrix 112 can be said to be a binary matrix in which each element indicates the presence or absence of a label. For example, when the element in the I-th row and the J-th column of the label matrix 112 is 1, it indicates that the I-th data has the J-th label. On the other hand, when the element in the I-th row and the J-th column is 0, it indicates that the I-th data does not have the J-th label.
  • FIG. 4 is a diagram for explaining the concept of the relationship between the feature matrix 111 and the label matrix 112 according to the second embodiment.
  • the feature matrix 111 includes N feature vectors 1111, 1112, ... 111N.
  • the feature vector 1111 has M types of feature amounts 11111,.
  • each of the other feature vectors 1112,... 111N has M types of feature amounts.
  • the label matrix 112 includes N label vectors 1121, 1122,... 112N.
  • the label vector 1121 has L types of label flags 11211,.
  • each of the other label vectors 1122, ... 112N has L types of labels.
  • the attention label definition 113 is a definition for selecting an attention label used when an attention label is set by the attention label setting unit 122 described later.
  • the attention label is an example of the allocation condition described above, and indicates the type of label that serves as a reference when allocating to the same group when the basic cluster construction unit 123 described later constructs the basic cluster. Therefore, the attention label can be said to be a constraint condition for forcibly assigning data having the same attention label to the same basic cluster.
  • the attention label definition 113 may be set as an arbitrary definition by the user.
  • the attention label definition 113 may be a definition of a predetermined order when an appearance label having an appearance frequency lower than a predetermined order among L types of labels is set as the attention label.
  • the attention label definition 113 may be defined as the label having the lowest appearance frequency among the L types of labels, that is, the label having the lowest appearance frequency.
  • the attention label set 114 is a collection of attention labels selected by the attention label setting unit 122 among L types of labels.
  • the cluster assignment information 115 is information indicating a plurality of clusters to which each of N pieces of data corresponding to each row of the feature matrix 111 and the label matrix 112 is assigned.
  • the cluster allocation information 115 includes basic cluster information 1151 and hierarchical structure information 1152.
  • FIG. 5 is a diagram for explaining the concept of the cluster allocation information 115 according to the second embodiment.
  • the basic cluster information 1151 includes a plurality of basic clusters 11511, 11512,.
  • the number of basic clusters is 2 or more and less than N.
  • the basic cluster is a set of links to one or more pieces of data identification information or data storage destination addresses.
  • the basic cluster is a minimum unit of clusters to be integrated by cluster integration in the cluster integration unit 124 described later.
  • the basic cluster may include a cluster ID, an ID of data to which the basic cluster belongs, allocation conditions for the basic cluster, and the like.
  • the hierarchical structure information 1152 includes a plurality of pieces of node information 11521, 11522,. Note that the number of node information is greater than or equal to the number of basic clusters.
  • the node information is information for defining a hierarchical structure in an integrated cluster obtained by integrating a basic cluster and a plurality of basic clusters.
  • the node information includes, for example, a node ID, a left node ID, and a right node ID.
  • the node ID in the node information corresponding to the basic cluster is the cluster ID of the basic cluster.
  • the node ID in the node information corresponding to the integrated cluster is the cluster ID of the integrated cluster.
  • the specific configurations of the cluster allocation information, basic cluster information, basic cluster, hierarchical structure information, and node information are not limited to those described above.
  • the return condition 116 is information that defines a condition for refining and dividing the cluster after integration by the cluster refinement unit 125 described later (dividing and returning the integrated cluster).
  • the program 117 is an example of a data classification support program, and is a computer program in which the data classification support process according to the present embodiment is implemented.
  • the attention label set 114 and the cluster allocation information 115 do not necessarily need to be stored in the storage unit 110, and are held in at least the memory 130 during the processing of the basic cluster construction unit 123, the cluster integration unit 124, and the cluster refinement unit 125. It only has to be.
  • the memory 130 is a volatile storage device such as a RAM (Random Access Memory), and is a storage area for temporarily storing information when the control unit 120 operates.
  • the IF unit 140 is an interface that performs input / output with the outside of the data classification support system 100. For example, the IF unit 140 receives a user operation via an input device (not shown) such as a keyboard, a mouse, and a touch panel, and outputs the received operation content to the control unit 120. Further, the IF unit 140 performs output to a touch panel, a display device, a printer, or the like (not shown) according to an instruction from the control unit 120.
  • an input device not shown
  • the IF unit 140 performs output to a touch panel, a display device, a printer, or the like (not shown) according to an instruction from the control unit 120.
  • the control unit 120 is a processor such as a CPU (Central Processing Unit) and controls each component of the data classification support system 100.
  • the control unit 120 reads the program 117 from the storage unit 110 into the memory 130 and executes the program 117. Thereby, the control unit 120 implements the functions of the input acquisition unit 121, the attention label setting unit 122, the basic cluster construction unit 123, the cluster integration unit 124, and the cluster refinement unit 125.
  • the attention label setting unit 122 is an example of the setting unit 11 described above.
  • the basic cluster construction unit 123 is an example of the basic cluster construction unit 12 described above.
  • the cluster integration unit 124 and the cluster refinement unit 125 are examples of the cluster allocation unit 13 described above.
  • the input acquisition unit 121 acquires the feature matrix 111 and the label matrix 112 from the storage unit 110 as inputs. Then, the input acquisition unit 121 outputs at least one of the feature matrix 111 and the label matrix 112 to the attention label setting unit 122. In the following description, the input acquisition unit 121 outputs the label matrix 112 to the target label setting unit 122. Further, the input acquisition unit 121 outputs the feature matrix 111 and the label matrix 112 to the basic cluster construction unit 123.
  • the attention label setting unit 122 refers to the attention label definition 113 in the storage unit 110, analyzes the label matrix 112, and sets that it has a part of the L types of labels as an allocation condition. Specifically, the attention label setting unit 122 selects some of the L types of labels as attention labels based on the appearance frequency of the labels in the label matrix 112. Then, the attention label setting unit 122 sets the attention label set 114 which is a set of the selected attention labels as an allocation condition. For example, the attention label setting unit 122 calculates the appearance frequency of labels in N label vectors for each of L types of labels.
  • the attention label setting unit 122 selects a label lower than the predetermined rank in order of appearance frequency among the L types of labels as the attention label. Note that the attention label setting unit 122 outputs the attention label set 114 to the basic cluster construction unit 123. At this time, the attention label setting unit 122 may deliver the attention label set 114 to the basic cluster construction unit 123 via the memory 130 or the storage unit 110.
  • the basic cluster construction unit 123 receives the feature matrix 111, the label matrix 112, and the attention label set 114, constructs a basic cluster that is the minimum unit of clusters that are aggregated in the aggregation-type clustering, and outputs the basic cluster to the cluster integration unit 124. . That is, the basic cluster construction unit 123 assigns two or more data defined as having the same attention label to the same group among N pieces of data (feature vectors or label vectors), and assigns a plurality of basic clusters. To construct. For example, the basic cluster construction unit 123 constructs a basic cluster by allocating two or more label vectors having elements having the same target label among N label vectors to the same group.
  • the basic cluster construction unit 123 assigns the specific data to two or more different groups corresponding to each attention label. assign. In this case, the basic cluster construction unit 123 may construct each group as a separate basic cluster. Alternatively, the basic cluster construction unit 123, when specific data among N pieces of data is assigned to two or more groups, can integrate the two or more groups and construct a single basic cluster. For example, when a certain label vector has two or more attention labels, the basic cluster construction unit 123 may integrate a group corresponding to each attention label into one basic cluster. The handling of data that does not have the attention label is arbitrary.
  • the basic cluster construction unit 123 may assign a label vector having no attention label to the basic cluster using a clustering method different from the above. Alternatively, the basic cluster construction unit 123 does not have to use a label vector having no attention label for construction of the basic cluster.
  • the basic cluster construction unit 123 includes the constructed basic clusters in the basic cluster information 1151 and stores them in the memory 130 or the storage unit 110, and passes them to the cluster integration unit 124 via the memory 130 or the storage unit 110. good.
  • the input acquisition unit 121 or the basic cluster construction unit 123 outputs the feature matrix 111 and the label matrix 112 to the cluster integration unit 124 and the cluster refinement unit 125.
  • the cluster integration unit 124 receives the feature matrix 111, the label matrix 112, and the basic cluster information 1151, and performs agglomerative clustering. Then, the cluster integration unit 124 records the hierarchical structure information 1152 when integrating the clusters as a tree structure, and outputs the basic cluster information 1151 and the hierarchical structure information 1152 to the cluster refinement unit 125. That is, the cluster integration unit 124 integrates clusters by hierarchizing a plurality of basic clusters based on the feature amount of each data belonging to the basic cluster or the presence / absence of a label, and records the hierarchical structure by the integration. Note that the basic cluster construction unit 123 or the cluster integration unit 124 generates the above-described node information corresponding to each basic cluster.
  • the cluster integration unit 124 calculates the distance between any two basic clusters based on a predetermined distance scale from the feature vector or label vector of the data belonging to each basic cluster. Then, the cluster integration unit 124 integrates the two basic clusters that are closest to each other into one integrated cluster. At this time, the cluster integration unit 124 generates the above-described node information corresponding to the integrated cluster, for example. That is, the cluster integration unit 124 generates a new node ID corresponding to the integrated cluster, the cluster ID (node ID) of one basic cluster to be integrated is the left node ID, and the cluster ID of the other basic cluster is the right node ID. These are associated with each other as node information.
  • the cluster integration unit 124 repeats cluster integration until the number of clusters becomes one. During this time, as described above, the cluster integration unit 124 records the hierarchical structure information 1152 as a tree structure in order to generate node information. Note that the cluster integration unit 124 may store the generated hierarchical structure information 1152 in the memory 130 or the storage unit 110 and pass it to the cluster refinement unit 125 via the memory 130 or the storage unit 110.
  • the distance scale may be the distance between the two closest points belonging to the cluster or the distance between the farthest points.
  • the distance measure may use an average of distances of all points between clusters.
  • the distance scale may calculate the cluster centers and use the distances.
  • Various distances such as a cosine distance and an Euclidean distance may be used as the distance described above.
  • the cluster refinement unit 125 receives the feature matrix 111, the label matrix 112, the basic cluster information 1151, and the hierarchical structure information 1152, and divides the cluster from one cluster after integration to a predetermined hierarchy in the hierarchical structure. Then, the cluster refinement unit 125 determines cluster allocation so that each of the N pieces of data belongs to one of the divided clusters. Then, the cluster refinement unit 125 saves the determined cluster assignment in the storage unit 110 as cluster assignment information 115 or outputs it to the outside.
  • the cluster refinement unit 125 refers to the return condition 116 in the storage unit 110, determines which level the cluster is divided from the hierarchical structure information 1152, and divides the integrated cluster to the determined level.
  • the cluster refinement unit 125 may delete node information corresponding to a hierarchy above the corresponding hierarchy.
  • the return condition 116 may be the maximum value of the position of the hierarchy in which the integrated cluster is to be divided from the highest hierarchy and the size of the cluster (the number of belonging data).
  • the return condition 116 may be a density within the cluster.
  • the density either the feature space or the label space, or a combination thereof may be used.
  • FIG. 6 is a flowchart for explaining the flow of the data classification support method according to the second embodiment.
  • the attention label setting unit 122 sets a plurality of attention labels from the label matrix 112, and outputs them as the attention label set 114 to the basic cluster construction unit 123 (S1).
  • the basic cluster construction unit 123 constructs a plurality of basic clusters using the attention label set 114 and the feature matrix 111 or the label matrix 112 (S2).
  • the cluster integration unit 124 calculates the cluster center of each basic cluster (S3).
  • the cluster integration unit 124 integrates two clusters having the smallest distance between the cluster centers (S4).
  • the cluster integration unit 124 updates the hierarchical structure information 1152 indicating the positional relationship on the tree structure of the integrated cluster (S5). Then, the cluster integration unit 124 determines whether there is one remaining cluster after integration (S6). If the number of remaining clusters is 2 or more, steps S3 to S5 are executed again, and repeated until there is one cluster after integration. Thereafter, when it is determined that there is one cluster after integration, the cluster refinement unit 125 searches, from the highest cluster in the tree structure (cluster after integration), a cluster that satisfies the return condition 116 with depth priority (S7). ). Then, the cluster refiner 125 divides the clusters so that all the clusters satisfy the return condition 116 and the tree structure hierarchy is the shallowest (S8).
  • the attention label is determined by the appearance frequency.
  • Only the data having the attention label is used for the basic cluster.
  • the average of the label vector is used for the cluster center.
  • a cosine distance is used as the distance between cluster centers.
  • the return condition is the number of data belonging to the cluster.
  • the label matrix 112 to be processed is as follows.
  • the attention label definition 113 is defined as a label whose appearance frequency is 2 or less based on the above (1)
  • the basic cluster construction unit 123 first assigns data having the label to the cluster in order from the label with the lowest appearance frequency in the attention label set Z.
  • the attention label 8 (appearance frequency 1) is followed by the attention labels 5, 6, and 7 (appearance frequency 2).
  • Data 5 (label vector in the fifth row) is assigned to the cluster (group) corresponding to the target label 8.
  • Data 2 and 7 (label vectors in the 2nd and 7th rows) are assigned to the cluster corresponding to the target label 5.
  • Data 4 and 6 (label vectors in the 4th and 6th rows) are assigned to the cluster corresponding to the target label 6.
  • Data 2 and 3 (label vectors in the 2nd and 3rd rows) are assigned to the cluster corresponding to the target label 7.
  • the basic cluster construction unit 123 After assigning all the data having the attention label to the cluster, the basic cluster construction unit 123 confirms whether there is data in which the assignment is duplicated among a plurality of clusters. And when the cluster with which data overlap exists, the basic cluster construction part 123 unifies those clusters, and constructs
  • FIG. 7 is a diagram for explaining an example of the hierarchical structure of the cluster configuration according to the second embodiment. After the processing by the basic cluster construction unit 123, the basic clusters C1, C2, and C3 are constructed.
  • the cluster integration unit 124 performs cluster integration using the plurality of constructed basic clusters.
  • the cluster integration unit 124 sets the cluster center as the average of the elements of the label vector of the data belonging to each basic cluster, and the distance between the cluster centers is the following cosine distance.
  • the cluster integration unit 124 calculates the cosine distance between the clusters for each pair of sets for all the basic clusters. Then, the cluster integration unit 124 integrates clusters at a distance that is the smallest of all the calculated cosine distances. Then, the cluster integration unit 124 calculates a cosine distance between the cluster after integration and each of the other clusters. Then, the cluster integration unit 124 performs cluster integration under the same conditions, and repeats until the number of clusters after integration becomes one.
  • the cluster integration unit 124 calculates the distance between the basic clusters C1 and C2, the distance between the basic clusters C1 and C3, and the distance between the basic clusters C2 and C3, respectively. Since the distance between the basic clusters C1 and C2 is the smallest among the above three distances, the cluster integration unit 124 integrates the basic clusters C1 and C2 to generate an integrated cluster C4. For example, the cluster integration unit 124 issues a node ID (C4) corresponding to the integrated cluster C4, sets the left node ID to C1, the right node ID to C2, and generates C4, C1, and C2 as node information in association with each other. . Therefore, the allocation condition of the integrated cluster C4 satisfies either the basic cluster C1 or C2.
  • C4 node ID
  • the cluster integration unit 124 calculates the distance between the integrated cluster C4 and the basic cluster C3, integrates the integrated cluster C4 and the basic cluster C3, and generates an integrated cluster C5. As a result, a tree structure as shown in FIG. 7 is obtained.
  • the cluster refinement unit 125 divides the cluster so as to satisfy the return condition 116 based on the cluster and the tree structure after the integration. Then, the cluster refinement unit 125 performs the process until the return condition 116 is satisfied, or until all the basic clusters are obtained.
  • the cluster refinement unit 125 searches the cluster, which is the number of data belonging to the cluster, from the top of the cluster after integration in a depth-first manner. For example, the cluster size in the return condition 116 is set to 3. In this example, since the number of data belonging to the integrated cluster C5 in the highest hierarchy H is 6 (data 2, 3, 4, 5, 6, 7), the cluster refinement unit 125 first has one hierarchy below. The integrated clusters C4 and C5 in the hierarchy H + 1 are further searched.
  • the cluster refinement unit 125 Since the number of data belonging to the integrated cluster C4 is 3 (data 4, 5, 6) and the number of data belonging to the basic cluster C3 is 3 (data 2, 3, 7), the cluster refinement unit 125 , It is determined that the hierarchy H + 1 satisfies the return condition 116. Therefore, the cluster refinement unit 125 divides the integrated cluster C5 up to the hierarchy H + 1. That is, the integrated cluster C5 is returned to the integrated cluster C4 and the basic cluster C3. Therefore, the cluster refinement unit 125 determines the cluster assignment for the data 4, 5, and 6 as the integrated cluster C4 and the cluster assignment for the data 2, 3, and 7 as the basic cluster C3.
  • forced cluster assignment is introduced into agglomerative clustering so as to always divide labels with a relatively low appearance frequency into the same problem, and data division is performed. . Therefore, it is possible to suppress the possibility of causing deterioration in classification accuracy for labels with a relatively low appearance frequency. Then, it is possible to prevent data having labels with a relatively low appearance frequency from being assigned to different clusters.
  • the basic cluster uses individual data as a unit.
  • a set of data including one or more data is used as the unit of the basic cluster. is there.
  • the third embodiment is an improved example of the second embodiment described above.
  • the information processing apparatus or data classification support system according to the third embodiment further includes a learning unit that learns a branch function for classifying arbitrary input vector data having M types of feature quantities into a predetermined cluster. is there.
  • the learning unit uses N feature vectors having M types of feature amounts and the determined cluster assignment. Thereby, classification can be determined at high speed.
  • FIG. 8 is a block diagram showing the overall configuration of the data classification support system 100a according to the third embodiment.
  • the data classification support system 100a is an improvement of the above-described data classification support system 100.
  • the program 117 is replaced with the program 117a, the branch function 118 is added to the storage unit 110, and the branch function learning unit 126 is added to the control unit 120. It has been done.
  • Other configurations are the same as those in FIG. 3, and thus detailed description thereof is omitted.
  • the program 117a is a computer program in which processing of a branch function learning unit 126 described later is implemented in addition to the function of the program 117.
  • the branch function 118 is a function that calculates a determination value for determining a branch to one of two clusters using an arbitrary feature amount vector having M types of feature amounts as an argument.
  • the bifurcation function 118 is, for example, a binary classifier.
  • the branch function learning unit 126 uses the feature matrix 111 and the cluster allocation information 115 determined by the cluster refinement unit 125 to classify arbitrary input vector data having M types of feature quantities into a predetermined cluster. It is an example of the learning part which learns a branch function. That is, the branch function learning unit 126 receives the tree structure generated by the cluster integration unit 124, the cluster assignment determined by the cluster refinement unit 125, and the feature matrix 111 as input, and learns a plurality of assignments to the cluster. It outputs a binary classifier.
  • the plurality of binary classifiers are described as f 1 (x), ... f k (x).
  • k is the number of branches and depends on the hierarchical structure.
  • the branch function learning unit 126 first generates a tree structure in which all the clusters other than the final cluster made by the cluster refinement unit 125 are deleted from the input tree structure. Next, the branch function learning unit 126 performs binary classifier learning for determining a branch for each branch. In this learning, the left side of the data that belongs after branching is used as a positive example and the right side as a negative example. This binary classifier is constructed for every branch.
  • FIG. 9 is a diagram for explaining the concept of a branch function to be learned according to the third embodiment. This makes it possible to determine at high speed which cluster the test data should be classified into.
  • Various binary classifiers used for the branch function learning unit 126 can be used.
  • the binary classifier may be a classifier that takes the form of linear regression or a kernel SVM (Support Vector Vector Machine) that uses kernel tricks.
  • FIG. 10 is a flowchart for explaining the flow of the data classification support method according to the third embodiment.
  • steps S1 to S8 are the same as those in FIG. Therefore, after step S8, the branch function learning unit 126 uses the cluster obtained by the cluster refinement unit 125, the tree structure obtained by the cluster integration unit 124, and the cluster that has been integrated and the divided clusters. Is deleted from the tree structure (S9).
  • the branch function learning unit 126 learns a binary classifier for each branch of the tree structure (S10).
  • the branch function learning unit 126 outputs the divided cluster, the tree structure, and the branch function corresponding to each branch of the tree structure as a divided multi-label classification problem.
  • the operation of the data classification support system 100a according to the third embodiment will be described using a specific example.
  • the setting of the second embodiment described above is used.
  • the processing up to the cluster refinement unit 125 is the same as in the second embodiment as described above. Therefore, it is assumed that a tree structure as shown in FIG. 7 is obtained as a processing result of the cluster refinement unit 125.
  • the branch function learning unit 126 learns the branch function 118 at each branch. Specifically, first, when f 1 (x) is learned for the first branch, data having one or more of label 6 or label 8 is a positive example, either label 5 or label 7 As a negative example, data having one or more is learned as a binary classifier. Similarly, when learning f 2 (x) for the next branch, the data having label 6 and not having label 8 is a positive example, label 8 is provided, and label 6 is assigned Data that does not have is learned as a binary classifier as a negative example. This enables high-speed cluster allocation of test data using a tree structure.
  • the fourth embodiment is an example of a mode different from the second embodiment described above.
  • the data classification support system according to the fourth embodiment has a configuration in which the storage unit that stores the feature matrix and the label matrix is separated from the attention label setting unit and the like.
  • FIG. 11 is a block diagram showing the overall configuration of the data classification support system 200 according to the fourth embodiment.
  • the data classification support system 200 includes a data management device 21 and a data classification support device 22.
  • the data management device 21 and the data classification support device 22 are communicably connected via the network N.
  • the data management device 21 is a computer such as one or a plurality of storage servers.
  • the data management device 21 includes a storage unit 211 and a communication unit 212.
  • the storage unit 211 is a storage device such as a hard disk or a flash memory.
  • the storage unit 211 stores a feature matrix 111 and a label matrix 112. However, the storage unit 211 only needs to store either the feature matrix 111 or the label matrix 112.
  • the communication unit 212 transmits / receives data to / from the data classification support device 22 via the network N.
  • the communication unit 212 receives an acquisition request for the feature matrix 111 and the label matrix 112 from the data classification support apparatus 22 via the network N.
  • the communication unit 212 reads the feature matrix 111 and the label matrix 112 from the storage unit 211 and returns them to the data classification support device 22 via the network N.
  • the data management device 21 includes a processor and a memory as a configuration (not shown).
  • the storage unit 211 stores a predetermined program.
  • the predetermined program receives the acquisition request from the data classification support device 22, it is assumed that a process of reading the designated data from the storage unit 211 and returning it to the data classification support device 22 is implemented. .
  • the processor reads the predetermined program from the storage unit 211 into the memory and executes the program. Thereby, the processor realizes the function of the communication unit 212.
  • the data classification support device 22 is obtained by replacing the program 117 with a program 117b, the input acquisition unit 121 with an input acquisition unit 121a, and the IF unit 140 with a communication unit 140a.
  • the program 117b is replaced with processing via the network N in the acquisition processing of the feature matrix 111 and the label matrix 112.
  • the communication unit 140a transmits data via the network N in response to an instruction from the control unit 120, and outputs data received via the network N to the control unit 120. .
  • the input acquisition unit 121a transmits an acquisition request specifying the feature matrix 111 and the label matrix 112 to the data management device 21 via the network N. Then, the input acquisition unit 121a outputs the feature matrix 111 and the label matrix 112 received from the data management device 21 via the network N to the target label setting unit 122 and the like.
  • the fourth embodiment can achieve the same effects as the first and second embodiments described above. Furthermore, the improvement of the third embodiment can be applied to the data classification support system 200 according to the fourth embodiment.
  • Non-transitory computer readable media include various types of tangible storage media (tangible storage medium).
  • Examples of non-transitory computer-readable media include magnetic recording media (eg flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg magneto-optical discs), CD-ROMs (Read Only Memory), CD-Rs, CD-R / W, DVD (Digital Versatile Disc), semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)).
  • the program may also be supplied to the computer by various types of temporary computer-readable media.
  • Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • a setting unit that sets multiple allocation conditions for allocating a part of the data to one of multiple groups, A basic cluster constructing unit that constructs a plurality of basic clusters based on the plurality of groups by allocating two or more data corresponding to the same allocation condition among the N pieces of data to the same group; A cluster allocation unit that performs cluster integration and refinement on the plurality of basic clusters, and determines cluster allocation for each of the N pieces of data;
  • An information processing apparatus comprising: (Appendix A2) The setting unit The information processing apparatus according to appendix A1, wherein the allocation condition includes setting a part of the L types of labels.
  • (Appendix A3) The setting unit Based on the appearance frequency of the labels in the N pieces of data, select some labels among the L types of labels as attention labels, and set a set of the attention labels as the allocation condition,
  • the basic cluster building unit The information processing apparatus according to attachment A2, wherein among the N pieces of data, two or more pieces of data defined as having the same attention label are assigned to the same group, and the basic cluster is constructed.
  • (Appendix A4) The setting unit For each of the L types of labels, calculate the frequency of appearance of the label in the N data, The information processing apparatus according to Supplementary Note A3, wherein a label lower than a predetermined rank in the descending order of the appearance frequency among the L types of labels is selected as the attention label.
  • the setting unit The attention label is selected based on the appearance frequency of the label calculated from N label vectors corresponding to each of the N data and having the presence or absence of each of the L types of labels as elements.
  • the basic cluster building unit The information processing apparatus according to appendix A3 or A4, wherein two or more label vectors having elements having the same target label among the N label vectors are assigned to the same group, and the basic cluster is constructed. .
  • the basic cluster construction unit allocates the specific data to two or more different groups corresponding to each allocation condition when specific data among the N pieces of data corresponds to the two or more allocation conditions.
  • the information processing apparatus according to any one of appendices A1 to A5.
  • (Appendix A7) The basic cluster building unit When specific data among the N pieces of data is assigned to two or more groups, the two or more groups are integrated and constructed as one basic cluster.
  • (Appendix A8) The cluster allocation unit Based on the feature amount of each data belonging to the basic cluster or the presence or absence of the label, the plurality of basic clusters are hierarchized to integrate the clusters, and the hierarchical structure by the integration is recorded, Dividing the cluster from the integrated cluster to a predetermined hierarchy in the hierarchical structure, The information processing apparatus according to any one of appendices A1 to A7, wherein assignment of the cluster is determined so that each of the N pieces of data belongs to any of the divided clusters.
  • a storage unit that stores the data of the matter, A setting unit for setting a plurality of allocation conditions for allocating a part of the N pieces of data stored in the storage unit to any of a plurality of groups; A basic cluster constructing unit that constructs a plurality of basic clusters based on the plurality of groups by allocating two or more data corresponding to the same allocation condition among the N pieces of data to the same group; A cluster allocation unit that performs cluster integration and refinement on the plurality of basic clusters, and determines cluster allocation for each of the N pieces of data; A data classification support system comprising: (Appendix B2) The setting unit The data classification support system according to appendix B1, wherein the allocation condition includes setting a part of the L types of labels.
  • Setting multiple allocation conditions to allocate a part of the data to one of multiple groups A process of allocating two or more data corresponding to the same allocation condition among the N pieces of data to the same group and constructing a plurality of basic clusters based on the plurality of groups; A process of performing cluster integration and refinement for the plurality of basic clusters, and determining a cluster assignment for each of the N pieces of data; Data classification support program that causes a computer to execute.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

情報処理装置（１）は、Ｍ（Ｍは２以上の自然数。）種類の特徴量を有し、かつ、Ｌ（Ｌは２以上の自然数。）種類のラベルのそれぞれの有無が定義されたＮ（Ｎは２以上の自然数。）件のデータのうち一部を複数のグループのいずれかに割り当てるための複数の割当条件を設定する設定部（１１）と、Ｎ件のデータのうち、同一の割当条件に該当する２以上のデータを同一のグループに割り当てて、複数のグループに基づいて複数の基礎クラスタを構築する基礎クラスタ構築部（１２）と、複数の基礎クラスタに対して、クラスタの統合及び洗練を行い、Ｎ件のデータのそれぞれについてのクラスタの割り当てを決定するクラスタ割当部（１３）と、を備える。

Description

情報処理装置、データ分類支援システム及び方法、非一時的なコンピュータ可読媒体
　本発明は、情報処理装置、データ分類支援システム、データ分類支援方法、及び、データ分類支援プログラムが格納された非一時的なコンピュータ可読媒体に関し、特に、超マルチラベル分類問題を解くためのデータ分類を支援するための情報処理装置、データ分類支援システム、データ分類支援方法、及び、データ分類支援プログラムが格納された非一時的なコンピュータ可読媒体に関する。
　「マルチラベル分類」（Multi-Label classification）と呼ばれる分類問題は、あるデータについてそのデータの特徴から該当するカテゴリに分類する際に、１つのデータが複数のカテゴリ（ラベル）に同時に属する（分類される）ことを許容する分類問題である。すなわち、「マルチラベル分類」という分類問題は、未だラベルが付されていないデータ（つまり、未分類データ）に付される１つ又は複数のラベルを推定する問題である。換言すると、「マルチラベル分類」という分類問題は、未分類データに付される１つ又は複数のラベルを算出する分類器を形成する問題である。
　ここで、「超大規模マルチラベル分類」（eXtreme Multi-Label classification）と呼ばれるマルチラベル分類問題は、データ数、データを表現する特徴数、及び、ラベル数が膨大なマルチラベル分類である。例えば、超大規模マルチラベル分類問題には、特徴数やラベル数が数百万以上に及ぶものが該当する。超大規模マルチラベル分類問題を解くためには、分類対象のデータ群を予め複数のグループに分割し、分割された各グループごとの比較的小さな問題に対して独立に従来のマルチラベル分類問題を解く、という方法が有効であることが知られている。例えば、非特許文献１及び非特許文献２が挙げられる。
　非特許文献１は、データの分割にK-means法を用いて、近しい特徴を持つデータを単純に分割する手法である。また、非特許文献２は、データの分割にGraph-Cut手法を用いるものである。つまり、非特許文献２は、データを一つのノード、複数のラベル共有するデータ間（ノード間）にはエッジを張るということを行うことによって得られるK近傍グラフからデータ分割を行う手法である。これによってラベルの情報を利用し、分割後のマルチラベル分類の精度を高くすることができることが知られている。
　尚、特許文献１には、学習用のデータセットから所定のデータペアを生成して超平面を学習する学習方法に関する技術が開示されている。当該学習方法では、データセットに含まれる各特徴量ベクトルに付与されたラベルの数、ラベルの種類の数、同一ラベルが付与された特徴量ベクトルの数等を計数する。
　また、特許文献２には、学習対象データに対して識別情報（ラベル）を付与するための識別情報付与装置に関する技術が開示されている。当該識別情報付与装置は、まず、学習対象から抽出された特徴ベクトルと、学習対象に付与された識別情報とを組みにした学習データに基づいて決定木を作成する。そして、当該識別情報付与装置は、決定木に基づいて各データのグループ化を行う。
　また、特許文献３には、マルチラベルの文書を含む文書集合からカテゴリごとの特徴語群を抽出する特徴語抽出システムに関する技術が開示されている。当該特徴語抽出システムは、まず、マルチラベルの文書を含む文書集合について、同一カテゴリ数の文書集合にグループ分けする。そして、当該特徴語抽出システムは、グループ分けした文書集合がマルチラベル文書の集合であればシングルラベル文書の集合に分割する。その後、当該特徴語抽出システムは、分割したシングルラベル文書の文書集合からカテゴリごとの特徴語の抽出を行う。
国際公開２０１４／１１８９７６号 特開２０１３－０５４５１２号公報 特開２００４－０３０２０２号公報
K. Bhatia, H. Jain, P. Kar, M. Varma and P. Jain. Sparse local embeddings for extreme multi-label classification. In Advances in Neural Information Processing Systems, Montreal, Canada, December 2015. Tagami, Yukihiro. AnnexML: Approximate Nearest Neighbor Search for Extreme Multi-label Classification. Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. ACM, 2017.
　しかしながら、非特許文献１及び２には、超大規模マルチラベル分類問題を解くために事前に行われるデータ分割時の分割のされ方によって、その後の分類精度が依存してしまい、分類精度が低くなってしまうおそれがあるという問題点がある。
　例えば、非特許文献１では、超大規模マルチラベル分類問題の分割を行う際にラベルの情報を使っていないために、当該問題の分割のされ方によっては、分割後のマルチラベル分類器の精度が低い可能性がある。特に、出現頻度が小さいラベルがデータ分割によって異なるグループ（問題）へと分割された場合には、そのラベルに対する分類器の構築がより困難になるため、精度が低くなる。
　また、非特許文献２では、出現頻度の低いラベルを必ず同じクラスタへと割り当てるわけではない。そのため、非特許文献１と同様に、出現頻度が小さいラベルがデータ分割によって異なるグループ（問題）へと分割され、分割後のマルチラベル分類器の精度が低くなる可能性がある。また、非特許文献２にかかる技術では、K近傍グラフの構築に大きな計算時間を必要とする。
　尚、特許文献１から３にかかる技術についても上述した問題点を解決するものではない。
　本開示は、このような問題点を解決するためになされたものであり、超大規模マルチラベル分類問題を解くための分類精度を向上するための情報処理装置、データ分類支援システム、データ分類支援方法、及び、データ分類支援プログラムを提供することを目的とする。
　本開示の第１の態様にかかる情報処理装置は、
　Ｍ（Ｍは２以上の自然数。）種類の特徴量を有し、かつ、Ｌ（Ｌは２以上の自然数。）種類のラベルのそれぞれの有無が定義されたＮ（Ｎは２以上の自然数。）件のデータのうち一部を複数のグループのいずれかに割り当てるための複数の割当条件を設定する設定部と、
　前記Ｎ件のデータのうち、同一の前記割当条件に該当する２以上のデータを同一のグループに割り当てて、前記複数のグループに基づいて複数の基礎クラスタを構築する基礎クラスタ構築部と、
　前記複数の基礎クラスタに対して、クラスタの統合及び洗練を行い、前記Ｎ件のデータのそれぞれについてのクラスタの割り当てを決定するクラスタ割当部と、
　を備える。
　本開示の第２の態様にかかるデータ分類支援システムは、
　Ｍ（Ｍは２以上の自然数。）種類の特徴量を有し、かつ、Ｌ（Ｌは２以上の自然数。）種類のラベルのそれぞれの有無が定義されたＮ（Ｎは２以上の自然数。）件のデータを記憶する記憶部と、
　前記記憶部に記憶された前記Ｎ件のデータのうち一部を複数のグループのいずれかに割り当てるための複数の割当条件を設定する設定部と、
　前記Ｎ件のデータのうち、同一の前記割当条件に該当する２以上のデータを同一のグループに割り当てて、前記複数のグループに基づいて複数の基礎クラスタを構築する基礎クラスタ構築部と、
　前記複数の基礎クラスタに対して、クラスタの統合及び洗練を行い、前記Ｎ件のデータのそれぞれについてのクラスタの割り当てを決定するクラスタ割当部と、
　を備える。
　本開示の第３の態様にかかるデータ分類支援方法は、
　コンピュータが、
　Ｍ（Ｍは２以上の自然数。）種類の特徴量を有し、かつ、Ｌ（Ｌは２以上の自然数。）種類のラベルのそれぞれの有無が定義されたＮ（Ｎは２以上の自然数。）件のデータのうち一部を複数のグループのいずれかに割り当てるための複数の割当条件を設定し、
　前記Ｎ件のデータのうち、同一の前記割当条件に該当する２以上のデータを同一のグループに割り当てて、前記複数のグループに基づいて複数の基礎クラスタを構築し、
　前記複数の基礎クラスタに対して、クラスタの統合及び洗練を行い、前記Ｎ件のデータのそれぞれについてのクラスタの割り当てを決定する。
　本開示の第４の態様にかかるデータ分類支援プログラムは、
　Ｍ（Ｍは２以上の自然数。）種類の特徴量を有し、かつ、Ｌ（Ｌは２以上の自然数。）種類のラベルのそれぞれの有無が定義されたＮ（Ｎは２以上の自然数。）件のデータのうち一部を複数のグループのいずれかに割り当てるための複数の割当条件を設定する処理と、
　前記Ｎ件のデータのうち、同一の前記割当条件に該当する２以上のデータを同一のグループに割り当てて、前記複数のグループに基づいて複数の基礎クラスタを構築する処理と、
　前記複数の基礎クラスタに対して、クラスタの統合及び洗練を行い、前記Ｎ件のデータのそれぞれについてのクラスタの割り当てを決定する処理と、
　をコンピュータに実行させる。
　本発明により、超大規模マルチラベル分類問題を解くための分類精度を向上するための情報処理装置、データ分類支援システム、データ分類支援方法、及び、データ分類支援プログラムを提供することができる。
本実施の形態１にかかる情報処理装置の構成を示すブロック図である。 本実施の形態１にかかるデータ分類支援方法の流れを説明するためのフローチャートである。 本実施の形態２にかかるデータ分類支援システムの全体構成を示すブロック図である。 本実施の形態２にかかる特徴行列とラベル行列の関係の概念を説明する図である。 本実施の形態２にかかるクラスタ割当情報の概念を説明する図である。 本実施の形態２にかかるデータ分類支援方法の流れを説明するためのフローチャートである。 本実施の形態２にかかるクラスタ構成の階層構造の例を説明する図である。 本実施の形態３にかかるデータ分類支援システムの全体構成を示すブロック図である。 本実施の形態３にかかる学習される分岐関数の概念を説明する図である。 本実施の形態３にかかるデータ分類支援方法の流れを説明するためのフローチャートである。 本実施の形態４にかかるデータ分類支援システムの全体構成を示すブロック図である。
　以下では、本開示の実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
＜実施の形態１＞
　図１は、本実施の形態１にかかる情報処理装置１の構成を示すブロック図である。情報処理装置１は、Ｎ（Ｎは２以上の自然数。）件のデータについてクラスタ分析を行うコンピュータである。そして、当該クラスタ分析の結果は、マルチラベル分類問題を解くための分類器の形成に用いることができる。ここで、Ｎ件のデータのそれぞれは、Ｍ（Ｍは２以上の自然数。）種類の特徴量を有するものである。また、Ｎ件のデータのそれぞれは、Ｌ（Ｌは２以上の自然数。）種類のラベルのそれぞれの有無が定義されている。尚、Ｍ種類の特徴量、Ｌ種類のラベル、及び、Ｎ件のデータのそれぞれは、百万以上である。そのため、本実施の形態１にかかる情報処理装置１は、超大規模マルチラベル分類問題を解くための分類器を形成するために用いることができる。
　情報処理装置１は、設定部１１と、基礎クラスタ構築部１２と、クラスタ割当部１３とを備える。設定部１１は、Ｎ件のデータのうち一部を複数のグループのいずれかに割り当てるための複数の割当条件を設定する。つまり、割当条件は、Ｎ件のデータのうち一部のデータに対して適用される条件情報である。例えば、割当条件は、各データにおける特徴量又はラベルの有無の条件を定義した情報である。
　基礎クラスタ構築部１２は、Ｎ件のデータのうち、同一の割当条件に該当する２以上のデータを同一のグループに割り当てて、複数のグループに基づいて複数の基礎クラスタを構築する。ここで、基礎クラスタ構築部１２は、Ｎ件のデータのうち割当条件の適用対象となる少なくとも一部のデータに対して、複数のグループのいずれかに割り当てるものであればよい。そして、基礎クラスタ構築部１２は、１つのグループをそのまま１つの基礎クラスタとして構築してもよい。または、基礎クラスタ構築部１２は、複数のグループを統合して１つの基礎クラスタとして構築してもよい。そのため、基礎クラスタとは、Ｎ件のデータのうち１以上のデータが所属するデータの集合である。また、基礎クラスタには、Ｎ件のデータのうち割当条件の適用対象外のデータが含まれても良い。この時、割当条件の適用対象外のデータを割り当てる条件は、当該割当条件以外のものであればよい。尚、複数の基礎クラスタの間で所属するデータの重複があっても構わないものとする。つまり、基礎クラスタに割り当てられた各データは、他の基礎クラスタに所属しても構わない。
　クラスタ割当部１３は、基礎クラスタ構築部１２により構築された複数の基礎クラスタに対して、クラスタの統合及び洗練（sophisticate）を行い、Ｎ件のデータのそれぞれについてのクラスタの割り当てを決定する。尚、クラスタの統合及び洗練には、公知の技術を用いることが可能である。但し、クラスタ割当部１３は、複数の基礎クラスタをそのまま最終的なクラスタとするのではなく、少なくとも複数の基礎クラスタを所定の方法で統合し、その後、統合後のクラスタを所定の方法で洗練、つまり、分割することにより、複数のクラスタを生成するものとする。そのため、複数の基礎クラスタのいずれかに割り当てられた各データは、クラスタ割当部１３により生成された複数のクラスタの少なくとも１つ以上に割り当てられることとなる。
　尚、情報処理装置１は、図示しない構成としてプロセッサ、メモリ、記憶装置を備えるものである。また、当該記憶装置には、本実施の形態にかかるデータ分類支援処理が実装されたコンピュータプログラムが記憶されている。そして、当該プロセッサは、記憶装置からコンピュータプログラムを前記メモリへ読み込み、当該コンピュータプログラムを実行する。これにより、前記プロセッサは、設定部１１、基礎クラスタ構築部１２及びクラスタ割当部１３の機能を実現する。
　尚、前記記憶装置は、上述したＮ件のデータをさらに記憶するものであってもよい。その場合、設定部１１は、前記記憶装置からＮ件のデータを取得して、前記メモリへ一時的に保存し、前記設定を行う。または、上述したＮ件のデータは、情報処理装置１と通信回線を介して接続された外部の記憶装置に記憶されたものであってもよい。その場合、設定部１１は、通信回線を介して前記外部の記憶装置からＮ件のデータを取得して、前記メモリへ一時的に保存し、前記設定を行う。
　また、設定部１１は、前記割当条件を少なくとも前記メモリに一時的に保存することにより前記設定を行う。そして、基礎クラスタ構築部１２は、前記メモリに保存されたＮ件のデータ及び割当条件を参照して、グループへの割り当て及び基礎クラスタを構築し、構築した複数の基礎クラスタを少なくとも前記メモリに保存する。そして、クラスタ割当部１３は、前記メモリに保存されたＮ件のデータ及び基礎クラスタを参照して、クラスタの割り当てを決定し、決定したクラスタの割り当てを少なくとも前記メモリに保存する。また、クラスタ割当部１３は、決定したクラスタの割り当てを前記記憶装置に保存するか、情報処理装置１の外部へ出力してもよい。
　図２は、本実施の形態１にかかるデータ分類支援方法の流れを説明するためのフローチャートである。まず、設定部１１は、Ｎ（Ｎは２以上の自然数。）件のデータのうち一部を複数のグループのいずれかに割り当てるための複数の割当条件を設定する（Ｓ１１）。次に、基礎クラスタ構築部１２は、Ｎ件のデータのうち、同一の割当条件に該当する２以上のデータを同一のグループに割り当てて複数のグループとする。そして、基礎クラスタ構築部１２は、割り当てられた複数のグループに基づいて複数の基礎クラスタを構築する（Ｓ１２）。そして、クラスタ割当部１３は、複数の基礎クラスタに対して、クラスタの統合及び洗練を行い、Ｎ件のデータのそれぞれについてのクラスタの割り当てを決定する（Ｓ１３）。
　このように、本実施の形態により、超大規模マルチラベル分類問題を解くための分類精度を向上することができる。すなわち、本実施の形態にかかるデータ分類支援方法は、Ｎ件のデータ全てに対して一律に同じ条件で初期の分類（データ分割）を行うのではなく、特定の割当条件を満たす一部のデータに対して、特定の基礎クラスタに割り当てるものである。そのため、例えば、Ｌ件のラベルのうち全データの中で出現頻度が相対的に低いラベルを有するデータについては、特定の分割ルールを適用して特定の基礎クラスタに割り当てることができる。つまり、出現頻度の低いラベルが付されたデータが異なる基礎クラスタに分散されてしまうことを防ぐことができる。そして、このようにして割り当てられた基礎クラスタに対してクラスタの統合及び洗練を行うため、その後のクラスタの割り当てを用いて分類器の学習を行う際に、学習処理時間を短縮し、かつ、精度良く学習できる。そのため、分類精度の高い分類器を形成できる。よって、超大規模マルチラベル分類問題を精度良く、解くことができる。
　尚、本実施の形態で対象とする超大規模マルチラベル分類問題としては、例えば、マルウェアに複数のカテゴリを分類する問題が挙げられる。そのため、本実施の形態にかかる情報処理装置１は、マルウェア分類支援装置と呼ぶことができる。また、本実施の形態で対象とする超大規模マルチラベル分類問題としては、例えば、動画データに複数のタグを付与する問題が挙げられる。そのため、本実施の形態にかかる情報処理装置１は、動画データタグ付け支援装置と呼ぶこともできる。また、本実施の形態で対象とする超大規模マルチラベル分類問題としては、例えば、Ｗｅｂページを推薦するためにＷｅｂページに複数のラベルを付与する問題が挙げられる。そのため、本実施の形態にかかる情報処理装置１は、Ｗｅｂページ推薦支援装置と呼ぶこともできる。
＜実施の形態２＞
　本実施の形態２は、上述した実施の形態１の応用例である。本実施の形態２にかかるデータ分類支援システムは、記憶部と、設定部と、基礎クラスタ構築部と、クラスタ割当部とを備える。記憶部は、Ｍ種類の特徴量を有し、かつ、Ｌ種類のラベルのそれぞれの有無が定義されたＮ件のデータを記憶する。尚、設定部と、基礎クラスタ構築部と、クラスタ割当部とは、少なくとも上述した実施の形態１と同様の機能を有するものであればよい。
　また、前記設定部は、前記Ｌ種類のラベルのうち一部のラベルを有することを前記割当条件として設定するものである。このように、ラベルの有無を基礎クラスタの割り当て基準とすることで、ラベルに基づく分類精度を向上させることができる。
　さらに、前記設定部は、前記Ｎ件のデータ内でのラベルの出現頻度に基づいて、前記Ｌ種類のラベルのうち一部のラベルを注目ラベルとして選択し、当該注目ラベルの集合を前記割当条件として設定することが望ましい。そして、前記基礎クラスタ構築部は、前記Ｎ件のデータのうち、同一の前記注目ラベルが有と定義された２以上のデータを同一のグループに割り当てて、前記基礎クラスタを構築することが望ましい。これにより、ラベルの出現頻度に基づく注目ラベルを加味して基礎クラスタを構築できるため、ラベルが共通するデータを同一の基礎クラスタに割り当てられて、分類精度が向上する。
　さらに、前記設定部は、前記Ｌ種類のラベルのそれぞれについて前記Ｎ件のデータ内でのラベルの出現頻度を算出し、前記Ｌ種類のラベルのうち前記出現頻度が大きい順で所定の順位より低いラベルを前記注目ラベルとして選択するとよい。これにより、出現頻度の低いラベルが付加された２以上のデータが異なる基礎クラスタに割り当てられることを防げるため、分類精度が向上する。
　さらに、前記設定部は、前記Ｎ件のデータのそれぞれに対応し、かつ、前記Ｌ種類のラベルのそれぞれの有無を要素とするＮ件のラベルベクトルから算出した前記ラベルの出現頻度に基づいて、前記注目ラベルを選択するとよい。そして、前記基礎クラスタ構築部は、前記Ｎ件のラベルベクトルのうち同一の前記注目ラベルを有とした要素を有する２以上のラベルベクトルを、同一のグループに割り当てて、前記基礎クラスタを構築するとよい。これにより、特徴量ベクトルを用いずとも、精度の高い基礎クラスタを構築できるため、処理性能が向上する。
　さらに、前記基礎クラスタ構築部は、前記Ｎ件のデータのうち特定のデータが２以上の前記割当条件に該当する場合、各割当条件に対応する異なる２以上のグループに当該特定データを割り当てて、各グループのそれぞれを前記基礎クラスタとして構築するとよい。これにより、割当条件を直接反映した基礎クラスタを構築することができ、基礎クラスタをきめ細かく定義できる。
　さらに、前記基礎クラスタ構築部は、前記Ｎ件のデータのうち特定のデータについて、２以上のグループに割り当てられた場合、当該２以上のグループを統合して１の前記基礎クラスタとして構築するとよい。これにより、分類精度を維持しつつ、基礎クラスタの数を減らし、その後のクラスタ統合及び洗練処理の効率を向上させることができる。
　さらに、前記クラスタ割当部は、次のように処理することが望ましい。まず、前記クラスタ割当部は、前記基礎クラスタに属する各データの前記特徴量又は前記ラベルの有無に基づいて、前記複数の基礎クラスタを階層化して前記クラスタの統合を行い、当該統合による階層構造を記録する。次に、前記クラスタ割当部は、前記統合後のクラスタから、前記階層構造のうち所定の階層までクラスタを分割する。そして、前記クラスタ割当部は、前記Ｎ件のデータのそれぞれについて前記分割したクラスタのいずれかに属するように、前記クラスタの割り当てを決定する。例えば、凝集型クラスタリングにより、その階層構造は、一部の条件を満たすデータについて効果的に割り当てられた基礎クラスタから統合されたものとなる。そのため、特定条件を満たすデータが予め下位階層で同一クラスタに分類されている確率が高く、精度の高いクラスタ割り当てを決定することが可能となる。
　また、前記Ｍ種類の特徴量、前記Ｌ種類のラベル、及び、前記Ｎ件のデータのそれぞれは、百万以上である。これにより、超大規模マルチラベル分類問題に適用できる。
　図３は、本実施の形態２にかかるデータ分類支援システム１００の全体構成を示すブロック図である。データ分類支援システム１００は、１又は複数台のコンピュータ装置により実現される。データ分類支援システム１００は、記憶部１１０と、制御部１２０と、メモリ１３０と、ＩＦ（InterFace）部１４０とを備える。
　記憶部１１０は、ハードディスク、フラッシュメモリ等の記憶装置である。記憶部１１０は、特徴行列１１１と、ラベル行列１１２と、注目ラベル定義１１３と、注目ラベル集合１１４と、クラスタ割当情報１１５と、戻し条件１１６と、プログラム１１７とを備える。
　特徴行列１１１は、Ｎ件のデータのそれぞれをＭ次元の特徴ベクトルで表現したものである。ここで、Ｍ次元の各要素は、上述したＭ種類の特徴量に相当する。そして、特徴行列１１１は、各行が各データの特徴ベクトルに対応する。
　ラベル行列１１２は、Ｎ件のデータのそれぞれについてＬ種類のラベルのそれぞれの有無を定義したラベルベクトルで表現したものである。そして、ラベル行列１１２は、各行が各データのラベルベクトルに対応する。つまり、ラベル行列１１２は、各要素がラベルの有無を示すバイナリ行列といえる。例えば、ラベル行列１１２のＩ行目Ｊ列目の要素が１である場合、Ｉ番目のデータはＪ番目のラベルを有することを示す。一方、Ｉ行目Ｊ列目の要素が０である場合、Ｉ番目のデータはＪ番目のラベルを有さないことを示す。
　図４は、本実施の形態２にかかる特徴行列１１１とラベル行列１１２の関係の概念を説明する図である。特徴行列１１１は、Ｎ件の特徴ベクトル１１１１、１１１２、・・・１１１Ｎを備える。そして、例えば、特徴ベクトル１１１１は、Ｍ種類の特徴量１１１１１、・・・１１１１Ｍを有する。また、他の特徴ベクトル１１１２、・・・１１１Ｎのそれぞれについても同様にＭ種類の特徴量を有する。ラベル行列１１２は、Ｎ件のラベルベクトル１１２１、１１２２、・・・１１２Ｎを備える。そして、例えば、ラベルベクトル１１２１は、Ｌ種類のラベルフラグ１１２１１、・・・１１２１Ｌを有する。また、他のラベルベクトル１１２２、・・・１１２Ｎのそれぞれについても同様にＬ種類のラベルを有する。
　図３に戻り説明を続ける。注目ラベル定義１１３は、後述する注目ラベル設定部１２２により注目ラベルを設定する際に用いる注目ラベルを選択する際の定義である。ここで、注目ラベルとは、上述した割当条件の一例であり、後述する基礎クラスタ構築部１２３が基礎クラスタを構築する際に、同一のグループに割り当てる際の基準となるラベルの種類を示す。そのため、注目ラベルとは、同じ注目ラベルを持つデータ同士を強制的に同じ基礎クラスタへと割り当てさせるための制約条件ともいえる。そして、注目ラベル定義１１３は、ユーザにより任意の定義が設定されてもよい。例えば、注目ラベル定義１１３は、Ｌ種類のラベルのうち出現頻度が所定の順位より低いものを注目ラベルとして設定する場合、所定の順位の定義としてもよい。または、注目ラベル定義１１３は、Ｌ種類のラベルのうち出現頻度が最下位、つまり、出現頻度が最も少ないラベルという定義としてもよい。
　注目ラベル集合１１４は、Ｌ種類のラベルのうち、注目ラベル設定部１２２により選択された注目ラベルの集合である。
　クラスタ割当情報１１５は、特徴行列１１１及びラベル行列１１２の各行に対応するＮ件のデータのそれぞれが割り当てられた複数のクラスタを示す情報である。クラスタ割当情報１１５は、基礎クラスタ情報１１５１及び階層構造情報１１５２を含む。
　図５は、本実施の形態２にかかるクラスタ割当情報１１５の概念を説明する図である。基礎クラスタ情報１１５１は、複数の基礎クラスタ１１５１１、１１５１２、・・・を含む。尚、基礎クラスタの数は、２以上かつＮ未満となる。基礎クラスタは、１以上のデータの識別情報又はデータの保存先アドレスへのリンクの集合である。基礎クラスタは、後述するクラスタ統合部１２４におけるクラスタ統合の統合対象となるクラスタの最小単位である。例えば、基礎クラスタは、クラスタＩＤ、所属するデータのＩＤ、当該基礎クラスタへの割当条件等を含むとよい。
　階層構造情報１１５２は、複数のノード情報１１５２１、１１５２２、・・・を含む。尚、ノード情報の数は、基礎クラスタの数以上となる。ノード情報は、基礎クラスタ及び複数の基礎クラスタを統合した統合クラスタにおける階層構造を定義するための情報である。ノード情報は、例えば、ノードＩＤ、左ノードＩＤ、右ノードＩＤを含む。例えば、基礎クラスタに対応するノード情報におけるノードＩＤは、当該基礎クラスタのクラスタＩＤである。また、統合クラスタに対応するノード情報におけるノードＩＤは、当該統合クラスタのクラスタＩＤである。尚、クラスタ割当情報、基礎クラスタ情報、基礎クラスタ、階層構造情報、ノード情報の具体的な構成は上述したものに限定されない。
　図３に戻り説明を続ける。戻し条件１１６は、後述するクラスタ洗練部１２５により統合後のクラスタを洗練、分割する（統合したクラスタを分割して戻す）際の条件を定義した情報である。プログラム１１７は、データ分類支援プログラムの一例であり、本実施形態にかかるデータ分類支援処理が実装されたコンピュータプログラムである。
　尚、注目ラベル集合１１４及びクラスタ割当情報１１５は、必ずしも記憶部１１０に記憶される必要はなく、基礎クラスタ構築部１２３、クラスタ統合部１２４及びクラスタ洗練部１２５の処理中に少なくともメモリ１３０に保持されていればよい。
　メモリ１３０は、ＲＡＭ（Random Access Memory）等の揮発性記憶装置であり、制御部１２０の動作時に一時的に情報を保持するための記憶領域である。ＩＦ部１４０は、データ分類支援システム１００の外部との入出力を行うインタフェースである。例えば、ＩＦ部１４０は、キーボード、マウス、タッチパネル等の入力デバイス（不図示）を介して、ユーザの操作を受け付け、受け付けた操作内容を制御部１２０へ出力する。また、ＩＦ部１４０は、制御部１２０からの指示に応じて、タッチパネル、表示装置、プリンタ等（不図示）へ出力を行う。
　制御部１２０は、ＣＰＵ（Central Processing Unit）等のプロセッサであり、データ分類支援システム１００の各構成を制御する。制御部１２０は、記憶部１１０からプログラム１１７をメモリ１３０へ読み込み、プログラム１１７を実行する。これにより、制御部１２０は、入力取得部１２１、注目ラベル設定部１２２、基礎クラスタ構築部１２３、クラスタ統合部１２４及びクラスタ洗練部１２５の機能を実現する。尚、注目ラベル設定部１２２は、上述した設定部１１の一例である。また、基礎クラスタ構築部１２３は、上述した基礎クラスタ構築部１２の一例である。また、クラスタ統合部１２４及びクラスタ洗練部１２５は、上述したクラスタ割当部１３の一例である。
　入力取得部１２１は、記憶部１１０から特徴行列１１１及びラベル行列１１２を入力として取得する。そして、入力取得部１２１は、特徴行列１１１及びラベル行列１１２の少なくとも一方を注目ラベル設定部１２２へ出力する。尚、以下の説明では、入力取得部１２１は、ラベル行列１１２を注目ラベル設定部１２２へ出力するものとする。また、入力取得部１２１は、特徴行列１１１及びラベル行列１１２を基礎クラスタ構築部１２３へ出力する。
　注目ラベル設定部１２２は、記憶部１１０内の注目ラベル定義１１３を参照し、ラベル行列１１２を解析して、Ｌ種類のラベルのうち一部のラベルを有することを割当条件として設定する。具体的には、注目ラベル設定部１２２は、ラベル行列１１２内でのラベルの出現頻度に基づいて、Ｌ種類のラベルのうち一部のラベルを注目ラベルとして選択する。そして、注目ラベル設定部１２２は、選択した注目ラベルの集合である注目ラベル集合１１４を割当条件として設定する。例えば、注目ラベル設定部１２２は、Ｌ種類のラベルのそれぞれについてＮ件のラベルベクトル内でのラベルの出現頻度を算出する。そして、注目ラベル定義１１３に順位が定義されていた場合、注目ラベル設定部１２２は、Ｌ種類のラベルのうち出現頻度が大きい順で所定の順位より低いラベルを注目ラベルとして選択する。尚、注目ラベル設定部１２２は、注目ラベル集合１１４を基礎クラスタ構築部１２３へ出力する。このとき、注目ラベル設定部１２２は、メモリ１３０又は記憶部１１０を介して注目ラベル集合１１４を基礎クラスタ構築部１２３へ受け渡しても良い。
　基礎クラスタ構築部１２３は、特徴行列１１１、ラベル行列１１２及び注目ラベル集合１１４を受け付け、凝集型クラスタリングの際に凝集するクラスタの最小単位である基礎クラスタを構築して、クラスタ統合部１２４へ出力する。すなわち、基礎クラスタ構築部１２３は、Ｎ件のデータ（特徴ベクトル又はラベルベクトル）のうち、同一の注目ラベルが有と定義された２以上のデータを同一のグループに割り当てて、複数の基礎クラスタを構築する。例えば、基礎クラスタ構築部１２３は、Ｎ件のラベルベクトルのうち同一の注目ラベルを有とした要素を有する２以上のラベルベクトルを、同一のグループに割り当てて、基礎クラスタを構築する。また、基礎クラスタ構築部１２３は、Ｎ件のデータのうち特定のデータについて、複数の注目ラベルが有と定義されていた場合、各注目ラベルに対応する異なる２以上のグループに当該特定のデータを割り当てる。この場合、基礎クラスタ構築部１２３は、各グループのそれぞれを別個の基礎クラスタとして構築してもよい。または、基礎クラスタ構築部１２３は、Ｎ件のデータのうち特定のデータについて、２以上のグループに割り当てられた場合、当該２以上のグループを統合して１の基礎クラスタとして構築することができる。例えば、基礎クラスタ構築部１２３は、あるラベルベクトルが２以上の注目ラベルを有する場合、それぞれの注目ラベルに対応するグループを統合して１つの基礎クラスタとしてもよい。尚、注目ラベルを有さないデータの扱いは任意とする。例えば、基礎クラスタ構築部１２３は、注目ラベルを有さないラベルベクトルについては、上記とは異なるクラスタリング手法を用いて基礎クラスタに割り当てても良い。または、基礎クラスタ構築部１２３は、注目ラベルを有さないラベルベクトルについて基礎クラスタの構築に用いなくても良い。尚、基礎クラスタ構築部１２３は、構築した複数の基礎クラスタを基礎クラスタ情報１１５１に含めてメモリ１３０又は記憶部１１０に記憶し、メモリ１３０又は記憶部１１０を介してクラスタ統合部１２４へ受け渡しても良い。尚、入力取得部１２１又は基礎クラスタ構築部１２３は、特徴行列１１１及びラベル行列１１２をクラスタ統合部１２４及びクラスタ洗練部１２５へ出力する。
　クラスタ統合部１２４は、特徴行列１１１、ラベル行列１１２及び基礎クラスタ情報１１５１を受け付け、凝集型クラスタリングを行う。そして、クラスタ統合部１２４は、クラスタを統合する際の階層構造情報１１５２を木構造として記録し、基礎クラスタ情報１１５１及び階層構造情報１１５２をクラスタ洗練部１２５へ出力する。すなわち、クラスタ統合部１２４は、基礎クラスタに属する各データの特徴量又はラベルの有無に基づいて、複数の基礎クラスタを階層化してクラスタの統合を行い、当該統合による階層構造を記録する。尚、基礎クラスタ構築部１２３又はクラスタ統合部１２４は、各基礎クラスタに対応する上述したノード情報を生成しているものとする。
　ここで、クラスタ統合部１２４は、各基礎クラスタについて所属するデータの特徴ベクトル又はラベルベクトルから、所定の距離尺度に基づいて、任意の２つの基礎クラスタの間での距離を算出する。そして、クラスタ統合部１２４は、距離が最も近い２つの基礎クラスタを統合して、１つの統合クラスタとする。このとき、クラスタ統合部１２４は、例えば、統合クラスタに対応する上述したノード情報を生成する。つまり、クラスタ統合部１２４は、統合クラスタに対応する新たなノードＩＤを生成し、統合する一方の基礎クラスタのクラスタＩＤ（ノードＩＤ）を左ノードＩＤ、他方の基礎クラスタのクラスタＩＤを右ノードＩＤとし、これらを対応付けてノード情報とする。
　そして、クラスタ統合部１２４は、クラスタが一つになるまでクラスタの統合を繰り返す。この間、上述の通り、クラスタ統合部１２４は、ノード情報を生成するため、階層構造情報１１５２を木構造として記録する。尚、クラスタ統合部１２４は、生成した階層構造情報１１５２をメモリ１３０又は記憶部１１０に記憶し、メモリ１３０又は記憶部１１０を介してクラスタ洗練部１２５へ受け渡しても良い。
　ここで、上述したクラスタ間の距離を算出する際の距離尺度には、様々なものを用いることができる。例えば、距離尺度は、クラスタに属する２点で最も近い点同士の距離、又は、最も遠い点同士の距離としてもよい。また、距離尺度は、クラスタ間の全ての点の距離の平均を用いてもよい。また、距離尺度は、クラスタ中心を計算し、それらの距離を用いてもよい。また、上述した距離には、コサイン距離やユークリッド距離など、様々なものを用いてよい。
　クラスタ洗練部１２５は、特徴行列１１１、ラベル行列１１２、基礎クラスタ情報１１５１及び階層構造情報１１５２を受け付け、統合後の１つのクラスタから、階層構造のうち所定の階層までクラスタを分割する。そして、クラスタ洗練部１２５は、Ｎ件のデータのそれぞれについて、分割したクラスタのいずれかに属するように、クラスタの割り当てを決定する。そして、クラスタ洗練部１２５は、決定したクラスタの割り当てをクラスタ割当情報１１５として記憶部１１０に保存又は外部へ出力する。ここで、クラスタ洗練部１２５は、記憶部１１０内の戻し条件１１６を参照し、階層構造情報１１５２からどの階層までをクラスタを分割するかを判定し、判定した階層まで統合クラスタを分割する。例えば、クラスタ洗練部１２５は、該当する階層より上の階層に相当するノード情報を削除してもよい。また、戻し条件１１６には様々な定義を用いることができる。例えば、戻し条件１１６は、統合クラスタを最上位の階層から分割すべき階層の位置、クラスタのサイズ（所属するデータの数）の最大値としてもよい。または、戻し条件１１６は、クラスタ内の密度としてもよい。ここで、密度には、特徴空間又はラベル空間上のいずれか、または、これら組み合わせを用いてもよい。
　図６は、本実施の形態２にかかるデータ分類支援方法の流れを説明するためのフローチャートである。まず、注目ラベル設定部１２２は、ラベル行列１１２から複数の注目ラベルを設定し、注目ラベル集合１１４として基礎クラスタ構築部１２３へ出力する（Ｓ１）。次に、基礎クラスタ構築部１２３は、注目ラベル集合１１４と特徴行列１１１又はラベル行列１１２を用いて、複数の基礎クラスタを構築する（Ｓ２）。そして、クラスタ統合部１２４は、各基礎クラスタのクラスタ中心を算出する（Ｓ３）。続いて、クラスタ統合部１２４は、クラスタ中心間の距離が最小である２つのクラスタを統合する（Ｓ４）。そして、クラスタ統合部１２４は、統合したクラスタの木構造上の位置関係を示す階層構造情報１１５２を更新する（Ｓ５）。そして、クラスタ統合部１２４は、統合後に残りのクラスタが１つか否かを判定する（Ｓ６）。残りのクラスタが２以上の場合、ステップＳ３からＳ５を再度実行し、統合後のクラスタが１つになるまで繰り返す。その後、統合後のクラスタが１つと判定された場合、クラスタ洗練部１２５は、木構造の最上位のクラスタ（統合後のクラスタ）から、戻し条件１１６を満たすクラスタを深さ優先で検索する（Ｓ７）。そして、クラスタ洗練部１２５は、全てのクラスタが戻し条件１１６を満たし、かつ、木構造の階層が最も浅くなるように、クラスタの分割を行う（Ｓ８）。
　続いて、具体例を用いて、本実施の形態２にかかるデータ分類支援システム１００の動作を説明する。ここでは、以下の設定で処理を行うものとする。
（１）注目ラベルを出現頻度によって定める。
（２）基礎クラスタには注目ラベルを持つデータのみを用いる。
（３）クラスタ中心はラベルベクトルの平均を用いる。
（４）クラスタ中心間の距離にはコサイン距離を用いる。
（５）戻し条件をクラスタに所属するデータの数とする。
　まず、処理対象となるラベル行列１１２は、以下であるものとする。
Figure JPOXMLDOC01-appb-M000001
 これに対して、上記（１）に基づき注目ラベル定義１１３を出現頻度が２以下のラベルと定義した場合、注目ラベル設定部１２２は、注目ラベル集合Ｚ＝｛５，６，７，８｝として設定する。この注目ラベル集合Ｚを用いて基礎クラスタを構成する。
　基礎クラスタ構築部１２３は、上記（２）に基づき基礎クラスタを構築するために、まず、注目ラベル集合Ｚ中の出現頻度の低いラベルから順にそのラベルを持つデータをクラスタに割り当てる。例えば、注目ラベル集合Ｚにおいては、注目ラベル８（出現頻度１）、注目ラベル５，６，７（出現頻度２）の順となる。そして、注目ラベル８に対応するクラスタ（グループ）にはデータ５（５行目のラベルベクトル）が割り当てられる。また、注目ラベル５に対応するクラスタにはデータ２及び７（２及び７行目のラベルベクトル）が割り当てられる。また、注目ラベル６に対応するクラスタにはデータ４及び６（４及び６行目のラベルベクトル）が割り当てられる。また、注目ラベル７に対応するクラスタにはデータ２及び３（２及び３行目のラベルベクトル）が割り当てられる。
　そして、注目ラベルを有する全てのデータをクラスタへと割り当てた後に、基礎クラスタ構築部１２３は、複数のクラスタの間で割り当てが重複しているデータが存在するかを確認する。そして、基礎クラスタ構築部１２３は、データが重複するクラスタが存在する場合は、それらのクラスタを統合し、一つの基礎クラスタとして構築する。この例の場合、注目ラベル５と注目ラベル７に対応する各クラスタには、データ２が重複する。そのため、基礎クラスタ構築部１２３は、注目ラベル５又は注目ラベル７のいずれか１つ以上を有するデータが所属する基礎クラスタとする。例えば、上述した基礎クラスタへの割当条件を注目ラベル５又は注目ラベル７のいずれか１つ以上を含むこと、とする。
　図７は、本実施の形態２にかかるクラスタ構成の階層構造の例を説明する図である。尚、基礎クラスタ構築部１２３の処理後では、基礎クラスタＣ１、Ｃ２及びＣ３が構築されたこととなる。
　続いて、クラスタ統合部１２４は、構築された複数の基礎クラスタを用いてクラスタの統合を行う。ここでは、上記（３）及び（４）に基づき、クラスタ統合部１２４は、クラスタ中心を各基礎クラスタに属しているデータのラベルベクトルの要素の平均とし、クラスタ中心間の距離を以下のコサイン距離で計算する。
Figure JPOXMLDOC01-appb-M000002
　そして、クラスタ統合部１２４は、全ての基礎クラスタについて一対の組ごとにクラスタ間のコサイン距離を算出する。そして、クラスタ統合部１２４は、算出した全てのコサイン距離の中で最小となる距離におけるクラスタ同士を統合する。そして、クラスタ統合部１２４は、統合後のクラスタと、他のクラスタのそれぞれとの間のコサイン距離を算出する。そして、クラスタ統合部１２４は、同様の条件でクラスタの統合を行い、統合後のクラスタが１つとなるまで繰り返す。
　この例の場合、クラスタ統合部１２４は、基礎クラスタＣ１及びＣ２間の距離、基礎クラスタＣ１及びＣ３間の距離、基礎クラスタＣ２及びＣ３間の距離をそれぞれ算出する。そして、上記３つの距離のうち、基礎クラスタＣ１及びＣ２間の距離が最小であるため、クラスタ統合部１２４は、基礎クラスタＣ１及びＣ２を統合し、統合クラスタＣ４を生成する。例えば、クラスタ統合部１２４は、統合クラスタＣ４に対応するノードＩＤ（Ｃ４）を発行し、左ノードＩＤをＣ１、右ノードＩＤをＣ２とし、Ｃ４、Ｃ１及びＣ２を対応付けてノード情報として生成する。それ故、統合クラスタＣ４の割当条件は、基礎クラスタＣ１又はＣ２のいずれかを満たすこととなる。そして、クラスタ統合部１２４は、統合クラスタＣ４及び基礎クラスタＣ３の距離を算出し、統合クラスタＣ４及び基礎クラスタＣ３を統合し、統合クラスタＣ５を生成する。その結果、図７のような木構造になる。
　その後、クラスタ洗練部１２５は、統合後のクラスタと木構造に基づき、戻し条件１１６を満たすようにクラスタを分割する。そして、クラスタ洗練部１２５は、戻し条件１１６を満たすまで、又は、全てが基礎クラスタになるまで行う。
　すなわち、クラスタ洗練部１２５は、上記（５）に基づき、クラスタに所属するデータの数となるクラスタを統合後のクラスタの最上位から深さ優先で検索する。例えば、戻し条件１１６におけるクラスタサイズを３とする。この例では、クラスタ洗練部１２５は、まず、最上位の階層Ｈにおける統合クラスタＣ５に所属するデータ数が６（データ２，３，４，５、６，７）であるため、１階層下の階層Ｈ＋１における統合クラスタＣ４及びＣ５をさらに検索する。そして、統合クラスタＣ４に所属するデータ数が３（データ４，５、６）、また、基礎クラスタＣ３に所属するデータ数が３（データ２，３，７）であるため、クラスタ洗練部１２５は、階層Ｈ＋１が戻し条件１１６を満たすと判定する。そこで、クラスタ洗練部１２５は、統合クラスタＣ５を階層Ｈ＋１まで分割する。つまり、統合クラスタＣ５を統合クラスタＣ４及び基礎クラスタＣ３まで戻す。そのため、クラスタ洗練部１２５は、データ４，５、６についてのクラスタの割り当てを統合クラスタＣ４、データ２，３，７についてのクラスタの割り当てを基礎クラスタＣ３として決定する。
　このように、本実施の形態では、例えば、出現頻度が相対的に小さいラベルを必ず同じ問題へと分割するように強制的なクラスタ割り当てを凝集型クラスタリングに導入し、データ分割を行うものである。そのため、出現頻度が相対的に小さいラベルに対する分類精度の悪化を引き起こす可能性を抑制できる。そして、出現頻度が相対的に低いラベルを持つデータが異なるクラスタへと割り当てされてしまうことを防ぐことができる。
　尚、通常の凝集型クラスタリング手法では、基礎クラスタが個別のデータを単位とするものであるが、本実施の形態では、１つ以上のデータを含むデータの集合を基礎クラスタの単位とするものである。
＜実施の形態３＞
　本実施の形態３は、上述した実施の形態２の改良例である。本実施の形態３にかかる情報処理装置又はデータ分類支援システムは、Ｍ種類の特徴量を有する任意の入力ベクトルデータを所定のクラスタに分類するための分岐関数を学習する学習部をさらに備えるものである。ここで、学習部は、Ｍ種類の特徴量を有するＮ件の特徴ベクトルと、前記決定されたクラスタの割り当てとを用いるものである。これにより、分類を高速に決定できる。
　図８は、本実施の形態３にかかるデータ分類支援システム１００ａの全体構成を示すブロック図である。データ分類支援システム１００ａは、上述したデータ分類支援システム１００を改良したものであり、プログラム１１７がプログラム１１７ａに置き換わり、記憶部１１０内に分岐関数１１８、制御部１２０内に分岐関数学習部１２６が追加されたものである。それ以外の構成は、図３と同等であるため、詳細な説明を省略する。
　プログラム１１７ａは、プログラム１１７の機能に加え、後述する分岐関数学習部１２６の処理が実装されたコンピュータプログラムである。分岐関数１１８は、Ｍ種類の特徴量を有する任意の特徴量ベクトルを引数とし、２つのクラスタのいずれかへの分岐を判定するための判定値を算出する関数である。分岐関数１１８は、例えば、二値分類器である。
　分岐関数学習部１２６は、特徴行列１１１と、クラスタ洗練部１２５により決定されたクラスタ割当情報１１５とを用いて、Ｍ種類の特徴量を有する任意の入力ベクトルデータを所定のクラスタに分類するための分岐関数を学習する学習部の一例である。つまり、分岐関数学習部１２６は、クラスタ統合部１２４で生成した木構造と、クラスタ洗練部１２５により決定されたクラスタの割り当てと、特徴行列１１１とを入力とし、クラスタへの割当を学習した複数の二値分類器を出力するものである。ここで、複数の二値分類器としては、ｆ１（ｘ）、・・・ｆｋ（ｘ）と記載するものとする。ここで、ｋは分岐数とし、階層構造に依存する。
　ここで、分岐関数学習部１２６は、まず、入力された木構造から、クラスタ洗練部１２５により最終的なクラスタとされた以外のクラスタを全て削除した木構造を生成する。次に、分岐関数学習部１２６は、各分岐に対して、分岐を決定するための二値分類器学習する。この学習には、分岐した後に属するデータの左側を正例、右側を負例として用いる。この二値分類器をすべての分岐に対して構築する。図９は、本実施の形態３にかかる学習される分岐関数の概念を説明する図である。これによって、テストデータの分類をどのクラスタで行えばよいかを高速に決定することができるようになる。尚、分岐関数学習部１２６に用いる二値分類器は様々なものを用いることができる。例えば、二値分類器は、線形回帰の形をとる分類器でもよいし、カーネルトリックを用いるカーネルＳＶＭ（Support Vector Machine）でもよい。
　図１０は、本実施の形態３にかかるデータ分類支援方法の流れを説明するためのフローチャートである。ここで、ステップＳ１からＳ８は、上述した図６と同様であるため、説明を省略する。そこで、ステップＳ８の後、分岐関数学習部１２６は、クラスタ洗練部１２５で得られたクラスタと、クラスタ統合部１２４で得られた木構造を用いて、統合されているクラスタと、分割されたクラスタを木構造から削除する（Ｓ９）。次に、分岐関数学習部１２６は、木構造の各分岐に対して、二値分類器を学習する（Ｓ１０）。そして、分岐関数学習部１２６は、分割されたクラスタ、及び、木構造、並びに、木構造の各分岐に対応する分岐関数を分割されたマルチラベル分類問題として出力する。
　続いて、具体例を用いて、本実施の形態３にかかるデータ分類支援システム１００ａの動作を説明する。ここでは、上述した実施の形態２の設定を用いるものとする。また、本実施の形態３では、上述した通りクラスタ洗練部１２５の処理までは実施の形態２と同様である。そのため、クラスタ洗練部１２５の処理結果として図７のような木構造が得られたものとする。
　本実施の形態３ではこれに引き続き、分岐関数学習部１２６は、分岐関数１１８について各分岐において学習を行う。具体的には、まず、最初の分岐に対してｆ１（ｘ）を学習する際に、ラベル６又はラベル８のいずれかを一つ以上有するデータを正例、ラベル５又はラベル７のいずれかを一つ以上有するデータを負例として二値分類器として学習する。同様に、次の分岐に対してｆ２（ｘ）を学習する際に、ラベル６を有し、かつ、ラベル８を有さないデータを正例、ラベル８を有し、かつ、ラベル６を有さないデータを負例として二値分類器として学習する。これにより、木構造を用いたテストデータの高速なクラスタ割り当てを可能とする。
＜実施の形態４＞
　本実施の形態４は、上述した実施の形態２とは異なる態様の実施例である。本実施の形態４にかかるデータ分類支援システムは、特徴行列及びラベル行列を記憶する記憶部が、注目ラベル設定部等とは別体となった構成である。
　図１１は、本実施の形態４にかかるデータ分類支援システム２００の全体構成を示すブロック図である。データ分類支援システム２００は、データ管理装置２１とデータ分類支援装置２２とを備える。そして、データ管理装置２１とデータ分類支援装置２２とは、ネットワークＮを介して通信可能に接続されている。データ管理装置２１は、１又は複数台のストレージサーバ等のコンピュータである。データ管理装置２１は、記憶部２１１と、通信部２１２とを備える。記憶部２１１は、ハードディスク、フラッシュメモリ等の記憶装置である。また、記憶部２１１は、特徴行列１１１と、ラベル行列１１２とを記憶する。但し、記憶部２１１は、特徴行列１１１又はラベル行列１１２のいずれか一方が記憶されたものであればよい。その場合、他方の行列データは、記憶部１１０に記憶されているものとする。通信部２１２は、ネットワークＮを介してデータ分類支援装置２２とデータの送受信を行う。通信部２１２は、データ分類支援装置２２からネットワークＮを介して特徴行列１１１及びラベル行列１１２の取得要求を受信する。この場合、通信部２１２は、記憶部２１１から特徴行列１１１及びラベル行列１１２を読み出し、ネットワークＮを介してデータ分類支援装置２２へ返信する。
　例えば、データ管理装置２１は、図示しない構成としてプロセッサ及びメモリを備えるものである。また、記憶部２１１には、所定のプログラムが記憶されている。当該所定のプログラムは、データ分類支援装置２２からの上記取得要求を受信した場合に、指定されたデータを記憶部２１１から読み出し、データ分類支援装置２２へ返信する処理が実装されているものとする。そして、当該プロセッサは、記憶部２１１から上記所定のプログラムを前記メモリへ読み込み、当該プログラムを実行する。これにより、前記プロセッサは、通信部２１２の機能を実現する。
　データ分類支援装置２２は、データ分類支援システム１００と比べて、プログラム１１７がプログラム１１７ｂに、入力取得部１２１が入力取得部１２１ａに、ＩＦ部１４０が通信部１４０ａに置き換わったものである。プログラム１１７ｂは、プログラム１１７と比べて特徴行列１１１及びラベル行列１１２の取得処理においてネットワークＮを介した処理に置き換わったものである。通信部１４０ａは、ＩＦ部１４０の機能に加え、制御部１２０からの指示に応じて、ネットワークＮを介してデータを送信し、また、ネットワークＮを介して受信したデータを制御部１２０へ出力する。
　入力取得部１２１ａは、データ管理装置２１に対してネットワークＮを介して、特徴行列１１１及びラベル行列１１２を指定した取得要求を送信する。そして、入力取得部１２１ａは、データ管理装置２１からネットワークＮを介して受信した特徴行列１１１及びラベル行列１１２を注目ラベル設定部１２２等へ出力する。
　以上のことから、本実施形態４は、上述した実施形態１及び２と同等の効果を奏することができる。さらに、本実施形態４にかかるデータ分類支援システム２００には、実施形態３の改良を適用することもできる。
＜その他の実施の形態＞
　尚、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではない。本開示は、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。
　上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、ＤＶＤ（Digital Versatile Disc）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施の形態を適宜組み合わせて実施されてもよい。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
　（付記Ａ１）
　Ｍ（Ｍは２以上の自然数。）種類の特徴量を有し、かつ、Ｌ（Ｌは２以上の自然数。）種類のラベルのそれぞれの有無が定義されたＮ（Ｎは２以上の自然数。）件のデータのうち一部を複数のグループのいずれかに割り当てるための複数の割当条件を設定する設定部と、
　前記Ｎ件のデータのうち、同一の前記割当条件に該当する２以上のデータを同一のグループに割り当てて、前記複数のグループに基づいて複数の基礎クラスタを構築する基礎クラスタ構築部と、
　前記複数の基礎クラスタに対して、クラスタの統合及び洗練を行い、前記Ｎ件のデータのそれぞれについてのクラスタの割り当てを決定するクラスタ割当部と、
　を備える情報処理装置。
　（付記Ａ２）
　前記設定部は、
　前記Ｌ種類のラベルのうち一部のラベルを有することを前記割当条件として設定する
　付記Ａ１に記載の情報処理装置。
　（付記Ａ３）
　前記設定部は、
　前記Ｎ件のデータ内でのラベルの出現頻度に基づいて、前記Ｌ種類のラベルのうち一部のラベルを注目ラベルとして選択し、当該注目ラベルの集合を前記割当条件として設定し、
　前記基礎クラスタ構築部は、
　前記Ｎ件のデータのうち、同一の前記注目ラベルが有と定義された２以上のデータを同一のグループに割り当てて、前記基礎クラスタを構築する
　付記Ａ２に記載の情報処理装置。
　（付記Ａ４）
　前記設定部は、
　前記Ｌ種類のラベルのそれぞれについて前記Ｎ件のデータ内でのラベルの出現頻度を算出し、
　前記Ｌ種類のラベルのうち前記出現頻度が大きい順で所定の順位より低いラベルを前記注目ラベルとして選択する
　付記Ａ３に記載の情報処理装置。
　（付記Ａ５）
　前記設定部は、
　前記Ｎ件のデータのそれぞれに対応し、かつ、前記Ｌ種類のラベルのそれぞれの有無を要素とするＮ件のラベルベクトルから算出した前記ラベルの出現頻度に基づいて、前記注目ラベルを選択し、
　前記基礎クラスタ構築部は、
　前記Ｎ件のラベルベクトルのうち同一の前記注目ラベルを有とした要素を有する２以上のラベルベクトルを、同一のグループに割り当てて、前記基礎クラスタを構築する
　付記Ａ３又はＡ４に記載の情報処理装置。
　（付記Ａ６）
　前記基礎クラスタ構築部は、前記Ｎ件のデータのうち特定のデータが２以上の前記割当条件に該当する場合、各割当条件に対応する異なる２以上のグループに当該特定データを割り当てて、各グループのそれぞれを前記基礎クラスタとして構築する
　付記Ａ１乃至Ａ５のいずれか１項に記載の情報処理装置。
　（付記Ａ７）
　前記基礎クラスタ構築部は、
　前記Ｎ件のデータのうち特定のデータについて、２以上のグループに割り当てられた場合、当該２以上のグループを統合して１の前記基礎クラスタとして構築する
　付記Ａ１乃至Ａ５のいずれか１項に記載の情報処理装置。
　（付記Ａ８）
　前記クラスタ割当部は、
　前記基礎クラスタに属する各データの前記特徴量又は前記ラベルの有無に基づいて、前記複数の基礎クラスタを階層化して前記クラスタの統合を行い、当該統合による階層構造を記録し、
　前記統合後のクラスタから、前記階層構造のうち所定の階層までクラスタを分割し、
　前記Ｎ件のデータのそれぞれについて前記分割したクラスタのいずれかに属するように、前記クラスタの割り当てを決定する
　付記Ａ１乃至Ａ７のいずれか１項に記載の情報処理装置。
　（付記Ａ９）
　前記Ｎ件のデータのそれぞれに対応し、かつ、前記Ｍ種類の特徴量を有するＮ件の特徴ベクトルと、前記決定されたクラスタの割り当てとを用いて、前記Ｍ種類の特徴量を有する任意の入力ベクトルデータを、所定のクラスタに分類するための分岐関数を学習する学習部をさらに備える
　付記Ａ１乃至Ａ８のいずれか１項に記載の情報処理装置。
　（付記Ａ１０）
　前記Ｍ種類の特徴量、前記Ｌ種類のラベル、及び、前記Ｎ件のデータのそれぞれは、百万以上である
　付記Ａ１乃至Ａ９のいずれか１項に記載の情報処理装置。
　（付記Ｂ１）
　Ｍ（Ｍは２以上の自然数。）種類の特徴量を有し、かつ、Ｌ（Ｌは２以上の自然数。）種類のラベルのそれぞれの有無が定義されたＮ（Ｎは２以上の自然数。）件のデータを記憶する記憶部と、
　前記記憶部に記憶された前記Ｎ件のデータのうち一部を複数のグループのいずれかに割り当てるための複数の割当条件を設定する設定部と、
　前記Ｎ件のデータのうち、同一の前記割当条件に該当する２以上のデータを同一のグループに割り当てて、前記複数のグループに基づいて複数の基礎クラスタを構築する基礎クラスタ構築部と、
　前記複数の基礎クラスタに対して、クラスタの統合及び洗練を行い、前記Ｎ件のデータのそれぞれについてのクラスタの割り当てを決定するクラスタ割当部と、
　を備えるデータ分類支援システム。
　（付記Ｂ２）
　前記設定部は、
　前記Ｌ種類のラベルのうち一部のラベルを有することを前記割当条件として設定する
　付記Ｂ１に記載のデータ分類支援システム。
　（付記Ｃ１）
　コンピュータが、
　Ｍ（Ｍは２以上の自然数。）種類の特徴量を有し、かつ、Ｌ（Ｌは２以上の自然数。）種類のラベルのそれぞれの有無が定義されたＮ（Ｎは２以上の自然数。）件のデータのうち一部を複数のグループのいずれかに割り当てるための複数の割当条件を設定し、
　前記Ｎ件のデータのうち、同一の前記割当条件に該当する２以上のデータを同一のグループに割り当てて、前記複数のグループに基づいて複数の基礎クラスタを構築し、
　前記複数の基礎クラスタに対して、クラスタの統合及び洗練を行い、前記Ｎ件のデータのそれぞれについてのクラスタの割り当てを決定する
　データ分類支援方法。
　（付記Ｄ１）
　Ｍ（Ｍは２以上の自然数。）種類の特徴量を有し、かつ、Ｌ（Ｌは２以上の自然数。）種類のラベルのそれぞれの有無が定義されたＮ（Ｎは２以上の自然数。）件のデータのうち一部を複数のグループのいずれかに割り当てるための複数の割当条件を設定する処理と、
　前記Ｎ件のデータのうち、同一の前記割当条件に該当する２以上のデータを同一のグループに割り当てて、前記複数のグループに基づいて複数の基礎クラスタを構築する処理と、
　前記複数の基礎クラスタに対して、クラスタの統合及び洗練を行い、前記Ｎ件のデータのそれぞれについてのクラスタの割り当てを決定する処理と、
　をコンピュータに実行させるデータ分類支援プログラム。
　１　情報処理装置
　１１　設定部
　１２　基礎クラスタ構築部
　１３　クラスタ割当部
　１００　データ分類支援システム
　１００ａ　データ分類支援システム
　１１０　記憶部
　１１１　特徴行列
　１１１１　特徴ベクトル
　１１１１１　特徴量
　１１１１Ｍ　特徴量
　１１１２　特徴ベクトル
　１１１Ｎ　特徴ベクトル
　１１２　ラベル行列
　１１２１　ラベルベクトル
　１１２１１　ラベルフラグ
　１１２１Ｌ　ラベルフラグ
　１１２２　ラベルベクトル
　１１２Ｎ　ラベルベクトル
　１１３　注目ラベル定義
　１１４　注目ラベル集合
　１１５　クラスタ割当情報
　１１５１　基礎クラスタ情報
　１１５１１　基礎クラスタ
　１１５１２　基礎クラスタ
　１１５２　階層構造情報
　１１５２１　ノード情報
　１１５２２　ノード情報
　１１６　戻し条件
　１１７　プログラム
　１１７ａ　プログラム
　１１８　分岐関数
　１２０　制御部
　１２１　入力取得部
　１２２　注目ラベル設定部
　１２３　基礎クラスタ構築部
　１２４　クラスタ統合部
　１２５　クラスタ洗練部
　１２６　分岐関数学習部
　１３０　メモリ
　１４０　ＩＦ部
　２００　データ分類支援システム
　２１　データ管理装置
　２１１　記憶部
　２１２　通信部
　Ｎ　ネットワーク
　２２　データ分類支援装置
　１１７ｂ　プログラム
　１２１ａ　入力取得部
　１４０ａ　通信部
　Ｃ１　基礎クラスタ
　Ｃ２　基礎クラスタ
　Ｃ３　基礎クラスタ
　Ｃ４　統合クラスタ
　Ｃ５　統合クラスタ

Claims (14)

  1. 　Ｍ（Ｍは２以上の自然数。）種類の特徴量を有し、かつ、Ｌ（Ｌは２以上の自然数。）種類のラベルのそれぞれの有無が定義されたＮ（Ｎは２以上の自然数。）件のデータのうち一部を複数のグループのいずれかに割り当てるための複数の割当条件を設定する設定部と、
    　前記Ｎ件のデータのうち、同一の前記割当条件に該当する２以上のデータを同一のグループに割り当てて、前記複数のグループに基づいて複数の基礎クラスタを構築する基礎クラスタ構築部と、
    　前記複数の基礎クラスタに対して、クラスタの統合及び洗練を行い、前記Ｎ件のデータのそれぞれについてのクラスタの割り当てを決定するクラスタ割当部と、
    　を備える情報処理装置。
  2. 　前記設定部は、
    　前記Ｌ種類のラベルのうち一部のラベルを有することを前記割当条件として設定する
    　請求項１に記載の情報処理装置。
  3. 　前記設定部は、
    　前記Ｎ件のデータ内でのラベルの出現頻度に基づいて、前記Ｌ種類のラベルのうち一部のラベルを注目ラベルとして選択し、当該注目ラベルの集合を前記割当条件として設定し、
    　前記基礎クラスタ構築部は、
    　前記Ｎ件のデータのうち、同一の前記注目ラベルが有と定義された２以上のデータを同一のグループに割り当てて、前記基礎クラスタを構築する
    　請求項２に記載の情報処理装置。
  4. 　前記設定部は、
    　前記Ｌ種類のラベルのそれぞれについて前記Ｎ件のデータ内でのラベルの出現頻度を算出し、
    　前記Ｌ種類のラベルのうち前記出現頻度が大きい順で所定の順位より低いラベルを前記注目ラベルとして選択する
    　請求項３に記載の情報処理装置。
  5. 　前記設定部は、
    　前記Ｎ件のデータのそれぞれに対応し、かつ、前記Ｌ種類のラベルのそれぞれの有無を要素とするＮ件のラベルベクトルから算出した前記ラベルの出現頻度に基づいて、前記注目ラベルを選択し、
    　前記基礎クラスタ構築部は、
    　前記Ｎ件のラベルベクトルのうち同一の前記注目ラベルを有とした要素を有する２以上のラベルベクトルを、同一のグループに割り当てて、前記基礎クラスタを構築する
    　請求項３又は４に記載の情報処理装置。
  6. 　前記基礎クラスタ構築部は、
    　前記Ｎ件のデータのうち特定のデータが２以上の前記割当条件に該当する場合、各割当条件に対応する異なる２以上のグループに当該特定データを割り当てて、各グループのそれぞれを前記基礎クラスタとして構築する
    　請求項１乃至５のいずれか１項に記載の情報処理装置。
  7. 　前記基礎クラスタ構築部は、
    　前記Ｎ件のデータのうち特定のデータについて、２以上のグループに割り当てられた場合、当該２以上のグループを統合して１の前記基礎クラスタとして構築する
    　請求項１乃至５のいずれか１項に記載の情報処理装置。
  8. 　前記クラスタ割当部は、
    　前記基礎クラスタに属する各データの前記特徴量又は前記ラベルの有無に基づいて、前記複数の基礎クラスタを階層化して前記クラスタの統合を行い、当該統合による階層構造を記録し、
    　前記統合後のクラスタから、前記階層構造のうち所定の階層までクラスタを分割し、
    　前記Ｎ件のデータのそれぞれについて前記分割したクラスタのいずれかに属するように、前記クラスタの割り当てを決定する
    　請求項１乃至７のいずれか１項に記載の情報処理装置。
  9. 　前記Ｎ件のデータのそれぞれに対応し、かつ、前記Ｍ種類の特徴量を有するＮ件の特徴ベクトルと、前記決定されたクラスタの割り当てとを用いて、前記Ｍ種類の特徴量を有する任意の入力ベクトルデータを、所定のクラスタに分類するための分岐関数を学習する学習部をさらに備える
    　請求項１乃至８のいずれか１項に記載の情報処理装置。
  10. 　前記Ｍ種類の特徴量、前記Ｌ種類のラベル、及び、前記Ｎ件のデータのそれぞれは、百万以上である
    　請求項１乃至９のいずれか１項に記載の情報処理装置。
  11. 　Ｍ（Ｍは２以上の自然数。）種類の特徴量を有し、かつ、Ｌ（Ｌは２以上の自然数。）種類のラベルのそれぞれの有無が定義されたＮ（Ｎは２以上の自然数。）件のデータを記憶する記憶部と、
    　前記記憶部に記憶された前記Ｎ件のデータのうち一部を複数のグループのいずれかに割り当てるための複数の割当条件を設定する設定部と、
    　前記Ｎ件のデータのうち、同一の前記割当条件に該当する２以上のデータを同一のグループに割り当てて、前記複数のグループに基づいて複数の基礎クラスタを構築する基礎クラスタ構築部と、
    　前記複数の基礎クラスタに対して、クラスタの統合及び洗練を行い、前記Ｎ件のデータのそれぞれについてのクラスタの割り当てを決定するクラスタ割当部と、
    　を備えるデータ分類支援システム。
  12. 　前記設定部は、
    　前記Ｌ種類のラベルのうち一部のラベルを有することを前記割当条件として設定する
    　請求項１１に記載のデータ分類支援システム。
  13. 　コンピュータが、
    　Ｍ（Ｍは２以上の自然数。）種類の特徴量を有し、かつ、Ｌ（Ｌは２以上の自然数。）種類のラベルのそれぞれの有無が定義されたＮ（Ｎは２以上の自然数。）件のデータのうち一部を複数のグループのいずれかに割り当てるための複数の割当条件を設定し、
    　前記Ｎ件のデータのうち、同一の前記割当条件に該当する２以上のデータを同一のグループに割り当てて、前記複数のグループに基づいて複数の基礎クラスタを構築し、
    　前記複数の基礎クラスタに対して、クラスタの統合及び洗練を行い、前記Ｎ件のデータのそれぞれについてのクラスタの割り当てを決定する
    　データ分類支援方法。
  14. 　Ｍ（Ｍは２以上の自然数。）種類の特徴量を有し、かつ、Ｌ（Ｌは２以上の自然数。）種類のラベルのそれぞれの有無が定義されたＮ（Ｎは２以上の自然数。）件のデータのうち一部を複数のグループのいずれかに割り当てるための複数の割当条件を設定する処理と、
    　前記Ｎ件のデータのうち、同一の前記割当条件に該当する２以上のデータを同一のグループに割り当てて、前記複数のグループに基づいて複数の基礎クラスタを構築する処理と、
    　前記複数の基礎クラスタに対して、クラスタの統合及び洗練を行い、前記Ｎ件のデータのそれぞれについてのクラスタの割り当てを決定する処理と、
    　をコンピュータに実行させるデータ分類支援プログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2018/015144 2018-04-10 2018-04-10 情報処理装置、データ分類支援システム及び方法、非一時的なコンピュータ可読媒体 WO2019198165A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/015144 WO2019198165A1 (ja) 2018-04-10 2018-04-10 情報処理装置、データ分類支援システム及び方法、非一時的なコンピュータ可読媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/015144 WO2019198165A1 (ja) 2018-04-10 2018-04-10 情報処理装置、データ分類支援システム及び方法、非一時的なコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2019198165A1 true WO2019198165A1 (ja) 2019-10-17

Family

ID=68164132

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/015144 WO2019198165A1 (ja) 2018-04-10 2018-04-10 情報処理装置、データ分類支援システム及び方法、非一時的なコンピュータ可読媒体

Country Status (1)

Country Link
WO (1) WO2019198165A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015232805A (ja) * 2014-06-10 2015-12-24 株式会社豊田自動織機 画像処理方法、画像処理装置、および画像処理プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015232805A (ja) * 2014-06-10 2015-12-24 株式会社豊田自動織機 画像処理方法、画像処理装置、および画像処理プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BHATIA, KUSH ET AL.: "Sparse Local Embeddings for Extreme Multi-label Classification", ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS 28, 2015, pages 1 - 9, XP055643906, Retrieved from the Internet <URL:http://papers.nips.cc/pager/5969-sparse-local-embeddings-for-extreme-multi-label-classification.pdf> [retrieved on 20180706] *
KAUR, NAVNEET, A COMBINATORIAL TWEET CLUSTERING METHODOLOGY UTILIZING INTER AND INTRA COSINE SIMILARITY, July 2015 (2015-07-01), pages 1 - 88, XP055643901, Retrieved from the Internet <URL:https://ourspace.uregina.ca/bitstream/handle/10294/6549/Kaur_Navneet_200331665_MASC_SSE_Fa112015.pdf> [retrieved on 20180706] *

Similar Documents

Publication Publication Date Title
Tao Deep neural network ensembles
Fulzele et al. A hybrid model for music genre classification using LSTM and SVM
JP6879433B2 (ja) 回帰装置、回帰方法、及びプログラム
Goo et al. Taxonomy-regularized semantic deep convolutional neural networks
US20210149924A1 (en) Clustering of data records with hierarchical cluster ids
CN111538766B (zh) 一种文本分类方法、装置、处理设备和票据分类系统
CN110708285B (zh) 流量监控方法、装置、介质及电子设备
JP2020101856A (ja) コンピュータ、構成方法、及びプログラム
JP2013054512A (ja) 識別情報付与プログラム及び識別情報付与装置
CN117546160A (zh) 使用机器学习模型的自动化数据层次结构提取和预测
US11657596B1 (en) System and method for cascading image clustering using distribution over auto-generated labels
Chugh et al. Data mining application in segmenting customers with clustering
KR102273867B1 (ko) 비지도학습방법론에 기인한 지도학습모델 생성 방법 및 그 장치와, 이를 이용한 비지도학습모델 해석 방법 및 그 장치
Haripriya et al. Multi label prediction using association rule generation and simple k-means
CN111126038B (zh) 信息获取模型生成方法、装置及信息获取方法、装置
WO2019198165A1 (ja) 情報処理装置、データ分類支援システム及び方法、非一時的なコンピュータ可読媒体
WO2016132683A1 (ja) クラスタリングシステム、方法およびプログラム
CN116186298A (zh) 信息检索方法和装置
JP2014085996A (ja) 多クラス識別器、データ識別装置、多クラス識別、データ識別方法、及びプログラム
JP2020027590A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
CN113762298B (zh) 相似人群扩展方法和装置
US20220222265A1 (en) Insight expansion in smart data retention systems
JP7292235B2 (ja) 分析支援装置及び分析支援方法
US11468065B2 (en) Information processing apparatus, information processing method, and non-transitory computer-readable recording medium
Chaitra et al. Bug triaging: right developer recommendation for bug resolution using data mining technique

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18914805

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18914805

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP