WO2010100701A1 - 学習装置、識別装置及びその方法 - Google Patents

学習装置、識別装置及びその方法 Download PDF

Info

Publication number
WO2010100701A1
WO2010100701A1 PCT/JP2009/006891 JP2009006891W WO2010100701A1 WO 2010100701 A1 WO2010100701 A1 WO 2010100701A1 JP 2009006891 W JP2009006891 W JP 2009006891W WO 2010100701 A1 WO2010100701 A1 WO 2010100701A1
Authority
WO
WIPO (PCT)
Prior art keywords
training
missing value
node
learning
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2009/006891
Other languages
English (en)
French (fr)
Inventor
武口智行
西浦正英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2011502512A priority Critical patent/JPWO2010100701A1/ja
Priority to US13/254,925 priority patent/US20120036094A1/en
Publication of WO2010100701A1 publication Critical patent/WO2010100701A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Definitions

  • the present invention relates to a learning technology for learning a decision tree as a classifier, and to a classification technology using the classifier.
  • Patent Document 1 discloses a technique for performing learning and discrimination of a classifier after complementing a missing value. Specifically, in Patent Document 1, the training sample itself which is originally unnecessary after learning of the classifier is saved for the missing value estimation processing, and the distance calculation between the training sample and the unknown sample is performed to perform the missing value estimation processing. I do.
  • Patent Document 2 and Non-Patent Document 1 disclose techniques for learning and identifying a classifier without complementing the missing value.
  • a representative case is created from a training sample assigned at the time of learning in each node of the decision tree, this representative case is stored in each node, and a branch condition is determined using a missing value at the time of identification. Calculate the distance between the unknown sample and the representative case.
  • Non-Patent Document 1 a method of ignoring a training sample for which a branch condition could not be evaluated and discarding it at the current node, and a method of passing a training sample for which a branch condition could not be evaluated to all child nodes Is disclosed.
  • JP 2008-234352 A Japanese Patent Application Laid-Open No. 6-96044
  • a learning apparatus acquires a plurality of training samples including a plurality of attributes and known classes, and provides a training sample acquiring unit to give to a root node of a decision tree for learning as a classifier;
  • the attribute corresponding to the branching condition for performing classification is not a missing value
  • a distribution unit that distributes the training sample to any of the plurality of child nodes according to the branching condition, and passes the training sample whose attribute is the missing value to any one of the plurality of child nodes
  • an end determination unit that generates the child nodes and distributes the training samples until an end condition is satisfied.
  • the identification device acquires an unknown sample including a plurality of attributes and an unknown class, and provides an unknown sample acquisition unit to be given to a root node of a decision tree which is a classifier learned by the learning device. And advancing the unknown sample to a leaf node with respect to the decision tree, wherein the attribute used as a branch condition in the parent node is not a missing value, and the unknown sample is any of a plurality of child nodes according to the branch condition.
  • a branch unit that distributes the unknown sample whose attribute is the defect value used in the branch condition to the child node to which the training data whose defect attribute is the defect value is passed during the learning; And an estimation unit configured to estimate the class of the unknown sample based on the class distribution of the unknown sample that has reached the leaf node.
  • FIG. 3 is a flowchart showing the operation of the first embodiment.
  • FIG. 7 is an explanatory view showing the distribution of training samples in the node of the first embodiment. Explanatory drawing which shows the decision tree of Example 1.
  • FIG. The block diagram of the learning apparatus of Example 2 of this invention. 6 is a flowchart showing the operation of the second embodiment.
  • the “sample” includes a "class” representing a classification and a plurality of "attributes”. For example, if it is a problem that classifies men and women, the class is a value for identifying men and women, and the attribute is a value used to identify men and women such as the collected height, weight, body fat percentage and the like.
  • a "training sample” is a sample collected to learn a classifier and the class is known.
  • the "unknown sample” is a sample whose attribute is obtained but whose class is unknown, and the identification process uses a classifier to estimate the class of the unknown sample.
  • the "missing value" indicates that the value of the attribute is unknown.
  • the learning apparatus 10 according to the first embodiment will be described with reference to FIGS. 1 to 4.
  • the learning device 10 learns a decision tree based classifier using a training sample including a missing value.
  • FIG. 1 is a block diagram of a learning device 10 of the present embodiment.
  • the learning device 10 includes, for example, a training sample acquisition unit 12, a generation unit 14, a distribution unit 16, an end determination unit 18, and a storage control unit 20.
  • a training sample the case where the attributes such as height, weight, and body fat percentage, and the male and female classified samples are used is taken as an example.
  • a single decision tree is used as a classifier to be learned by the learning device 10.
  • random forests random forests; see “Random Forests”, Machine Learning, vol. 45, pp. 5-32, 2001.
  • extremely randomized trees extreme randomized trees; It is more preferable to use Pierre Geurts, Damien Ernst and Louis Wehenkel, “Extremely randomized trees”, Machine Learning, vol. 36, number 1, pp. 3-42, 2001. See “Pierre Geurts”).
  • These constitute a classifier having a plurality of decision trees obtained by giving randomness when learning the decision tree. Note that these decision trees have higher discrimination ability than classifiers based on a single decision tree.
  • the operation state of the learning device 10 will be described with reference to FIGS. 2 and 3.
  • FIG. 2 is a flowchart showing an operation of a method in which the learning device 10 performs learning of a classifier.
  • FIG. 3 is an explanatory view showing the distribution of training samples in the current node.
  • step S1 the training sample acquisition unit 12 acquires a plurality of training samples from the outside, and gives them to the root node. Branch conditions are predetermined for each node below the root node.
  • Each training sample has n attributes ⁇ x 1 , x 2 ,..., X n ⁇ and class y is known.
  • Each attribute of each training sample has a continuous value, or a value indicating that it has discrete values or is a missing value.
  • the training sample may be stored in advance in the training sample acquisition unit 12.
  • step S2 the generation unit 14 generates two child nodes for the parent node including the root node. That is, as shown in FIG. 2, when the branching condition is determined to be x 2 > 61, there are two options of satisfying the branching condition or not if the existence of the missing value is ignored. Creates two child nodes.
  • the training sample passed to the parent node is roughly divided into three. First branch satisfies the training sample, the second training sample does not satisfy the branch condition, the third is a training sample attribute x 2 can not determine the branch condition for deficient used as a branch condition.
  • the branching condition is a condition for classification, and uses, for example, the degree of separation of classes of training samples, and uses an index such as information gain as the degree of separation.
  • This information gain is the information gain described in Pierre Geurts, and is referred to herein as an "evaluation value”. Then, the generation unit 14 tries a plurality of branch conditions, and determines a branch condition having the best evaluation value among them. This determines the attribute used as a branching condition.
  • step S3 the distribution unit 16 distributes the training sample satisfying the branching condition and the training sample not satisfying the branching condition to the corresponding child nodes.
  • step S4 the distribution unit 16 passes the training sample for which the branch condition could not be evaluated to one of the child nodes.
  • the order of the processes in step S3 and step S4 may be reversed.
  • step S5 the end determination unit 18 repeats this division recursively until the end condition is satisfied.
  • the following conditions are adopted as the termination condition.
  • the first condition is when the number of training samples included in the node is smaller than a predetermined number.
  • the second condition is that the depth of the tree structure is greater than a predetermined value.
  • the third condition is when the decrease in the index indicating the goodness of division is smaller than a predetermined value.
  • step S6 the storage control unit 20 stores the decision tree including each node learned as described above in the storage unit as a classifier.
  • all training samples that can not be evaluated due to the branching condition are passed to one child node.
  • distribution of training samples is performed according to another branching condition in a child node to which the training sample has been passed. Therefore, a training sample for which the branch condition could not be evaluated at the parent node can also learn the classification method by the subtree after the passed child node.
  • the number of judgments by the branch condition is small compared to the whole decision tree, it is preferable that the number of classes to be classified is small. For example, in the case of a two-class identification problem such as male or female or correct or incorrect, there is a possibility that even a small subtree can make either decision at a leaf node.
  • the dictionary can be configured with a storage area equivalent to a method that does not consider missing values.
  • Non-Patent Document 1 discloses a method of ignoring a training sample for which a branch condition could not be evaluated and discarding it at the current node. However, in this learning method, it is shown in the same document that the performance at the time of identification is not good.
  • Non-Patent Document 1 discloses a method of passing training samples for which branch conditions could not be evaluated to all child nodes.
  • this learning method the number of training samples to be passed to child nodes increases, and the entire decision tree becomes large. Therefore, the storage area of the decision tree becomes large, and the identification process also takes time.
  • the number of training samples to be passed to the child node does not increase, and learning can be performed using all the training samples. While constructing, it is possible to perform learning in consideration of missing values.
  • the learning device 10 is more preferable when there is a large deviation in class distribution of a training sample whose attribute is a missing value.
  • a training sample whose attribute is a missing value.
  • weight is used as an attribute in a gender identification problem.
  • the training sample in which the answer is not obtained but the value of the attribute of weight is deficient is mostly female, the fact that the attribute is deficient can be important information for identification. . Therefore, putting together the training samples having these missing values can contribute to the improvement of classification accuracy.
  • a training sample whose attribute used as a branch condition is a missing value is used as any one of child nodes passing a training sample whose attribute used as a branching condition is not a missing value.
  • the training sample the sample in which the attributes such as height, weight, body fat percentage and the like and gender are classified is used as the first specific example, but other training samples including defective values are used. Two specific examples will be described with reference to FIG.
  • face detection which detects a human face from the image 100 and estimates its position and posture will be described as an example.
  • the present embodiment is effective when learning this.
  • the first specific example is a preferable application example to the present embodiment for learning a training sample having a missing value in a subtree with a small additional storage area for handling the missing value of the attribute.
  • the third specific example is a case where a part is cut out from an image including an invalid area 202 in a part of the whole of an image 200 as shown in FIG.
  • the cut out partial image 204 includes an invalid area
  • an attribute obtained from the invalid part is treated as a missing value.
  • An ultrasound image will be described as an example.
  • the entire rectangular image 200 there are a fan-shaped portion 206 configured by the information of the ultrasonic beam and a portion 202 not scanned by the ultrasonic beam.
  • a part of the entire image 200 is cut out, and feature values ⁇ x 1 , x 2 ,..., X n ⁇ calculated from the luminance value and the luminance value of the pixels of the cut out image 204 are arranged in a line and one-dimensional vectorized Be an attribute. Since this is a string of attributes including a missing value, this embodiment is effective when learning this.
  • the image 200 may handle not only a two-dimensional image but also a three-dimensional image.
  • three-dimensional volume data can be obtained by modalities such as CT, MRI, and ultrasound imaging.
  • the position / posture estimation problem for a specific part or object uses the sample cut out at the correct position / posture as the correct sample, Two classes of learning are performed with samples cut out in postures as incorrect samples.
  • clipping is performed in three dimensions, the number of attributes is further increased as compared to a two-dimensional image. Therefore, the second specific example is a preferable application example to the present embodiment for learning a training sample having a missing value in a partial tree with a small additional storage area for handling the missing value of the attribute.
  • the learning device 10 according to the second embodiment will be described with reference to FIGS. 5 and 6.
  • the learning apparatus 10 not only distributes the training sample having the defect value described in the first embodiment, but also corrects the branch condition using the training sample having the defect value.
  • FIG. 5 is a block diagram of the learning device 10 of the second embodiment.
  • the learning device 10 includes a determination unit 22 in addition to, for example, the training sample acquisition unit 12, the generation unit 14, the distribution unit 16, the end determination unit 18, and the storage control unit 20 of the first embodiment. .
  • FIG. 6 is a flowchart showing the operation of the learning device 10 according to the present embodiment.
  • step S11 the training sample acquisition unit 12 acquires a plurality of training samples and gives them to the root node.
  • step S12 the determination unit 22 evaluates a branch condition defined by setting a threshold to an appropriate attribute.
  • the evaluation value in Example 1 is used as the degree of separation of the class of the training sample according to the branching condition set using the remaining training samples except for the training sample whose attribute is a missing value.
  • the branching conditions to be set be such that training samples can be separated for each class, and the number of training samples whose attribute used as a branching condition is a missing value is small. The reason is that it is possible to make the whole decision tree compact, and to reduce the storage area and the number of identification processes, by selecting a branch condition that allows more training samples to be correctly classified.
  • step S13 the determination unit 22 corrects the evaluation value so as to increase as the ratio of the training sample whose attribute used in the branching condition is not a missing value to the entire training sample assigned to the parent node increases.
  • step S14 the determination unit 22 tries a plurality of branch conditions, and among them, determines the one with the best corrected evaluation value H 'as the branch condition. This determines the attribute used as a branching condition.
  • step S15 the generation unit 14 generates, for the parent node including the root node, two child nodes to which a training sample whose attribute is not a missing value is passed based on the branching condition determined by the determination unit 22.
  • step S16 the distribution unit 16 distributes the training samples that are not missing values to the child nodes based on the branching condition.
  • step S17 the distribution unit 16 passes a training sample whose attribute used in the branch condition is a missing value to any one child node. Note that the order of the processes of step S16 and step S17 may be reversed.
  • step S18 the end determination unit 18 repeats this division recursively until the end condition is satisfied.
  • the termination condition is the same as step S5 of the first embodiment.
  • step S19 the storage control unit 20 stores each node of the decision tree learned as described above in the storage unit as a classifier.
  • the whole decision tree can be made smaller by selecting attributes with few training samples with missing values and with a good degree of class separation in the selection of branch conditions, reducing the storage area, identification processing Can be reduced.
  • selecting an attribute with few training samples having a missing value means reducing the number of training samples having a missing value in the attribute used in the branching condition.
  • a method of assigning a training sample to which a branch condition could not be evaluated as described in Non-Patent Document 1 to a special node only a small number of training samples assigned in a special child node It is necessary to create a subtree after that, and learning tends to be unstable. Therefore, the ability to discriminate against unknown samples having missing values in the same attribute is impaired.
  • the learning apparatus 10 according to the present embodiment even if the number of training samples having a missing value is small for the attribute used in the branching condition, the subsequent learning can be progressed together with the training sample having no missing value, and learning is stable. Do.
  • the learning apparatus 10 it is possible to learn an effective decision tree by selecting a branch condition using an attribute that has good class separation and few samples with missing values.
  • the learning device 10 it is necessary to reduce the number of training samples in which the attribute used as the branching condition has a missing value, and the child node in combination with the training sample in which the attribute used as the branching condition is not the missing value. By advancing the learning in, it is possible to avoid the instability of learning caused by the small number of training samples.
  • the learning device 10 of the third embodiment will be described.
  • the training sample acquisition unit 12 stores that the attribute of the training sample is a missing value in the value of the attribute.
  • step S3 and step S4 in the first embodiment can be performed simultaneously.
  • the attribute x has a value of 0 to 100
  • the branching condition is x> 50
  • the training sample in which x is a missing value is passed to the same child node as the training sample satisfying x> 50. If a value smaller than the range is regarded as a missing value in all the attributes, a training sample in which the attribute used in the branch condition is a missing value is always passed to a child node in a predetermined direction.
  • the learning device 10 of the fourth embodiment will be described.
  • the distribution unit 16 stores, in the parent node, a child node to which a training sample whose attribute used in the branch condition is a missing value is passed. By storing this information, it is possible to control the direction of the child node passing the training sample which is a missing value for each node.
  • step S3 if the distributing unit 16 passes a training sample having a missing value to a child node with a smaller number of training samples passed to the child node, only a specific branch is prevented from growing. It is possible to learn a well-balanced decision tree.
  • the distribution unit 16 compares the class distribution of the training sample passed to the child node with the class distribution of the training sample having the missing value, and delivers the training sample having the missing value to the near child node of the class distribution. For example, the growth of subsequent branches can be reduced.
  • the training sample having the missing value is passed at each node can be stored with only one value, the training sample having the missing value is increased with a slight increase in the storage area. We can learn the decision tree considered.
  • a discrimination device 24 using a classifier learned by the learning device 10 of the first embodiment will be described with reference to FIGS. 7 and 8.
  • FIG. 7 is a block diagram of the identification device 24 of this embodiment.
  • the identification device 24 includes an unknown sample acquisition unit 26, a branch unit 28, and an estimation unit 30.
  • step S21 the unknown sample acquisition unit 26 acquires an unknown sample for which class estimation is to be performed from the outside, and gives it to a root node of a decision tree which is a classifier learned by the learning device 10 of the first embodiment.
  • step S22 the branching unit 28 advances the unknown sample from the root node to the leaf nodes in order according to the branching condition with respect to the decision tree. That is, an unknown sample whose attribute used as a branch condition in the parent node is not a missing value is distributed to any of a plurality of child nodes according to the branch condition. Further, when the attribute used in the branch condition in the parent node is a missing value in the unknown sample, the child node to which the training data for which the attribute was a missing value was passed during learning in the learning device 10 of the first embodiment. Advance unknown samples.
  • step S23 the estimation unit 30 estimates the class of the unknown sample based on the class distribution of the unknown sample that has reached the leaf node of the decision tree.
  • class estimation is performed with high accuracy because the unknown sample is advanced in the direction in which the training sample in which the same attribute as the learning in the learning device 10 is a missing value has advanced. Can.
  • the class estimation of an unknown sample can be performed by using the same discrimination device 24 as described above.
  • the branching unit 28 of the identification device 24 performs processing by adding a value outside the attribute value range to the missing value of the unknown sample as well as learning.
  • sorting by a branch condition by a missing value it is possible to automatically advance an unknown sample in the direction in which the training sample having the missing value has advanced.
  • a discrimination device 24 using a classifier learned by the learning device 10 of the fourth embodiment will be described.
  • the branching unit 28 can advance the unknown sample in the direction of the designated child node when distributing the branch conditions based on the missing value.
  • the learning device 10 and the identification device 24 of the eighth embodiment will be described.
  • the distribution unit 16 of the learning device 10 of this embodiment stores, in the parent node, missing value presence / absence information indicating that there is no training sample whose attribute used in the branching condition is a missing value.
  • the branch condition of each parent node is used to determine the direction of a child node to which the unknown sample is to be forwarded. If the attribute used for the branching condition is a missing value in the unknown sample, the training sample whose attribute is the missing value should go to the child node passed. However, if there is missing value presence / absence information indicating that there is no training sample having a missing value at the time of learning in this parent node, there is a high possibility that the branching condition of the unknown sample is not correctly distributed in that parent node. .
  • the attribute used in the branch condition in the parent node is the missing value in the unknown sample, and there is no training sample having the missing value in that node from the missing value presence / absence information If you know, add the following process.
  • the unknown sample is advanced to all the child nodes, and the class distribution in all the leaf nodes reached is integrated to estimate the class of the unknown sample. Since there is no guideline for which child node to proceed with an unknown sample, going to all child nodes leads to an improvement in identification accuracy since identification processing can be performed using all subtrees beyond that. It can also indicate that label estimation of unknown samples is likely to fail.
  • the present invention is not limited to the above-described embodiment as it is, and at the implementation stage, the constituent elements can be modified and embodied without departing from the scope of the invention.
  • various inventions can be formed by appropriate combinations of a plurality of constituent elements disclosed in the above embodiments. For example, some components may be deleted from all the components shown in the embodiments. Furthermore, the components in different embodiments may be combined as appropriate.
  • the generation unit 14 of the learning device in each of the above embodiments generates two child nodes for one parent node
  • the present invention is not limited to this and three or more child nodes may be generated.
  • the learning device 10 and the identification device 24 can also be realized, for example, by using a general-purpose computer as basic hardware. That is, the configuration of each part of the learning device 10 and the identification device 24 can be realized by causing a processor mounted on the above computer to execute a program. At this time, the functions of the respective units of the learning device 10 and the identification device 24 may be realized by installing the above program in a computer in advance, or may be stored in a storage medium such as a CD-ROM or via a network. The above program may be distributed and implemented by installing this program on a computer as appropriate.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

　学習装置は、複数の属性と既知のクラスとを含む訓練サンプルを複数取得し、識別器として学習するための決定木のルートノードに与え、前記決定木の親ノードから複数の子ノードを生成し、複数の前記訓練サンプルのうち、前記決定木の親ノードにおいて、クラス分けをするための分岐条件に対応する前記属性が欠損値ではない前記訓練サンプルを、前記分岐条件に従って前記複数の子ノードのいずれかに振り分け、前記属性が前記欠損値である前記訓練サンプルを、前記複数の子ノードのいずれか一つの前記子ノードに渡し、終了条件を満たすまで前記子ノードの生成と前記訓練サンプルの振り分けを行う。

Description

学習装置、識別装置及びその方法
　本発明は、決定木を識別器として学習する学習技術、及び、その識別器を用いた識別技術に関する。
　従来より、欠損値を持つ訓練サンプルを用いた識別器の学習方法及びその識別器を用いた識別方法がある。
　特許文献１は、欠損値を補完した上で識別器の学習と識別を行う技術を開示している。具体的には、特許文献１では、欠損値推定処理のために識別器の学習後は本来不要な訓練サンプル自体を保存しておき、欠損値推定処理を行うため訓練サンプルと未知サンプルの距離計算を行う。
　これに対し、特許文献２及び非特許文献１は、欠損値を補完しないで識別器の学習と識別を行う技術をそれぞれ開示している。特許文献２では、決定木の各ノードにおいて学習時に割り当てられた訓練サンプルから代表事例を作成し、この代表事例を各ノードにおいて保存し、識別時において欠損値を用いた分岐条件判定の際に、未知サンプルと代表事例との距離計算を行う。非特許文献１では、分岐条件を評価できなかった訓練サンプルを無視して現在のノードで捨ててしまう方法と、分岐条件を評価できなかった訓練サンプルを全ての子ノードに対してそれぞれ渡す方法とが開示されている。
特開２００８－２３４３５２号公報 特開平６－９６０４４号公報
J. R. Quinlan, "Unknown attribute values in induction", Proceedings of the 6ｔｈ International Workshop on Machine Learning, 1989.
　しかしながら、従来の欠損値を補完する方法では、補完精度が最終結果に重要な影響を及ぼすため、補完処理のための記憶領域と補完処理コストの大幅な増加が伴う。欠損値を補完しない方法であっても、記憶領域の増加や処理速度が重視される識別時の処理コストの増加が避けられない。
　本発明の一態様に係る学習装置は、複数の属性と既知のクラスとを含む訓練サンプルを複数取得し、識別器として学習するための決定木のルートノードに与える訓練サンプル取得部と、前記決定木の親ノードから複数の子ノードを生成する生成部と、複数の前記訓練サンプルのうち、前記決定木の親ノードにおいて、クラス分けをするための分岐条件に対応する前記属性が欠損値ではない前記訓練サンプルを、前記分岐条件に従って前記複数の子ノードのいずれかに振り分け、前記属性が前記欠損値である前記訓練サンプルを、前記複数の子ノードのいずれか一つの前記子ノードに渡す振り分け部と、終了条件を満たすまで前記子ノードの生成と前記訓練サンプルの振り分けを行う終了判定部と、備える。
　また、本発明の一態様に係る識別装置は、複数の属性と未知のクラスとを含む未知サンプルを取得し、前記学習装置で学習した識別器である決定木のルートノードに与える未知サンプル取得部と、前記未知サンプルを、前記決定木に対してリーフノードまで進めるものであって、親ノードにおける分岐条件として用いる属性が欠損値ではない前記未知サンプルを、前記分岐条件に従って複数の子ノードのいずれかに振り分け、前記分岐条件で用いる前記属性が前記欠損値である前記未知サンプルを、前記学習時に、前記属性が欠損値である前記訓練データが渡された前記子ノードに進める分岐部と、前記リーフノードに至った前記未知サンプルのクラス分布により、前記未知サンプルのクラスを推定する推定部と、を備える。
　欠損値を持つサンプルであっても、識別処理のコストと記憶領域の増加を抑えることができる。
本発明の実施例１の学習装置のブロック図。 実施例１の動作を示すフローチャート。 実施例１のノードにおける訓練サンプルの振り分けを示す説明図。 実施例１の決定木を示す説明図。 本発明の実施例２の学習装置のブロック図。 実施例２の動作を示すフローチャート。 本発明の実施例５の識別装置のブロック図。 実施例５の識別装置のフローチャート。 訓練サンプルの第２の具体例に関する説明図。 訓練サンプルの第３の具体例に関する説明図。
　本発明の実施例について説明する前に、本実施例の説明で使われる用語の定義を行う。
　「サンプル」とは、分類を表す「クラス」と、複数の「属性」とを含む。例えば、男女を分類する問題であれば、クラスとは男女を識別するための値であり、属性とは収集した身長、体重、体脂肪率などの男女を識別するために用いる値である。
　「訓練サンプル」とは、識別器を学習するために収集されたサンプルでありクラスは既知である。
　「未知サンプル」とは、属性は得られているがクラスが未知のサンプルであり、識別処理では識別器を使って未知サンプルのクラスを推定する。
　「欠損値」とは、属性の値が不明であることを示す。
　実施例１の学習装置１０について、図１～図４を参照して説明する。本実施例の学習装置１０は、欠損値を含む訓練サンプルを用いた決定木に基づく識別器を学習する。
　図１は、本実施例の学習装置１０のブロック図である。
　図１に示すように学習装置１０は、例えば、訓練サンプル取得部１２、生成部１４、振り分け部１６、終了判定部１８、記憶制御部２０とを有する。訓練サンプルとしては、身長、体重、体脂肪率などの属性と男女のクラス付けされたサンプルを用いる場合を例に挙げる。
　学習装置１０で学習する識別器としては、単一の決定木を用いる。また、識別器としては、ランダムフォレスト（random forests；Leo Breiman, 「RandomForests」, Machine Learning, vol. 45, pp.5-32, 2001.参照）、又は、エクストリームリーランダマイズドツリーズ（extremely randomized trees；Pierre Geurts, Damien Ernst and Louis Wehenkel, 「Extremely randomized trees」, Machine Learning, vol. 36, number 1, pp.3-42, 2001.参照、以下、「Pierre Geurts」という）を用いるとさらに好適である。これらは決定木の学習時に、ランダム性を持たせることによって得られる複数の決定木を有する識別器を構成する。なお、これらの決定木は、単一の決定木による識別器よりも識別能力が高い。
　学習装置１０の動作状態について図２と図３を参照して説明する。
　図２は、学習装置１０が、識別器の学習を行う方法の動作を示すフローチャートである。
　図３は、現在のノードにおける訓練サンプルの振り分けを示す説明図である。
　ステップＳ１では、訓練サンプル取得部１２は、図３に示すように、複数の訓練サンプルを外部から取得し、ルートノードに与える。ルートノード以下の各ノードには、分岐条件が予め定められている。各訓練サンプルは｛ｘ１，ｘ２，・・・，ｘｎ｝のｎ個の属性を持ち、クラスｙは既知である。各訓練サンプルの各属性は連続値、又は、離散値を持つか、もしくは欠損値であることを示す値を持っている。なお、訓練サンプルは、訓練サンプル取得部１２に予め記憶していてもよい。
　ステップＳ２では、生成部１４は、前記ルートノードを含む親ノードに対して子ノードを２つ生成する。すなわち、図２に示すように、分岐条件がｘ２＞６１と定められたとき、欠損値の存在を無視すれば、分岐条件を満たすか満たさないかの２つの選択肢があるので、生成部１４は子ノードを２つ生成する。しかし、実際には親ノードに渡された訓練サンプルは大きく３つに分けられる。第１は分岐条件を満たす訓練サンプル、第２は分岐条件を満たさない訓練サンプル、第３は分岐条件として用いる属性ｘ２が欠損しているため分岐条件を判断できない訓練サンプルである。ここで、分岐条件は、クラス分けをするための条件であり、例えば、訓練サンプルのクラスの分離度合を用い、この分離度合いとしては、information gainなどの指標を用いる。このinformation gainは、Pierre Geurtsに記載されたinformation gainであり、本明細書では「評価値」という。そして、生成部１４は、複数の分岐条件を試行し、それらの中で評価値が最も良いものを分岐条件として定める。これによって分岐条件として用いる属性が決定される。
　ステップＳ３では、振り分け部１６は、分岐条件を満たす訓練サンプルと、分岐条件を満たさない訓練サンプルをそれぞれ対応する子ノードに振り分ける。
　ステップＳ４では、振り分け部１６は、分岐条件を評価できなかった訓練サンプルをどちらか一方の子ノードに渡す。なお、ステップＳ３とステップＳ４の処理の順番は逆でもよい。
　ステップＳ５では、終了判定部１８は、以下、再帰的に終了条件を満たすまでこの分割を繰り返す。終了条件としては、次の条件を採用する。第１の条件は、ノードに含まれる訓練サンプルの数が予め定めておいた数よりも小さいときである。第２の条件は、木構造の深さが予め定めておいた値よりも大きいときである。第３の条件は、分割の良さを表す指標の減少が予め定めておいた値よりも小さいときである。
　ステップＳ６では、記憶制御部２０が、上記のように学習した各ノードから構成される決定木を識別器として記憶部に記憶させる。
　上記学習装置１０の効果について説明する。
　本実施例の学習装置１０では、分岐条件によって評価できなかった訓練サンプルは、一つの子ノードに全て渡される。図４に示すように、親ノードにおいて訓練サンプルの振り分けが終わった後、訓練サンプルが渡された子ノードにおいて別の分岐条件により訓練サンプルの振り分けを行う。そのため、親ノードにおいて分岐条件を評価できなかった訓練サンプルも、渡された子ノード以降の部分木によって分類方法を学習することができる。なお、部分木は決定木全体と比べれば分岐条件による判断回数が少ないため、分類すべきクラスの種類が少ない方が好適である。例えば、男か女か、正解か非正解か、などの２クラスの識別問題であれば、小さな部分木でもリーフノードにおいてどちらの判断も下せる可能性が残るからである。
　また、本実施例の学習装置１０では、特許文献１に記載の欠損値を補完する方法や、特許文献２に記載の代表例で判断する方法など、分岐条件以外に識別に必要な情報を記憶しておく必要がないため、欠損値を考慮しない方法と同等の記憶領域で辞書を構成することができる。
　また、非特許文献１には、分岐条件を評価できなかった訓練サンプルを無視して現在のノードで捨ててしまう方法が開示されている。しかし、この学習方法では、識別時の性能が良くないということが同文献に示されている。
　また、非特許文献１には、分岐条件を評価できなかった訓練サンプルを全ての子ノードに対してそれぞれ渡す方法が開示されている。しかし、この学習方法では、子ノードに渡す訓練サンプル数が増加して決定木全体が大きくなる。そのため、決定木の記憶領域が大きくなり、識別処理にも時間がかかる。本実施例の学習装置１０では、子ノードに渡す訓練サンプル数が増加することがなく、また、すべての訓練サンプルを使って学習できるため、欠損値を考慮しない方法と同等の記憶領域で辞書を構成しながら、欠損値を考慮した学習を行うことができる。
　また、本実施例の学習装置１０は、ある属性が欠損値である訓練サンプルのクラス分布に大きな偏りがある場合には、より好適である。例えば、男女の識別問題で、体重を属性とした場合とする。このとき、回答が得られず体重という属性の値が欠損している訓練サンプルは女性のものがほとんどであるとすると、その属性が欠損していること自体が識別のために重要な情報となり得る。そのため、これら欠損値をもつ訓練サンプルを一つにまとめておくのは、分類の精度向上に寄与できる。
　このように、本実施例の学習装置１０によれば、分岐条件として用いる属性が欠損値である訓練サンプルを、分岐条件として用いる属性が欠損値でない訓練サンプルを渡す子ノードのいずれか一つに対して全て渡すことで、欠損値を考慮しない学習方法で生成される決定木と同様の構成で識別能力の高い決定木を学習することができる。
　上記実施例では、訓練サンプルとして、身長、体重、体脂肪率などの属性と男女のクラス付けされたサンプルを第１の具体例として用いたが、これ以外の、欠損値を含む訓練サンプルの第２の具体例について図９を参照して説明する。
　図９に示すように、画像１００の全体の一部を切り出す場合、切り出し画像１０２が画像１００の外にはみ出てしまうと、その画像外の部分１０４には情報がないため、値を得ることができない。よって、この画像外の部分１０４に対応する属性を欠損値とする。
　以下では、画像１００中から人間の顔を検出し、その位置と姿勢を推定するような顔検出を例として説明する。
　この顔検出では、画像１００の全体から一部を切り出し、切り出した画像１０２の画素の輝度値や、輝度値から計算される勾配などの特徴量｛ｘ１，ｘ２，・・・，ｘ２５｝を一列に並べて１次元ベクトル化することによって、この切り出し画像１０２に顔の有無を判断する。
　画像外の部分１０４を含むように切り出した画像１０２は、欠損値を含む属性の列となるため、これを学習する際には本実施例が有効となる。
　また、このような顔検出では、顔・非顔のサンプルを集めて２クラスの分類を行う識別器を学習することとなり、属性の数は切り出し画素数に応じて多くなる。したがって、第１の具体例は、属性の欠損値を扱う追加の記憶領域が少なく、部分木で欠損値を持つ訓練サンプルの学習を行う本実施例には好適な応用例である。
　なお、この第１の具体例の訓練サンプルを用いた場合には、後から説明する未知サンプルも同様の画像を用いる。
　欠損値を含む訓練サンプルの第３の具体例について図１０を参照して説明する。
　第３の具体例は、図１０に示すように、画像２００の全体の一部に無効な領域２０２を含む画像から一部を切り出す場合である。この切り出し部分画像２０４に無効な領域を含む場合、その無効部分から得られる属性を欠損値として扱う。
　超音波画像を例として説明する。
　矩形の画像２００全体は、超音波ビームの情報によって構成された扇型の部分２０６と、超音波ビームが走査されていない部分２０２とが存在する。画像２００全体から一部を切り出し、切り出した画像２０４の画素の輝度値や輝度値から計算される特徴量｛ｘ１，ｘ２，・・・，ｘｎ｝を一列に並べて１次元ベクトル化した属性とする。これは、欠損値を含む属性の列となるため、これを学習する際には本実施例が有効となる。
　なお、画像２００は２次元画像だけでなく、３次元画像を扱っても良い。医用分野において、ＣＴ、ＭＲＩ、超音波画像などのモダリティでは３次元のボリュームデータが得られる。特定部位や物体の位置・姿勢推定問題（例えば左心室中心を中心とし、心尖方向と右心室方向を特定する問題）は、正しい位置・姿勢で切り出されたサンプルを正解サンプルとし、間違った位置・姿勢で切り出されたサンプルを非正解サンプルとして２クラスの学習を行う。切り出しを３次元で行った場合は２次元画像に比べて属性数がさらに多くなる。したがって、第２の具体例は、属性の欠損値を扱う追加の記憶領域が少なく、部分木で欠損値を持つ訓練サンプルの学習を行う本実施例には好適な応用例である。
　なお、この第２の具体例の訓練サンプルを用いた場合には、後から説明する未知サンプルも同様の画像を用いる。
　実施例２の学習装置１０について図５と図６を参照して説明する。
　本実施例の学習装置１０は、実施例１で説明した欠損値をもつ訓練サンプルの振り分けだけでなく、それに加えて欠損値をもつ訓練サンプルを用いた分岐条件の補正も行う。
　図５は、実施例２の学習装置１０のブロック図である。
　図５に示すように、学習装置１０は、例えば、実施例１の訓練サンプル取得部１２、生成部１４、振り分け部１６、終了判定部１８、記憶制御部２０に加えて、決定部２２を有する。
　学習装置１０の動作状態について図６を参照して説明する。図６は、本実施例に係わる学習装置１０の動作を示すフローチャートである。
　ステップＳ１１では、訓練サンプル取得部１２は、複数の訓練サンプルを取得し、ルートノードに与える。
　ステップＳ１２では、決定部２２は、適当な属性に閾値を設定することにより定められる分岐条件の評価を行う。属性が欠損値である訓練サンプルを除き、残りの訓練サンプルを用いて設定した分岐条件により、訓練サンプルのクラスの分離度合として、実施例１における評価値を用いる。ここで、設定する分岐条件は、訓練サンプルをクラス毎に分離でき、かつ、分岐条件として用いる属性が欠損値である訓練サンプルが少ない方が良い。その理由は、より多くの訓練サンプルが正しく分類できる分岐条件を選択した方が、決定木全体をコンパクトにすることができ、記憶領域の削減、識別処理の削減が達成できるからである。
　ステップＳ１３では、決定部２２は、分岐条件で用いる属性が欠損値でない訓練サンプルが親ノードに割り当てられた訓練サンプル全体に占める割合が大きい程、評価値を上げるように補正する。具体的には、上記の割合で評価値を重み付けする方法などが考えられる。評価値をＨ、属性が欠損値でない訓練サンプルの数をａ、属性が欠損値である訓練サンプルの数をｂとすると、補正した評価値Ｈ’＝ａ／（ａ＋ｂ）＊Ｈとする。
　ステップＳ１４では、決定部２２は、複数の分岐条件を試行し、それらの中で上記の補正した評価値Ｈ’が最も良いものを分岐条件として定める。これによって分岐条件として用いる属性が決定される。
　ステップＳ１５では、生成部１４は、前記ルートノードを含む親ノードに対して、決定部２２で決定された分岐条件に基づいて、属性が欠損値でない訓練サンプルを渡す子ノードを２つ作成する。
　ステップＳ１６では、振り分け部１６は、欠損値でない訓練サンプルを子ノードに分岐条件に基づいて振り分ける。
　ステップＳ１７では、振り分け部１６は、分岐条件で用いる属性が欠損値である訓練サンプルをいずれか一つの子ノードに渡す。なお、ステップＳ１６とステップＳ１７の処理の順番は逆でもよい。
　ステップＳ１８では、終了判定部１８は、以下、再帰的に終了条件を満たすまでこの分割を繰り返す。終了条件は、実施例１のステップＳ５と同様である。
　ステップＳ１９では、記憶制御部２０が、上記のように学習した決定木の各ノードを識別器として記憶部に記憶させる。
　本実施例の学習装置１０の効果について説明する。
　分岐条件の選択において、できるだけ欠損値を持つ訓練サンプルの少ない属性で、かつ、クラスの分離度合が良い属性を選択することによって、決定木全体を小さくすることができ、記憶領域の削減、識別処理の削減ができる。
　一方、欠損値を持つ訓練サンプルの少ない属性が選択されることは、分岐条件で用いる属性が欠損値を持つ訓練サンプルの数を少なくすることを意味する。ここで、非特許文献１に記載されているような分岐条件を評価できなかった訓練サンプルを特別なノードに割り当てる方法をとる場合は、特別な子ノードにおいて、割り当てられた少数の訓練サンプルのみで以降の部分木を作る必要があり、学習が不安定となりやすい。そのため、同じ属性に欠損値を持つ未知サンプルに対する識別能力が損なわれる。しかし、本実施例の学習装置１０では、分岐条件で用いる属性が欠損値を持つ訓練サンプルが少数であっても、欠損値でない訓練サンプルと合わせて以降の学習を進めることができるため学習が安定する。
　このように本実施例に係わる学習装置１０によれば、クラス分離が良く、かつ、欠損値を持つサンプルが少ない属性を使った分岐条件を選択することにより、効果的な決定木を学習できる。
　また、本実施例に係わる学習装置１０によれば、分岐条件として用いる属性が欠損値を持つ訓練サンプルを少なくなくすることと、分岐条件として用いる属性が欠損値でない訓練サンプルと合わせて、子ノードでの学習を進めることにより、訓練サンプルが少数であることに起因する学習の不安定性を回避できる。
　実施例３の学習装置１０について説明する。
　本実施例の学習装置１０では、訓練サンプル取得部１２において、訓練サンプルの属性が欠損値であることを属性の値に記憶させる。
　属性において、欠損値ではない値の値域が既知の場合、値域より小さい値を欠損値であるとすれば、実施例１におけるステップＳ３とステップＳ４の処理を同時に行うことができる。
　例えば、属性ｘが０から１００までの値をとることがわかっている場合に、ｘがマイナスの値を持つ場合は欠損値であると定義しておく。これにより分岐条件がｘ＞５０とすると、ｘが欠損値である訓練サンプルはｘ＞５０を満たす訓練サンプルと同じ子ノードに渡される。全ての属性において値域より小さい値を欠損値としておけば、分岐条件で用いる属性が欠損値である訓練サンプルは、必ず決まった方向の子ノードに渡される。
　本実施例によれば、欠損値を考慮するための記憶領域を追加することなく、欠損値を考慮した決定木を学習できる。
　なお、属性の値域より大きな値を欠損値と定義した場合も上記と効果が得られる。
　実施例４の学習装置１０について説明する。
　本実施例の学習装置１０では、振り分け部１６において、分岐条件で用いる属性が欠損値である訓練サンプルを渡した子ノードを親ノードに記憶させる。この情報を記憶しておけば、ノード毎に欠損値である訓練サンプルを渡す子ノードの方向を制御できる。
　これにより得られる効果は次の通りである。
　ステップＳ３の後に、振り分け部１６が、子ノードに渡された訓練サンプルの数が少ない方の子ノードに対して、欠損値を持つ訓練サンプルを渡せば、特定の枝のみが成長することを防止でき、バランスのとれた決定木の学習ができる。
　また、振り分け部１６は、子ノードに渡された訓練サンプルのクラス分布と、欠損値を持つ訓練サンプルのクラス分布を比較し、クラス分布の近い方の子ノードに欠損値を持つ訓練サンプルを渡せば、以降の枝の成長を小さくできる。
　また、各ノードにおいて欠損値を持つ訓練サンプルが渡された子ノードの方向は、一つの値のみで記憶しておくことができるため、少しの記憶領域の増加で、欠損値を持つ訓練サンプルを考慮した決定木の学習ができる。
　実施例５では、実施例１の学習装置１０で学習された識別器を用いた識別装置２４について図７と図８を参照して説明する。
　図７は、本実施例の識別装置２４のブロック図である。
　識別装置２４は、未知サンプル取得部２６、分岐部２８、推定部３０とを有している。
　識別装置２４の動作について図８のフローチャートを参照して説明する。
　ステップＳ２１では、未知サンプル取得部２６は、クラス推定を行いたい未知サンプルを外部から取得し、実施例１の学習装置１０で学習された識別器である決定木のルートノードに与える。
　ステップＳ２２では、分岐部２８は、前記決定木に対して、未知サンプルを分岐条件に従ってルートノードから順にリーフノードまで進める。すなわち、親ノードにおける分岐条件として用いる属性が欠損値ではない未知サンプルを、分岐条件に従って複数の子ノードのいずれかに振り分ける。また、親ノードにおける分岐条件で用いる属性が未知サンプルにおいて欠損値であった場合、実施例１の学習装置１０における学習時に、この属性が欠損値であった訓練データが渡された子ノードに対して未知サンプルを進める。
　ステップＳ２３では、推定部３０は、決定木のリーフノードに至った未知サンプルのクラス分布により、未知サンプルのクラスを推定する。
　これにより、本実施例の識別装置２４であると、学習装置１０における学習時と同じ属性が欠損値であった訓練サンプルが進んだ方向に未知サンプルを進めるため、クラス推定を高い精度で行うことができる。
　実施例２の学習装置１０で学習された識別器を用いる場合も、上記と同様の識別装置２４を用いることにより、未知サンプルのクラス推定を行うことができる。
　実施例６では、実施例３の学習装置１０で学習された識別器を用いた識別装置２４について説明する。
　実施例３の学習装置１０で学習した場合は、識別装置２４の分岐部２８は、学習時と同様に未知サンプルの欠損値にも属性の値域より外の値を入れて処理を行うことにより、欠損値による分岐条件による振り分けの際に、自動的に欠損値を持った訓練サンプルが進んだ方向に未知サンプルを進めることができる。
　実施例７では、実施例４の学習装置１０で学習された識別器を用いた識別装置２４について説明する。
　実施例４の学習装置１０で学習した場合は、分岐部２８は、欠損値による分岐条件の振り分けの際に、指定された子ノードの方向に未知サンプルを進めることができる。
　実施例８の学習装置１０と識別装置２４について説明する。
　本実施例の学習装置１０の振り分け部１６では、決定木の学習において、分岐条件で用いる属性が欠損値である訓練サンプルが全くなかったことを表す欠損値有無情報を親ノードに記憶させる。
　これにより得られる効果は次の通りである。
　未知サンプルのクラス推定時には、各親ノードの分岐条件で未知サンプルを進める子ノードの方向を判断する。分岐条件に用いる属性が未知サンプルにおいて欠損値であった場合、この属性が欠損値であった訓練サンプルが渡された子ノードに進むべきである。しかし、この親ノードにおいて、学習時に欠損値を持つ訓練サンプルがなかったことを示す欠損値有無情報が存在した場合、その親ノードでは未知サンプルの分岐条件の振り分けが正しく行われない可能性が高い。
　そこで、本実施例の識別装置２４では、親ノードにおける分岐条件で用いる属性が未知サンプルにおいて欠損値であり、かつ、そのノードにおいて欠損値を持つ訓練サンプルが全くなかったことを欠損値有無情報からわかった場合には、次の処理を追加する。
　例えば、この追加の処理としては、未知サンプルを全ての子ノードにそれぞれ進め、至った全てのリーフノードにあるクラス分布を統合して、未知サンプルのクラスを推定する。未知サンプルは、どの子ノードに進めばよいかの指針がないので、全ての子ノードに進むことは、それより先の全ての部分木を使って識別処理を行えるため識別精度向上につながる。また、未知サンプルのラベル推定がうまくいかない可能性が高いことを知らせることもできる。
変更例
　なお、本発明は上記実施例そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施例に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施例に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施例にわたる構成要素を適宜組み合わせてもよい。
　例えば、上記各実施例における学習装置の生成部１４では、１つの親ノードに対して、２つの子ノードを生成したが、これに限らず３つ以上の子ノードを生成してもよい。
　また、学習装置１０と識別装置２４は、例えば、汎用のコンピュータを基本ハードウェアとして用いることでも実現することが可能である。すなわち、学習装置１０及び識別装置２４の各部の構成は、上記のコンピュータに搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、学習装置１０と識別装置２４の各部の機能は、上記のプログラムをコンピュータに予めインストールすることで実現してもよいし、ＣＤ－ＲＯＭなどの記憶媒体に記憶して、又はネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータに適宜インストールすることで実現してもよい。
１０・・・学習装置、１２・・・訓練サンプル取得部、１４・・・生成部、１６・・・振り分け部、１８・・・終了判定部、２０・・・記憶制御部、２２・・・決定部、２４・・・識別装置、２６・・・未知サンプル取得部、２８・・・分岐部、３０・・・推定部

Claims (8)

  1. 　複数の属性と既知のクラスとを含む訓練サンプルを複数取得し、識別器として学習するための決定木のルートノードに与える訓練サンプル取得部と、
    　前記決定木の親ノードから複数の子ノードを生成する生成部と、
    　複数の前記訓練サンプルのうち、前記決定木の親ノードにおいて、クラス分けをするための分岐条件に対応する前記属性が欠損値ではない前記訓練サンプルを、前記分岐条件に従って前記複数の子ノードのいずれかに振り分け、前記属性が前記欠損値である前記訓練サンプルを、前記複数の子ノードのいずれか一つの前記子ノードに渡す振り分け部と、
    　終了条件を満たすまで前記子ノードの生成と前記訓練サンプルの振り分けを行う終了判定部と、
    　を備えることを特徴とする学習装置。
  2. 　前記分岐条件として用いる前記属性が前記欠損値ではない前記訓練サンプルによって、前記分岐条件を決めるための評価値を計算し、前記分岐条件として用いる前記属性が前記欠損値でない前記訓練サンプルが、前記全ての訓練サンプルに対して占める割合が大きい程に前記評価値を上げるように補正して前記分岐条件を決定する決定部をさらに有する、
    　ことを特徴とする請求項１に記載の学習装置。
  3. 　前記振り分け部は、前記分岐条件として用いる前記属性が前記欠損値である前記訓練サンプルを必ず決まった方向の前記子ノードに渡す、
    　ことを特徴とする請求項２に記載の学習装置。
  4. 　前記振り分け部は、前記分岐条件として用いる前記属性が前記欠損値である前記訓練サンプルを渡した前記子ノードを前記親ノードに記憶させる、
    　ことを特徴とする請求項２に記載の学習装置。
  5. 　前記振り分け部は、前記分岐条件として用いる前記属性が前記欠損値である前記訓練サンプルが一つもない場合は、前記欠損値を扱わなかったことを示す欠損値有無情報を前記親ノードに記憶させる、
    　ことを特徴とする請求項２に記載の学習装置。
  6. 　複数の属性と未知のクラスとを含む未知サンプルを取得し、請求項１から請求項６のいずれか一項に記載の学習装置で学習した識別器である決定木のルートノードに与える未知サンプル取得部と、
    　前記未知サンプルを、前記決定木に対してリーフノードまで進めるものであって、親ノードにおける分岐条件として用いる属性が欠損値ではない前記未知サンプルを、前記分岐条件に従って複数の子ノードのいずれかに振り分け、前記分岐条件で用いる前記属性が前記欠損値である前記未知サンプルを、前記学習時に、前記属性が欠損値である前記訓練データが渡された前記子ノードに進める分岐部と、
    　前記リーフノードに至った前記未知サンプルのクラス分布により、前記未知サンプルのクラスを推定する推定部と、
    　を備えることを特徴とする識別装置。
  7. 　訓練サンプル取得部が、複数の属性と既知のクラスとを含む訓練サンプルを複数取得し、識別器として学習するための決定木のルートノードに与える訓練サンプル取得ステップと、
    　生成部が、前記決定木の親ノードから複数の子ノードを生成する生成ステップと、
    　振り分け部が、複数の前記訓練サンプルのうち、前記決定木の親ノードにおいて、クラス分けをするための分岐条件に対応する前記属性が欠損値ではない前記訓練サンプルを、前記分岐条件に従って前記複数の子ノードのいずれかに振り分け、前記属性が前記欠損値である前記訓練サンプルを、前記複数の子ノードのいずれか一つの前記子ノードに渡す振り分けステップと、
    　終了判定部が、終了条件を満たすまで前記子ノードの生成と前記訓練サンプルの振り分けを行う終了判定ステップと、
    　備えることを特徴とする学習方法。
  8. 　未知サンプル取得部が、複数の属性と未知のクラスとを含む未知サンプルを取得し、請求項８に記載の学習方法で学習した識別器である決定木のルートノードに与える未知サンプル取得ステップと、
    　分岐部が、前記未知サンプルを、前記決定木に対してリーフノードまで進めるものであって、親ノードにおける分岐条件として用いる属性が欠損値ではない前記未知サンプルを、前記分岐条件に従って複数の子ノードのいずれかに振り分け、前記分岐条件で用いる前記属性が前記欠損値である前記未知サンプルを、前記学習時に、前記属性が欠損値である前記訓練データが渡された前記子ノードに進める分岐ステップと、
    　推定部が、前記リーフノードに至った前記未知サンプルのクラス分布により、前記未知サンプルのクラスを推定する推定ステップと、
    　を備えることを特徴とする識別方法。
PCT/JP2009/006891 2009-03-06 2009-12-15 学習装置、識別装置及びその方法 Ceased WO2010100701A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011502512A JPWO2010100701A1 (ja) 2009-03-06 2009-12-15 学習装置、識別装置及びその方法
US13/254,925 US20120036094A1 (en) 2009-03-06 2009-12-15 Learning apparatus, identifying apparatus and method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009053873 2009-03-06
JP2009-053873 2009-03-06

Publications (1)

Publication Number Publication Date
WO2010100701A1 true WO2010100701A1 (ja) 2010-09-10

Family

ID=42709279

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/006891 Ceased WO2010100701A1 (ja) 2009-03-06 2009-12-15 学習装置、識別装置及びその方法

Country Status (3)

Country Link
US (1) US20120036094A1 (ja)
JP (1) JPWO2010100701A1 (ja)
WO (1) WO2010100701A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012098960A (ja) * 2010-11-02 2012-05-24 Canon Inc 情報処理装置、その処理方法及びプログラム
JP2016506260A (ja) * 2012-12-14 2016-03-03 ザ トラスティーズ オブ コロンビア ユニバーシティ イン ザ シティオブ ニューヨークＴｈｅ Ｔｒｕｓｔｅｅｓ Ｏｆ Ｃｏｌｕｍｂｉａ Ｕｎｉｖｅｒｓｉｔｙ Ｉｎ Ｔｈｅ Ｃｉｔｙ Ｏｆ Ｎｅｗ Ｙｏｒｋ ロボット手術器具のマーカーレス追跡
JP2020052886A (ja) * 2018-09-28 2020-04-02 日本電信電話株式会社 データ処理装置、データ処理方法およびプログラム
WO2022059048A1 (ja) * 2020-09-15 2022-03-24 三菱電機株式会社 目標識別装置、目標識別方法およびプログラム
CN115147092A (zh) * 2022-07-29 2022-10-04 京东科技信息技术有限公司 资源审批方法、随机森林模型的训练方法及装置
US12450340B2 (en) 2022-07-27 2025-10-21 Nec Corporation Information processing apparatus and storage medium

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2003108433A (ru) * 2003-03-28 2004-09-27 Аби Софтвер Лтд. (Cy) Способ предварительной обработки изображения машиночитаемой формы
RU2635259C1 (ru) 2016-06-22 2017-11-09 Общество с ограниченной ответственностью "Аби Девелопмент" Способ и устройство для определения типа цифрового документа
US10878336B2 (en) * 2016-06-24 2020-12-29 Intel Corporation Technologies for detection of minority events
US10242486B2 (en) * 2017-04-17 2019-03-26 Intel Corporation Augmented reality and virtual reality feedback enhancement system, apparatus and method
JP6888737B2 (ja) * 2018-03-29 2021-06-16 日本電気株式会社 学習装置、学習方法、及びプログラム
CN110399828B (zh) * 2019-07-23 2022-10-28 吉林大学 一种基于多角度的深度卷积神经网络的车辆再识别方法
US11893506B1 (en) * 2020-06-09 2024-02-06 Hewlett-Packard Development Company, L.P. Decision tree training with difference subsets of training samples based on a plurality of classifications

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004029971A (ja) * 2002-06-21 2004-01-29 Fujitsu Ltd データ解析方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4268500B2 (ja) * 2003-10-28 2009-05-27 新日本製鐵株式会社 プロセスの状態類似事例検索方法および状態予測方法並びに記憶媒体
JP4318221B2 (ja) * 2004-12-02 2009-08-19 富士通株式会社 医療情報分析装置、方法及びプログラム
US7801924B2 (en) * 2006-12-28 2010-09-21 Infosys Technologies Ltd. Decision tree construction via frequent predictive itemsets and best attribute splits

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004029971A (ja) * 2002-06-21 2004-01-29 Fujitsu Ltd データ解析方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DATA MINING USING SAS ENTERPRISE MINER: A CASE STUDY APPROACH, April 2003 (2003-04-01), pages 47 - 53 *
J. R. QUINLAN: "Unknown attribute values in induction", PROCEEDINGS OF THE SIXTH INTERNATIONAL WORKSHOP ON MACHINE LEARNING, 26 June 1989 (1989-06-26), pages 164 - 168, XP002602747 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012098960A (ja) * 2010-11-02 2012-05-24 Canon Inc 情報処理装置、その処理方法及びプログラム
US8930286B2 (en) 2010-11-02 2015-01-06 Canon Kabushiki Kaisha Information processing apparatus, processing method therefor, and non-transitory computer-readable storage medium
JP2016506260A (ja) * 2012-12-14 2016-03-03 ザ トラスティーズ オブ コロンビア ユニバーシティ イン ザ シティオブ ニューヨークＴｈｅ Ｔｒｕｓｔｅｅｓ Ｏｆ Ｃｏｌｕｍｂｉａ Ｕｎｉｖｅｒｓｉｔｙ Ｉｎ Ｔｈｅ Ｃｉｔｙ Ｏｆ Ｎｅｗ Ｙｏｒｋ ロボット手術器具のマーカーレス追跡
JP2020052886A (ja) * 2018-09-28 2020-04-02 日本電信電話株式会社 データ処理装置、データ処理方法およびプログラム
JP7056493B2 (ja) 2018-09-28 2022-04-19 日本電信電話株式会社 データ処理装置、データ処理方法およびプログラム
WO2022059048A1 (ja) * 2020-09-15 2022-03-24 三菱電機株式会社 目標識別装置、目標識別方法およびプログラム
JPWO2022059048A1 (ja) * 2020-09-15 2022-03-24
JP7221456B2 (ja) 2020-09-15 2023-02-13 三菱電機株式会社 目標識別装置、目標識別方法およびプログラム
US12450340B2 (en) 2022-07-27 2025-10-21 Nec Corporation Information processing apparatus and storage medium
CN115147092A (zh) * 2022-07-29 2022-10-04 京东科技信息技术有限公司 资源审批方法、随机森林模型的训练方法及装置

Also Published As

Publication number Publication date
US20120036094A1 (en) 2012-02-09
JPWO2010100701A1 (ja) 2012-09-06

Similar Documents

Publication Publication Date Title
JPWO2010100701A1 (ja) 学習装置、識別装置及びその方法
US11593943B2 (en) RECIST assessment of tumour progression
US9460360B2 (en) Method and apparatus for learning-enhanced atlas-based auto-segmentation
US8885926B2 (en) Image and data segmentation
US9152926B2 (en) Systems, methods, and media for updating a classifier
US9042618B2 (en) Method and system for detection 3D spinal geometry using iterated marginal space learning
JP5534840B2 (ja) 画像処理装置、画像処理方法、画像処理システム及びプログラム
Sert et al. Ensemble of convolutional neural networks for classification of breast microcalcification from mammograms
JP2015087903A (ja) 情報処理装置及び情報処理方法
JP2009541838A (ja) 画像値を含む画像において閾値を定めるための方法、システム及び計算機プログラム
JP6426441B2 (ja) 密度計測装置、密度計測方法、およびプログラム
CN118967722B (zh) 基于残差反向瓶颈和稀疏注意力的图像分割方法与系统
CN108510478A (zh) 肺气道图像分割方法、终端、存储介质
US12062229B2 (en) Identification process of a dental implant visible on an input image by means of at least one convolutional neural network
CN118968186A (zh) 医疗图像数据集的自适应图像分类方法、系统及存储介质
CN113158824B (zh) 一种水下视频鱼类识别方法、系统及存储介质
Cerrolaza et al. Fetal skull segmentation in 3D ultrasound via structured geodesic random forest
WO2021116011A1 (en) Medical image segmentation and atlas image selection
CN115619774A (zh) 染色体异常识别方法、系统及存储介质
US11389104B2 (en) System of joint brain tumor and cortex reconstruction
JP2006031114A (ja) 画像分割処理システム
Hussein et al. Design a classification system for brain magnetic resonance image
Ramirez Campos et al. COVID-19 Related Pneumonia Detection in Lung Ultrasound
Sun et al. A novel algorithm for cut shot boundary detection

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09841067

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2011502512

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13254925

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 09841067

Country of ref document: EP

Kind code of ref document: A1