WO2020054551A1 - 情報処理装置、情報処理方法、プログラム - Google Patents

情報処理装置、情報処理方法、プログラム Download PDF

Info

Publication number
WO2020054551A1
WO2020054551A1 PCT/JP2019/034821 JP2019034821W WO2020054551A1 WO 2020054551 A1 WO2020054551 A1 WO 2020054551A1 JP 2019034821 W JP2019034821 W JP 2019034821W WO 2020054551 A1 WO2020054551 A1 WO 2020054551A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
feature amount
feature
learning data
class
Prior art date
Application number
PCT/JP2019/034821
Other languages
English (en)
French (fr)
Inventor
和久 高木
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2020545955A priority Critical patent/JP7156383B2/ja
Publication of WO2020054551A1 publication Critical patent/WO2020054551A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Definitions

  • the present invention relates to an information processing apparatus, an information processing method, and a program for supporting correction of labeling of learning data used in a neural network.
  • Patent Document 1 the man-hour required for label correction is reduced by changing an image display method based on a difference between likelihood vector clustering and an average in each cluster.
  • the feature amount obtained from the neural network has a property that those with different labels are separated from each other in the direction perpendicular to the identification plane. For this reason, as shown in FIG. 1, there is a problem that similar data C1 and C2 with different labels, that is, data C1 and C2 labeled with an ambiguous criterion are hard to be grouped into the same cluster. . However, a solution to such a problem is not described in Patent Document 1. As a result, there is still a problem that the accuracy of labeling cannot be improved while reducing the man-hour required for correcting the label of the learning data.
  • an object of the present invention is to solve the problem that in machine learning using a neural network, it is not possible to reduce the number of steps required for correcting labels of learning data and improve the accuracy of labeling.
  • a processing device, an information processing method, and a program are provided.
  • An information processing device includes: A feature amount extraction unit that extracts a first feature amount of learning data using a neural network model; A clustering unit configured to convert the first feature amount into a second feature amount based on information corresponding to a class to which the learning data belongs set in the neural network model, and cluster the second feature amount; When, A correction target selection unit that selects the learning data whose class is to be corrected based on the clustering result of the second feature amount; With Take the configuration.
  • a program includes: For information processing equipment, A feature amount extraction unit that extracts a first feature amount of learning data using a neural network model; A clustering unit configured to convert the first feature amount into a second feature amount based on information corresponding to a class to which the learning data belongs set in the neural network model, and cluster the second feature amount; When, A correction target selection unit that selects the learning data whose class is to be corrected based on the clustering result of the second feature amount; To realize, Take the configuration.
  • An information processing method includes: The first feature amount of the learning data is extracted using the neural network model, The first feature value is converted into a second feature value based on information corresponding to a class to which the learning data set in the neural network model belongs, and the second feature value is clustered, Selecting the learning data whose class is to be corrected based on the clustering result of the second feature amount; Take the configuration.
  • FIG. 2 is a block diagram illustrating a configuration of a label correction support device according to the first embodiment of the present invention.
  • FIG. 3 is a diagram for explaining a state of processing by a label correction target presentation method determination device disclosed in FIG. 2.
  • FIG. 3 is a diagram for explaining a state of processing by the presentation / correction device disclosed in FIG. 2.
  • 3 is a flowchart illustrating an operation of the label correction support device disclosed in FIG. 2.
  • 3 is a flowchart illustrating an operation of the label correction support device disclosed in FIG. 2.
  • FIG. 11 is a block diagram illustrating a configuration of a label correction support device according to a second embodiment of the present invention.
  • FIG. 13 is a block diagram illustrating a configuration of a label correction support device according to a third embodiment of the present invention. It is a block diagram showing composition of an information processor in Embodiment 4 of the present invention.
  • FIG. 2 is a diagram for explaining the configuration of the label correction support device
  • FIGS. 3 to 6 are diagrams for explaining the operation of the label correction support device.
  • the present invention includes a label correction support device 1 as shown in FIG.
  • the label correction support device 1 includes one or a plurality of information processing devices each including an arithmetic device and a storage device 10.
  • the label correction support device 1 includes a label correction target presentation method determination device 20 and a presentation / correction device 30 that are constructed by the arithmetic device executing a program.
  • the label correction target presentation method determination device 20 includes a feature amount extraction device 21, an image selection device 22, a clustering device 23, and a cluster selection and rearrangement device 24.
  • each configuration will be described in detail.
  • the label correction support device 1 of the present invention supports correction of labeling for learning data used in a neural network.
  • the label correction support apparatus 1 has a function of presenting learning data to a user, obtaining feedback, and correcting the label of the learning data. Therefore, the label correction support apparatus 1 is applicable to a multi-class classification problem in which the classes to which the learning data belong are mutually exclusive.
  • This problem is, for example, a problem that, when the target learning data is an image, classifies the image as a “dog” or a “cat”.
  • the learning data targeted in the present invention is not limited to images.
  • the storage device 10 stores learning data, a neural network model, and various setting values.
  • the learning data includes a pair of an image and a label, and there are a plurality of pieces.
  • the label correction target presentation method determination device 20 receives the learning data, the neural network model, and various setting values from the storage device 10 and inputs some similar image clusters, as described later. This is a device that outputs the items arranged in order from the object.
  • the feature amount extraction device 21 extracts, as a feature amount, an input vector to the classification layer located before the classification activation layer located at the end of the neural network.
  • the classification activation layer is a layer that receives a classification vector z as an input, and outputs a C-dimensional vector y in which the value of each dimension is activated by an activation function such as a Softmax function.
  • the image selection device 22 receives the feature value x_n from the feature value extraction device 21 and various setting values from the storage device 10 as inputs, and the feature value of an image labeled with an ambiguous criterion.
  • M is the number of feature amounts after selection.
  • This selection can be realized by an arbitrary method using the above-described certainty factor y_c and feature amount x_n. For example, a method of selecting based on whether or not the certainty factor y_c is included in a preset range, a method of setting the range to a value calculated from the average value and the variance of the certainty factor y_c, and the like are conceivable.
  • a feature amount whose certainty factor y_c is lower than a threshold value as a set value stored in the storage device 10 is selected.
  • the image sorting device 22 clusters images generated in the clustering device 23 and labeled with clear criteria as described later into the same cluster as images labeled with ambiguous criteria, as described later. Plays the role of suppressing the problem. Note that as the setting values required for the selection, image selection setting values in various setting values are used.
  • the feature amount of the learning data is orthogonally projected onto the identification plane corresponding to the class to which the learning data belongs, thereby compressing and converting the dimension of the feature amount.
  • the orthogonal projection onto the identification plane is performed, for example, by the equation shown in FIG.
  • the clustering device 23 performs clustering on the converted feature value x′_m, c (second feature value) using a neural network model.
  • a clustering method for example, a method using a generally known k-means method, Mean-Shift method, or the like can be considered.
  • the clustering device 23 has a function of converting the selected feature amount x_m, and such a function is referred to as “the feature amount obtained from the neural network is the same as the feature amount obtained from the neural network. It has the property of being separated from the identification plane in the vertical direction, so that similar images with different labels, that is, images labeled according to ambiguous criteria are difficult to unite in the same cluster '' role Plays. At this time, although the information of the certainty degree direction is lost due to the orthogonal projection of the above-described class onto the identification plane, the feature amount to be converted has already been selected by the above-described image selection device 22 and plays a role of supplementing such information. I have. It should be noted that as setting values required in the k-means method or the like, clustering setting values in various setting values are used.
  • the cluster selecting / sorting device 24 includes various setting values from the storage device 10, selected feature amounts x_m from the image selecting device 22, and clustering results k_m, c from the clustering device 23. This is a device that outputs cluster rearrangement information by using as input. Specifically, the clustering selection / rearrangement device 24 assigns the randomness of the labels assigned to the feature amounts in the clustered cluster to the cluster k as the ambiguity a_k, and based on the ambiguity a_k and the class c. Cluster k is arranged, and cluster k that does not satisfy the presentation condition is excluded.
  • learning data belonging to a cluster that has not been excluded is selected as a target to modify the class to which the learning data belongs.
  • a method of arrangement a method of arranging in the order of the class c and then arranging the ambiguity a_k in descending order, or a method of ignoring the class and arranging the ambiguity a_k in descending order is conceivable.
  • a method of calculating the degree of ambiguity a_k by the cluster selecting / rearranging device 24 for example, a method using entropy for labeling in a cluster, a method using a simple ratio of labeling, and the like are considered. Further, as a method of calculating the presentation condition, for example, a method of comparing the ambiguity a_k with a threshold, a method of comparing the order of the ambiguity a_k of the cluster k with the threshold, and the like can be considered.
  • a method of setting the threshold value of the ambiguity a_k for example, a method of simply using a fixed value, a method of using a value obtained by adding a fixed value to the ambiguity a_k ′ of another cluster, and the like can be considered. Note that as the setting values required in the present apparatus, cluster selection and sorting setting values in various setting values are used.
  • the presentation / correction device 30 (class setting unit) receives the learning data from the storage device 10, the clustering result from the clustering device 23, and the cluster rearrangement information from the cluster selection / rearrangement device 24, and inputs the correction target to the user. And a label representing the class to which the image belongs is sequentially presented for each cluster. Then, the presentation / correction device 30 updates the label indicating the class to which the learning data stored in the storage device 10 belongs based on the correction information of the label input from the user for the presented correction target image. Set.
  • FIG. an example of the presentation / correction method is shown in FIG. According to the above-described method, the learning data and the label, which are similar images whose labeling determination criteria are ambiguous, are presented together. In this example, the user is requested to input the corrected label in the "?" Further, an interface is provided such that the previous or next cluster is displayed by pressing the “arrow” mark.
  • FIG. 5 shows the overall operation of the label correction support device 1
  • FIG. 6 shows the operation of the clustering device 23.
  • M is the number of feature amounts selected by the image selection device 22.
  • the cluster selecting / sorting device 24 assigns the randomness of the labels assigned to the feature amounts in the clustered cluster to the cluster k as the ambiguity a_k, and performs clustering based on the ambiguity a_k and the class c. k are arranged, and an image as learning data for which a class is to be corrected is selected (step S5).
  • the presentation / correction device 30 sequentially presents the image and the label, which are the learning data to be corrected, to the user for each cluster (step S6).
  • the presentation / correction device 30 updates and sets the label indicating the class to which the learning data stored in the storage device 10 belongs based on the correction information of the label input from the user for the presented correction target image. (Step S7).
  • the present invention since the feature amount obtained from the neural network has a property that those having different labels are separated from each other in the vertical direction with respect to the identification plane, similar images having different labels are compared. That is, it is possible to solve the problem that the images labeled by the ambiguous criterion are hard to be grouped into the same cluster.
  • the present invention has a function of clustering the orthogonal projection of the selected feature amounts onto the identification plane, and selecting and rearranging the clusters to determine a presentation method of a correction target.
  • FIG. 7 is a diagram illustrating a configuration of the label correction support device 1 according to the present embodiment.
  • the label correction support device 1 includes the automatic label correction device 40 constructed by executing a program by the arithmetic device.
  • the automatic label correction device 40 is a device that updates the learning data in the storage device 10 with the clustering result from the clustering device 23 and the cluster rearrangement information from the cluster selection and rearrangement device 24 as inputs.
  • an update method for example, a method of randomly selecting a label for each presented cluster and updating all the labels in the cluster to the selected label, or a method of updating all the images in the cluster It is conceivable to select a label depending on whether or not the average value of the certainty factor exceeds a threshold value and update the label.
  • the labels can be easily corrected by updating the labels of the images collectively and automatically.
  • FIG. 8 is a diagram illustrating a configuration of the label correction support device 1 according to the present embodiment.
  • the label correction support device 1 further includes, in addition to the configuration included in the label correction support device 1 described in the first embodiment, a setting value update device 50 that is constructed by an arithmetic device executing a program.
  • the setting value updating device 50 has a function of presenting various setting values to the user, receiving the updated values from the user, and updating the various setting values as described above stored in the storage device 10 based on the updated values. Have.
  • FIG. 9 is a block diagram illustrating a configuration of the information processing apparatus according to the fourth embodiment.
  • the outline of the configuration of the label correction support device 1 described in the first embodiment is shown.
  • the information processing apparatus 100 includes: A feature amount extraction unit 110 that extracts a first feature amount of learning data using a neural network model; A clustering unit configured to convert the first feature amount into a second feature amount based on information corresponding to a class to which the learning data belongs set in the neural network model, and cluster the second feature amount; 120, A correction target selection unit 130 that selects the learning data whose class is to be corrected based on the clustering result of the second feature amount; Is provided.
  • the feature amount extracting unit 110, the clustering unit 120, and the correction target selecting unit 130 are realized by the information processing device executing a program.
  • the information processing apparatus 100 having the above configuration includes The first feature amount of the learning data is extracted using the neural network model, The first feature value is converted into a second feature value based on information corresponding to a class to which the learning data set in the neural network model belongs, and the second feature value is clustered, Selecting the learning data whose class is to be corrected based on the clustering result of the second feature amount; It operates to execute the processing of.
  • the first feature amount of the learning data is converted into the second feature amount based on the information corresponding to the class to which the learning data belongs, and clustering is performed. You can select the data. As a result, it is possible to reduce the man-hour required for correcting the label of the learning data and improve the accuracy of labeling.
  • a feature amount extraction unit that extracts a first feature amount of learning data using a neural network model
  • a clustering unit configured to convert the first feature amount into a second feature amount based on information corresponding to a class to which the learning data belongs set in the neural network model, and cluster the second feature amount;
  • a correction target selection unit that selects the learning data whose class is to be corrected based on the clustering result of the second feature amount
  • the information processing device (Appendix 5) The information processing device according to claim 4, wherein The feature amount selection unit selects the first feature amount based on a value indicating the likelihood of the class to which the learning data belongs based on the first feature amount.
  • Information processing device (Appendix 5) The information processing device according to claim 4, wherein The feature amount selection unit selects the first feature amount based on a value indicating the likelihood of the class to which the learning data belongs based on the first feature amount.
  • the correction target selection unit is configured to correct a class based on the randomness of the class to which the learning data belonging to the second feature amount belongs in a cluster to which the clustered second feature amount belongs. Selecting the learning data Information processing device.
  • a feature amount extraction unit that extracts a first feature amount of learning data using a neural network model
  • a clustering unit configured to convert the first feature amount into a second feature amount based on information corresponding to a class to which the learning data belongs set in the neural network model, and cluster the second feature amount
  • a correction target selection unit that selects the learning data whose class is to be corrected based on the clustering result of the second feature amount
  • a feature amount selection unit that selects the first feature amount based on a value based on the first feature amount;
  • the clustering unit converts the selected first feature amount into the second feature amount. program. .
  • the first feature amount of the learning data is extracted using the neural network model, The first feature value is converted into a second feature value based on information corresponding to a class to which the learning data set in the neural network model belongs, and the second feature value is clustered, Selecting the learning data whose class is to be corrected based on the clustering result of the second feature amount; Information processing method.
  • Non-transitory computer readable media include various types of tangible storage media.
  • Examples of non-transitory computer-readable media are magnetic recording media (eg, flexible disk, magnetic tape, hard disk drive), magneto-optical recording media (eg, magneto-optical disk), CD-ROM (Read Only Memory), CD-R, CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable @ ROM), EPROM (Erasable @ PROM), flash ROM, RAM (Random @ Access @ Memory)).
  • the program may be supplied to the computer by various types of transitory computer readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves. Transitory computer readable media can provide the program to a computer via a wired communication line such as an electric wire and an optical fiber, or a wireless communication line.
  • label correction support device 10 storage device 20 label correction target presentation method determination device 21 feature amount extraction device 22 image selection device 23 clustering device 24 cluster selection / reordering device 30 presentation / correction device 40 automatic label correction device 50 setting value update device Reference Signs List 100 information processing device 110 feature amount extraction unit 120 clustering unit 130 modification target selection unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本発明の情報処理装置１００は、ニューラルネットモデルを用いて学習データの第１の特徴量を抽出する特徴量抽出部１１０と、ニューラルネットモデルに設定された学習データが属するクラスに対応する情報に基づいて、第１の特徴量を第２の特徴量に変換して、当該第２の特徴量をクラスタリングするクラスタリング部１２０と、第２の特徴量のクラスタリング結果に基づいてクラスを修正する対象となる学習データを選択する修正対象選択部１３０と、を備える。

Description

情報処理装置、情報処理方法、プログラム
　本発明は、ニューラルネットで用いられる学習データに対するラベル付けの修正を支援する情報処理装置、情報処理方法、プログラムに関する。
　近年、ニューラルネットを用いた機械学習が様々な分野で用いられている。ニューラルネットを用いて推論モデルを作成するためには、大量の学習データが必要となるが、その量の多さから、ラベル付けは複数人または長期的に行われる。このため、判断基準が曖昧なラベル付けが学習データに対してなされることがある。このようなラベル付けにより、推論モデルの推論精度は低下する。
　このような推論モデルの精度を向上させるための方法として、ラベルの修正が有効である。このため、専門家が目視で学習データを確認し、ラベル付けの判断基準を整理しながらラベルを修正する、ということが行われていた。
国際公開第２０１７／１７９２５８号
　しかしながら、ラベルの確認対象となる学習データは大量にあり、またそれらは整理されていないため、ラベル修正には工数を要する、という問題が生じる。かかる問題に関連する技術として、特許文献１の技術がある。特許文献１では、尤度ベクトルのクラスタリングと各クラスタ内の平均との差によって画像の表示方法を変更することで、ラベル修正に要する工数を削減している。
　ここで、ニューラルネットから得られる特徴量は、異なるラベルが付与されたもの同士が識別平面と垂直方向に離れるという性質を持つ。このため、図１に示すように、異なるラベル付けがされた類似データ同士Ｃ１，Ｃ２、すなわち曖昧な判断基準によりラベル付けされたデータ同士Ｃ１，Ｃ２が、同じクラスタにまとまりづらい、という問題がある。ところが、かかる問題に対する解決方法は特許文献１には記載されていない。その結果、依然として、学習データのラベル修正に要する工数を削減しつつ、ラベル付けの精度の向上を図ることができない、という問題がある。
　このため、本発明の目的は、ニューラルネットを用いた機械学習において、学習データのラベル修正に要する工数の削減とラベル付けの精度の向上を図ることができない、という問題を解決することができる情報処理装置、情報処理方法、プログラムを提供することにある。
　本発明の一形態である情報処理装置は、
　ニューラルネットモデルを用いて学習データの第１の特徴量を抽出する特徴量抽出部と、
　前記ニューラルネットモデルに設定された前記学習データが属するクラスに対応する情報に基づいて、前記第１の特徴量を第２の特徴量に変換して、当該第２の特徴量をクラスタリングするクラスタリング部と、
　前記第２の特徴量のクラスタリング結果に基づいてクラスを修正する対象となる前記学習データを選択する修正対象選択部と、
を備えた、
という構成をとる。
　また、本発明の一形態であるプログラムは、
　情報処理装置に、
　ニューラルネットモデルを用いて学習データの第１の特徴量を抽出する特徴量抽出部と、
　前記ニューラルネットモデルに設定された前記学習データが属するクラスに対応する情報に基づいて、前記第１の特徴量を第２の特徴量に変換して、当該第２の特徴量をクラスタリングするクラスタリング部と、
　前記第２の特徴量のクラスタリング結果に基づいてクラスを修正する対象となる前記学習データを選択する修正対象選択部と、
を実現させる、
という構成をとる。
　また、本発明の一形態である情報処理方法は、
　ニューラルネットモデルを用いて学習データの第１の特徴量を抽出し、
　前記ニューラルネットモデルに設定された前記学習データが属するクラスに対応する情報に基づいて、前記第１の特徴量を第２の特徴量に変換して、当該第２の特徴量をクラスタリングし、
　前記第２の特徴量のクラスタリング結果に基づいてクラスを修正する対象となる前記学習データを選択する、
という構成をとる。
　本発明は、以上のように構成されることにより、ニューラルネットを用いた機械学習において、学習データのラベル修正に要する工数の削減とラベル付けの精度の向上を図ることができる。
機械学習における課題を説明するための図である。 本発明の実施形態１におけるラベル修正支援装置の構成を示すブロック図である。 図２に開示したラベル修正対象提示方法決定装置による処理の様子を説明するための図である。 図２に開示した提示・修正装置による処理の様子を説明するための図である。 図２に開示したラベル修正支援装置の動作を示すフローチャートである。 図２に開示したラベル修正支援装置の動作を示すフローチャートである。 本発明の実施形態２におけるラベル修正支援装置の構成を示すブロック図である。 本発明の実施形態３におけるラベル修正支援装置の構成を示すブロック図である。 本発明の実施形態４における情報処理装置の構成を示すブロック図である。
　＜実施形態１＞
　本発明の第１の実施形態を、図２乃至図６を参照して説明する。図２は、ラベル修正支援装置の構成を説明するための図であり、図３乃至６は、ラベル修正支援装置の動作を説明するための図である。
　［構成］
　本発明は、図１に示すようなラベル修正支援装置１で構成される。ラベル修正支援装置１は、演算装置と記憶装置１０とを備えた１台又は複数台の情報処理装置にて構成される。そして、ラベル修正支援装置１は、演算装置がプログラムを実行することで構築された、ラベル修正対象提示方法決定装置２０と提示・修正装置３０とを備える。そして、ラベル修正対象提示方法決定装置２０は、特徴量抽出装置２１、画像選別装置２２、クラスタリング装置２３、クラスタ選別・並び替え装置２４、を備える。以下、各構成について詳述する。
　まず、本発明のラベル修正支援装置１は、ニューラルネットで用いられる学習データに対するラベル付けの修正を支援するものである。具体的に、ラベル修正支援装置１は、後述するように、ユーザに学習データを提示し、フィードバックを得て、当該学習データのラベルを修正する機能を有する。このため、ラベル修正支援装置１は、学習データが属するクラスが互いに排他的な多クラス分類問題に適用可能である。この問題とは、例えば、対象となる学習データが画像である場合に、かかる画像が「犬」、「猫」のいずれなのかを分類するような問題である。以降では、分類するクラス数をＣ（上の例ではＣ＝２）とする。但し、本発明で対象となる学習データは、画像であることに限定されない。
　上記記憶装置１０は、学習データ、ニューラルネットモデル、各種設定値を記憶する。このとき、学習データは、画像とラベルの組からなり、複数存在する。
　上記ラベル修正対象提示方法決定装置２０は、記憶装置１０からの学習データ、ニューラルネットモデル、各種設定値を入力として、後述するように、いくつかの類似画像クラスタをラベル付けの判断基準が曖昧なものから順に並べたものを出力する装置である。
　上記特徴量抽出装置２１（特徴量抽出部）は、記憶装置１０からの学習データおよびニューラルネットモデルを入力として、学習データであるN枚の画像それぞれの特徴量x_n(n=1,…,N)（第１の特徴量）を出力する装置である。この特徴量抽出装置２１では、ニューラルネットの最後に位置する分類活性化層の手前の分類層への入力ベクトルを特徴量として抽出する。このとき、分類層とは、直前の層の各ニューロンの出力を要素として持つ特徴量ベクトルx_nを入力として、クラス数C個の超平面w_c・x+b=0(c=1,…,C)からの距離それぞれを要素として持つC次元の分類ベクトルzを出力する層である。また、分類活性化層とは、分類ベクトルzを入力として、各次元の値をSoftmax関数等の活性化関数により活性化したC次元のベクトルyを出力とする層である。この時、このベクトルの各要素y_c(c=1,…C)はそれぞれ、入力された画像がどれだけその要素に対応するクラスらしいか（学習データが属するクラスに対する確からしさ）を表す確信度y_cとみなすことができる。
　上記画像選別装置２２（特徴量選択部）は、特徴量抽出装置２１からの特徴量x_nと、記憶装置１０からの各種設定値を入力として、曖昧な判断基準でラベル付けされた画像の特徴量x_m(m=1,…,M)のみを選別して出力する装置である。ここで、Mは、選別後の特徴量の数である。この選別は、上述した確信度y_cや特徴量x_nを用いた任意の方法により実現できる。例えば、確信度y_cが予め設定された範囲内に含まれるか否かにより選別するという方法や、その範囲を確信度y_cの平均値や分散から算出される値とするという方法などが考えられる。一例としては、確信度y_cが記憶装置１０に記憶された設定値としての閾値よりも低い特徴量を選別する。これにより、画像選別装置２２は、後述するように、クラスタリング装置２３において発生する、明確な判断基準でラベル付けされた画像が曖昧な判断基準でラベル付けされた画像と同一クラスタにクラスタリングされる、という問題を抑制する役割を果たしている。なお、選別で必要となる設定値としては、各種設定値内の画像選別設定値を用いる。
　上記クラスタリング装置２３（クラスタリング部）は、記憶装置１０からのニューラルネットモデル及び各種設定値と、画像選別装置２２からの選別された特徴量x_mとを入力として、ニューラルネットモデルに基づいて学習データの特徴量x_mをクラスタリングする。そして、クラスタリング結果(各特徴量、各クラスに対するクラスタID)k_m,c(m=1,…,M: c=1,…,C)を出力する。具体的に、クラスタリング装置２３は、まず選別された特徴量x_mをニューラルネットモデルのそれぞれのクラスcに対応する識別平面に正射影することで変換する。つまり、図３に示すように、学習データが属するクラスに対応する識別平面に、かかる学習データの特徴量を正射影することで、当該特徴量の次元を圧縮して変換する。なお、識別平面への正射影は、例えば図３に示す式にて行われる。次に、クラスタリング装置２３は、変換した特徴量x’_m,c（第２の特徴量）に対して、ニューラルネットモデルを用いてクラスタリングを行う。この時、クラスタリング手法としては例えば、一般的に知られているk-means法、Mean-Shift法等を用いた方法などが考えられる。
　このように、クラスタリング装置２３は、選別された特徴量x_mを変換する機能を有しており、かかる機能が、上述した「ニューラルネットから得られる特徴量は、異なるラベルが付与されたもの同士が識別平面と垂直方向に離れるという性質を持つため、異なるラベル付けがされた類似画像同士、すなわち曖昧な判断基準によりラベル付けされた画像同士が同じクラスタにまとまりづらい」というような問題に対処する役割を果たしている。この時、上述したクラスの識別平面への正射影により確信度方向の情報が失われるが、上述した画像選別装置２２で既に変換対象の特徴量を選別しており、かかる情報を補う役割を果たしている。なお、k-means法等で必要となる設定値としては、各種設定値内のクラスタリング設定値を用いる。
　上記クラスタ選別・並び替え装置２４（修正対象選択部）は、記憶装置１０からの各種設定値、画像選別装置２２からの選別された特徴量x_m、および、クラスタリング装置２３からのクラスタリング結果k_m,cを入力として、クラスタ並び替え情報を出力する装置である。具体的に、クラスタリング選別・並び替え装置２４は、クラスタリングされたクラスタ内の特徴量に付与されたラベルの乱雑さを曖昧度a_kとしてクラスタkに付与し、その曖昧度a_kやクラスcを基準としてクラスタkを並べ、提示条件に満たないクラスタkを除外する。つまり、除外されていないクラスタに属する学習データを、当該学習データが属するクラスを修正する対象として選択する。この時、並べ方としては、クラスc順に並べた後でその中で曖昧度a_kの大きいものから順に並べるという方法や、クラスを無視して曖昧度a_kの大きいものから順に並べるという方法が考えられる。
　なお、クラスタ選別・並び替え装置２４による曖昧度a_kの計算方法としては、例えば、クラスタ内のラベル付けについてのエントロピーを用いた方法、ラベル付けの単純な比率を用いた方法などが考えられる。さらに、提示条件の計算方法としては、例えば、曖昧度a_kと閾値との比較による方法、クラスタkの曖昧度a_kの順位と閾値との比較による方法等が考えられる。加えて、曖昧度a_kの閾値の設定方法としては、例えば、単に固定値を用いる方法や、他クラスタの曖昧度a_k’にある固定値を足したものを用いる方法などが考えられる。なお、本装置で必要となる設定値としては、各種設定値内のクラスタ選別・並び替え設定値を用いる。
　上記提示・修正装置３０（クラス設定部）は、記憶装置１０からの学習データ、クラスタリング装置２３からのクラスタリング結果、クラスタ選別・並び替え装置２４からのクラスタ並び替え情報を入力として、ユーザに修正対象の学習データである修正対象画像と当該画像が属するクラスを表すラベルとを、クラスタ毎に順に提示する。そして、提示・修正装置３０は、提示した修正対象画像に対してユーザから入力されたラベルの修正情報に基づいて、記憶装置１０に記憶されている学習データが属するクラスを表すラベルを更新して設定する。ここで、提示・修正方法の一例を図４に示す。上述した方法によりラベル付けの判断基準が曖昧な類似する画像である学習データとラベルがまとめて提示される。この例では、「？」マークの欄に修正後のラベルを入力するようユーザに求めている。また、「矢印」マークの押下により、前あるいは次のクラスタが表示されるようなインターフェースを備えている。
　［動作］
　次に、上述したラベル修正支援装置１の動作を、図５乃至図６のフローチャートを参照して説明する。なお、図５は、ラベル修正支援装置１の全体的な動作を示し、図６は、クラスタリング装置２３の動作を示す。
　まず、特徴量抽出装置２１が、記憶装置１０からの学習データおよびニューラルネットモデルを入力として、学習データの特徴量x_n(n=1,…,N)（第１の特徴量）を抽出する（ステップＳ１）。このとき、特徴量抽出装置２１は、学習データの特徴量に基づいて、かかる学習データが属するクラスに対する確信度y_cも算出する。
　続いて、画像選別装置２２が、特徴量x_nと確信度y_cを用いて、曖昧な判断基準でラベル付けされたと判断できる画像の特徴量x_m(m=1,…,M)のみを選別する（ステップＳ２）。そして、クラスタリング装置２３が、選択された特徴量を用いて、以下に説明する特徴量変換（ステップＳ３）とクラスタリング（ステップＳ４）を行う。
　ここで、クラスタリング装置２３による処理動作を図６のフローチャートを参照して説明する。まず、クラスタリング装置２３は、記憶装置１０、画像選別装置２２から、それぞれニューラルネットモデル、選択された特徴量x_m(m=1,…,M)を受け取る（ステップＳ１１）。この時、Ｍは、画像選別装置２２で選択された特徴量の個数である。また、ニューラルネットモデルには、分類層の、各クラスc(=1,…,C)それぞれに対応する重みパラメタw_cおよびバイアスパラメタb_cが含まれる。
　続いて、クラスタリング装置２３は、変数の初期化、つまり、c = 1とする（ステップＳ１２）。続いて、クラスタリング装置２３は、選択された特徴量を、識別平面へ正射影する（ステップＳ１３）。具体的には、ニューラルネットモデルの重みパラメタw_cおよびバイアスパラメタb_cを用いて、全ての選択された特徴量x_mを、それぞれ図３に示した式を用いて、対応するクラスcの識別平面に正射影した特徴量x’_m,c（第２の特徴量）に変換する。
　続いて、クラスタリング装置２３は、k-means法やMean-Shift法により、正射影した特徴量x’_m,cをクラスタリングする（ステップＳ１４）。これにより、正射影した特徴量x’_m,cが属するクラスタID k_m,c (=1,…,K)が得られる。この時、Kはクラスタの個数である。
　その後、クラスタリング装置２３は、c の値を c + 1に更新し（ステップＳ１５）、c <= Cであれば（ステップＳ１６でＮｏ）、次のクラスに関するクラスタリングを行う（ステップＳ１３～Ｓ１５）。c = Cであれば（ステップＳ１６でＹｅｓ）、クラスタリング結果(k_m,c(m=1,…,M: c=1,…C))をクラスタ選別・並び替え装置２４に送る（ステップＳ１７）。
　続いて、クラスタ選別・並び替え装置２４は、クラスタリングされたクラスタ内の特徴量に付与されたラベルの乱雑さを曖昧度a_kとしてクラスタkに付与し、その曖昧度a_kやクラスcを基準としてクラスタkを並べ、クラスを修正する対象とする学習データである画像を選択する（ステップＳ５）。
　そして、提示・修正装置３０は、図４に示すように、ユーザに修正対象の学習データである画像とラベルとを、クラスタ毎に順に提示する（ステップＳ６）。提示・修正装置３０は、提示した修正対象画像に対してユーザから入力されたラベルの修正情報に基づいて、記憶装置１０に記憶されている学習データが属するクラスを表すラベルを更新して設定する（ステップＳ７）。
　以上のように、本発明では、ニューラルネットから得られる特徴量は、異なるラベルが付与されたもの同士が識別平面と垂直方向に離れるという性質を持つため、異なるラベル付けがされた類似画像同士、すなわち曖昧な判断基準によりラベル付けされた画像同士が同じクラスタにまとまりづらい、という問題を解消することができる。その理由は、本発明が、選別した特徴量の識別平面への正射影をクラスタリングし、そのクラスタの選別・並び替えをすることで修正対象の提示方法を決定する機能を持つからである。
　＜実施形態２＞
　次に、本発明の第２の実施形態を、図７を参照して説明する。図７は、本実施形態におけるラベル修正支援装置１の構成を示す図である。
　本実施形態におけるラベル修正支援装置１は、演算装置がプログラムを実行することで構築されたラベル自動修正装置４０を備える。ラベル自動修正装置４０は、クラスタリング装置２３からのクラスタリング結果、クラスタ選別・並び替え装置２４からのクラスタ並び替え情報を入力として、記憶装置１０の学習データを更新する装置である。この時、更新方法としては、例えば、提示されるクラスタ毎にランダムにラベルを選択し、そのクラスタ内の画像全てのラベルを、当該選択されたラベルに更新するという方法や、クラスタ内の全画像の確信度の平均値が閾値を超えるか否かによってラベルを選択し、ラベルを更新するという方法等が考えられる。このように、本実施形態では、画像のラベルを一括で、また、自動で更新することで、ラベル修正が容易となる。
　＜実施形態３＞
　次に、本発明の第３の実施形態を、図８を参照して説明する。図８は、本実施形態におけるラベル修正支援装置１の構成を示す図である。
　本実施形態におけるラベル修正支援装置１は、実施形態１で説明したラベル修正支援装置１が備える構成に加えて、演算装置がプログラムを実行することで構築された設定値更新装置５０をさらに備える。設定値更新装置５０は、各種設定値をユーザに提示し、ユーザからその更新値を受け取り、かかる更新値に基づいて記憶装置１０に記憶されている上述したような各種設定値を更新する機能を有する。
　＜実施形態４＞
　次に、本発明の第４の実施形態を、図９を参照して説明する。図９は、実施形態４における情報処理装置の構成を示すブロック図である。なお、本実施形態では、実施形態１で説明したラベル修正支援装置１の構成の概略を示している。
　図９に示すように、本実施形態における情報処理装置１００は、
　ニューラルネットモデルを用いて学習データの第１の特徴量を抽出する特徴量抽出部１１０と、
　前記ニューラルネットモデルに設定された前記学習データが属するクラスに対応する情報に基づいて、前記第１の特徴量を第２の特徴量に変換して、当該第２の特徴量をクラスタリングするクラスタリング部１２０と、
　前記第２の特徴量のクラスタリング結果に基づいてクラスを修正する対象となる前記学習データを選択する修正対象選択部１３０と、
を備える。
　なお、上記特徴量抽出部１１０とクラスタリング部１２０と修正対象選択部１３０とは、情報処理装置がプログラムを実行することで実現されるものである。
　そして、上記構成の情報処理装置１００は、
　ニューラルネットモデルを用いて学習データの第１の特徴量を抽出し、
　前記ニューラルネットモデルに設定された前記学習データが属するクラスに対応する情報に基づいて、前記第１の特徴量を第２の特徴量に変換して、当該第２の特徴量をクラスタリングし、
　前記第２の特徴量のクラスタリング結果に基づいてクラスを修正する対象となる前記学習データを選択する、
という処理を実行するよう作動する。
　上記発明によると、学習データの第１の特徴量を、当該学習データが属するクラスに対応する情報に基づいて第２の特徴量に変換してクラスタリングすることで、クラスを修正する対象となる学習データを選択することができる。その結果、学習データのラベル修正に要する工数の削減とラベル付けの精度の向上を図ることができる。
　＜付記＞
　上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における情報処理装置、情報処理方法、プログラムの構成の概略を説明する。但し、本発明は、以下の構成に限定されない。
（付記１）
　ニューラルネットモデルを用いて学習データの第１の特徴量を抽出する特徴量抽出部と、
　前記ニューラルネットモデルに設定された前記学習データが属するクラスに対応する情報に基づいて、前記第１の特徴量を第２の特徴量に変換して、当該第２の特徴量をクラスタリングするクラスタリング部と、
　前記第２の特徴量のクラスタリング結果に基づいてクラスを修正する対象となる前記学習データを選択する修正対象選択部と、
を備えた情報処理装置。
（付記２）
　付記１に記載の情報処理装置であって、
　前記クラスタリング部は、前記第１の特徴量の次元を圧縮して前記第２の特徴量に変換する、
情報処理装置。
（付記３）
　付記１又は２に記載の情報処理装置であって、
　前記クラスタリング部は、前記ニューラルネットモデルにおける前記学習データが属するクラスに対応する識別平面に、前記第１の特徴量を正射影して当該第１の特徴量を前記第２の特徴量に変換する、
情報処理装置。
（付記４）
　付記１乃至３のいずれかに記載の情報処理装置であって、
　前記第１の特徴量に基づく値に基づいて当該第１の特徴量を選択する特徴量選択部をさらに備え、
　前記クラスタリング部は、選択された前記第１の特徴量を前記第２の特徴量に変換する、
情報処理装置。
（付記５）
　付記４に記載の情報処理装置であって、
　前記特徴量選択部は、前記第１の特徴量に基づく前記学習データが属するクラスに対する確からしさを表す値に基づいて前記第１の特徴量を選択する、
情報処理装置。
（付記６）
　付記１乃至５のいずれかに記載の情報処理装置であって、
　前記修正対象選択部は、クラスタリングされた前記第２の特徴量が属するクラスタ内における当該第２の特徴量の元となる前記学習データが属するクラスの乱雑さに基づいて、クラスを修正する対象となる前記学習データを選択する、
情報処理装置。
（付記７）
　付記１乃至６のいずれかに記載の情報処理装置であって、
　クラスを修正する対象として選択された前記学習データが属するクラスを変更設定するクラス設定部を備えた、
情報処理装置。
（付記８）
　情報処理装置に、
　ニューラルネットモデルを用いて学習データの第１の特徴量を抽出する特徴量抽出部と、
　前記ニューラルネットモデルに設定された前記学習データが属するクラスに対応する情報に基づいて、前記第１の特徴量を第２の特徴量に変換して、当該第２の特徴量をクラスタリングするクラスタリング部と、
　前記第２の特徴量のクラスタリング結果に基づいてクラスを修正する対象となる前記学習データを選択する修正対象選択部と、
を実現させるためのプログラム。
（付記８．１）
　付記８に記載のプログラムであって、
　前記情報処理装置に、
　前記第１の特徴量に基づく値に基づいて当該第１の特徴量を選択する特徴量選択部をさらに実現させ、
　前記クラスタリング部は、選択された前記第１の特徴量を前記第２の特徴量に変換する、
プログラム。。
（付記８．２）
　付記８又は８．１に記載のプログラムあて、
　前記情報処理装置に、クラスを修正する対象として選択された前記学習データが属するクラスを変更設定するクラス設定部をさらに実現させるためのプログラム。
（付記９）
　ニューラルネットモデルを用いて学習データの第１の特徴量を抽出し、
　前記ニューラルネットモデルに設定された前記学習データが属するクラスに対応する情報に基づいて、前記第１の特徴量を第２の特徴量に変換して、当該第２の特徴量をクラスタリングし、
　前記第２の特徴量のクラスタリング結果に基づいてクラスを修正する対象となる前記学習データを選択する、
情報処理方法。
（付記１０）
　付記９に記載の情報処理方法であって、
　前記第１の特徴量の次元を圧縮して前記第２の特徴量に変換し、当該第２の特徴量をクラスタリングする、
情報処理方法。
（付記１１）
　付記９又は１０に記載の情報処理方法であって、
　前記ニューラルネットモデルにおける前記学習データが属するクラスに対応する識別平面に、前記第１の特徴量を正射影して当該第１の特徴量を前記第２の特徴量に変換し、当該第２の特徴量をクラスタリングする、
情報処理方法。
（付記１２）
　付記９乃至１１のいずれかに記載の情報処理方法であって、
　前記第１の特徴量に基づく値に基づいて当該第１の特徴量を選択し、
　選択された前記第１の特徴量を前記第２の特徴量に変換して、当該第２の特徴量をクラスタリングする、
情報処理方法。
（付記１３）
　付記１２に記載の情報処理方法であって、
　前記第１の特徴量に基づく前記学習データが属するクラスに対する確からしさを表す値に基づいて前記第１の特徴量を選択する、
情報処理方法。
（付記１４）
　付記９乃至１３のいずれかに記載の情報処理方法であって、
　クラスタリングされた前記第２の特徴量が属するクラスタ内における当該第２の特徴量の元となる前記学習データが属するクラスの乱雑さに基づいて、クラスを修正する対象となる前記学習データを選択する、
情報処理方法。
（付記１５）
　付記９乃至１４のいずれかに記載の情報処理方法であって、
　クラスを修正する対象として選択された前記学習データが属するクラスを変更設定する、
情報処理方法。
　なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。
　なお、本発明は、日本国にて２０１８年９月１１日に特許出願された特願２０１８－１６９８２９の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
１　ラベル修正支援装置
１０　記憶装置
２０　ラベル修正対象提示方法決定装置
２１　特徴量抽出装置
２２　画像選別装置
２３　クラスタリング装置
２４　クラスタ選別・並び替え装置
３０　提示・修正装置
４０　ラベル自動修正装置
５０　設定値更新装置
１００　情報処理装置
１１０　特徴量抽出部
１２０　クラスタリング部
１３０　修正対象選択部
 

Claims (15)

  1. 　ニューラルネットモデルを用いて学習データの第１の特徴量を抽出する特徴量抽出部と、
    　前記ニューラルネットモデルに設定された前記学習データが属するクラスに対応する情報に基づいて、前記第１の特徴量を第２の特徴量に変換して、当該第２の特徴量をクラスタリングするクラスタリング部と、
    　前記第２の特徴量のクラスタリング結果に基づいてクラスを修正する対象となる前記学習データを選択する修正対象選択部と、
    を備えた情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、
    　前記クラスタリング部は、前記第１の特徴量の次元を圧縮して前記第２の特徴量に変換する、
    情報処理装置。
  3. 　請求項１又は２に記載の情報処理装置であって、
    　前記クラスタリング部は、前記ニューラルネットモデルにおける前記学習データが属するクラスに対応する識別平面に、前記第１の特徴量を正射影して当該第１の特徴量を前記第２の特徴量に変換する、
    情報処理装置。
  4. 　請求項１乃至３のいずれかに記載の情報処理装置であって、
    　前記第１の特徴量に基づく値に基づいて当該第１の特徴量を選択する特徴量選択部をさらに備え、
    　前記クラスタリング部は、選択された前記第１の特徴量を前記第２の特徴量に変換する、
    情報処理装置。
  5. 　請求項４に記載の情報処理装置であって、
    　前記特徴量選択部は、前記第１の特徴量に基づく前記学習データが属するクラスに対する確からしさを表す値に基づいて前記第１の特徴量を選択する、
    情報処理装置。
  6. 　請求項１乃至５のいずれかに記載の情報処理装置であって、
    　前記修正対象選択部は、クラスタリングされた前記第２の特徴量が属するクラスタ内における当該第２の特徴量の元となる前記学習データが属するクラスの乱雑さに基づいて、クラスを修正する対象となる前記学習データを選択する、
    情報処理装置。
  7. 　請求項１乃至６のいずれかに記載の情報処理装置であって、
    　クラスを修正する対象として選択された前記学習データが属するクラスを変更設定するクラス設定部を備えた、
    情報処理装置。
  8. 　情報処理装置に、
    　ニューラルネットモデルを用いて学習データの第１の特徴量を抽出する特徴量抽出部と、
    　前記ニューラルネットモデルに設定された前記学習データが属するクラスに対応する情報に基づいて、前記第１の特徴量を第２の特徴量に変換して、当該第２の特徴量をクラスタリングするクラスタリング部と、
    　前記第２の特徴量のクラスタリング結果に基づいてクラスを修正する対象となる前記学習データを選択する修正対象選択部と、
    を実現させるためのプログラム。
  9. 　ニューラルネットモデルを用いて学習データの第１の特徴量を抽出し、
    　前記ニューラルネットモデルに設定された前記学習データが属するクラスに対応する情報に基づいて、前記第１の特徴量を第２の特徴量に変換して、当該第２の特徴量をクラスタリングし、
    　前記第２の特徴量のクラスタリング結果に基づいてクラスを修正する対象となる前記学習データを選択する、
    情報処理方法。
  10. 　請求項９に記載の情報処理方法であって、
    　前記第１の特徴量の次元を圧縮して前記第２の特徴量に変換し、当該第２の特徴量をクラスタリングする、
    情報処理方法。
  11. 　請求項９又は１０に記載の情報処理方法であって、
    　前記ニューラルネットモデルにおける前記学習データが属するクラスに対応する識別平面に、前記第１の特徴量を正射影して当該第１の特徴量を前記第２の特徴量に変換し、当該第２の特徴量をクラスタリングする、
    情報処理方法。
  12. 　請求項９乃至１１のいずれかに記載の情報処理方法であって、
    　前記第１の特徴量に基づく値に基づいて当該第１の特徴量を選択し、
    　選択された前記第１の特徴量を前記第２の特徴量に変換して、当該第２の特徴量をクラスタリングする、
    情報処理方法。
  13. 　請求項１２に記載の情報処理方法であって、
    　前記第１の特徴量に基づく前記学習データが属するクラスに対する確からしさを表す値に基づいて前記第１の特徴量を選択する、
    情報処理方法。
  14. 　請求項９乃至１３のいずれかに記載の情報処理方法であって、
    　クラスタリングされた前記第２の特徴量が属するクラスタ内における当該第２の特徴量の元となる前記学習データが属するクラスの乱雑さに基づいて、クラスを修正する対象となる前記学習データを選択する、
    情報処理方法。
  15. 　請求項９乃至１４のいずれかに記載の情報処理方法であって、
    　クラスを修正する対象として選択された前記学習データが属するクラスを変更設定する、
    情報処理方法。
     
PCT/JP2019/034821 2018-09-11 2019-09-04 情報処理装置、情報処理方法、プログラム WO2020054551A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020545955A JP7156383B2 (ja) 2018-09-11 2019-09-04 情報処理装置、情報処理方法、プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018169829 2018-09-11
JP2018-169829 2018-09-11

Publications (1)

Publication Number Publication Date
WO2020054551A1 true WO2020054551A1 (ja) 2020-03-19

Family

ID=69777032

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/034821 WO2020054551A1 (ja) 2018-09-11 2019-09-04 情報処理装置、情報処理方法、プログラム

Country Status (2)

Country Link
JP (1) JP7156383B2 (ja)
WO (1) WO2020054551A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022109664A (ja) * 2021-01-15 2022-07-28 沖電気工業株式会社 情報処理装置、情報処理方法およびプログラム
CN114912522A (zh) * 2022-05-11 2022-08-16 北京百度网讯科技有限公司 信息分类方法和装置
JP2023045892A (ja) * 2021-09-22 2023-04-03 三菱電機インフォメーションシステムズ株式会社 データ選別支援装置、データ選別支援方法及びデータ選別支援プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017076287A (ja) * 2015-10-15 2017-04-20 キヤノン株式会社 データ解析装置、データ解析方法及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017076287A (ja) * 2015-10-15 2017-04-20 キヤノン株式会社 データ解析装置、データ解析方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CARON, MATHILDE ET AL.: "Deep Clustering for Unsupervised Learning of Visual Features", ROBOCUP 2008: ROBOCUP 2008: ROBOT SOCCER WORLD CUP XII; [LECTURE NOTES IN COMPUTER SCIENCE; LECT.NOTES COMPUTER], 9 October 2018 (2018-10-09), pages 139 - 156, XP047500422, Retrieved from the Internet <URL:https://arxiv.org/pdf/1807.05520vl.pdf> [retrieved on 20191028] *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022109664A (ja) * 2021-01-15 2022-07-28 沖電気工業株式会社 情報処理装置、情報処理方法およびプログラム
JP7143906B2 (ja) 2021-01-15 2022-09-29 沖電気工業株式会社 情報処理装置、情報処理方法およびプログラム
JP2023045892A (ja) * 2021-09-22 2023-04-03 三菱電機インフォメーションシステムズ株式会社 データ選別支援装置、データ選別支援方法及びデータ選別支援プログラム
JP7266075B2 (ja) 2021-09-22 2023-04-27 三菱電機インフォメーションシステムズ株式会社 データ選別支援装置、データ選別支援方法及びデータ選別支援プログラム
CN114912522A (zh) * 2022-05-11 2022-08-16 北京百度网讯科技有限公司 信息分类方法和装置
CN114912522B (zh) * 2022-05-11 2024-04-05 北京百度网讯科技有限公司 信息分类方法和装置

Also Published As

Publication number Publication date
JPWO2020054551A1 (ja) 2021-08-30
JP7156383B2 (ja) 2022-10-19

Similar Documents

Publication Publication Date Title
CN110362677B (zh) 文本数据类别的识别方法及装置、存储介质、计算机设备
US9779354B2 (en) Learning method and recording medium
JP6277818B2 (ja) 機械学習装置、機械学習方法、及びプログラム
WO2020054551A1 (ja) 情報処理装置、情報処理方法、プログラム
CN109145766B (zh) 模型训练方法、装置、识别方法、电子设备及存储介质
US9002101B2 (en) Recognition device, recognition method, and computer program product
US9098775B2 (en) Multi-class identifier, method, and computer-readable recording medium
US11157749B2 (en) Crowd state recognition device, learning method, and learning program
JP5214760B2 (ja) 学習装置、方法及びプログラム
JP2018022473A (ja) 学習装置、識別装置、学習識別システム、及び、プログラム
JP2019521443A (ja) 適応型追加学習を用いた細胞のアノテーション法及びアノテーションシステム
JP6965206B2 (ja) クラスタリング装置、クラスタリング方法およびプログラム
US11748450B2 (en) Method and system for training image classification model
Chagas et al. Evaluation of convolutional neural network architectures for chart image classification
CN113255617B (zh) 图像识别方法、装置、电子设备和计算机可读存储介质
CN108573289B (zh) 信息处理装置、信息处理方法以及记录介质
JP2019079536A (ja) 連合クラスタリング深層学習ニューラルネットワークに基づくデータ識別方法
CN113128478B (zh) 模型训练方法、行人分析方法、装置、设备及存储介质
WO2018116921A1 (ja) 辞書学習装置、辞書学習方法、データ認識方法およびプログラム記憶媒体
WO2019111550A1 (ja) 人物照合装置、方法、及び非一時的なコンピュータ可読媒体
US20190164078A1 (en) Information processing system, information processing method, and recording medium
JP2012113621A (ja) 情報処理装置、情報処理方法、及び、プログラム
CN110717401A (zh) 年龄估计方法及装置、设备、存储介质
JP2021051589A5 (ja)
JP6988995B2 (ja) 画像生成装置、画像生成方法および画像生成プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19859648

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020545955

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19859648

Country of ref document: EP

Kind code of ref document: A1