JP7428233B2 - クラスタリング装置、クラスタリング方法、および、クラスタリングプログラム - Google Patents

クラスタリング装置、クラスタリング方法、および、クラスタリングプログラム Download PDF

Info

Publication number
JP7428233B2
JP7428233B2 JP2022502626A JP2022502626A JP7428233B2 JP 7428233 B2 JP7428233 B2 JP 7428233B2 JP 2022502626 A JP2022502626 A JP 2022502626A JP 2022502626 A JP2022502626 A JP 2022502626A JP 7428233 B2 JP7428233 B2 JP 7428233B2
Authority
JP
Japan
Prior art keywords
sensor data
clustering
data
clusters
latent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022502626A
Other languages
English (en)
Other versions
JPWO2021171384A1 (ja
Inventor
純平 山下
英毅 小矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2021171384A1 publication Critical patent/JPWO2021171384A1/ja
Application granted granted Critical
Publication of JP7428233B2 publication Critical patent/JP7428233B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Description

本発明は、クラスタリング装置、クラスタリング方法、および、クラスタリングプログラムに関する。
例えば、慣性センサ（例えば、加速度計、回転量計等）や生理信号の計測センサにより出力されるセンサデータ等、多次元のデータを分析する場合、データが何を表しているのか把握しやすくするため、データの次元を削減することが必要である。
データの次元を削減する方法として、クラスタリングがある。クラスタリングでは、データ間の類似度に基づき、データをいくつかのクラスタに分け、そのデータのクラスタリングの結果に基づき、データの次元数をクラスタ数分に削減する。
ここで、従来のクラスタリング方法には、いわゆる、浅い手法（shallow method）と深い手法（deep method）とがある。上記の浅い手法は、例えば、単純な教師なし学習や２層以下のニューラルネットワークを利用する方法である。深い手法は、例えば、３層以上のニューラルネットワークを利用する方法である。
Balanced Self-Paced Learning for Generative Adversarial Clustering Network (CVPR 2019)、［2020年2月7日検索］、インターネット＜URL：http://openaccess.thecvf.com/content_CVPR_2019/papers/Ghasedi_Balanced_Self-Paced_Learning_for_Generative_Adversarial_Clustering_Network_CVPR_2019_paper.pdf＞
上記の浅い手法は、クラスタリングに必要なモデルを学習するのに必要な計算量は少なくて済むが、次元数の増加とともにクラスタリングの性能が悪化する。よって、浅い手法では非線形で複雑な多次元のデータのクラスタリングは困難であるという問題がある。
一方、深い手法は、多次元のデータのクラスタリングを行うことができる。しかし、事前にクラスタ数を人手で決めてから、クラスタリングに必要なモデルを学習する必要があるため適切なクラスタ数を探し出すまでに試行錯誤が必要である。また、上記のクラスタリングに必要なモデルの学習に要する計算量が多く、適切なクラスタ数を探し当てるまでに必要な計算量が非常に多くなるという問題がある。
そこで、本発明は、前記した問題を解決し、多次元データであるセンサデータについて少ない計算量で適切なクラスタリングを行うことを課題とする。
前記した課題を解決するため、本発明は、教師なし学習または２層以下のニューラルネットワークで扱える次元数の連続的な確率変数である潜在変数からセンサデータが生成されるとみなし、前記潜在変数から前記センサデータを生成する生成モデルに基づき、前記センサデータから前記潜在変数を推定するモデルを構築するモデル構築部と、前記構築されたモデルを用いて、前記センサデータから、前記センサデータの生成の元となった潜在変数の推定値を計算する潜在変数計算部と、前記計算された潜在変数の推定値を、教師なし学習または２層以下のニューラルネットワークによりクラスタリングした際のクラスタ数を特定するクラスタ数特定部と、前記構築されたモデルのハイパーパラメータ情報を取得するハイパーパラメータ情報取得部と、前記取得されたハイパーパラメータ情報と、特定されたクラスタ数とを用いて、３層以上のニューラルネットワークにより、前記センサデータをクラスタリングするクラスタリング部とを備えることを特徴とする。
本発明によれば、多次元データであるセンサデータについて少ない計算量で適切なクラスタリングを行うことができる。
図１は、クラスタリング装置の構成例を示す図である。 図２は、図１のクラスタリング装置の処理手順の例を示すフローチャートである。 図３は、潜在変数とデータ（センサデータ）との関係を説明するための図である。 図４は、GANを説明するための図である。 図５は、InfoGANを説明するための図である。 図６は、VAEを説明するための図である。 図７は、浅い手法による潜在変数のクラスタリングを説明するための図である。 図８は、クラスタリングプログラムを実行するコンピュータの構成例を示す図である。
以下、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。本発明は以下に説明する実施形態に限定されない。
なお、以下の説明において、クラスタリング装置１０が処理対象とするセンサデータは、例えば、人体の行動に伴いセンシングされるデータである。センサデータは、例えば、人体の生理データ、人体の動きを示す加速度データ、人体の動きを示す回転量データのいずれかまたはこれらの組み合わせ等である。このセンサデータは、多次元データであり、例えば、数千次元程度のデータであるものとする。
また、以下の説明において、浅い手法とは、例えば、単純な教師なし学習や２層以下のニューラルネットワークを利用する手法であり、深い手法は、例えば、３層以上のニューラルネットワークを利用する手法であるものとする。
［構成例］
クラスタリング装置１０は、入力されたセンサデータのクラスタリングを行う。クラスタリング装置１０は、入出力部１１と、記憶部１２と、制御部１３とを備える。
入出力部１１は、各種データの入出力を司る。例えば、入出力部１１は、センサデータの入力を受け付けたり、センサデータのクラスタリングの結果を出力したりする。この入出力部１１は、入出力インタフェースや通信インタフェース等により実現される。
記憶部１２は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現され、クラスタリング装置１０を動作させる処理プログラムや、処理プログラムの実行中に使用されるデータ等が記憶される。また、記憶部１２は、制御部１３により構築されたモデルや、当該モデルのハイパーパラメータ情報等を記憶する。制御部１３により構築されるモデルについては後記する。
制御部１３は、クラスタリング装置１０全体の制御を司る。制御部１３は、各種の処理手順等を規定したプログラム及び所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する。例えば、制御部１３は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等の電子回路である。制御部１３は、各種のプログラムが動作することにより各種の処理部として機能する。
制御部１３は、データ入力受け付け部１３１と、モデル構築部１３２と、潜在変数計算部１３３と、クラスタ数特定部１３４と、ハイパーパラメータ情報取得部１３５と、クラスタリング部１３６とを備える。
データ入力受け付け部１３１は、入出力部１１経由でセンサデータの入力を受け付ける。
モデル構築部１３２は、センサデータから潜在変数を推定するモデルを構築する。例えば、モデル構築部１３２は、潜在変数は浅い手法で扱える次元数の連続的な確率変数（例えば、正規分布に基づく確率変数）であるものとみなし、当該潜在変数からセンサデータを生成する生成モデルに基づき、センサデータから潜在変数を推定するモデルを構築する。
上記の生成モデルは、教師なし学習によって潜在変数からセンサデータを生成するよう学習されたモデルである。生成モデルは、例えば、GAN（Generative Adversarial Networks）、InfoGAN（Information Maximizing Generative Adversarial Networks）、VAE（Variational AutoEncoder）等である。上記のモデル構築部１３２によるモデルの構築の詳細については具体例を交えながら後記する。
潜在変数計算部１３３は、モデル構築部１３２により構築されたモデルを用いて、センサデータから、センサデータの生成の元となった潜在変数の推定値を計算する。
クラスタ数特定部１３４は、潜在変数計算部１３３により計算された潜在変数の推定値を浅い手法によりクラスタリングし、最適なクラスタ数を特定する。
例えば、クラスタ数特定部１３４は、上記の最適なクラスタ数の特定に、エルボー法を用いる。なお、このエルボー法は、例えば、様々なクラスタ数でK-means法等を試してみて、これ以上クラスタ数を増やしてもあまり精度が上昇しない点を探索し、探索の結果得られたクラスタ数を最適なクラスタ数として特定する方法である。
ハイパーパラメータ情報取得部１３５は、モデル構築部１３２により構築されたモデルのハイパーパラメータ情報（例えば、ニューラルネットワークのユニット数、結合方式、学習率等）を取得する。
クラスタリング部１３６は、ハイパーパラメータ情報取得部１３５により取得されたハイパーパラメータ情報と、クラスタ数特定部１３４により特定された最適なクラスタ数とを用いて、深い手法によりセンサデータのクラスタリングを行う。
例えば、クラスタリング部１３６は、ネットワークアーキテクチャの最終層を除いたすべてのハイパーパラメータが、モデル構築部１３２により構築されたモデルのハイパーパラメータが同じである３層以上のニューラルネットワークを用いて、センサデータを上記の最適なクラスタ数にクラスタリングする。その後、クラスタリング部１３６は、センサデータのクラスタリングの結果を入出力部１１経由で出力する。
このようにすることでクラスタリング装置１０は、多次元データであるセンサデータについて少ない計算量で適切なクラスタリングを行うことができる。
［処理手順］
次に、図２を用いて、クラスタリング装置１０の処理手順の例を説明する。
まず、クラスタリング装置１０のデータ入力受け付け部が、入出力部１１経由でセンサデータの入力を受け付けると、モデル構築部１３２は、浅い手法で扱える次元数の連続的な確率変数である潜在変数からセンサデータが生成される過程をモデル化する（Ｓ１）。
次に、潜在変数計算部１３３は、Ｓ１で得られたモデルを用いて、個々のセンサデータを生成した潜在変数を推定する（Ｓ２）。その後、クラスタ数特定部１３４は、Ｓ２で推定された潜在変数について、最少のクラスタ数を指定し、浅い手法でクラスタリングを実行する（Ｓ３）。そして、クラスタ数特定部１３４が、クラスタ数を変更したとしても、クラスタリング精度はこれ以上上がらないと判定した場合（Ｓ４でＹｅｓ）、センサデータのクラスタリングに用いるクラスタ数を、当該クラスタ数に決定する（Ｓ６）。
一方、Ｓ４でクラスタ数特定部１３４は、クラスタ数を変更すればクラスタリング精度がさらに上がると判定した場合（Ｓ４でＮｏ）、クラスタ数を増加させて、浅い手法でクラスタリングを実行し（Ｓ５）、Ｓ４の処理へ戻る。
Ｓ６の後、ハイパーパラメータ情報取得部１３５は、Ｓ２で潜在変数の推定に用いたモデルのハイパーパラメータ情報を取得する（Ｓ７）。その後、クラスタリング部１３６は、Ｓ５で決定されたクラスタ数とＳ７で取得されたハイパーパラメータ情報とを用いて、深い手法により、センサデータのクラスタリングを実行する（Ｓ８）。
このようなクラスタリング装置１０によれば、比較的多くの計算量を必要とするニューラルネットワークの学習過程を何度も繰り返し実行せずに、センサデータの最適なクラスタ数を特定することができる。その結果、クラスタリング装置１０は、センサデータについて少ない計算量で適切なクラスタリングを行うことができる。
［モデル構築］
次に、モデル構築部１３２によるモデル構築について詳細に説明する。まず、潜在変数とセンサデータとの関係を説明する。
潜在変数からセンサデータが生成される過程がモデル化できていれば、潜在変数の１つの組み合わせに対応して１つのセンサデータが生成されると考えることができる。なお、上記のモデルにおいて各潜在変数上のデータは連続的な確率変数に従って分布しているものとする。例えば、センサデータは、潜在変数Ａ，Ｂ，Ｃの組み合わせに対応して生成される場合を考える。この場合、センサデータに対応する潜在変数は、例えば、図３のように潜在変数Ａの軸、潜在変数Ｂの軸、潜在変数Ｃの軸からなる空間（潜在空間）上の点１、点２、点３のように表現される。つまり、潜在空間上の１点に対応してデータ（センサデータ）が生成されると考えることができる。例えば、図３に示すように、潜在空間上の点１の潜在変数から生成されるデータ、点２の潜在変数から生成されるデータ、点３の潜在変数から生成されるデータが対応付けられる。
［生成モデルとしてInfoGANを用いる場合］
モデル構築部１３２は、潜在変数からセンサデータを生成する生成モデルに基づき、センサデータから潜在変数を推定するモデルを構築する。生成モデルは、例えば、InfoGANである。以下、モデル構築部１３２が生成モデルとしてInfoGANを用いる場合について説明する。
InfoGANとは、GANと呼ばれる教師なし学習のフレームワークを発展させ、データから、そのデータを生成する潜在変数を推定するものである。
まず、GANについて説明する。ここでは、図４を用いて、GANによって３次元の潜在変数ｃ（Ａ，Ｂ，Ｃ）からデータ（センサデータ）を生成する過程をモデル化する場合を例に説明する。GANは、ニューラルネットワークで構成されたGeneratorおよびDiscriminatorを持つ。
Generator（Ｇ）は、３次元の潜在変数ｃの入力を受け付けると、多次元のデータを生成し、出力する。Discriminator（Ｄ）は、Generatorにより生成されたデータ（生成データ）および実データのどちらかの入力を受け付けると、入力されたデータが生成データか実データのどちらかを推測し、推測結果を出力する。例えば、Discriminatorは、推測結果として、(1,0)＝Real（実データ）または(0,1)＝Generated（生成データ）を出力する。
上記のGeneratorの学習においては、Discriminatorが、Generatorにより生成されたデータと実データ（data）とを識別した結果の精度が悪化するような評価関数を定める。また、Discriminatorの学習においては、Discriminatorが、Generatorにより生成されたデータと実データとを識別した結果の精度が改善するような評価関数を定める。
なお、GANで用いられる評価関数は以下の式（１）により表される。
Figure 0007428233000001
上記のGeneratorの学習とDiscriminatorの学習とを同時（交互）に行うことで、学習ごとに、Generatorは３つの潜在変数ｃから実データに類似するデータを生成するようになる。また、学習ごとに、DiscriminatorはGeneratorが生成したデータと実データとを見分けるようになっていく。そして、上記の学習がうまく収束すると、Generatorは実データと見分けがつかないデータを生成できるようになる。また、Discriminatorは実データと生成されたデータとの見分けがつかなくなる。このとき、Generatorには潜在変数からデータが生成される過程がモデル化されていると解釈することができる。
InfoGANでは、上記のGANの枠組みを発展させ、データから潜在変数の推定を可能にしている。図５を用いて、InfoGANにおいて３次元の潜在変数ｃ（Ａ，Ｂ，Ｃ）からデータ（センサデータ）を生成する過程についてモデル化する場合について説明する。InfoGANは学習過程の都合上、データから推定される潜在変数とは別に、解釈できないノイズ（noise）を説明するいくつかの潜在変数（ノイズ潜在変数ｚ）を追加で用いる。
Generator（Ｇ）は、３次元の潜在変数ｃおよびノイズ潜在変数ｚの入力を受け付けると、多次元のデータを生成し、出力する。
Discriminator（Ｄ）は、Generator（Ｇ）による生成データおよび実データの入力を受け付けると、入力されたデータが生成データおよび実データのどちらかを推測し、推測結果を出力する。例えば、Discriminatorは、推測結果として、(1,0)＝Real（実データ）または(0,1)＝Generated（生成データ）を出力する。また、Discriminatorは、生成データがどの潜在変数から生成されたか推測する。
Generatorの学習においては、Discriminatorが、Generatorにより生成されたデータ（生成データ）と実データとを識別した結果の精度が悪化し、かつ、Discriminatorが、生成データがどの潜在変数から生成されたかを推定した結果の精度が向上するような評価関数を定める。
また、Discriminatorの学習においては、Discriminatorが、Generatorにより生成されたデータと実データとを識別した結果の精度が改善し、かつ、Discriminatorが、生成データがどの潜在変数から生成されたかを推定した結果の精度が向上するような評価関数を定める。
なお、InfoGANで用いられる評価関数は以下の式（２）により表される。
Figure 0007428233000002
上記の学習ごとに、Generatorは３次元の潜在変数ｃおよびノイズ潜在変数ｚから実データに類似するデータを生成するようになり、学習がうまく収束すると、Discriminatorは実データと生成データとの見分けがつかなくなる。また、学習がうまく収束すると、Discriminatorはそのデータを生成する潜在変数を推定できるようになる。
このとき、Generatorには潜在変数からデータが生成される過程がモデル化されていると解釈することができる。そして、この潜在変数からデータが生成される過程は、他のモデルが生成データから潜在変数を推定する場合、それが容易であるようにモデル化されていると解釈することができる。換言すると、上記の過程において、潜在変数と生成データとの相互情報量が最大化されていると解釈することができる。
つまり、上記の学習により、Generatorは、生成データから潜在変数ｃを推定しやすいようにモデル化されている。すなわち、Generatorは、潜在変数ｃの情報が生成データに多く残るように学習されていると解釈することができる。
これにより、Discriminatorは、生成データがどの潜在変数から生成されたかを推定することができる。よって、クラスタリング装置１０は、上記の学習後のDiscriminatorを用いることで、実データがどの潜在変数から生成されたかを推定することができる。
なお、モデル構築部１３２は、潜在変数からセンサデータを生成する生成モデルとして、上記したGANを用いてもよいし、VAEを用いてもよい。
［生成モデルとしてVAEを用いる場合］
以下、図６を参照しながら、モデル構築部１３２が生成モデルとしてVAEを用いる場合を説明する。
VAEとは、ニューラルネットワークで構成されたEncoderおよびDecoderを持つ教師なし学習器である。Encoderは、多次元のデータが入力されると、当該データを、例えば３次元の潜在変数をサンプリングするための確率分布Ｚのパラメータ（平均μ（ｘ）および分散σ（ｘ））に写像するネットワークである。潜在変数の値は、例えば、Encoderから出力された３次元の平均および分散の値から正規分布Ｎ上でランダムサンプリングを行うことにより得られる。
Decoderは、入力された３次元の潜在変数の値を多次元のデータに写像するネットワークである。このDecoderによる出力が入力を復元するように、例えば、誤差逆伝搬法等で学習を行うことで、Encoderは入力された多次元のデータの生成元となった潜在変数を推定するようになり、Decoderは潜在変数からセンサデータを生成する過程をモデル化するようになる。よって、クラスタリング装置１０は、上記の学習後のEncoderを用いることで、データの生成元となった潜在変数を推定することができる。
［潜在変数のクラスタリング］
次に、図７を用いて、クラスタ数特定部１３４による、潜在変数のクラスタリングについて説明する。例えば、クラスタ数特定部１３４は、図７に示す潜在変数Ａ，Ｂ，Ｃの軸で表される潜在変数の推定値を、浅い手法によりクラスタリングし、最適なクラスタ数を特定する。
クラスタリング装置１０は、センサデータの生成元となった潜在変数の次元数を、浅い手法によるクラスタリングが可能な程度の次元数にまで制限している。このため、クラスタ数特定部１３４は、浅い手法により潜在変数の推定値のクラスタリングを行うことができる。
また、クラスタ数特定部１３４が、最適なクラスタ数を特定する際、試行錯誤的な手法も用いるが、その計算量は、深い手法で最適なクラスタ数を特定する際に試行錯誤を行う場合よりもはるかに少ない。
［センサデータのクラスタリング］
クラスタリング部１３６は、モデル構築部１３２により構築されたモデルのハイパーパラメータ情報と、クラスタ数特定部１３４により特定されたクラスタ数とを用いて、深い手法により（例えば、３層以上のニューラルネットワークにより）、センサデータをクラスタリングする。上記のクラスタリングにより、クラスタリング部１３６が離散的なデータであるセンサデータをクラスタリングできる理由を以下に説明する。
上述の通り、深い手法によるクラスタリングではニューラルネットワークが利用される。ニューラルネットワークがそれぞれ、同じハイパーパラメータで、同じデータを、似た評価関数を最小化（最大化）するように学習を行うと、それぞれのニューラルネットワークでは高い確率で同じような意味の学習が進んでいくと推察される。
例えば、InfoGANで、（１）データの生成元の潜在変数を推定する学習を行い、Discriminatorによって推定された潜在変数上で浅い手法でクラスタリングを行う場合と、（２）同じハイパーパラメータで、同じデータを扱い、Generatorの扱う潜在変数を離散的にして学習させ、Discriminatorによって推定された、データの生成元の潜在変数（離散的な潜在変数）をクラスタ識別子とみなす場合とで、似た処理が行われることが経験的に分かっている。
また、例えば、VAEで、（１）データの生成元の潜在変数を推定する学習を行い、Encoderによって推定された潜在変数上で浅い手法でクラスタリングを行う場合と、（２）同じハイパーパラメータで、同じデータを扱い、Encoderが、Deep Clustering（深い手法によるクラスタリングの一種。参考文献１参照）を用いてデータの生成元の潜在変数（離散的な潜在変数）をクラスタリングする場合とで、似た処理が行われる可能性が高い。
参考文献１：Deep Clustering for Unsupervised Learning of Visual Features, Mathilde Caron, Piotr Bojanowski, Armand Joulin, Matthijs Douze (ECCV 2018), URL: https://arxiv.org/pdf/1807.05520.pdf
以上のことから、クラスタリング部１３６は、モデル構築部１３２により構築されたモデルのハイパーパラメータ情報を用いて、離散的なデータであるセンサデータをクラスタリングすることができる。
［効果］
このように、クラスタリング装置１０は、まず、潜在変数とセンサデータとを対応付ける生成モデルに基づき、センサデータの生成元となった潜在変数を推定し、その潜在変数上で最適なクラスタ数を求める。多くの場合、上記の最適なクラスタ数は、同じハイパーパラメータで、同じデータを用いた深い手法によってクラスタリングする場合の最適なクラスタ数と一致する。よって、クラスタリング装置１０は、上記の最適なクラスタ数を用いて、深い手法によりセンサデータのクラスタリングを行うことができる。その結果、クラスタリング装置１０は、センサデータのクラスタリングを行う際、多くの計算量を必要とするニューラルネットワークの学習過程を何度も繰り返し実行せずに済む。
なお、深い手法でのクラスタリング方法として、InfoGANの潜在変数ｃを離散的な確率変数とする方法がある。例えば、潜在変数ｃが０，１，２のいずれかからデータが生成されたとみなせば、データの潜在変数の推定はクラスタリングとなる。しかし、最初から離散的な確率変数をおいて、最適なクラスタ数をさがした場合、深い手法を何度も試行錯誤することになる。
一方、クラスタリング装置１０は、潜在変数が連続的な確率変数であるものとし、その潜在変数からデータが生成されるとみなす。この連続的な確率変数は離散的な確率変数と比べて自由度が高い。この自由度のおかげで、はじめに人手で指定する潜在変数の次元数は、クラスタ数ほど厳密である必要がなくなる。なお、この潜在変数の次元数は、例えば、浅い手法の適用範囲内にあると想定される次元数の中から、とりあえず大きめのものを選んでおけばよい。例えば、センサデータの次元数が数千次元程度であるとすると、潜在変数の次元数は最大で数十次元程度とすればよい。これにより、クラスタリング装置１０が、最適なクラスタ数を特定するための計算量を低減することができる。
また、上記の方法で得られた潜在変数は、浅い手法でクラスタリング可能となっているため、クラスタリング装置１０は、潜在変数の最適なクラスタ数の特定を簡単に行うことができる。ここで、我々は、上記のようにして特定された最適なクラスタ数は、深い手法により、同じデータで、同じハイパーパラメータでクラスタリングする場合においても最適なクラスタ数にもなるという性質を経験的に発見した。そこで、上記の性質を利用し、クラスタリング装置１０は、上記の方法で特定した潜在変数の最適なクラスタ数を、深い手法でセンサデータをクラスタリングする際の最適なクラスタ数として用いることとした。これにより、クラスタリング装置１０は、センサデータのクラスタリングを行う際に最適なクラスタ数を得るために繰り返しニューラルネットワークの学習過程を何度も繰り返す必要がなくなる。つまり、クラスタリング装置１０が、最適なクラスタ数を特定するための計算量を低減することができる。その結果、クラスタリング装置１０は、センサデータについて少ない計算量で適切なクラスタリングを行うことができる。
［プログラム］
図８を用いて、上記のプログラム（クラスタリングプログラム）を実行するコンピュータの一例を説明する。図８に示すように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。
メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１およびＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。ディスクドライブ１１００には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１１１０およびキーボード１１２０が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１１３０が接続される。
ここで、図８に示すように、ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。前記した実施形態で説明したモデルのパラメータ等は、例えばハードディスクドライブ１０９０やメモリ１０１０に装備される。
そして、ＣＰＵ１０２０が、ハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。
なお、上記のクラスタリングプログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、上記のプログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮやＷＡＮ（Wide Area Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
１０ クラスタリング装置
１１ 入出力部
１２ 記憶部
１３ 制御部
１３１ データ入力受け付け部
１３２ モデル構築部
１３３ 潜在変数計算部
１３４ クラスタ数特定部
１３５ ハイパーパラメータ情報取得部
１３６ クラスタリング部

Claims (8)

  1. 教師なし学習または２層以下のニューラルネットワークで扱える次元数の連続的な確率変数である潜在変数からセンサデータが生成されるとみなし、前記潜在変数から前記センサデータを生成する生成モデルに基づき、前記センサデータから前記潜在変数を推定するモデルを構築するモデル構築部と、
    前記構築されたモデルを用いて、前記センサデータから、前記センサデータの生成の元となった潜在変数の推定値を計算する潜在変数計算部と、
    前記計算された潜在変数の推定値を、教師なし学習または２層以下のニューラルネットワークによりクラスタリングした際のクラスタ数を特定するクラスタ数特定部と、
    前記構築されたモデルのハイパーパラメータを取得するハイパーパラメータ情報取得部と、
    最終層を除く各層のハイパーパラメータが、前記取得されたハイパーパラメータと同じである３層以上のニューラルネットワークにより、前記センサデータを、前記特定されたクラスタ数にクラスタリングするクラスタリング部と
    を備えることを特徴とするクラスタリング装置。
  2. 前記センサデータは、
    人体の生理データ、人体の動きを示す加速度データ、および、人体の動きを示す回転量データのいずれかまたはこれらの組み合わせである
    ことを特徴とする請求項１に記載のクラスタリング装置。
  3. 前記連続的な確率変数は、
    正規分布に従った確率変数である
    ことを特徴とする請求項１に記載のクラスタリング装置。
  4. 前記生成モデルは、
    教師なし学習によって前記潜在変数から前記センサデータを生成するよう学習されたニューラルネットワークである
    ことを特徴とする請求項１に記載のクラスタリング装置。
  5. 前記ニューラルネットワークは、
    GANまたはVAEである
    ことを特徴とする請求項４に記載のクラスタリング装置。
  6. 前記クラスタ数特定部は、
    前記センサデータのクラスタ数を特定する際、教師なし学習または２層以下のニューラルネットワークにエルボー法を適用する
    ことを特徴とする請求項１に記載のクラスタリング装置。
  7. クラスタリング装置により実行されるクラスタリング方法であって、
    教師なし学習または２層以下のニューラルネットワークで扱える次元数の連続的な確率変数である潜在変数からセンサデータが生成されるとみなし、前記潜在変数から前記センサデータを生成する生成モデルに基づき、前記センサデータから前記潜在変数を推定するモデルを構築する工程と、
    前記構築されたモデルを用いて、前記センサデータから、前記センサデータの生成の元となった潜在変数の推定値を計算する工程と、
    前記計算された潜在変数の推定値を、教師なし学習または２層以下のニューラルネットワークによりクラスタリングした際のクラスタ数を特定する工程と、
    前記構築されたモデルのハイパーパラメータを取得する工程と、
    最終層を除く各層のハイパーパラメータが、前記取得されたハイパーパラメータと同じである３層以上のニューラルネットワークにより、前記センサデータを、前記特定されたクラスタ数にクラスタリングするクラスタリングする工程と
    を含むことを特徴とするクラスタリング方法。
  8. 教師なし学習または２層以下のニューラルネットワークで扱える次元数の連続的な確率変数である潜在変数からセンサデータが生成されるとみなし、前記潜在変数から前記センサデータを生成する生成モデルに基づき、前記センサデータから前記潜在変数を推定するモデルを構築する工程と、
    前記構築されたモデルを用いて、前記センサデータから、前記センサデータの生成の元となった潜在変数の推定値を計算する工程と、
    前記計算された潜在変数の推定値を、教師なし学習または２層以下のニューラルネットワークによりクラスタリングした際のクラスタ数を特定する工程と、
    前記構築されたモデルのハイパーパラメータを取得する工程と、
    最終層を除く各層のハイパーパラメータが、前記取得されたハイパーパラメータと同じである３層以上のニューラルネットワークにより、前記センサデータを、前記特定されたクラスタ数にクラスタリングするクラスタリングする工程と
    をコンピュータに実行させることを特徴とするクラスタリングプログラム。
JP2022502626A 2020-02-25 2020-02-25 クラスタリング装置、クラスタリング方法、および、クラスタリングプログラム Active JP7428233B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/007540 WO2021171384A1 (ja) 2020-02-25 2020-02-25 クラスタリング装置、クラスタリング方法、および、クラスタリングプログラム

Publications (2)

Publication Number Publication Date
JPWO2021171384A1 JPWO2021171384A1 (ja) 2021-09-02
JP7428233B2 true JP7428233B2 (ja) 2024-02-06

Family

ID=77490818

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022502626A Active JP7428233B2 (ja) 2020-02-25 2020-02-25 クラスタリング装置、クラスタリング方法、および、クラスタリングプログラム

Country Status (3)

Country Link
US (1) US20230086261A1 (ja)
JP (1) JP7428233B2 (ja)
WO (1) WO2021171384A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230113462A1 (en) * 2021-10-13 2023-04-13 Hewlett Packard Enterprise Development Lp Routing table anomaly detection using unsupervised machine learning

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014153977A (ja) 2013-02-12 2014-08-25 Mitsubishi Electric Corp コンテンツ解析装置、コンテンツ解析方法、コンテンツ解析プログラム、およびコンテンツ再生システム
JP2019197355A (ja) 2018-05-09 2019-11-14 株式会社東芝 クラスタリング装置、クラスタリング方法およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014153977A (ja) 2013-02-12 2014-08-25 Mitsubishi Electric Corp コンテンツ解析装置、コンテンツ解析方法、コンテンツ解析プログラム、およびコンテンツ再生システム
JP2019197355A (ja) 2018-05-09 2019-11-14 株式会社東芝 クラスタリング装置、クラスタリング方法およびプログラム

Also Published As

Publication number Publication date
WO2021171384A1 (ja) 2021-09-02
JPWO2021171384A1 (ja) 2021-09-02
US20230086261A1 (en) 2023-03-23

Similar Documents

Publication Publication Date Title
WO2021254499A1 (zh) 编辑模型生成、人脸图像编辑方法、装置、设备及介质
US9111375B2 (en) Evaluation of three-dimensional scenes using two-dimensional representations
CN110147732A (zh) 指静脉识别方法、装置、计算机设备及存储介质
KR102387305B1 (ko) 멀티모달 데이터 학습 방법 및 장치
US20110060708A1 (en) Information processing device, information processing method, and program
TW202137068A (zh) 循環神經網路內的距離度量與分群的方法
US20220121934A1 (en) Identifying neural networks that generate disentangled representations
US20110060706A1 (en) Information processing device, information processing method, and program
CN113254927A (zh) 一种基于网络防御的模型处理方法、装置及存储介质
US20110060707A1 (en) Information processing device, information processing method, and program
JP6950504B2 (ja) 異常候補抽出プログラム、異常候補抽出方法および異常候補抽出装置
CN115053238A (zh) 自适应共蒸馏模型
KR20220079726A (ko) 의료 영상 기반의 질환 예측 방법
JP7428233B2 (ja) クラスタリング装置、クラスタリング方法、および、クラスタリングプログラム
WO2021200392A1 (ja) データ調整システム、データ調整装置、データ調整方法、端末装置及び情報処理装置
CN113408693A (zh) 识别图像的方法和设备
US20230169336A1 (en) Device and method with state transition linearization
KR102334666B1 (ko) 얼굴 이미지 생성 방법
US20240020531A1 (en) System and Method for Transforming a Trained Artificial Intelligence Model Into a Trustworthy Artificial Intelligence Model
US20220044125A1 (en) Training in neural networks
US11224359B2 (en) Repetitive human activities abnormal motion detection
CN112580724A (zh) 基于扭矩轮的匀速转动识别的润滑剂的润滑性能检测方法
JP6947460B1 (ja) プログラム、情報処理装置、及び方法
CN116051633B (zh) 一种基于加权关系感知的3d点云目标检测方法及装置
EP4258184A1 (en) Action sequence determination device, action sequence determination method, and action sequence determination program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240108

R150 Certificate of patent or registration of utility model

Ref document number: 7428233

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150