JP6822182B2 - プログラム及び情報処理装置 - Google Patents

プログラム及び情報処理装置 Download PDF

Info

Publication number
JP6822182B2
JP6822182B2 JP2017018450A JP2017018450A JP6822182B2 JP 6822182 B2 JP6822182 B2 JP 6822182B2 JP 2017018450 A JP2017018450 A JP 2017018450A JP 2017018450 A JP2017018450 A JP 2017018450A JP 6822182 B2 JP6822182 B2 JP 6822182B2
Authority
JP
Japan
Prior art keywords
link
network
node
nodes
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017018450A
Other languages
English (en)
Other versions
JP2018124898A (ja
Inventor
岡本 洋
洋 岡本
シュウレ 邱
シュウレ 邱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2017018450A priority Critical patent/JP6822182B2/ja
Priority to US15/692,373 priority patent/US10623270B2/en
Priority to CN201711075747.3A priority patent/CN108388906A/zh
Publication of JP2018124898A publication Critical patent/JP2018124898A/ja
Application granted granted Critical
Publication of JP6822182B2 publication Critical patent/JP6822182B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/142Network analysis or design using statistical or mathematical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/29Graphical models, e.g. Bayesian networks
    • G06F18/295Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1202Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1218Reducing or saving of used resources, e.g. avoiding waste of consumables or improving usage of hardware resources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1223Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1236Connection management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1278Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1285Remote printer device, e.g. being remote from client or server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/50Testing arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0893Assignment of logical groups to network elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12Discovery or management of network topologies

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、プログラム及び情報処理装置に関する。
ネットワーク内のノード群をクラスタリング(コミュニティ抽出とも呼ばれる)する方法はすでに数多く提案されている(非特許文献1及び2参照)。しかし、それらの多くは、互いに重なりを持つクラスタ(コミュニティ)群や、階層構造を持つクラスタ群を抽出することができない。また、リンクに方向があるネットワークに適用することも難しい。
これに対し、発明者らは、特許文献1、2、3にて「マルコフ連鎖のモジュール分解」に基づいて、ネットワークから重なりと階層を持つクラスタ構造を検出する方法を提案した。これらの方法はリンクに方向があるネットワークにも適用することができる。
マルコフ連鎖のモジュール分解に基づくクラスタリングの計算では、クラスタ(コミュニティ)kにおけるノードの確率(分類割合)p(n|k)及びクラスタkの事前確率(重要度)πkについて繰り返し計算(EMアルゴリズムのMステップ、Eステップ)を行い、定常状態に達したときのこれらの量(p(n|k)およびπk)から各クラスタの情報を得る。
特開2013−168127号公報 特開2016−029526号公報 特開2016−218531号公報
Newman, M.E.J. Communities, modules and large-scale structure in networks. Nature Physics 8, 25-31 (2011) Fortunato, S. Community detection in graphs. Physic Report 486, 75-174 (2010)
マルコフ連鎖等の確率過程の計算を繰り返し行うことでネットワークのクラスタリングを行う方法では、繰り返し計算が定常状態に収束するまでに非常に長い時間がかかる(あるいは非常に大きな計算コストを要する)ことがある。特に、クラスタが非クリーク的な構造を持つ場合に、この問題が顕著に起こる。ここで、複数のノードが相互に完全に結合しているとき、これらのノードは「クリーク」を形成するという。クリークにおいては、任意のノードは任意のノードに対し1リンクでつながっている。一方、クラスタがこれとは反対の構造を持つ(あるノードから別のノードに達するまでに経由するリンクの数が非常に多い)とき、このクラスタは「非クリーク的」であるという。
確率過程の繰り返し計算は、ネットワーク中の確率の伝播として行われる。物理学とのアナロジーに基づけば、これはネットワークにおけるリンクに沿った拡散現象(ブラウン運動・ランダムウォーク)に他ならない。確率分布の定常状態への収束は、各ノードからリンクをたどって流れ出た確率がネットワーク内に十分拡散して混じりあった後に達成される。しかしながら、コミュニティが非クリーク的な構造を持つときには、あるノードから流れ出た確率が別のあるノードにまで達するのに、多くのリンクを経なければならないことがある。そのため、各ノードからリンクをたどって流れ出た確率がネットワーク内に十分拡散して混じり合うまでに、非常に時間がかかる。さらに、ネットワークが非クリーク的な構造を持つ場合に、確率が十分混ざり合う前に偽の定常状態に陥ってしまうことが、経験上、しばしば起こる。
本発明は、単にネットワークのリンクを介したノード間の確率の遷移の確率過程を繰り返し計算する場合よりも、その繰り返し演算が定常状態に収束するまでの繰り返し計算の回数を低減することを目的とする。
請求項1に係る発明は、コンピュータを、ノード群とそれらノード群を結ぶ実リンク群からなるネットワークの情報を取得する取得手段、前記ネットワークに対し、前記実リンクで結ばれていないノード同士を結ぶ少なくとも1つの仮想リンクを追加することにより拡張ネットワークを生成する追加手段、前記拡張ネットワークにおける前記実リンク及び前記仮想リンクを介するノード間の遷移の確率過程を定常状態とみなせるまで繰り返し計算することにより、前記ノード群のクラスタリングを行うクラスタリング手段、として機能させるためのプログラムである。
請求項2に係る発明は、前記クラスタリング手段は、前記拡張ネットワークにおける前記ノード間の確率の遷移の定常状態に基づいて前記実リンク及び前記仮想リンクのリンク確率を計算し、求めたリンク確率のうち実リンクに係るもののみを抽出して規格化し、規格化後の実リンクのリンク確率を用いて前記確率過程の計算を実行する、ことを特徴とする請求項1に記載のプログラムである。
請求項3に係る発明は、ノード群とそれらノード群を結ぶ実リンク群からなるネットワークの情報を取得する取得手段と、前記ネットワークに対し、前記実リンクで結ばれていないノード同士を結ぶ少なくとも1つの仮想リンクを追加することにより拡張ネットワークを生成する追加手段と、前記拡張ネットワークにおける前記実リンク及び前記仮想リンクを介するノード間の遷移の確率過程を定常状態とみなせるまで繰り返し計算することにより、前記ノード群のクラスタリングを行うクラスタリング手段と、を有する情報処理装置である。
請求項1又は3に係る発明によれば、単にネットワークのリンクを介したノード間の確率の遷移の確率過程を繰り返し計算する場合よりも、その繰り返し演算が定常状態に収束するまでの繰り返し計算の回数を低減することができる。
請求項2に係る発明によれば、確率過程の繰り返し計算において、仮想リンクについてのリンク確率も考慮して計算する場合よりも、計算コストを低減することができる。
実施形態の装置構成の例を示す図である。 仮想リンク(テレポーテーション)の説明のための図である。 実施形態の装置の処理手順の例を示す図である。
以下、本発明の実施の形態について、図面を参照しながら説明する。
図1は、本発明の実施形態に係る情報処理装置1の構成図である。情報処理装置1は、記憶部10、入力部12、計算部14、表示部16を含む。
記憶部10は、例えばRAM(Random Access Memory)やROM(Read Only Memory)を含む。記憶部10は、計算部14が実行するプログラムを格納するとともに、計算部14のワークメモリとしても機能する。なお、記憶部10に格納される計算部14が実行するプログラムは、電気通信回線を介して提供されるものであってもよいし、半導体記憶素子等のコンピュータで読み取り可能な情報記憶媒体に格納されて提供されるものであってもよい。
本実施形態に係る情報処理装置1の記憶部10には、ネットワーク情報が記憶される。ネットワーク情報は、複数のノードとそれら複数のノードを結ぶ複数のリンクとを含むネットワークを表す情報である。ネットワーク情報が表すネットワークは、例えばハイパーテキストが構成するネットワークや、友人関係のネットワーク等、どのようなものであってもよい。ネットワーク情報は、少なくともノード間の結び付きの関係(ノードとリンクの関係)を示すものであればよく、ノードが含む具体的な内容(HTMLデータの内容等)を示す情報は含まなくてもよい。
入力部12は、例えばキーボードやマウス等であり、ユーザの指示を計算部14に伝達する。
計算部14は、例えばCPU(Central Processing Unit)を含んでおり、記憶部10に格納されるプログラムを実行することにより、ネットワークのクラスタリング(コミュニティ抽出)のための計算処理を実行する。計算部14は、機能的に、取得部140、仮想リンク追加部142、定常リンク確率計算部144、リンク確率修正部146及びクラスタリング計算部148を含む。計算部14の行うクラスタリングのための計算処理については、後に詳細に説明する。
表示部16は、計算部14により処理された情報をユーザに表示するものであり、例えば液晶ディスプレイである。
計算部14について更に詳しく説明する。
計算部14の取得部140は、記憶部10からネットワーク情報等の情報を取得する。
仮想リンク追加部142は、取得されたネットワーク情報が表すネットワークに対して仮想リンクを追加する。仮想リンクとは、そのネットワークを構成するリンク(仮想リンクとの区別のために実リンクと呼ぶ)とは別に設けられる仮想的なリンクである。仮想リンク追加部142は、実リンクが存在しないノード同士の間を結ぶ仮想リンクを追加してもよいし、これに加えて実リンクが存在するノード同士の間を結ぶか沿うリンクを追加してもよい。一つの例では、個々のノードについて、そのノード(自ノード)と、ネットワーク内の各ノード(自ノードも含む)と、を結ぶ仮想ノードを追加する。この例では、ネットワークのノード数がN個の場合、1つのノードについてN個の仮想リンクを追加することとなる。ネットワーク情報が表すネットワークに対して、仮想リンク追加部142により仮想リンクを追加したものもネットワークであり、この後者のネットワークを拡張ネットワークと呼ぶ。
図2にネットワークと仮想リンクを模式的に示す。この例では、楕円で示すノード200同士が直線の実リンク202で結ばれて構成されたネットワークが、ネットワーク情報が表す元々のネットワークである。このネットワークはクリークではない(すなわち、ネットワーク内のノードのペアの中に、そのペアのノード間に実リンク202が存在しないものがある)。一方、仮想リンク204は、図中に矢印付き曲線として示す。煩雑さを避けるため、ノード「n」を起点とする仮想リンク204のみを図示している。ノード「n」から自分自身へとつながる仮想リンクは図示を省略している。この例は、個々のノードについて、そのノード(自ノード)と、ネットワーク内の各ノード(自ノードも含む)と、を結ぶ仮想ノードを追加した場合の例である。ノード「n」以外のノードについても、そのノードから全ノードへと延びる仮想リンクが追加される。ネットワーク情報が表すノード200群及び実リンク群202群と、仮想リンク追加部142により追加された仮想リンク204群から構成されるネットワークが拡張ネットワークである。この例では、仮想リンクは有効リンクであり、仮想リンクの起点のノードの確率の一部が終点のノードへと遷移する。
前述の通り、非クリーク的なクラスタ(すなわち所属するノード同士の間を結ぶリンクが少ないクラスタ。例えば各ノードはそれぞれ両隣の2つのノードを結ぶリンクしか持たない等)では、あるノードから別のノードに確率が伝播(移動)するのに多数のリンクを経由する必要があり、これが確率過程の繰り返し計算を収束しにくくする重要な原因の一つであった。解析対象である実際のネットワークには、非クリーク的なクラスタを含んだものが少なくない。
これに対し、本実施形態のように仮想リンクを追加すれば、繰り返し計算の際に、ノードが持つ確率が実リンクでつながっていない他のノードにも1つの仮想リンクを介して伝播可能となる。今まで2つのノード間を複数の実リンクを介して伝播していた確率が1つの仮想リンクで伝播するので、ノードの持つ確率が他のノードに移動しやすくなる。これにより、繰り返し計算の収束が早くなる。
仮想リンクは、実際のネットワーク上の2つのノード間に介在する複数の実リンクに対するショートカット(近道)であり、実空間(実リンク群)ではすぐに行けない別の場所(ノード)に瞬間的(すなわち1リンクで)に移動するテレポーテーションと捉えてもよい。
なお、以上では、ノードからネットワーク内のすべてのノードに対して仮想リンクを追加する例を示したが、これは一例に過ぎない。仮想リンクの追加は、ネットワーク内の実リンク202が存在しないノードのペアのうち少なくとも1つに対して行えば、元のネットワークよりも仮想リンクの分だけ確率が混ざりやすくなり、繰り返し計算の収束が早まる。
定常リンク確率計算部144は、仮想リンク群が追加済みのネットワーク(すなわち拡張ネットワーク)について、定常状態のリンク確率(詳細は後述)を計算する。
リンク確率修正部146は、仮想リンクの追加による計算量の増大を抑えるための、学習データモデルの設定方法の修正の一環として、定常リンク確率計算部144が求めた定常リンク確率を修正する。
すなわち、後述するクラスタリング計算部148での計算のために、ランダムウォーカーがどのリンクを移動中であるかを観測すると仮想して、どのような観測結果(学習データ。通過情報とも呼ぶ)が得られるかを数学的にモデル化する。しかし、仮想リンクを含んだ拡張ネットワークはリンク数が膨大な数となる(特に全ノードについて全ノードへの仮想リンクを追加した場合)ので、仮想的な観測により用意すべき学習データの数もリンク数に応じて膨大なものとなり、確率過程の繰り返し計算においてそれら膨大な学習データを参照するための計算コストも膨大になってしまう。一方、翻って考えると、クラスタリングしたいネットワークは、仮想リンクが追加された拡張ネットワークではなく、実リンクのみで仮想リンクを含まない元のネットワークである。そこで、本実施形態では、仮想的な観測は実リンクに対してのみ行われるものとして学習データのモデルを修正する。リンク確率修正部146が行うリンク確率の修正も、このモデル修正に応じたものである。リンク確率修正部146の修正では、定常リンク確率計算部144が計算した仮想リンクも含む各リンクの定常リンク確率のうち、実リンクについての定常リンク確率を抽出する。ただし、定常リンク確率は、仮想リンクも含んだ拡張ネットワークについて計算されているので、その一部である実リンクについての定常リンク確率の合計は1とはならない。このため、抽出した実リンクについての定常リンク確率はそのままでは確率の要件を満たさず、確率過程の計算を適用できない。そこで、リンク確率修正部146は、抽出した実リンクについての定常リンク確率の合計が1となるように規格化し、規格化した値を実リンクについての定常リンク確率の修正値とする。なお、仮想リンクについての定常リンク確率は0とする。
クラスタリング計算部148は、拡張ネットワークの情報、修正済みの定常リンク確率等を用いて、クラスタリングのための確率過程の繰り返し計算を実行する。この繰り返し計算としては、例えば、特許文献1〜3に示されたマルコフ連鎖のモジュール分解の考え方に沿った計算を用いればよい。
次に図3を参照して、計算部14が実行する処理の例を説明する。
この処理では、まず計算部14内の取得部140が、記憶部10からネットワーク情報を取得する(S10)。
次に、そのネットワーク情報が示すネットワークに対して、仮想リンク追加部142が、仮想リンクの追加を行う(S12)。仮想リンクの追加は、例えば、ネットワーク情報から生成される遷移確率行列Tnmを、仮想リンクを追加した形に修正することで行う。
ここで、遷移確率行列Tnmは、ネットワーク内のノードmからノードnへリンクを辿ってエージェント(言い換えれば、ノードmが持つ確率値)が遷移(ランダムウォーク)する確率を行列として表現したものである。例えばエージェントがノードから出る1以上のリンクを等確率で選択するとみなした場合、遷移確率行列は、ネットワーク情報が示すネットワークの構造、すなわちノード間がどのようにリンクされているか、のみに依存する。もちろん、ネットワークの構造以外の情報(例えば各ノードが持つ重要度)を考慮に入れて遷移確率行列Tnmを求めることもできるが、この場合も遷移確率行列Tnmはネットワーク情報に基づく点は同様である。遷移確率行列については、特許文献1〜3も参照されたい。
1つの具体例では、S12では、仮想リンク追加部142は、元のネットワークについての遷移確率行列Tnmから拡張ネットワーク(仮想リンク追加済み)についての遷移確率行列Tnm(ただしTの上にチルダ(波線)付き)を、例えば次の式1により求める。
Figure 0006822182
ここで、Nは拡張ネットワークのノード数であり、これはネットワーク情報が示す元のネットワークのノード数と等しい。またρは、0より大きく1より小さい実数であり、拡張ネットワークにおけるノード間の確率の遷移のうち、仮想リンクによる遷移の割合を示す。なお、仮想リンクの重み(割合ρ)を重くすると、本来クラスタリングしたい実リンクにより構成されるネットワークの構造がマルコフ連鎖の計算に(仮想リンクにくらべて)反映されにくくなり、本末転倒となる。そこで、ρの値はある程度低い値(例えば0.5未満)する。式1の右辺第2項は、仮想リンクによる確率の遷移の成分を示し、この例ではノードmが持つ確率(エージェント)のうちの割合ρが、ノードmから全ノード(合計N個)に延びるN本の仮想リンクを介して均等に、それら全ノードに遷移することを表している。一方、式1の右辺第1項は、実リンクを介して遷移する成分であり、これはノードmの持つ確率のうち、仮想リンクで遷移する割合ρを引いた残りの割合(1−ρ)が、元のネットワークの遷移確率行列Tnmに従って遷移することを表す。
式1は、ノードの持つ確率が、そのノードから出る全仮想リンクに対して均等に分配されて遷移するものであるが、これは一例にすぎない。別の例として、次の式2を用いてもよい。
Figure 0006822182
ここでWnmは、ネットワークの隣接行列であり、ノードmからノードnに実リンクがあればWnm=1、なければWnm=0となるN行N列の行列である。式1では、ノードmの持つ確率のうち仮想リンク経由で遷移する割合ρの部分は、起点のノードmから出る全仮想リンクに対して均等に分配された。これに対して、式2では、他のノードとの実リンクの数が多いノードn(他のノードからのいわば「人気」が高いノード)への仮想リンクほど高い割合で分配される。
更に別の例として、拡張ネットワークついての遷移確率行列を、次の式に従って求めてもよい。
Figure 0006822182
この式の左辺が、求めるべき拡張ネットワークの遷移確率行列Tnm(ただしTの上にチルダ(波線)付き)を示す。右辺の関数f(x)は変数xについての単調増加関数であればどのような関数であってもよい。この式では、ノードmの持つ確率のうち仮想リンク経由で遷移する割合ρの部分は、ノードnの確率が高いほどそのノードnに大きい割合で分配される。
次に、定常リンク確率計算部144が、定常リンク確率を計算する(S14)。
この計算では、まずS12で求められた拡張ネットワークの遷移確率行列Tnm(チルダ付き)を用いて、拡張ネットワークにおける確率遷移(ランダムウォーク)の定常状態において各ノードが持つ確率(定常状態のノード確率)を計算する。この計算では、例えば次の式3の計算を定常状態となるまで繰り返す。
Figure 0006822182
式3において、pt(n)は、離散的な時刻tにおいてノードnが持つ確率(そのノードにランダムウォーカーが存在する確率)である。
式3を繰り返し計算して定常状態となったときのpt(n)が、ノードnの定常状態でのノード確率pstead(n)である。
次に定常リンク確率計算部144は、各ノードnの定常状態でのノード確率pstead(n)から、定常状態でのリンク確率を次の式4に従って計算する。
Figure 0006822182
リンク確率とは、ノード確率pt(n)に対してそのノードから出るリンクl(エル)の遷移確率を乗じたものである。リンクlについての定常状態のリンク確率(式4の左辺)は、そのリンクlの起点のノード(initial end of link l)の定常状態のノード確率に対して、遷移確率行列Tに含まれる、そのリンクlの起点ノードから終点ノード(terminal end of link l)への遷移確率を乗じたものである。ここで用いる遷移確率行列Tは、S10での仮想リンクの追加により拡張したものではなく、仮想リンク追加前の元の遷移確率行列Tである。このように、各ノードのノード確率は仮想リンクを含む拡張ネットワークを用いて計算するが、そのノード確率から求めるリンク確率は実リンクlについてのみ計算する。このようにして求めた実リンクlについてのリンク確率の総和は1にはならず、確率の要件を満たさない。
そこで、次にリンク確率修正部146が、S12で求められた各実リンクlの定常リンク確率を、学習データモデルの修正に応じて修正する(S16)。この修正は、次の式5の計算により行われる。
Figure 0006822182
この修正の後の計算では、仮想リンクについての定常リンク確率は0として取り扱う。
この後、これまで生成したデータを用いて、クラスタリング計算部148が、クラスタリングのための繰り返し計算を行う。この例では、特許文献2及び3に開示されたものと同様の、マルコフ連鎖のモジュール分解の計算手法を用いる。以下で説明するこの例での計算手法は、学習データの形式や計算の順序等が特許文献2及び3に開示されたものと一部異なるが、計算の基本的な考え方自体は特許文献2及び3のものと同じである。
特許文献2及び3では、D回の仮想的な観測で得られる観測データである通過情報τ(d)(k)(dは1からDまでの整数。kはクラスタ(コミュニティ)の番号)を学習データとして用いた。これに対して以下に説明する例では、観測回数Dが十分大きい(ノード数Nよりもはるかに多い)という妥当な想定の下、τ(d)(k)の代わりに実リンクlに関する通過情報
Figure 0006822182

を用いる。ここでnはノードの識別番号である。またδはクロネッカーのδである。すなわち、式6が定義するノードnの実リンクlに関する通過情報(学習データ)は、そのノードnがその実リンクlの終点ノード又は起点ノードに一致する場合に値が1となり、それ以外の場合は値が0となる。
また、この例では、特許文献2等での仮想的な観測の各回dにおける複数のクラスタ(成分)全体に対するクラスタkが占める割合γ(d)(k)の代わりに、実リンクlに関して後述する式(III)で定義される割合γlk(チルダ付き)を用いる。
また、このような観測回数dから実リンクの番号lへの置換えにより、関数の総和の表現は以下のように置き換えられる。
Figure 0006822182
後述する式(I)の右辺第2項は、特許文献2等に説明した同様の式に対してこのような置き換えを行ったものである。
図3の手順の説明に戻ると、次にクラスタリング計算部148は、分類割合pt(n|k)及び重要度πk new、及び割合γlk(チルダ付き)の初期値を仮決めし、繰返し回数のカウンタgの値を0に初期化する(S18)。分類割合pt(n|k)は、ノードnがクラスタkに分類される割合(度合い)である。また、重要度πk newは、クラスタkの重要度である。
そしてクラスタリング計算部148は、次に示す式(I),(II),(III)を用いてEM(Expectation and Maximization)の繰り返し演算を行う。
Figure 0006822182
すなわちまずクラスタリング計算部148は、割合γlk(チルダ付き)を、式(III)を用いて計算する(S20)。この計算の最初の繰り返しでは、S18で仮決めした初期値を用いる。
次にクラスタリング計算部148は、現在の分類割合pt(n|k)及び重要度πk newを一時刻前の値pt-1(n|k)及び重要度πk oldとする置き換えを行う(S22)。そして、式(I)及び(II)に従って、分類割合pt(n|k)及び重要度πk newを計算する(S24)。ここでαは、正の実数であって、クラスタの大きさを定めるパラメータであり、予め定めた値を用いればよい。
そして、クラスタリング計算部148は、繰り返し計算の回数のカウンタgを1インクリメントし(S26)、そのカウンタgが予め定めた値Gに達したかどうかを判定し(S28)、達していなければS20〜S26の処理を繰り返す。値Gは、本実施形態の計算手法においてS20〜S24の計算が収束するのに必要な繰返し回数であり、実験や経験的知識等により予め定めておく。仮想リンク(テレポーテーション)を追加する本実施形態の手法では、仮想リンクの追加を行わない従来手法(例えば特許文献1〜3)よりも繰り返し計算の収束が早いので、Gの値として従来より小さい値を用いてよい。
S28で、カウンタgが値Gに達したと判定した場合は、繰り返し計算が収束したものとして、処理を終了する。このときに得られた分類割合pt(n|k)及び重要度πkが、特許文献2及び3に開示された処理の場合と同様、元のネットワークのソフトクラスタリングの結果を示す。
なお、S28における収束の判定では、図3に例示した方法の代わりに、特許文献1〜3で説明したの同様の、繰り返し毎の評価値Qの変化量が微小な値(閾値未満)となったときに、繰り返し計算が収束したと判定してもよい。
図3の手順は、特許文献2及び3の計算手法と同様の手法を用いたものであったが、仮想リンク(テレポーテーション)の追加という本実施形態の処理は、特許文献1の計算手法を用いる場合にも適用可能である。また、特許文献1〜3の手法はいずれもネットワーク上でのノード間の確率の遷移を離散的なマルコフ連鎖として取り扱うものであったが、離散的なマルコフ連鎖の代わりに、連続時間マスター方程式等のような連続的なマルコフ過程をベースとした計算手法を用いてもよく、このような場合にも、仮想リンク(テレポーテーション)の追加という本実施形態の手法は利用可能である。
以上、本発明の実施形態を説明した。以上に例示した情報処理装置1は、コンピュータに上述の各機能を表すプログラムを実行させることにより実現される。ここで、コンピュータは、例えば、ハードウエアとして、CPU等のマイクロプロセッサ、ランダムアクセスメモリ(RAM)およびリードオンリメモリ(ROM)等のメモリ(一次記憶)、フラッシュメモリやSSD(ソリッドステートドライブ)、HDD(ハードディスクドライブ)や等の固定記憶装置を制御するコントローラ、各種I/O(入出力)インタフェース、ローカルエリアネットワークなどのネットワークとの接続のための制御を行うネットワークインタフェース等が、たとえばバス等を介して接続された回路構成を有する。それら各機能の処理内容が記述されたプログラムがネットワーク等の経由でフラッシュメモリ等の固定記憶装置に保存され、コンピュータにインストールされる。固定記憶装置に記憶されたプログラムがRAMに読み出されCPU等のマイクロプロセッサにより実行されることにより、上に例示した機能モジュール群が実現される。
10 記憶部、12 入力部、14 計算部、16 表示部、140 取得部、142 仮想リンク追加部、144 定常リンク確率計算部、146 リンク確率修正部、148 クラスタリング計算部。

Claims (3)

  1. コンピュータを、
    ノード群とそれらノード群を結ぶ実リンク群からなるネットワークの情報を取得する取得手段、
    前記ネットワークに対し、前記実リンクで結ばれていないノード同士を結ぶ少なくとも1つの仮想リンクを追加することにより拡張ネットワークを生成する追加手段、
    前記拡張ネットワークにおける前記実リンク及び前記仮想リンクを介するノード間の遷移の確率過程を定常状態とみなせるまで繰り返し計算することにより、前記ノード群のクラスタリングを行うクラスタリング手段、
    として機能させるためのプログラム。
  2. 前記クラスタリング手段は、
    前記拡張ネットワークにおける前記ノード間の確率の遷移の定常状態に基づいて前記実リンク及び前記仮想リンクのリンク確率を計算し、求めたリンク確率のうち実リンクに係るもののみを抽出して規格化し、規格化後の実リンクのリンク確率を用いて前記確率過程の計算を実行する、
    ことを特徴とする請求項1に記載のプログラム。
  3. ノード群とそれらノード群を結ぶ実リンク群からなるネットワークの情報を取得する取得手段と、
    前記ネットワークに対し、前記実リンクで結ばれていないノード同士を結ぶ少なくとも1つの仮想リンクを追加することにより拡張ネットワークを生成する追加手段と、
    前記拡張ネットワークにおける前記実リンク及び前記仮想リンクを介するノード間の遷移の確率過程を定常状態とみなせるまで繰り返し計算することにより、前記ノード群のクラスタリングを行うクラスタリング手段と、
    を有する情報処理装置。


JP2017018450A 2017-02-03 2017-02-03 プログラム及び情報処理装置 Active JP6822182B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017018450A JP6822182B2 (ja) 2017-02-03 2017-02-03 プログラム及び情報処理装置
US15/692,373 US10623270B2 (en) 2017-02-03 2017-08-31 Non-transitory computer readable medium, image processing apparatus, and image processing method
CN201711075747.3A CN108388906A (zh) 2017-02-03 2017-11-06 信息处理设备和信息处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017018450A JP6822182B2 (ja) 2017-02-03 2017-02-03 プログラム及び情報処理装置

Publications (2)

Publication Number Publication Date
JP2018124898A JP2018124898A (ja) 2018-08-09
JP6822182B2 true JP6822182B2 (ja) 2021-01-27

Family

ID=63038080

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017018450A Active JP6822182B2 (ja) 2017-02-03 2017-02-03 プログラム及び情報処理装置

Country Status (3)

Country Link
US (1) US10623270B2 (ja)
JP (1) JP6822182B2 (ja)
CN (1) CN108388906A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201904266D0 (en) * 2019-03-27 2019-05-08 Graphcore Ltd A networked computer with embedded rings

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003271669A (ja) * 2002-03-15 2003-09-26 Fujitsu Ltd 話題抽出装置
JP4543871B2 (ja) * 2004-10-15 2010-09-15 富士ゼロックス株式会社 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム
JP5194765B2 (ja) * 2007-12-18 2013-05-08 富士ゼロックス株式会社 情報分析装置、及び情報分析プログラム
TWI435224B (zh) * 2009-06-12 2014-04-21 Univ Nat Taiwan Science Tech 路由政策之系統可靠度評估方法
CN102457422A (zh) * 2010-10-20 2012-05-16 中兴通讯股份有限公司 包交换网络中实现跨节点聚合链路的方法及系统
JP5737510B2 (ja) * 2011-06-13 2015-06-17 日本電気株式会社 ネットワーク可視化システム、ネットワーク可視化方法、および、ネットワーク可視化プログラム
JP5895813B2 (ja) 2012-01-18 2016-03-30 富士ゼロックス株式会社 プログラム及び検索装置
US10616049B2 (en) * 2013-01-25 2020-04-07 Dell Products, L.P. System and method for determining the configuration of switches in virtual link trunking environments
US20150012658A1 (en) * 2013-07-07 2015-01-08 Twin Technologies, Inc. Virtual Network in a Content Delivery Network
JP6390239B2 (ja) 2014-07-25 2018-09-19 富士ゼロックス株式会社 情報処理装置、及びプログラム
JP6511951B2 (ja) 2015-05-14 2019-05-15 富士ゼロックス株式会社 情報処理装置及びプログラム
US9705773B2 (en) * 2015-07-09 2017-07-11 Google Inc. Parallelized network traffic flow availability simulation using stochastic process and traffic engineering algorithms
US10257088B2 (en) * 2016-04-14 2019-04-09 Robin Systems, Inc. Virtual network overlays for multipath datacenters

Also Published As

Publication number Publication date
US10623270B2 (en) 2020-04-14
JP2018124898A (ja) 2018-08-09
CN108388906A (zh) 2018-08-10
US20180227189A1 (en) 2018-08-09

Similar Documents

Publication Publication Date Title
US10963817B2 (en) Training tree-based machine-learning modeling algorithms for predicting outputs and generating explanatory data
US11093669B2 (en) Method and system for quantum computing
EP3718026B1 (en) Systems and methods for stochastic optimization of a robust inference problem
US20180247200A1 (en) Discrete variational auto-encoder systems and methods for machine learning using adiabatic quantum computers
Epskamp Regularized Gaussian psychological networks: Brief report on the performance of extended BIC model selection
Gashler et al. Modeling time series data with deep Fourier neural networks
Zhang et al. Quadratic optimal control of switched linear stochastic systems
AU2020325094B2 (en) Finite rank deep kernel learning with linear computational complexity
CN111566676A (zh) 量子计算设备设计
Gouvêa et al. Global optimization using q-gradients
JP6767312B2 (ja) 検知システム、検知方法及び検知プログラム
JP6822182B2 (ja) プログラム及び情報処理装置
Namkoong et al. Minimax optimal estimation of stability under distribution shift
US20230098656A1 (en) Data subsampling for recommendation systems
Pilát et al. Hypervolume-based local search in multi-objective evolutionary optimization
Mohammadi et al. Machine learning assisted stochastic unit commitment: A feasibility study
JP7532300B2 (ja) 情報処理方法、プログラム及び情報処理装置
CN111815442B (zh) 一种链接预测的方法、装置和电子设备
CN108509971A (zh) 信息处理设备和信息处理方法
Lin et al. On the discrete-time system with server breakdowns: Computational algorithm and optimization algorithm
Rumsey et al. Generalized Bayesian MARS: Tools for Stochastic Computer Model Emulation
Liu et al. Finite-step alternating approximately bi-similar symbolic model for Markov jump systems
Zhou et al. Reliability analysis of time-dependent problems based on ensemble learning of surrogate models
Araya et al. Adaptive filtering strategy for numerical constraint satisfaction problems
Priyadarshana et al. A hybrid algorithm for multiple change-point detection in continuous measurements

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201221

R150 Certificate of patent or registration of utility model

Ref document number: 6822182

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350