JP7391774B2 - 演算処理装置、情報処理装置及び演算処理方法 - Google Patents

演算処理装置、情報処理装置及び演算処理方法 Download PDF

Info

Publication number
JP7391774B2
JP7391774B2 JP2020101414A JP2020101414A JP7391774B2 JP 7391774 B2 JP7391774 B2 JP 7391774B2 JP 2020101414 A JP2020101414 A JP 2020101414A JP 2020101414 A JP2020101414 A JP 2020101414A JP 7391774 B2 JP7391774 B2 JP 7391774B2
Authority
JP
Japan
Prior art keywords
arithmetic processing
inference
processing device
unit
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020101414A
Other languages
English (en)
Other versions
JP2021196731A (ja
Inventor
瑞城 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2020101414A priority Critical patent/JP7391774B2/ja
Priority to US17/180,720 priority patent/US20210390378A1/en
Publication of JP2021196731A publication Critical patent/JP2021196731A/ja
Application granted granted Critical
Publication of JP7391774B2 publication Critical patent/JP7391774B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Complex Calculations (AREA)

Description

本発明の実施形態は演算処理装置、情報処理装置及び演算処理方法に関する。
例えばニューラルネットワーク又は人工知能の処理等の所望の処理を、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等を用いて、複数の方法で実行する場合に、所望の処理と等価な処理が行われているか確認が必要となる。数値として浮動小数点値を用いると数値に対する丸め誤差が有る。それぞれの方法で、浮動小数点値の取扱い方が異なると、仮に等価な処理を行っていたとしても、得られる処理結果は厳密には一致しない。
特表平１－５０１６７３号公報
Ｋ． Ｈｅ， Ｘ． Ｚｈａｎｇ， Ｓ． Ｒｅｎ， Ｊ． Ｓｕｎ （２０１６）． "Ｄｅｅｐ Ｒｅｓｉｄｕａｌ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ，" ｉｎ Ｐｒｏｃ． ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆ． ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ｐｐ．７７０－７７８
従来の技術では、浮動小数点値を用いた数値の類似度を定量的に把握することが難しかった。
実施形態の演算処理装置は、受付部と算出部とを備える。受付部は、第１の処理の出力結果として出力される第１の浮動小数点値と、第２の処理の出力結果として出力される第２の浮動小数点値との組を複数、受け付ける。算出部は、複数の前記組に対して線形回帰を行い、前記線形回帰によって得られた情報に基づいて、前記第１の処理の出力結果と、前記第２の処理の出力結果との類似度を算出する。
浮動小数点値を用いた２つの数値の一方を横軸に他方を縦軸に取ったグラフの例を示す図。 第１実施形態の演算処理装置の機能構成の例を示す図。 第１実施形態の演算処理方法の例を示すフローチャート。 第２実施形態の情報処理装置の機能構成の例を示す図。 第２実施形態の演算処理方法の例を示すフローチャート。 第３実施形態の情報処理システムの機能構成の例を示す図。 第２及び第３実施形態の情報処理装置のハードウェア構成の例を示す図。
以下に添付図面を参照して、演算処理装置、情報処理システム及び演算処理方法の実施形態を詳細に説明する。
（第１実施形態）
例えばニューラルネットワーク又は人工知能等の所望の処理を、異なる演算処理装置を用いて実行する場合、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、及び、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）では、所望の処理がその定義に基づいて行われる。一方、例えばＦＰＧＡで所望の処理を並列で行う場合は、所望の処理がその定義に基づいて行われず、処理の順序が変更されて行われる可能性がある。そのため、所望の処理を、異なる演算処理装置を用いて実行する場合、浮動小数点値として出力される処理結果の照合が必要になる。
浮動小数点値を用いて表された数値の比較（照合）を行う場合には、両者が類似していることを確認する必要が有る。その類似度を、数値化して定量的に比較するためには、例えば、対応する数値（比較対象の数値）の差の絶対値を調べるということが考えられるが、それを類似度と解釈し得るためには真の数値（本来の数値）もまた必要となる。真の数値は、例えば所望の処理を例えばＣＰＵ又はＧＰＵ等で定義通りに実行することにより得られた値である。また例えば、真の数値は、機械学習で用いられる教師データの値である。
例えば、異なる方法で得られた対応する２つの数値の差の絶対値が１０－５であったとして、真の数値が１０－２であれば、両者の相対的な相違として割合（比）を計算すると、１０－５／１０－２＝１０－３である。真の数値が１０－６であれば、両者の相対的な相違は１０－５／１０－６＝１０＋１である。それ故、異なる方法で得られた対応する２つの数値の差の絶対値のみでは、真の数値との類似度も含めて判断するには不十分である。
一つの可能性として、対応する数値の差の絶対値の、真の数値に対する比を調べることも考えられるが、仮に真の数値がゼロであればその比は定義されないので、この方法で類似度を定量的に把握することはできない。
また他の方法として、比較対象の数値の組に対して一方を横軸に、他方を縦軸に取ったグラフが、原点を通る傾きが１の直線に近いことを確認するという方法が考えられるが、その「直線に近い」ということのみでは類似度を定量的に把握することはできない。
この様に浮動小数点値を用いて表された数値の類似度を定量的に把握することは難しい。そのため、所望の処理を、例えば、ＦＰＧＡ上で複数の方法で行った場合、浮動小数点値を用いて表された数値の類似度を比較して、真の数値に最も近い数値を得られる方法を採用することが難しかった。
以下、浮動小数点値を用いた数値の類似度を定量的に把握することを可能とし、その結果として複数の類似度の定量的な比較を可能とする演算処理装置、演算処理方法及びプログラムについて説明する。
以下に示される数値等は説明の為に特定の数値としている場合もあるが、その数値は本質ではなく他の数値であってもよい。また本発明の実施形態は、以下の実施形態に限定されるものではなく、種々変更して用いる事ができる。
例えば非特許文献１に記載されている５０－ｌａｙｅｒのＲｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋの最初のｃｏｎｖｏｌｕｔｉｏｎ処理に続くｍａｘ ｐｏｏｌｉｎｇ処理の結果に対し、ｃｏｎｖｏｌｕｔｉｏｎ処理ないしｍａｘ ｐｏｏｌｉｎｇ処理の本来の定義に基づいてＧＰＵを用いて演算処理を行った結果を横軸に取り、ＦＰＧＡを用いて並列処理を行った演算処理結果を縦軸に取ったグラフを図１に示す。
図１のグラフは原点を通る傾きが１の直線に極めて近いことが分かる。すなわち数値の二つの組は相互に類似していることが分かる。しかし、図１のグラフでは、類似度を定量的に把握することはできていない。
次に、類似度の定量的な把握を可能にする第１実施形態の演算処理装置の機能構成について説明する。
［機能構成の例］
図２は第１実施形態の演算処理装置１０の機能構成の例を示す図である。第１実施形態の演算処理装置１０は、受付部１、算出部２及び選択部３を備える。
受付部１は、第１の処理の出力結果として出力される第１の浮動小数点値と、第２の処理の出力結果として出力される第２の浮動小数点値との組を複数、受け付ける。例えば、第１の処理の出力結果は、ＦＰＧＡを用いて行われた並列処理の出力結果である（図１の縦軸）。また例えば、第２の処理の出力結果は、ＧＰＵを用いて行われた演算処理の出力結果である（図１の横軸）。
算出部２は、複数の組に対して線形回帰を行い、線形回帰によって得られた情報に基づいて、第１の処理の出力結果と、第２の処理の出力結果との類似度を算出する。なお、線形回帰とは仮定した一次式と真の数値との差の二乗の和が最も小さくなる様に傾き及び切片（縦軸切片）を定める方法である。例えば、算出部２は、線形回帰により得られた回帰直線の傾き、回帰直線の切片、及び、線形回帰により得られた相関係数の少なくとも１つに基づいて類似度を算出する。算出部２は、第１の処理が複数の方法で実行される場合、それぞれの方法で実行された第１の処理の出力結果毎に、第２の処理の出力結果との類似度を算出する。
選択部３は、第１の処理を実行する複数の方法から、算出部２により算出された類似度に基づいて、方法を選択する。
上述の図１の例では、算出部２は、横軸の値と縦軸の値とを組にし、複数の組に対して線形回帰を行うと、当該線形回帰によって、例えば下記の情報が得られる。
回帰直線の傾き ＝１＋１．６４ｘ１０－８
回帰直線の切片 ＝－２．６４ｘ１０－９
相関係数 ＝１－８．６２ｘ１０－１３
仮にそれぞれの組に含まれる２つの数値が厳密に相等しければ、グラフは原点を通る傾きが１の直線になるので、線形回帰の結果として得られる回帰直線の傾きは１、切片は０、相関係数は１となる。それ故、傾きについては、線形回帰により得られた回帰直線の傾きと１との差が小さいほど、それぞれの組に含まれる２つの数値の類似度は高い。また、切片については、線形回帰により得られた切片の値が０に近いほど、それぞれの組に含まれる２つの数値の類似度は高い。また、相関係数については、線形回帰により得られた相関係数と１との差が小さいほど、それぞれの組に含まれる２つの数値の類似度は高い。
従って、実際に線形回帰を行って得られる傾きと１との差、切片の値、及び、相関係数と１との差、を用いて二つの数値の類似度を定量的に把握することが可能となる。この様にすることに依り、浮動小数点値を用いた２つの数値を含む複数の組の類似度の定量的な把握が可能となる。それ故、例えば特定のニューラルネットワーク又は人工知能の処理をＦＰＧＡ上で複数の方法で行う場合に、例えば以下の様にすることに依りそれらの方法に対する定量的な比較が可能になる。また、それらの方法に対する定量的な比較が可能になることによって、より適切な方法の選択が可能になるので、より高性能な演算処理を実現可能になる。
複数の方法を例えば方法Ａ、方法Ｂ、…とする。以下の説明では、方法Ａ及びＢを比較する場合を例にして説明する。なお、３つ以上の方法を比較する場合も、２つの方法を比較する場合と同様である。
算出部２は、方法Ａを用いてＦＰＧＡ上で演算処理を行った結果と、例えばＣＰＵ又はＧＰＵを用いて、所望の処理の定義に基づいて演算処理を行った結果とに対して線形回帰を行う。この線形回帰により得られた傾き、切片及び相関係数を、傾きＡ、切片Ａ及び相関係数Ａとする。
同様に、算出部２は、方法Ｂを用いてＦＰＧＡ上で演算処理を行った結果と、ＣＰＵ又はＧＰＵを用いて、所望の処理の定義に基づいて演算処理を行った結果とに対して線形回帰を行う。この線形回帰により得られた傾き、切片及び相関係数を、傾きＢ、切片Ｂ及び相関係数Ｂとする。
例えば、算出部２は、傾きＡに基づく類似度を傾きＡと１との差の絶対値（｜傾きＡ－１｜）により算出し、傾きＢに基づく類似度を傾きＢと１との差の絶対値（｜傾きＢ－１｜）により算出する。すなわち、算出部２は、回帰直線の傾きが１に近いほど、類似度を高く算出する。
また例えば、算出部２は、切片Ａに基づく類似度を切片Ａの絶対値（｜切片Ａ｜）により算出し、切片Ｂに基づく類似度を切片Ｂの絶対値（｜切片Ｂ｜）により算出する。すなわち、算出部２は、回帰直線の切片が０に近いほど、類似度を高く算出する。
また例えば、算出部２は、相関係数Ａに基づく類似度を相関係数Ａと１との差の絶対値（｜相関係数Ａ－１｜）により算出し、相関係数Ｂに基づく類似度を相関係数Ｂと１との差の絶対値（｜相関係数Ｂ－１｜）により算出する。すなわち、算出部２は、相関係数が１に近いほど、類似度を高く算出する。
上述の類似度を用いることにより、各々の方法を用いた演算処理結果と、例えばＣＰＵ又はＧＰＵを用いて所望の処理の定義に基づいて演算処理を行った結果（真の数値を示す結果）との類似度を定量的に比較することが可能となる。
選択部３は、算出部２により算出された類似度を比較し、方法Ａ又はＢを選択する。
なお、方法の比較に於いては線形回帰により得られる傾き、切片及び相関係数の三者の内の一者を用いても良いし、二者ないし三者を用いてもよい。一者のみを用いて比較を行うのであれば比較が簡略に為されるという利点が得られる。
特に傾きを用いて比較を行うのであれば、線形回帰の結果として得られた回帰直線が傾き１の直線により近くなる方法、すなわち２つの数値の差がより正確に算出される方法が選択される。２つの数値の差がより大切である事象に適用する場合に、傾きを用いて比較を行うと、特に大きな効果が得られる。
また、特に切片を用いて比較を行うのであれば、線形回帰の結果として得られた回帰直線が原点を通る直線により近くなる方法、すなわち２つの数値の比がより正確に算出される方法が選択される。２つの数値の比がより大切である事象に適用する場合に、切片を用いて比較を行うと、特に大きな効果が得られる。
また、特に相関係数を用いて比較を行うのであれば線形回帰の結果が直線により近くなる方法、すなわち非直線性が小さい（直線性が大きい）という意味での真の数値との類似度がより高い方法が選択される。非直線性の小さいことが大切である事象に適用する場合に、相関係数を用いて比較を行うと、特に大きな効果が得られる。
一方、二者ないし三者を用いて比較を行うのであれば比較をより多面的な観点より行うことになるので精度が高まるという他の利点が得られる。特に三者を用いて比較を行うのであれば最も多面的な観点より比較が行われるという利点が得られる。
なお、三者を用いる場合には例えば、
｜傾き－１｜＋｜切片｜＋｜相関係数－１｜
の様に三者の絶対値の和を各々の方法に対して求め、それらの大小を比較することも可能である。
また例えば、
（傾き－１）２＋切片２＋（相関係数－１）２
の様に三者の二乗の和を各々の方法に対して求め、それらの大小を比較することも可能である。
また前者の場合には例えば、
｜傾き－１｜×２＋｜切片｜×３＋｜相関係数－１｜×４
の様に重みを付けた和を各々の方法に対して求め、それらの大小を比較することも可能である。なお、重みはここでは２、３、４としたが、これは飽くまで一例であり、他の重みであってもよい。
また、三者の二乗を比較に用いる場合にも例えば、
（傾き－１）２×２＋切片２×３＋（相関係数－１）２×４
の様に重みを付けた和を各々の方法に対して求め、それらの大小を比較することも可能である。なお、重みはここでは２、３、４としたが、これは飽くまで一例であり、他の重みであってもよい。
また例えば、選択部３は、複数の方法から方法を選択する際に、例えば下記のようにして段階的に類似度を比較してもよい。
（１）｜傾き－１｜が最小の方法を選択する。
（２）（１）で複数の方法が選択された場合、それらの方法のうちで｜切片｜が最小の方法を選択する。
（３）（２）で複数の方法が選択された場合、それらの方法のうちで｜相関係数－１｜が最小の方法を選択する。
なお、ここでは一例として、選択部３が、先ず｜傾き－１｜を比較し、次に｜切片｜を比較し、その次に｜相関係数－１｜を比較したが、この順序は飽くまで一例である。その他の例として例えば、選択部３は、先ず｜傾き－１｜を比較し、次に｜相関係数－１｜を比較し、その次に｜切片｜を比較してもよい。また例えば、選択部３は、先ず｜切片｜を比較し、次に｜傾き－１｜を比較し、その次に｜相関係数－１｜を比較してもよい。また例えば、選択部３は、先ず｜切片｜を比較し、次に｜相関係数－１｜を比較し、その次に｜傾き－１｜を比較してもよい。また例えば、選択部３は、先ず｜相関係数－１｜を比較し、次に｜傾き－１｜を比較し、その次に｜切片｜を比較してもよい。また例えば、選択部３は、先ず｜相関係数－１｜を比較し、次に｜切片｜を比較し、その次に｜傾き－１｜を比較してもよい。
なお、ここに於いては線形回帰の結果として得られた傾き、切片及び相関係数の三者を用いて比較する場合に関して記したが、二者を用いて比較を行う場合に関しても同様である。
また、上記は比較の方法の具体例であり、線形回帰の結果（例えば傾き、切片及び相関係数の少なくとも１つ）に基づく類似度を用いるのであれば、他の比較方法を用いても、複数の方法に対する定量的な比較が可能となり、その帰結として高性能の演算処理が可能となるという効果が得られる。
［演算処理方法の例］
図３は第１実施形態の演算処理方法の例を示すフローチャートである。はじめに、受付部１が、第１の処理の出力結果として出力される第１の浮動小数点値と、第２の処理の出力結果として出力される第２の浮動小数点値との組を複数、受け付ける（ステップＳ１）。
次に、算出部２が、ステップＳ１の処理により受け付けた複数の組に対して線形回帰を行う（ステップＳ２）。次に、算出部２は、ステップＳ２の処理によって行われた線形回帰によって得られた情報（例えば傾き、切片及び相関係数の少なくとも１つ）に基づいて、第１の処理の出力結果と、第２の処理の出力結果との類似度を算出する（ステップＳ３）。
第１の処理が複数の方法で実行される場合、それぞれの方法による出力結果毎に、ステップＳ１～ステップＳ３のフローが実行される。第１の処理が複数の方法で実行される場合、選択部３は、第１の処理を実行する複数の方法から、ステップＳ３により算出された類似度に基づいて、方法を選択する。
なお、第１の処理として、例えば特定のニューラルネットワーク又は人工知能に対してＦＰＧＡ上で演算処理を行った結果と、第２の処理として、例えばＣＰＵ又はＧＰＵを用いてニューラルネットワーク又は人工知能の定義に基づいて演算処理を行った結果との比較は、そのニューラルネットワーク又は人工知能の最終結果に限るものではない。そのニューラルネットワーク又は人工知能の一部の演算処理を行った結果すなわち途中結果の比較に対しても、最終結果を比較する場合と同様の効果が得られる。
そして特定のニューラルネットワーク又は人工知能に対してＦＰＧＡ上で演算処理を行った結果と、例えばＣＰＵ又はＧＰＵを用いてニューラルネットワーク又は人工知能の定義に基づいて演算処理を行った結果との比較に限るものではなく、他の数値の組に対する比較に於いても同様の効果が得られる。
また、浮動小数点値を用いた数値の複数の組の定量的な比較の方法として、例えば対応する数値の差の絶対値を用いる場合に比べて、線形回帰は数値の複数の組の間の一次の関数関係の具体形を求める為に広く用いられている方法であるので、その有用性ないし実効性がよく立証されているという利点が有る。また、線形回帰には複雑な演算処理は不要であるので、その為に特別の処理の可能な装置が必要となるということは無いという利点が有る。特に線形回帰は一般の非線形回帰ないし重回帰と比較しても複雑な処理は必要ないという利点が有る。
なお、従来の線形回帰の使用は数値の複数の組の間の一次の関数関係の具体形を求めることを目的として用いられる、すなわちその一次の関数関係の傾きと切片との具体的な数値を求めることを目的として用いられるものであるのに対し、本実施形態に於いては数値の複数の組の間の類似度の定量化を目的として用いられる。すなわち、本実施形態では、傾きと１との差、切片と０との差、及び、相関係数と１との差を求めることを目的として用いられるので、線形回帰の使用の目的は従来の方法とは本質的に異なる。
以上、説明したように、第１実施形態の演算処理装置１０では、受付部１が、第１の処理の出力結果として出力される第１の浮動小数点値と、第２の処理の出力結果として出力される第２の浮動小数点値との組を複数、受け付ける。そして、算出部２が、複数の組に対して線形回帰を行い、線形回帰によって得られた情報に基づいて、第１の処理の出力結果と、第２の処理の出力結果との類似度を算出する。
これにより第１実施形態の演算処理装置１０によれば、浮動小数点値を用いた数値の類似度を定量的に把握することができる。その結果として、例えば複数の方法の内で真の数値に最も近い数値の得られる方法を定量的に把握することが可能となり、その帰結として高性能の演算処理が可能となる。例えばＦＰＧＡを用いて処理を行うことにより並列処理を可能とすることでニューラルネットワーク又は人工知能の高速動作が得られ、かつ、演算結果のより正確な方法の選択が可能となるという効果が得られる。
（第２実施形態）
次に第２実施形態について説明する。第２実施形態の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。第２実施形態では、第１の処理が、ニューラルネットワーク又は人工知能の推論処理の一部を少なくとも含み、第２の処理が、ニューラルネットワーク又は人工知能の教師データを読み出す処理を含む場合を例にして説明する。
［機能構成の例］
図４は、第２実施形態の情報処理装置１００の機能構成の例を示す図である。第２実施形態の情報処理装置１００は、演算処理装置１０－２及び記憶装置２０を備える。演算処理装置１０－２は、受付部１、算出部２、選択部３、学習部４、記憶制御部５及び推論部６を備える。第２実施形態の演算処理装置１０－２では、第１実施形態の演算処理装置１０の構成に、更に学習部４、記憶制御部５及び推論部６が追加されている。
学習部４は、ニューラルネットワーク又は人工知能の推論処理に用いられるパラメーターの学習を行う。学習部４は、推論処理に用いられるパラメーターの学習を複数回に渡って行い、かつ、複数回の学習の少なくとも一度は推論処理の後に行う。
記憶制御部５は、学習により得られたパラメーターを記憶装置２０に記憶する。パラメーターは、例えば畳み込み処理の重み及びバイアス等を示すパラメーターである。また例えば、記憶制御部５は、ニューラルネットワーク又は人工知能に入力される入力値を記憶装置２０に記憶する。
推論部６は、記憶装置２０に記憶されたパラメーターを用いて、ニューラルネットワーク又は人工知能の推論処理を行う。
第２実施形態の情報処理装置１００では、例えば暫定的なパラメーターを用いた推論処理と、教師値との類似度の定量評価の為に線形回帰の処理が行われる。具体的には、受付部１が、暫定的なパラメーターを用いた推論処理の出力結果として出力される第１の浮動小数点値と、教師データを示す第２の浮動小数点値との組を複数、受け付ける。算出部２は、複数の組に対して線形回帰を行い、線形回帰によって得られた情報に基づいて、暫定的なパラメーターを用いた推論処理の出力結果と、教師データとの類似度を算出する。
［演算処理方法の例］
図５は第２実施形態の演算処理方法の例を示すフローチャートである。はじめに、学習部４が、パラメーターの学習を行う（ステップＳ１１）。パラメーターは、例えばニューラルネットワーク又は人工知能の処理で実行される畳み込み処理の重み及びバイアス等のパラメーターである。
次に、記憶制御部５が、ステップＳ１１の処理により得られたパラメーターを記憶装置に記憶する（ステップＳ１２）。
次に、推論部６が、ステップＳ１２の処理によって記憶装置に記憶されたパラメーターを用いて、入力値に応じた推論を行う（ステップＳ１３）。この推論処理に於いては、推論部６に入力された入力値と、当該入力値に応じた推論結果とが記憶装置２０に記憶される。
次に、学習部４が、追加学習の実行タイミングであるか否かを判定する（ステップＳ１４）。追加学習の実行タイミングは、例えば特定の回数の推論処理が行われたタイミングである。また例えば、追加学習の実行タイミングは、最後に学習が実行された時から、特定の時間が経過したタイミングである。
追加学習の実行タイミングでない場合（ステップＳ１４，Ｎｏ）、処理はステップＳ１３に戻り、推論部６が推論処理を継続する。
追加学習の実行タイミングである場合（ステップＳ１４，Ｙｅｓ）、学習部４が、ステップＳ１３の推論処理後に記憶装置２０に記憶された入力値と推論結果とを用いて、ニューラルネットワーク又は人工知能に対する追加学習を行う（ステップＳ１５）。具体的には、学習部４が、暫定的なパラメーターを用いた推論処理の推論結果として出力される第１の浮動小数点値と、教師データを示す第２の浮動小数点値との組を受付部１に入力する。受付部１に浮動小数点値の組が入力されると、上述の図３のフローの処理が実行され、教師データ（真の数値）との類似度が算出される。類似度の算出は、暫定的なパラメーター毎の推論結果に対して行われる。選択部３が、複数の暫定的なパラメーターのうち、例えば最も教師データに類似する推論結果を出力した暫定的なパラメーターを、追加学習後の推論処理のパラメーターとして選択する。
次に、学習部４は、ステップＳ１５の処理により行われた追加学習の結果に基づいて、パラメーターを更新する（ステップＳ１６）。ステップＳ１６の処理の後、処理はステップＳ１３の推論処理に戻る。
この様にして特定のニューラルネットワーク又は人工知能の処理に於いて自ら推論と学習とを行って進歩する演算処理装置１０－２が得られる。
以上、説明したように、第２実施形態の演算処理装置１０－２では、暫定的なパラメーターを用いた推論処理により出力された浮動小数点値と、教師データを示す浮動小数点値との組に対して、線形回帰によって得られた情報に基づく類似度が算出される。類似度の算出は、暫定的なパラメーター毎の推論結果に対して行われるので、暫定的なパラメーターを用いた推論処理の推論結果の定量的な比較が可能になる。これにより、例えば学習の過程で複数の局所最適解に到達する場合に、より優る方を採用する等の制御が可能となるので、より高性能の演算処理装置１０－２を提供することができる。
（第３実施形態）
次に第３実施形態について説明する。第３実施形態の説明では、第２実施形態と同様の説明については省略し、第２実施形態と異なる箇所について説明する。第３実施形態では、第２実施形態の情報処理装置１００の機能を、複数の情報処理装置１００で実現する場合について説明する。
［機能構成の例］
図６は、第３実施形態の情報処理システム２００の機能構成の例を示す図である。第３実施形態の情報処理システム２００は、情報処理装置１００－２及び情報処理装置１００－３を備える。情報処理装置１００－２は、例えばクラウドサーバ装置である。情報処理装置１００－３は、例えばスマートデバイス及びパーソナルコンピュータ等の端末である。
情報処理装置１００－２及び情報処理装置１００－３は、ネットワーク１５０を介して接続されている。ネットワーク１５０の通信方式は、有線方式であっても無線方式であってもよい。また、ネットワーク１５０は、有線方式と無線方式とを組み合わせることにより実現されていてもよい。
なお、１台の情報処理装置１００－２に対して、複数台の情報処理装置１００－３がネットワーク１５０を介して接続されていてもよい。
情報処理装置１００－２は、演算処理装置１０－３及び記憶装置２０ａを備える。演算処理装置１０－３は、受付部１、算出部２、選択部３、学習部４及び記憶制御部５を備える。受付部１、算出部２及び選択部３の説明は、第２実施形態と同様なので省略する。
学習部４は、情報処理装置１００－３により実行された推論処理の入力値及び推論結果を、ネットワーク１５０を介して受け付ける。学習部４は、推論処理の入力値及び推論結果と、記憶装置２０ａに記憶された教師データとを用いて、ニューラルネットワーク又は人工知能の推論処理に用いられるパラメーターの学習を行う。
記憶制御部５は、記憶装置２０ａに記憶された教師データの読み出しを行う。また、記憶制御部５は、学習部４により学習されたパラメーターを情報処理装置１００－３の記憶装置２０ｂに記憶する。
情報処理装置１００－３は、演算処理装置１０－４及び記憶装置２０ｂを備える。演算処理装置１０－４は、推論部６を備える。推論部６は、記憶装置２０ｂに記憶されたパラメーターを用いて、ニューラルネットワーク又は人工知能の推論処理を行う。
情報処理装置１００－２の学習部４による学習処理、及び、情報処理装置１００－３の推論部６による推論処理の詳細は、第２実施形態の図５のフローチャートと同様なので省略する。
第３実施形態の情報処理システム２００に於いては、第２実施形態と異なり、学習処理を行う演算処理装置１０－３と、推論処理を行う演算処理装置１０－４とは異なる演算処理装置である。それ故、特に多くの演算処理が必要となる学習処理に於いては、より高速処理の可能な演算処理を行うことの可能な演算処理装置１０－３を用いることに依り処理に必要な時間の短縮を図ることができる。一方、推論処理に於いては、例えば端末に格納された推論処理を行う演算処理装置１０－４を用いることに依り、より低消費電力で処理を行うことができる。
なお、第２実施形態の情報処理装置１００の様に、学習部４と推論部６とを同一の演算処理装置１０－２を用いて行うのであれば、本実施形態の情報処理システム２００と異なり全ての処理を単一の演算処理装置１０－２で行うことが可能であるので、他の処理装置との間の通信ないし数値の移行が不要となるという他の利点が得られる。
最後に、第２及び第３実施形態の情報処理装置１００（１００－２，１００－３）のハードウェア構成の例について説明する。
［ハードウェア構成の例］
図７は第２及び第３実施形態の情報処理装置１００（１００－２，１００－３）のハードウェア構成の例を示す図である。
情報処理装置１００は、制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信装置３０６を備える。制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信装置３０６は、バス３１０を介して接続されている。
制御装置３０１は、補助記憶装置３０３から主記憶装置３０２に読み出されたプログラムを実行する。制御装置３０１は、上述の演算処理装置１０（１０－２，１０－３，１０－４）に対応する。
主記憶装置３０２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリである。補助記憶装置３０３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、及び、メモリカード等である。主記憶装置３０２及び補助記憶装置３０３は、上述の記憶装置２０（２０ａ，２０ｂ）に対応する。
表示装置３０４は表示情報を表示する。表示装置３０４は、例えば液晶ディスプレイ等である。入力装置３０５は、コンピュータを操作するためのインタフェースである。入力装置３０５は、例えばキーボードやマウス等である。コンピュータがスマートフォン及びタブレット型端末等のスマートデバイスの場合、表示装置３０４及び入力装置３０５は、例えばタッチパネルである。通信装置３０６は、他の装置と通信するためのインタフェースである。
コンピュータで実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、メモリカード、ＣＤ－Ｒ及びＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等のコンピュータで読み取り可能な記憶媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。
またコンピュータで実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。またコンピュータで実行されるプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。
またコンピュータで実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
コンピュータで実行されるプログラムは、上述の情報処理装置１００（１００－２，１００－３）の機能構成（機能ブロック）のうち、プログラムによっても実現可能な機能ブロックを含むモジュール構成となっている。当該各機能ブロックは、実際のハードウェアとしては、制御装置３０１が記憶媒体からプログラムを読み出して実行することにより、上記各機能ブロックが主記憶装置３０２上にロードされる。すなわち上記各機能ブロックは主記憶装置３０２上に生成される。
なお上述した各機能ブロックの一部又は全部をソフトウェアにより実現せずに、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。
また複数のプロセッサを用いて各機能を実現する場合、各プロセッサは、各機能のうち１つを実現してもよいし、各機能のうち２つ以上を実現してもよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１ 受付部
２ 算出部
３ 選択部
４ 学習部
５ 記憶制御部
６ 推論部
１０ 演算処理装置
２０ 記憶装置
１００ 情報処理装置
２００ 情報処理システム
３０１ 制御装置
３０２ 主記憶装置
３０３ 補助記憶装置
３０４ 表示装置
３０５ 入力装置
３０６ 通信装置
３１０ バス

Claims (11)

  1. 第１の処理の出力結果として出力される第１の浮動小数点値と、第２の処理の出力結果として出力される第２の浮動小数点値との組を複数、受け付ける受付部と、
    複数の前記組に対して線形回帰を行い、前記線形回帰によって得られた情報に基づいて、前記第１の処理の出力結果と、前記第２の処理の出力結果との類似度を算出する算出部と、
    を備える演算処理装置。
  2. 前記算出部は、前記線形回帰により得られた回帰直線の傾き、前記回帰直線の切片、及び、前記線形回帰により得られた相関係数の少なくとも１つに基づいて前記類似度を算出する、
    請求項１に記載の演算処理装置。
  3. 前記算出部は、前記回帰直線の傾きが１に近いほど、前記類似度を高く算出する、
    請求項２に記載の演算処理装置。
  4. 前記算出部は、前記回帰直線の切片が０に近いほど、前記類似度を高く算出する、
    請求項２に記載の演算処理装置。
  5. 前記算出部は、前記線形回帰により得られた相関係数が１に近いほど、前記類似度を高く算出する、
    請求項２に記載の演算処理装置。
  6. 前記第１の処理は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いて実行され、
    前記第２の処理は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）又はＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて実行される、
    請求項１乃至５のいずれか１項に記載の演算処理装置。
  7. 前記第１の処理は、ニューラルネットワーク又は人工知能の推論処理の一部を少なくとも含み、
    前記第２の処理は、前記ニューラルネットワーク又は前記人工知能の教師データを読み出す処理を含む、
    請求項１乃至５のいずれか１項に記載の演算処理装置。
  8. 前記推論処理に用いられるパラメーターの学習を行う学習部と、
    記憶装置と、
    前記学習により得られたパラメーターを前記記憶装置に記憶する記憶制御部と、
    前記パラメーターを用いて、前記推論処理を行う推論部と、
    を更に備え、
    前記受付部は、前記推論処理の出力結果として出力される第１の浮動小数点値と、前記教師データを示す第２の浮動小数点値との組を複数、受け付け、
    前記算出部は、複数の前記組に対して線形回帰を行い、前記線形回帰によって得られた情報に基づいて、前記推論処理の出力結果と、前記教師データとの類似度を算出し、
    前記学習部は、前記類似度に基づいて前記パラメーターを更新する、
    請求項７に記載の演算処理装置。
  9. 前記学習部は、前記推論処理に用いられるパラメーターの学習を複数回に渡って行い、かつ、前記複数回の学習の少なくとも一度は前記推論処理の後に行う、
    請求項８に記載の演算処理装置。
  10. パラメーターを記憶する記憶装置と、
    演算処理装置とを備え、
    前記演算処理装置は、
    ニューラルネットワーク又は人工知能の推論処理に用いられるパラメーターの学習を行う学習部と、
    前記学習により得られたパラメーターを前記記憶装置に記憶する記憶制御部と、
    前記パラメーターを用いて、前記推論処理を行う推論部と、
    前記推論処理の出力結果として出力される第１の浮動小数点値と、前記ニューラルネットワーク又は人工知能の教師データを示す第２の浮動小数点値との組を複数、受け付ける受付部と、
    複数の前記組に対して線形回帰を行い、前記線形回帰によって得られた情報に基づいて、前記推論処理の出力結果と、前記教師データとの類似度を算出する算出部と、を備え、
    前記学習部は、前記類似度に基づいて前記パラメーターを更新する、
    を備える情報処理装置。
  11. 演算処理装置が、第１の処理の出力結果として出力される第１の浮動小数点値と、第２の処理の出力結果として出力される第２の浮動小数点値との組を複数、受け付けるステップと、
    前記演算処理装置が、複数の前記組に対して線形回帰を行うステップと、
    前記演算処理装置が、前記線形回帰によって得られた情報に基づいて、前記第１の処理の出力結果と、前記第２の処理の出力結果との類似度を算出するステップと、
    を含む演算処理方法。
JP2020101414A 2020-06-11 2020-06-11 演算処理装置、情報処理装置及び演算処理方法 Active JP7391774B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020101414A JP7391774B2 (ja) 2020-06-11 2020-06-11 演算処理装置、情報処理装置及び演算処理方法
US17/180,720 US20210390378A1 (en) 2020-06-11 2021-02-19 Arithmetic processing device, information processing apparatus, and arithmetic processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020101414A JP7391774B2 (ja) 2020-06-11 2020-06-11 演算処理装置、情報処理装置及び演算処理方法

Publications (2)

Publication Number Publication Date
JP2021196731A JP2021196731A (ja) 2021-12-27
JP7391774B2 true JP7391774B2 (ja) 2023-12-05

Family

ID=78825516

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020101414A Active JP7391774B2 (ja) 2020-06-11 2020-06-11 演算処理装置、情報処理装置及び演算処理方法

Country Status (2)

Country Link
US (1) US20210390378A1 (ja)
JP (1) JP7391774B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130191426A1 (en) 2012-01-25 2013-07-25 Mips Technologies, Inc. Merged Floating Point Operation Using a Modebit
JP2017515177A (ja) 2014-03-26 2017-06-08 インテル・コーポレーション ３ソースオペランド浮動小数点加算プロセッサ、方法、システム、及び命令
JP1501673S (ja) 2013-11-29 2017-06-19
US20180300105A1 (en) 2017-04-12 2018-10-18 Intel Corporation Mixed-precision floating-point arithmetic circuitry in specialized processing blocks
JP2020521192A (ja) 2017-05-17 2020-07-16 グーグル エルエルシー ハードウェアにおける行列乗算の実行

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4926482A (en) * 1987-06-26 1990-05-15 Unisys Corp. Apparatus and method for real time data compressor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130191426A1 (en) 2012-01-25 2013-07-25 Mips Technologies, Inc. Merged Floating Point Operation Using a Modebit
JP1501673S (ja) 2013-11-29 2017-06-19
JP2017515177A (ja) 2014-03-26 2017-06-08 インテル・コーポレーション ３ソースオペランド浮動小数点加算プロセッサ、方法、システム、及び命令
US20180300105A1 (en) 2017-04-12 2018-10-18 Intel Corporation Mixed-precision floating-point arithmetic circuitry in specialized processing blocks
JP2020521192A (ja) 2017-05-17 2020-07-16 グーグル エルエルシー ハードウェアにおける行列乗算の実行

Also Published As

Publication number Publication date
JP2021196731A (ja) 2021-12-27
US20210390378A1 (en) 2021-12-16

Similar Documents

Publication Publication Date Title
Hewamalage et al. Global models for time series forecasting: A simulation study
AU2016428862C1 (en) Optimizing automated modeling algorithms for risk assessment and generation of explanatory data
US11232344B2 (en) Multi-task feature selection neural networks
Anshu et al. A survey on the complexity of learning quantum states
WO2017159403A1 (ja) 予測システム、方法およびプログラム
Wang et al. The application of unsupervised deep learning in predictive models using electronic health records
Tomani et al. Parameterized temperature scaling for boosting the expressive power in post-hoc uncertainty calibration
WO2017159402A1 (ja) 共クラスタリングシステム、方法およびプログラム
Serra et al. Scaling up exact neural network compression by ReLU stability
Weir et al. Evolutionary rates across gradients
Anagnostopoulos et al. Residual-based attention and connection to information bottleneck theory in PINNs
CN112420125A (zh) 分子属性预测方法、装置、智能设备和终端
CN115577798A (zh) 基于随机加速梯度下降的半联邦学习方法及装置
Sun et al. Quantifying uncertainty in foundation models via ensembles
JP7391774B2 (ja) 演算処理装置、情報処理装置及び演算処理方法
Jaeger et al. When to Impute? Imputation before and during cross-validation
Tran et al. Semiparametric estimation of spatial autoregressive smooth-coefficient panel stochastic frontier models
Dessureault et al. Explainable global error weighted on feature importance: The xGEWFI metric to evaluate the error of data imputation and data augmentation
Cheng Resampling methods
Hortaçsu et al. Structural Econometric Modeling in Industrial Organization and Quantitative Marketing: Theory and Applications
CN115511070A (zh) 模型训练方法、装置及可读存储介质
US10852354B1 (en) System and method for accelerating real X detection in gate-level logic simulation
Hacker et al. Model selection in time series analysis: using information criteria as an alternative to hypothesis testing
JPWO2018066083A1 (ja) 学習プログラム、情報処理装置および学習方法
Pronin et al. Development of Quantum Circuits for Perceptron Neural Network Training, Based on the Principles of Grover's Algorithm

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231122

R151 Written notification of patent or utility model registration

Ref document number: 7391774

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151