JPWO2017168865A1 - 情報処理装置及び情報処理方法 - Google Patents

情報処理装置及び情報処理方法 Download PDF

Info

Publication number
JPWO2017168865A1
JPWO2017168865A1 JP2018508386A JP2018508386A JPWO2017168865A1 JP WO2017168865 A1 JPWO2017168865 A1 JP WO2017168865A1 JP 2018508386 A JP2018508386 A JP 2018508386A JP 2018508386 A JP2018508386 A JP 2018508386A JP WO2017168865 A1 JPWO2017168865 A1 JP WO2017168865A1
Authority
JP
Japan
Prior art keywords
data set
data
input
value
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018508386A
Other languages
English (en)
Other versions
JP7006585B2 (ja
Inventor
井手　直紀
直紀 井手
愉希夫 大渕
愉希夫 大渕
由幸 小林
由幸 小林
啓 福井
啓 福井
慎吾 高松
慎吾 高松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017168865A1 publication Critical patent/JPWO2017168865A1/ja
Application granted granted Critical
Publication of JP7006585B2 publication Critical patent/JP7006585B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】機械学習により構築されたモデルによる演算結果の妥当性を示す情報を提供することが可能な仕組みを提供する。
【解決手段】入力データ及び前記入力データをニューラルネットに入力して得られた出力データの組み合わせから成る第１のデータセットを取得する第１の取得部と、前記第１のデータセットと同一の項目を有する第２のデータセットをひとつ以上取得する第２の取得部と、前記第２のデータセットとの関係における前記第１のデータセットの位置付けを示す情報を生成する生成部と、を備える情報処理装置。
【選択図】図６

Description

本開示は、情報処理装置及び情報処理方法に関する。
近年、機械学習により構築されたモデルを用いて予測又は認識等の演算を行う技術が広く用いられている。例えば、下記特許文献１では、実サービスを継続しながら、過去データへの影響度合いをある程度確認しつつ、機械学習により分類モデルを改善する技術が開示されている。
特開２０１４−９２８７８号公報
しかし、機械学習により構築されたモデルを用いた演算結果の妥当性を人が理解することが困難な場合あった。そのため、例えば事前の学習に用いられたデータセットが適切であること、オーバーフィット及びアンダーフィット等の不適切な学習が行われていないこと等をもって、演算結果の妥当性を間接的に納得することが強いられてきた。そこで、機械学習により構築されたモデルによる演算結果の妥当性を示す情報を提供することが可能な仕組みが提供されることが望ましい。
本開示によれば、入力データ及び前記入力データをニューラルネットに入力して得られた出力データの組み合わせから成る第１のデータセットを取得する第１の取得部と、前記第１のデータセットと同一の項目を有する第２のデータセットをひとつ以上取得する第２の取得部と、前記第２のデータセットとの関係における前記第１のデータセットの位置付けを示す情報を生成する生成部と、を備える情報処理装置が提供される。
また、本開示によれば、入力データを他の装置へ通知する通知部と、前記入力データをニューラルネットに入力して得られた出力データの組み合わせから成る第１のデータセットと同一の項目を有する第２のデータセットとの関係における、前記第１のデータセットの位置付けを示す情報を前記他の装置から取得する取得部と、を備える情報処理装置が提供される。
また、本開示によれば、入力データ及び前記入力データをニューラルネットに入力して得られた出力データの組み合わせから成る第１のデータセットを取得することと、前記第１のデータセットと同一の項目を有する第２のデータセットをひとつ以上取得することと、前記第２のデータセットとの関係における前記第１のデータセットの位置付けを示す情報をプロセッサにより生成することと、を含む情報処理方法が提供される。
また、本開示によれば、入力データを他の装置へ通知することと、前記入力データをニューラルネットに入力して得られた出力データの組み合わせから成る第１のデータセットと同一の項目を有する第２のデータセットとの関係における、前記第１のデータセットの位置付けを示す情報を前記他の装置からプロセッサにより取得することと、を含む情報処理方法が提供される。
以上説明したように本開示によれば、機械学習により構築されたモデルによる演算結果の妥当性を示す情報を提供することが可能な仕組みが提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係るシステムの概略的な構成の一例を示す図である。 同実施形態に係る処理装置の論理的な構成の一例を示すブロック図である。 同実施形態に係る端末装置の論理的な構成の一例を示すブロック図である。 同実施形態に係るＵＩの一例を示す図である。 同実施形態に係るＵＩの一例を示す図である。 同実施形態に係るＵＩの一例を示す図である。 同実施形態に係るＵＩの一例を示す図である。 同実施形態に係るＵＩの一例を示す図である。 同実施形態に係るＵＩの一例を示す図である。 同実施形態に係るＵＩの一例を示す図である。 同実施形態に係るＵＩの一例を示す図である。 同実施形態に係るＵＩの一例を示す図である。 同実施形態に係るＵＩの一例を示す図である。 同実施形態に係るＵＩの一例を示す図である。 同実施形態に係るシステムにおいて実行されるニューラルネットの応答の可視化処理の流れの一例を示す図である。 同実施形態に係るＵＩの一例を示す図である。 同実施形態に係るＵＩの一例を示す図である。 同実施形態に係る芸術作品の評価処理を説明するための図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．はじめに
１．１．技術的課題
１．２．ニューラルネット
２．構成例
２．１．システムの構成例
２．２．処理装置の構成例
２．３．端末装置の構成例
３．技術的特徴
３．１．概要
３．２．第１の方法
３．３．第２の方法
３．４．処理の流れ
４．アプリケーション例
５．ハードウェア構成例
６．まとめ
＜＜１．はじめに＞＞
＜１．１．技術的課題＞
従来の機械学習の枠組みでは、特徴量の設計、即ち認識又は予測（即ち、回帰）等の演算に必要となる値の計算方法の設計が、人によるデータの分析、考察、経験則の取り込みなどを用いてなされていた。これに対し、ディープラーニングでは、特徴量の設計をニューラルネットの関数に任せる。この違いにより、近年、ディープラーニングを用いた技術は、他の機械学習を用いた技術を圧倒するようになってきている。
ニューラルネットは、任意の関数を近似することができることが知られている。ディープラーニングでは、この万能近似の特性を生かすことで、データから特徴量への変換処理の設計と、特徴量から認識又は予測等を行う演算処理までの一連の処理とを、区別することなく一通り（End-To-End）で行なうことが可能である。また、ディープラーニングでは、特徴量への変換処理、及び認識又は予測等の演算処理に関し、人が理解できる範囲内で設計すること、という表現能力の制約から解放された。このような表現能力の飛躍的向上により、ディープラーニングでは、人の経験又は知識では分からない、分析しきれない、又は見つけ出せない特徴量なども、自動で構築することが可能になった。
一方で、ニューラルネットでは、入力データから演算結果が得られるまでの過程が写像関数として学習されるものの、この写像関数は人が理解することが容易でない形となっている場合がある。従って、演算結果が正しいことの納得感を人に与えることが困難な場合があった。
例えば、マンション（Apartment）の中古物件の不動産価格算定を、ディープラーニングを用いて行うことが考えられる。この場合、例えば、物件の「床面積」「階数」「駅からの徒歩所要時間」「築年数」「同棟別部屋の直近の成約価格」等の多次元ベクトルが入力データであり、物件の「査定価格」が出力データとなる。事前に収集されたデータセットにおける入出力データの関係（即ち、写像関数）を学習することで、学習後のニューラルネットは、新たな入力データに対応する出力データを計算可能となる。例えば、上述した不動産価格算定の例において、ニューラルネットは、学習時と同様の項目（例えば、「床面積」等）を有する入力データが入力されると、対応する「査定価格」を計算可能である。
しかしながら、この出力データが妥当な演算を経て導かれたのか否かは、出力データからだけでは納得し難い。そこで、事前の学習に用いられたデータセットが適切であること、オーバーフィット及びアンダーフィット等の不適切な学習が行われていないことをもって、演算の妥当性を間接的に納得することが強いられてきた。
そこで、本開示の一実施形態では、ニューラルネットによる演算結果がどのように導かれたのかを、直接的に知るための情報を提供することが可能な技術を提供する。
＜１．２．ニューラルネット＞
・概要
ニューラルネットに限らず、一般に、認識又は予測（即ち、回帰）技術では、データ変数ｘを目的変数ｙ（例えば、ラベル、回帰値又は予測値）に写像する関数は、次式で表される。
Figure 2017168865
ただし、ｘ及びｙの各々は、多次元（例えば、ｘはＤ次元、ｙはＫ次元）ベクトルであってもよい。また、ｆはｙの次元ごとに定められる関数である。認識又は回帰問題において、この関数ｆを求めることは、ニューラルネット又はディープラーニングに限らず、機械学習の分野では一般的である。
例えば、線形回帰問題では、次式のように、回帰を入力に対する線形応答の形式をとると仮定される。
Figure 2017168865
ここで、Ａ及びｂは、入力ｘに依存しない行列又はベクトルである。このＡ及びｂの各成分を、上記数式（２）に示したモデルのパラメータとも捉えることができる。この形式で表現されたモデルでは、計算結果を容易に説明することが可能である。例えば、Ｋ＝１としｙはスカラー値ｙ１であるものとすると、Ａは１×Ｄの行列で表現される。そこで、Ａの各成分の値をｗｊ＝ａ１ｊとすると、上記数式（２）は次式に変換される。
Figure 2017168865
上記数式によれば、ｙ１は、入力ｘを重み付けして加算したものである。このように、写像関数が単なる重み付け加算であれば、写像関数の中身を人が理解できるように説明することは容易である。このことは、詳細な説明は省略するものの、分類問題でも同様である。
続いて、入力に対して何らかの非線形変換（ただし、非線形変換の中に線形変換が含まれていてもよい）を施す例を考える。この非線形変換により得られるベクトルは、特徴量ベクトルと呼ばれる。仮に、この非線形変換が既知であれば、その非線形変換の関数（以下、非線形関数とも称する）を用いて、回帰式は次式のように表される。
Figure 2017168865
ここで、φ（ｘ）は、特徴量ベクトルを求めるための非線形関数であり、例えば、Ｍ次元のベクトルを出力する関数である。例えば、Ｋ＝１としｙはスカラー値ｙ１であるものとすると、Ａは１×Ｍの行列で表現される。そこで、Ａの各成分の値をｗｊ＝ａ１ｊとすると、上記数式（４）は次式に変換される。
Figure 2017168865
上記数式によれば、ｙ１は、各次元の特徴量を重み付けして加算したものである。この写像関数も、写像関数は既知の特徴量の重み付け加算であるから、写像関数の中身を人が理解できるように説明することは容易であると言える。
ここで、モデルパラメータＡ及びｂは、学習により得られる。詳しくは、モデルパラメータＡ及びｂは、予め与えられたデータセットにおいて、上記数式（１）が成り立つように学習される。データセットを、ここでは一例として（ｘｎ，ｙｎ）とし、ｎ＝１，…，Ｎとする。この場合、学習とは、与えられた全てのデータセットにおける、予測値ｆ（ｘｎ）と実際の値ｙｎとの差が小さくなるような、重みｗを求めることを指す。この差は、例えば次式で示す二乗誤差の和であってもよい。
Figure 2017168865
差を表す関数Ｌは、単なる二乗誤差和であってもよいし、次元別の重みを付した重み付き二乗誤差和であってもよいし、パラメータに関数制約を表現した制約項（例えば、Ｌ１制約又はＬ２制約等）を含む二乗誤差和であってもよい。他にも、差を表す関数Ｌは、バイナリクロスエントロピー、カテゴリカルエントロピー、対数尤度、又は変分下界のような、出力の予測値ｆ（ｘｎ）が実際の値ｙｎをどれだけ正しく予測したのかを表す指標であれば、任意の関数であってもよい。なお、学習以外にも、モデルパラメータＡ及びｂは、人により設計されてもよい。
学習により得られるモデルパラメータＡ及びｂは、人により設計される場合と比較して、きりの良い値ではない場合がある。しかし、どの次元にどの重み（即ち、寄与）が設定されているかを知ることは容易であるので、本モデルも人が理解可能な範囲であると言える。
ところで、このように人間が理解可能に設計されたモデルを作る場合、モデルが表現できるデータのバリエーションが限られてくる。このため、実際のデータを十分に表現できない、即ち十分な予測が困難である場合が多い。
そこで、モデルが表現できるデータのバリエーションを増やすには、これまで経験や既知の知識を使って設計されてきた非線形変換による特徴量の部分も、学習により得られることが望ましい。そのためには、ニューラルネットによる特徴量関数の近似が有効である。ニューラルネットは、合成関数を表すために適したモデルである。そこで、ニューラルネットで、特徴量変換の部分とその後の処理の合成関数とを表すことを考える。すると、既知の非線形変換による特徴量変換という部分も、学習に任せることが可能となり、設計の制約による表現力不足を回避することができる。
ニューラルネットは、次式で示すように、入力の線形結合と、非線形結合値の非線形関数（Activation）による出力を、層状につなぎ合わせた合成関数で構成される。
Figure 2017168865
Figure 2017168865
ここで、Ａ（ｌ）及びベクトルｂ（ｌ）は、それぞれ第ｌ層の線形結合の重み及びバイアスである。また、ｆ（ｌ＋１）は、第ｌ＋１層の非線形（Activation)関数を組み合わせたベクトルである。ベクトル又は行列になっているのは、各層の入出力が多次元であるからである。以降では、ニューラルネットのパラメータとは、Ａ（ｌ）及びｂ（ｌ）、ｌ＝０，・・・，Ｌ−１を指すものとする。
・目的関数
ニューラルネットにおいては、予め与えられたデータセットにおいて、上記数式（８）が成り立つようにパラメータが学習される。データセットを、ここでは一例として（ｘｎ，ｙｎ）とし、ｎ＝１，…，Ｎとする。この場合、学習とは、与えられた全てのデータセットにおける、予測値ｆ（ｘｎ）と実際の値ｙｎとの差が小さくなるようなパラメータを求めることを指す。この差は、例えば次式で表される。
Figure 2017168865
ここで、ｌ（ｙｎ，ｆ（ｘｎ））は、予測値ｆ（ｘｎ）と実際の値ｙｎとの距離を表す関数である。また、θは、ｆに含まれるパラメータＡ（ｌ）及びｂ（ｌ）、ｌ＝０，・・・，Ｌ−１をまとめたものである。Ｌ（θ）は、目的関数とも称される。仮に、次式が成り立つ場合、目的関数Ｌ（θ）は、二乗誤差関数である。
Figure 2017168865
目的関数は、二乗誤差和以外であってもよく、例えば重み付二乗誤差、正則化二乗誤差、バイナリクロスエントロピー、又はカテゴリカルクロスエントロピー等であってもよい。どのような目的化関数が適切であるかは、データ形式、又はタスク（例えば、ｙは離散値（分類問題）か連続値（回帰問題）か）等に依存する。
・学習
学習は、目的関数Ｌ（θ）を最小化することにより行われる。そのためには、例えばパラメータθに関する勾配を用いる方法が用いられ得る。その一例である確率的勾配方法では、次式に従ってパラメータが逐次更新されながら、目的関数Ｌ（θ）を最小化するパラメータθが繰り返し探索される。
Figure 2017168865
ここで、ＮｂからＮｂ＋１までの範囲で勾配を加算する処理は、ミニバッチとも称される。この方法を拡張した、ＡｄａＧｒａｄ、ＲＭＰｒｏｐ、又はＡｄａＭ等の方法が、学習に用いられることも多い。これらの方法では、勾配の分散を用いて、スケール依存性をなくしたり勾配δｌ／δθの二次モーメント又は移動平均等を用いたりすることで、過剰な応答を回避する等が行われる。
ニューラルネットでは、合成関数の規則を利用することで、目的関数の勾配が次式のように漸化式として求められる。
Figure 2017168865
勾配を漸化式で求める処理は、バックプロパゲーションとも呼ばれる。勾配が漸化式により容易に求められるので、これらの勾配を用いて数式(１１)又はその派生版の勾配法を用いて、パラメータを逐次的に推定することができる。
・ニューラルネットの各層の構成
ニューラルネットの各層は、様々な構成がとられ得る。ニューラルネットの各層の主要な構成は、線形結合の構成と非線形関数の種類により定まる。線形結合の構成には、主として、全結合ネットワーク、又はコンボリューショナル（畳込み）ネットワーク等がある。一方で、非線形結合関数には、新しい関数が次々と提唱されている。その一例として、次式に示すシグモイドがある。
Figure 2017168865
上記数式（１３）は、(-∞、∞）の入力を［０，１］の出力に変換する非線形写像である。シグモイドの派生としては、次式に示すＴａｎｈがある。
Figure 2017168865
また、次式に示すＲｅｌｕ（Rectified，LinearUnit）は、近年よく使われる活性関数である。
Figure 2017168865
また、次式に示すＳｏｆｔｍａｘ及びＳｏｆｔｐｌｕｓ等もよく知られる。
Figure 2017168865
このように、合成関数を用いることにより表現能力が増したニューラルネットでは、多数のデータを含むデータセットを用いて写像関数を学習する。このため、ニューラルネットは、従来では人手を介して行われてきた特徴量のデザインを行うことなく、高精度の認識又は予測を実現することが可能である。
＜＜２．構成例＞＞
＜２．１．システムの構成例＞
図１は、本開示の一実施形態に係るシステムの概略的な構成の一例を示す図である。図１に示すように、システム１は、処理装置１００及び端末装置２００を含む。
処理装置１００及び端末装置２００は、ネットワーク３００により接続される。ネットワーク３００は、ネットワーク３００により接続されている装置から送信される情報の有線又は無線の伝送路である。ネットワーク３００は、例えばセルラーネットワーク、有線ＬＡＮ（Local Area Network）、又は無線ＬＡＮ等を含み得る。
処理装置１００は、各種処理を行う情報処理装置である。端末装置２００は、ユーザとのインタフェースとして機能する情報処理装置である。典型的には、システム１は、処理装置１００及び端末装置２００の協働により、ユーザとのインタラクションを行う。
続いて、図２及び図３を参照して、各装置の構成例を説明する。
＜２．２．処理装置の構成例＞
図２は、本実施形態に係る処理装置１００の論理的な構成の一例を示すブロック図である。図２に示すように、処理装置１００は、通信部１１０、記憶部１２０及び制御部１３０を含む。
（１）通信部１１０
通信部１１０は、情報を送受信する機能を有する。例えば、通信部１１０は、端末装置２００からの情報を受信し、端末装置２００への情報を送信する。
（２）記憶部１２０
記憶部１２０は、処理装置１００の動作のためのプログラム及び様々なデータを一時的に又は恒久的に記憶する。
（３）制御部１３０
制御部１３０は、処理装置１００の様々な機能を提供する。制御部１３０は、第１の取得部１３１、第２の取得部１３２、演算部１３３、生成部１３４及び通知部１３５を含む。なお、制御部１３０は、これらの構成要素以外の他の構成要素をさらに含み得る。即ち、制御部１３０は、これらの構成要素の動作以外の動作も行い得る。
各構成要素の動作を簡易に説明する。第１の取得部１３１及び第２の取得部１３２は、情報を取得する。演算部１３３は、後述するニューラルネットの各種演算及び学習を行う。生成部１３４は、演算部１３３による演算又は学習結果を示す情報を生成する。通知部１３５は、生成部１３４により生成された情報を端末装置２００に通知する。その他の詳細な動作は、後に詳しく説明する。
＜２．３．端末装置の構成例＞
図３は、本実施形態に係る端末装置２００の論理的な構成の一例を示すブロック図である。図３に示すように、端末装置２００は、入力部２１０、出力部２２０、通信部２３０、記憶部２４０及び制御部２５０を含む。
（１）入力部２１０
入力部２１０は、情報の入力を受け付ける機能を有する。例えば、入力部２１０は、ユーザからの情報の入力を受け付ける。入力部２１０は、例えばキーボード又はタッチパネル等による文字入力を受け付けてもよいし、音声入力を受け付けてもよいし、ジェスチャ入力を受け付けてもよい。その他、入力部２１０は、フラッシュメモリ等の記憶媒体からのデータ入力を受け付けてもよい。
（２）出力部２２０
出力部２２０は、情報の出力を行う機能を有する。例えば、出力部２２０は、画像、音声、振動、又は発光等により情報を出力する。
（３）通信部２３０
通信部２３０は、情報を送受信する機能を有する。例えば、通信部２３０は、処理装置１００からの情報を受信し、処理装置１００への情報を送信する。
（４）記憶部２４０
記憶部２４０は、端末装置２００の動作のためのプログラム及び様々なデータを一時的に又は恒久的に記憶する。
（５）制御部２５０
制御部２５０は、端末装置２００の様々な機能を提供する。制御部２５０は、通知部２５１及び取得部２５３を含む。なお、制御部２５０は、これらの構成要素以外の他の構成要素をさらに含み得る。即ち、制御部２５０は、これらの構成要素の動作以外の動作も行い得る。
各構成要素の動作を簡易に説明する。通知部２５１は、入力部２１０に入力されたユーザ入力を示す情報を処理装置１００に通知する。取得部２５３は、処理装置１００による演算結果を示す情報を取得して、出力部２２０により出力させる。その他の詳細な動作は、後に詳しく説明する。
＜＜３．技術的特徴＞＞
続いて、本実施形態に係るシステム１の技術的特徴を説明する。
＜３．１．概要＞
システム１（例えば、演算部１３３）は、ニューラルネットに関する各種演算を行う。例えば、演算部１３３は、ニューラルネットのパラメータの学習、及びニューラルネットに入力データを入力して演算を行い、出力データを出力する。入力データにはひとつ以上の入力項目の各々の値（以下、入力値とも称する）が含まれ、入力値の各々はニューラルネットの入力層の対応するユニットに入力される。同様に、出力データにはひとつ以上の出力項目の各々の値（以下、出力値とも称する）が含まれ、出力値の各々はニューラルネットの出力層の対応するユニットから出力される。
本実施形態に係るシステム１は、ニューラルネットの入出力の応答関係を示す情報を可視化して提供する。入出力の応答関係を示す情報の可視化により、ニューラルネットの演算結果の根拠が示される。よって、ユーザは、自身が有する事前知識と照らし合わせて、演算結果の妥当性を直接的に納得することが可能となる。そのために、システム１は、下記の２種類のニューラルネットの演算を行い、演算結果を提供する。
第１の方法として、システム１は、入力値に擾乱を加えて、その結果、出力値がどのように変わるかを示す情報を可視化して提供する。具体的には、システム１は、多次元の入力データに対する出力値の、多次元の入力データの一部の入力値を固定してその他の入力値を変動させた（即ち、擾乱を加えた）場合の出力値の分布の中の位置付けを示す情報を提供する。これにより、ユーザは、出力値の位置付けを把握することが可能となる。
第２の方法として、システム１は、出力値の誤差をバックプロパゲーションさせて、入力値の分布を示す情報を可視化して提供する。具体的には、システム１は、入力値の出力値への寄与度を示す情報を提供する。これにより、ユーザは、入力値の位置付けを把握することが可能となる。
他にも、システム１は、ニューラルネットの応答関係を示す計算式又は統計的な処理結果（例えば、グラフ等）を可視化して提供する。これにより、ユーザは、演算結果の妥当性をより詳細に理解することが可能となる。
第１の方法に関しては、システム１は、数式（１）における入力値ｘに擾乱ｒを加えた場合の出力値ｙの応答を可視化する。この応答は、次式のように表現される。
Figure 2017168865
ここで、ｒはｋ軸での擾乱の値である。また、ｅｋはｋ軸の単位ベクトルである。
第２の方法に関しては、システム１は、数式（１１）又は数式（１２）における出力値ｙに擾乱δを加えた場合の入力値ｘの逆応答の寄与を可視化する。出力側からの微分を考慮する場合、システム１は、次式を用いてバックプロパゲーションにより各層への誤差を演算する。
Figure 2017168865
ここで、システム１は、上記数式（１２）において次式とすることで、入力値そのものへの逆伝搬誤差も演算可能である。
Figure 2017168865
なお、この応答の可視化は、ニューラルネットへの入力とニューラルネットからの出力とに限定されない。例えば、中間層における入力に近い側のユニットへの入力と出力に近い側のユニットからの出力に関して、応答が可視化されてもよい。一般的には、出力に近い側では、カテゴリ等の人間が作り出した概念に近い特徴量が計算される。また、入力に近い側では、よりデータに近い概念に関連する特徴量が計算される。これらの間の応答が可視化されてもよい。
以上、ニューラルネットの応答の可視化の概要を説明した。以下、第１の方法及び第２の方法に関するＵＩの一例を具体的に説明する。一例として、最寄り駅からの徒歩所要時間、土地面積、築年数等の不動産の属性情報を入力データとして不動産価格を出力するニューラルネットを想定する。
＜３．２．第１の方法＞
・第１のデータセット
システム１（例えば、第１の取得部１３１）は、入力データ及び当該入力データをニューラルネットに入力して得られた出力データの組み合わせから成る第１のデータセットを取得する。例えば、不動産の属性情報が入力データに相当し、出力データが不動産価格に相当する。
・第２のデータセット
システム１（例えば、第２の取得部１３２）は、第１のデータセットと値が同一の項目を有する第２のデータセットをひとつ以上取得する。第２のデータセットは、第１のデータセットと同一の値の項目を有し、出力データに対応する項目を有する。例えば、第２のデータセットは、第１のデータセットと同様に、不動産の属性情報と不動産価格との組み合わせから成る。そして、例えば属性情報のうち一部が、第１のデータセットと同一である。
とりわけ、第１の方法においては、第２のデータセットは、入力データに含まれる項目のうち第１の項目の値が第１のデータセットと異なり、他の第２の項目の値が第１のデータセットと同一であってもよい。例えば、第１の項目は、応答の可視化の対象である入力項目に相当し、第２の項目は、応答の可視化の対象でない入力項目に相当する。例えば、応答の可視化の対象が築年数であった場合、入力項目のうち築年数のみが異なりその他は同一である第２のデータセットが取得される。言い換えれば、第２のデータセットは、上記数式（１７）により表現される、応答の可視化の対象である入力項目の値に擾乱を加えた場合のデータセットに相当する。これにより、第２のデータセットが、応答関係をユーザに提供するための適切なデータセットとなる。
第２のデータセットは、過去に実際に観測されたデータセットに基づいて学習されたニューラルネットにより生成されたデータセットを含む。具体的には、システム１（例えば、演算部１３３）は、上記数式（１７）を用いて、入力ユニット側の可視化の対象である入力項目に擾乱を加えた場合の出力データを演算して、第２のデータセットを生成する。例えば、応答可視化の対象である入力項目の値が第１のデータセットと異なり、他の入力項目の値が第１のデータセットと同一である、という上述した条件を満たす実データを十分な数取得することが困難な場合がある。そのような場合に、ニューラルネットによるデータセットの生成により、データ数の不足を補うことが可能となる。
第２のデータセットは、過去に実際に観測されたデータセットを含んでいてもよい。例えば、システム１は、過去に売買された不動産の属性情報及び価格の実データを蓄積するデータベース（例えば、記憶部１２０）から、第２のデータセットを取得する。この場合、第２のデータセットは、ニューラルネットの学習に用いられた学習データであってもよい。
・位置付けを示す情報の生成
システム１（例えば、生成部１３４）は、第２のデータセットとの関係における第１のデータセットの位置付けを示す情報を生成する。生成された位置付けを示す情報は、例えば端末装置２００によりユーザに提供される。これにより、ニューラルネットの演算結果の根拠をユーザに提供することが可能となる。
・基本的なＵＩ例
第１の方法においては、位置付けを示す情報は、第１のデータセット及び第２のデータセットの、応答の可視化の対象である入力項目（第１の項目に相当）の値と出力データに対応する項目の値との関係を示す。これにより、例えば築年数が不動産価格にどのような影響を与えるか、という応答関係を明確にユーザに提供することが可能となる。以下、図４〜図６を参照して、第１の方法に係るＵＩ（User Interface）の一例を説明する。なお、ＵＩは、例えば端末装置２００により表示され、情報の入力を受け付ける。他のＵＩに関しても同様である。
図４は、本実施形態に係るＵＩの一例を示す図である。図４に示したように、ＵＩ４１０では、入力された不動産の属性情報の一覧及びニューラルネットから出力された不動産価格が提供される。しかしながら、これらだけでは、不動産価格が妥当であるか否か、及び不動産価格の計算過程が妥当であるか否かを判別することは困難である。そこで、システム１は、以下に説明するＵＩにより、出力された不動産価格の妥当性の根拠を示す情報をユーザに提供する。
図５は、本実施形態に係るＵＩの一例を示す図である。図５に示したＵＩ４２０により、ユーザは、応答の可視化の条件を設定することが可能である。例えば、ユーザは、ボタン４２１を押下することで、可視化の対象とする入力項目を選択することができる。なお、「入力１」〜「入力３」の各々は、不動産の属性情報の各々に対応する。また、ユーザは、入力フォーム４２２に、入力値の変化範囲を設定することができる。この範囲は、上述した擾乱の幅に対応する。また、ユーザは、ボタン４２３を押下することで、可視化の対象とする出力項目を選択することができる。本例では出力データに含まれる出力項目は不動産価格ひとつであるから複数の選択肢は提供されていないが、出力項目が複数である場合は複数の選択肢が提供されてもよい。第１のデータセットにおける可視化の対象とする入力項目の入力値を、対象入力値とも称する。また、第１のデータセットにおける可視化の対象とする出力項目の出力値を、対象出力値とも称する。
なお、図５では、入力項目の選択がボタン４２１の押下により行われる例を示したが、本技術はかかる例に限定されない。例えば、入力項目の選択は、リストからの選択により行われてもよいし、ラジオボタンからの選択により行われてもよい。
図６は、本実施形態に係るＵＩの一例を示す図である。図６に示したＵＩ４３０により、入力値に擾乱を加えた場合の出力値の応答がグラフにより可視化される。本グラフのＸ軸は入力値に相当し、Ｙ軸は出力値に相当する。モデル出力曲線４３１は、指定された変化範囲内で仮想的に応答の可視化対象の入力値を変化させた場合の、ニューラルネットからの出力値の曲線を示している。即ち、モデル出力曲線４３１は、上記数式（１７）により表される、ニューラルネットにより生成された第２のデータセットに相当する。また、実測データ４３２は、過去のデータのプロットである。即ち、実測データ４３２は、過去に実際に観測された第２のデータセットに相当する。試算データ４３３は、ＵＩ４１０に示した、ユーザに入力された対象入力値及びニューラルネットから出力された対象出力値を示している。即ち、試算データ４３３は、第１のデータセットに相当する。モデル出力曲線４３１により、ユーザは、可視化の対象の入力項目に関して、実際に入力した対象入力値及び対象出力値のみならず、その周辺（詳しくは、指定された変化範囲内）の応答の様子を確認することが可能である。これにより、ユーザは、自身が有する事前知識と照らし合わせて、演算結果の妥当性を直接的に納得することが可能となる。
なお、プロットされる実測データ４３２の数は所定数であってもよく、モデル出力曲線４３１に近いデータのみプロットされてもよい。ここで、「近い」とは、入力空間における距離（例えば、ユーグリッド距離）が近いことを指し、中間層のひとつを入力とする場合には当該中間層における距離が近いことを指す。実測データ４３２のプロットとモデル出力曲線４３１との距離（例えば、二乗距離）が近い場合、ユーザはニューラルネットによる演算結果に納得することが可能となる。また、プロットされる実測データ４３２は、少なくとも試算データ４３３の入力値よりも値が大きいものと小さいものとの双方を含むことが望ましい。また、実測データ４３２のプロットと当該実測データ４３２の内容（例えば、データセットの全体）とがリンク付けされている場合、実測データ４３２のプロットが選択されると当該実測データ４３２の内容が提供されてもよい。
・応用ＵＩ例
システム１（例えば、生成部）は、ニューラルネットの中間層から選択された入力層のユニットへの入力値と選択された出力層のユニットからの出力値との応答関係を示す情報を生成してもよい。このことは、上記ＵＩ例において行った入力層と出力層との応答関係の可視化を、中間層において行うことを指す。これにより、ユーザは、中間層における応答関係を理解することが可能となり、その結果、ニューラルネットの演算結果の妥当性をより詳細に理解することが可能となる。また、例えば、特定の中間層において抽象的な概念が表現されていることが期待できる場合に、中間層における応答関係の可視化により、ユーザは当該概念を知得することが可能となる。
−グラフ
応答関係を示す情報は、グラフであってもよい。この場合のＵＩ例を、図７を参照して説明する。
図７は、本実施形態に係るＵＩの一例を示す図である。図７に示したように、ＵＩ４４０は、ＵＩブロック４４１、４４４及び４４７を含む。ＵＩブロック４４１は、応答関係の可視化の対象とする中間層を選択するためのＵＩである。ＵＩブロック４４１では、ニューラルネットの各層のユニット（矩形で表現されており、多次元ベクトルに相当する）とそれに接続する演算部分（層から層への射影関数を示す矢印に相当する）が提供されている。一例として、ユーザは、入力層として中間層４４２を選択し、出力層として中間層４４３を選択するものとする。このとき、例えば矩形の色、矩形の枠の線種、太さ、又は色等が変化して、どの層が入力層でどの層が出力層として選択されたかが明示されることの望ましい。
ＵＩブロック４４４は、ＵＩブロック４４１において選択された中間層４４２及び中間層４４３の中から、応答関係の可視化の対象とするユニット（即ち、次元）を選択するためのＵＩである。図７に示すように、ＵＩブロック４４４では、各ユニットの入出力が矢印で図示され、その矢印が選択対象となってもよい。他にも、ユニット数が過度に多い場合には、ＵＩブロック４４４は、例えばスライド入力又はユニット識別番号の入力を受け付けてもよい。一例として、ユーザは、中間層４４２からユニット４４５を選択し、中間層４４３からユニット４４６を選択するものとする。
ＵＩブロック４４７は、ＵＩブロック４４４において選択された入力ユニットと出力ユニットとの応答関係をグラフにより可視化するＵＩである。本グラフのＸ軸はユニット４４５への入力値に相当し、Ｙ軸はユニット４４６からの出力値に相当する。ＵＩブロック４４７のグラフに含まれる曲線は、図６に示したモデル出力曲線４３１と同様の手法により生成される。即ち、ＵＩブロック４４７に含まれるグラフは、選択されたユニット４４５以外の入力ユニットへの入力値を固定して、選択されたユニット４４５への入力値を変化させて、ユニット４４６の応答をグラフ化したものである。選択されたユニット４４５以外の入力ユニットへの固定化された入力値とは、例えばニューラルネット自体への入力値を固定した場合に、演算の結果各入力ユニットに入力される値を指す。なお、本グラフにおいても、ＵＩ４２０において示したように、入力値の変化幅が入力可能であってもよい。また、本グラフにおいても、ＵＩ４３０と同様に、学習時に用いられた実測データがプロットされてもよい。プロットされる実測データの条件、及び実測データの内容の提供に関しても、ＵＩ４３０と同様であってもよい。
なお、ＵＩブロック４４１、４４４、及び４４７は同一画面内で提供されてもよいし、順に遷移して提供されてもよい。このことは、複数のＵＩブロックを有する他のＵＩに関しても同様である。
−関数
応答関係を示す情報は、関数であってもよい。この場合のＵＩ例を、図８及び図９を参照して説明する。
図８は、本実施形態に係るＵＩの一例を示す図である。図８に示したように、ＵＩ４５０は、ＵＩブロック４４１、４４４及び４５１を含む、ＵＩ４４０のＵＩブロック４４７をＵＩブロック４５１に代えた構成を有する。なお、ＵＩ４５０においては、ＵＩ４４０とは異なり、中間層４４２から複数のユニット４４５Ａ及び４４５Ｂが選択されてもよい。ＵＩブロック４５１は、ＵＩブロック４４４において選択されたユニット４４５Ａ及び４４５Ｂと出力ユニットとの応答関係を関数により可視化するＵＩである。
ニューラルネットでは、入出力の応答関係は上記数式（８）で表現される。数式（８）は、学習によって得られたモデルパラメータＡ及びｂによる線形結合、及び非線形アクティベーション関数ｆの合成関数である。しかし、この関数は膨大なパラメータで書かれており、通常、その意味を理解することは困難である。そこで、システム１（例えば、生成部１３４）は、選択されたユニット４４５Ａ及び４４５Ｂを変数とし、ユニット４４５Ａ及び４４５Ｂ以外の入力ユニットへの入力値を固定して変数の数を削減した関数を生成する。なお、選択されたユニット４４５Ａ及び４４５Ｂ以外の入力ユニットへの固定化された入力値とは、例えばニューラルネット自体への入力値を固定した場合に、演算の結果各入力ユニットに入力される値を指す。そして、生成された関数は、ＵＩブロック４５１において提供される。このように、システム１は、選択された入力ユニットを変数とする射影関数を、変数の数を削減した容易に理解可能な形式で提供する。これにより、ユーザは、ニューラルネットの部分的な応答を容易に理解することが可能となる。
この関数がユーザにとって理解することが困難である場合、図９に示すように近似関数が提供されてもよい。図９は、本実施形態に係るＵＩの一例を示す図である。図９に示したＵＩ４６０は、ＵＩ４５０のＵＩブロック４５１をＵＩブロック４６１に代えた構成を有する。ＵＩブロック４６１では、射影関数を、微分係数により線形近似した近似関数が提供される。これにより、ユーザは、ニューラルネットの部分的な応答をより容易に理解することが可能となる。
なお、ＵＩブロック４５１又は４６１において、関数はテキスト形式で提供されてもよい。他にも、関数は、任意のプログラミング言語による記述として提供されてもよい。例えば、リストアップされたプログラミング言語からユーザが選択したプログラミング言語で、関数が記述されてもよい。また、ＵＩブロック４５１又は４６１に提供された関数は、他の任意のアプリケーションへのコピーアンドペーストが可能であってもよい。
−ニューラルネットの設計補助
システム１（例えば、生成部）は、ニューラルネットの設計補助のためのＵＩを生成し、提供してもよい。
例えば、システム１は、出力層のユニットからの出力値に寄与しない入力層のユニットの除去を提案する情報を生成してもよい。例えば、ＵＩ４６０において、ＵＩブロック４６１において提供された関数の入出力応答の係数がすべて０でバイアスも０である場合、ユニット４４６は、後段のネットワークには寄与していないので、除去されてもよい。その場合、システム１は、当該出力ユニットの除去を提案する情報を生成してもよい。そのＵＩの一例を、図１０に示した。図１０は、本実施形態に係るＵＩの一例を示す図である。図１０に示したＵＩ４７０は、ＵＩ４６０にＵＩブロック４７１を追加した構成を有する。ＵＩブロック４７１には、後段に寄与しない出力ユニットの除去を提案するメッセージが含まれる。当該出力ユニットは、ユーザによりＹＥＳボタン４７２が選択されると除去され、ＮＯボタン４７３が選択されると除去されない。なお、後段に寄与しない出力ユニットの除去は、自動で行われてもよい。
例えば、システム１は、特定の入力データに反応するユニットに関する情報を生成してもよい。例えば、システム１は、ある特定のカテゴリ（若しくはクラス）の入力データに反応するユニットを検出し、例えば「このユニットは、このカテゴリのデータに反応します」といったメッセージをユーザに提供してもよい。さらに、システム１は、当該ユニットに寄与する入力ユニットを再帰的に辿り、当該ユニットを生成するサブネットワークを抽出してもよい。そして、システム１は、当該サブネットワークを、特定のカテゴリの入力データを検出するための検出器として再利用してもよい。
例えば、あるユニットが「犬」に反応するユニットであるものとする。その場合、当該ユニットを、「犬検出器」として取り扱うことも可能である。さらに、システム１は、「犬」を検出した概念の下層にある概念についても分類することで、分類系図を提供してもよい。ユニットに、「犬」又は「犬検出器」といった名称を対応付けるためのＵＩが提供されてもよい。また、ユニットの応答性に応じたＵＩの他、ユニットの分布特性に応じたＵＩが提供されてもよい。図１１に、各ユニットに名称が対応付けられたＵＩの一例を示した。図１１は、本実施形態に係るＵＩの一例を示す図である。図１１に示したＵＩ４７２では、「犬」への応答性が高いユニットに「犬」が対応付けられている。同様に、「巻しっぽ」への応答性が高いユニットに「巻しっぽ」が対応付けられ、「耳」への応答性が高いユニットに「耳」が対応付けられ、「四足」への応答性が高いユニットに「四足」が対応付けられている。
＜３．３．第２の方法＞
・第１のデータセット
システム１（例えば、第１の取得部１３１）は、第１の方法と同様に、入力データ及び当該入力データをニューラルネットに入力して得られた出力データの組み合わせから成る第１のデータセットを取得する。
・第２のデータセット
システム１（例えば、第２の取得部１３２）は、第１の方法と同様に、第１のデータセットと値が同一の項目を有する第２のデータセットをひとつ以上取得する。第２のデータセットは、第１の方法と同様に、第１のデータセットと同一の値の項目を有し、出力データに対応する項目を有する。
とりわけ、第２の方法においては、第２のデータセットは、入力データに含まれる項目のうち第１の項目の値が第１のデータセットと異なり、他の第２の項目の値及び出力データに対応する項目の値が第１のデータセットと同一であってもよい。例えば、第１の項目は、応答の可視化の対象である入力項目に相当し、第２の項目は、応答の可視化の対象でない入力項目に相当する。例えば、応答の可視化の対象が築年数であった場合、入力項目のうち築年数のみが異なりその他の入力項目及び不動産価格が同一である第２のデータセットが取得される。言い換えれば、第２のデータセットは、上記数式（１８）により表現される、応答の可視化の対象である入力項目の逆伝搬誤差に相当する。これにより、第２のデータセットが、応答関係をユーザに提供するための適切なデータセットとなる。
第２のデータセットは、過去に実際に観測されたデータセットに基づいて学習されたニューラルネットにおけるバックプロパゲーションにより生成されたデータセットを含む。具体的には、システム１（例えば、演算部１３３）は、上記数式（１８）を用いて、出力ユニット側に誤差を加えた場合の、可視化の対象である入力ユニットの応答を演算する。ここで、入出力ユニットは、ニューラルネットの入力層及び出力層のユニットであってもよいし、選択された中間層のユニットであってもよい。出力ユニット側の誤差は、第１のデータセットにおける値を中心値とする乱数（例えば、ガウス乱数）を用いて繰り返し計算される。この乱数の標準偏差は、ユーザにより設定可能であるものとする。他方、入力ユニット側では、出力ユニット側の乱数に応じた分布が得られる。
・位置付けを示す情報の生成
システム１（例えば、生成部１３４）は、第２のデータセットとの関係における第１のデータセットの位置付けを示す情報を生成する。
第２の方法においては、位置付けを示す情報は、出力データに対応する項目の値が出力データと同一である第２のデータセットの分布における入力データの位置を示す情報であってもよい。その場合、システム１は、例えば出力ユニット側に加えられた誤差に応じて入力ユニット側に生じる入力値の分布における、第１のデータセットの入力データの位置を示す情報を提供する。この場合のＵＩ例を、図１２及び図１３を参照して説明する。
また、第２の方法において、位置付けを示す情報は、出力データに対応する項目の値が出力データと同一である第２のデータセットの分布における入力データの偏差値を示す情報であってもよい。その場合、システム１は、例えば出力ユニット側に加えられた誤差に応じて入力ユニット側に生じる入力値の分布における、第１のデータセットの入力データの偏差値を示す情報を提供する。この場合のＵＩ例を、図１４を参照して説明する。
図１２は、本実施形態に係るＵＩの一例を示す図である。図１２に示したＵＩ５１０により、ユーザは、応答の可視化の条件を設定することが可能である。例えば、ユーザは、ボタン５１１を押下することで、可視化の対象とする入力項目を選択することができる。
図１３は、本実施形態に係るＵＩの一例を示す図である。図１３に示したＵＩ５２０では、出力値に誤差を加えた場合の入力値の応答の確率密度分布の曲線５２１が可視化される。本グラフのＸ軸は入力値に相当し、Ｙ軸は確率密度を示す。ＵＩ５２０では、当該確率分布における対象入力値の位置が可視化される。
図１４は、本実施形態に係るＵＩの一例を示す図である。図１４に示したＵＩ５３０では、入力値の応答の分布の中心及び分布幅により求まる偏差値が可視化される。グラフ５３１は、偏差値が５０の位置を示している。グラフ５３２は、第１のデータセットの各々の入力値の偏差値の位置を示している。ＵＩ５３０により、ユーザは、第１のデータセットと、第２のデータセットとを比較することが可能となる。偏差値は、単に入力値の値が高い程高く計算されてもよい。例えば、徒歩所要時間に関して言えば、徒歩所要時間が高い程ＵＩ５３０における偏差値が高く計算されてもよい。他方、偏差値は、入力値の値が出力値に望ましい応答を与えるほど高く計算されてもよい。一般的には、徒歩所要時間は低いほど不動産価格は高くなる傾向にある。そのため、例えば徒歩所要時間に関して言えば、徒歩所要時間が低い程、ＵＩ５３０における偏差値が高く計算されてもよい。このような切り替えの要否は、例えばユーザにより設定され得る。
なお、偏差値は、上述した乱数を用いる方法以外の方法で計算されてもよい。例えば、蓄積された実測データの分布における第１のデータセットの偏差値が計算されてもよい。これにより、ユーザは、実測データ全体における第１のデータセットの絶対的な位置付けを知ることが可能となる。他方、入力値が有る程度固定されている場合には、同様な出力値を得る入力値における対象入力値の位置付けを知ることができる、上述した乱数を用いる方法が有効である。
また、上記では入力値が連続量である場合について説明したが、本技術はかかる例に限定されない。例えば、入力値は、離散量であってもよい。離散量の場合には偏差値の計算が困難になり得るものの、離散量の出現分布が計算され、偏差値の代わりに出現確率が用いられてもよい。
また、偏差値以外にも、ＵＩ５３０において例えば入力値の分布幅が提供されてもよい。同じ出力値でも、分布幅が大きい入力値は出力値との相関が薄いため、出力値への寄与度が低いことが分かる。例えば、寄与度＝１／分布幅である。
また、第２の方法においても、第１の方法に関して説明したニューラルネットの設計補助のためのＵＩが提供されてもよい。
＜３．４．処理の流れ＞
続いて、図１５を参照して、上記説明したニューラルネットの応答の可視化を行うための処理の流れの一例を説明する。
図１５は、本実施形態に係るシステム１において実行されるニューラルネットの応答の可視化処理の流れの一例を示す図である。図１５に示すように、本シーケンスには、処理装置１００及び端末装置２００が関与する。まず、端末装置２００（例えば、入力部２１０）は、入力データの入力を受け付ける（ステップＳ１０２）。次いで、端末装置２００（例えば、通知部２５１）は、入力データを処理装置１００に送信する（ステップＳ１０４）。次に、処理装置１００（例えば、第１の取得部１３１及び演算部１３３）は、入力データをニューラルネットに入力して出力データを得ることで、第１のデータセットを取得する（ステップＳ１０６）。次いで、端末装置２００（例えば、入力部２１０）は、可視化の条件の入力を受け付ける（ステップＳ１０８）。次に、端末装置２００（例えば、通知部２５１）は、入力された可視化の条件を示す情報を処理装置１００に送信する（ステップＳ１１０）。次いで、処理装置１００（例えば、第２の取得部１３２及び演算部１３３）は、可視化の条件に基づいて入力値に擾乱を加えたニューラルネットの演算又は出力値に誤差を加えたバックプロパゲーションを行うことで、第２のデータセットを取得する（ステップＳ１１２）。そして、処理装置１００（例えば、生成部１３４）は、位置付けを示す情報を生成する（ステップＳ１１４）。次に、処理装置１００（例えば、通知部１３５）は、生成した位置付けを示す情報を端末装置２００へ送信し、端末装置２００（例えば、取得部２５３）が取得する（ステップＳ１１６）。次いで、端末装置２００（例えば、出力部２２０）は、位置付けを示す情報を出力する（ステップＳ１１８）。
＜＜４．アプリケーション例＞＞
本技術は、入力データが属するカテゴリを判定する分類問題、及び入力データにより得られる出力データを予測する回帰問題の、いずれのアプリケーションにおいても利用可能である。以下では、その一例として、回帰問題のアプリケーション例を説明する。
また、本技術は、多様な入力データ及び出力データをとることができる。入力データは、評価対象の属性情報であり、出力データは、前記評価対象の評価値である。例えば、上記一例を挙げたように、評価対象は不動産であり、評価値は当該不動産の価格であってもよい。
（１）不動産価格の査定アプリケーション
例えば、ユーザは、インターネットサイトにおいて不動産価格を査定する例を想定する。その場合、処理装置１００はユーザが操作するユーザ端末に相当し、処理装置１００は、インターネットサイトのバックエンドに存在し得る。
ユーザは、「ときわ荘１０９号室」の売却又は購入を希望しているものとする。ユーザは、インターネットサイトにおいて当該不動産の属性情報を入力し、査定価格の推定結果の提供を受ける。その際のＵＩ例を、図１６に示した。
図１６は、本実施形態に係るＵＩの一例を示す図である。ＵＩ６１０に示すように、査定価格の推定結果は、例えば表示欄６１１において「システム推定価格」として提供される。システム１は、入力データとして属性情報をニューラルネットに入力して演算することで、査定価格の推定を行う。入力されていない属性情報については、平均値等が用いられてもよい。査定価格の推定の他、査定価格の価格帯が推定されてもよい。査定価格の価格帯の推定結果は、例えば表示欄６１１において「システム推定価格帯」として提供される。
上述したように、システム１では、ニューラルネットの演算結果の根拠を提供することが可能である。例えば、ボタン６１２が選択されると、システム１は、査定の根拠、即ちシステム推定価格又はシステム推定価格帯において示した価格の根拠を示す情報を提供する。そのＵＩ例を、図１７に示した。
図１７は、本実施形態に係るＵＩの一例を示す図である。図１７に示したＵＩ６２０は、上述したＵＩ４３０に対応するＵＩである。ＵＩ６２０では一例として、Ｘ軸は平米数であり、Ｙ軸はシステム推定価格であるものとする。また、入力された平米数は１１６平米であるものとする。モデル出力曲線６２１は、仮想的に平米数を変化させた場合の、ニューラルネットからの出力値の曲線を示している。また、実測データ６２２は、過去のデータにおける平米数及び不動産価格を示している。試算データ６２３は、実際にユーザにより入力された平米数及び演算されたシステム推定価格を示している。
まず、ユーザは、試算データ６２３が、モデル出力曲線６２１上にあることを確認することができる。また、ユーザは、実測データ６２２のプロットにリンク付けされた当該実測データ６２２の内容（例えば、平米数以外の他の属性情報）を確認することもできる。ユーザは、Ｘ軸を平米数から他の入力項目に切り替えることもできる。例えば、ユーザがＸ軸のラベル６２４を選択すると、築年数等の入力項目の候補がリスト表示され、リストからの選択に応じてＸ軸に対応する入力項目が切り替えられてもよい。ユーザは、これらの情報から、査定価格が妥当であることを確認することができる。
このように、本技術が不動産価格の査定アプリケーションに適用されることで、ユーザは、査定価格の根拠を確認することが可能である。従来、不動産のエージェントがこのような根拠を提供することはあっても、その根拠の正当性は不明であり、例えばエージェントの意図が含まれた信頼性の薄い根拠が提供される可能性があった。これに対し、本技術によれば、計算機が自動的に計算した根拠が提供されるため、より信頼性の高い根拠が提供されることとなる。
（２）芸術作品の評価アプリケーション
本アプリケーションにおける評価対象は芸術作品である。評価値は芸術作品の得点であってもよい。以下では芸術作品の一例として、ピアノの演奏を想定する。
例えば、音楽コンクールでは、審査員により得点が付けられる。詳しくは、審査員は、演奏を複数の軸で評価する。評価軸としては、例えば選曲、音楽の表現、演奏者の主張、演奏技術、テンポ感、リズム感、曲全体のバランス、ペダリング、タッチ、及び音色等が考えられる。これらの各評価軸における評価は、審査員の経験に基づいて行われ得る。そして、審査員は、各々の評価結果を重み付けすることで、得点を計算する。この重み付けも、審査員の経験に基づいて行われ得る。
システム１は、このような審査員による審査方法に則って、評価を行ってもよい。その場合の演算処理について、図１８を参照して説明する。
図１８は、本実施形態に係る芸術作品の評価処理を説明するための図である。図１８に示すように、まず、システム１は、ピアノの演奏を録音した演奏データを、特徴量算出関数１４１に入力して、特徴量を算出する。特徴量算出関数１４１は、演奏によって生じた音をサンプリングしてデジタル化し、デジタル化した音から特徴量を算出する。次いで、システム１は、算出した特徴量を項目別評価関数１４２に入力して、評価軸ごとの評価値である項目別評価値を算出する。項目別評価関数１４２は、例えばテンポ感等の評価軸ごとに評価値を算出する。そして、システム１は、特徴量及び項目別評価値を総合評価関数１４３に入力して、総合評価値を算出する。総合評価関数１４３は、例えば項目別評価値を重み付けすると共に、特徴量に応じた評価値を加味して、総合評価値を算出する。
特徴量算出関数１４１、項目別評価関数１４２及び総合評価関数１４３の各々は、ニューラルネットにより構成されていてもよいし、ニューラルネットの近似関数であってもよい。例えば、総合評価関数１４３において本技術が適用される場合、システム１は、演奏データが変動した場合の応答、又は総合評価値を変えたときの項目別評価値の寄与などを提供することで、評価の妥当性の根拠を提供することが可能となる。
上記では、芸術作品の一例としてピアノの演奏を挙げたが、本技術は係る例に限定されない。例えば、評価対象の芸術作品は、歌唱であってもよいし、絵画であってもよいし、文学作品等であってもよい。
（３）スポーツの評価アプリケーション
本アプリケーションにおける評価対象はスポーツである。評価値はスポーツの得点であってもよい。ここで、スポーツの得点とは、サッカーにおける得点及び陸上競技のタイムのような数値化容易なものではなく、フィギュアスケートの演技の点数のような数値化困難なものを指す。以下ではスポーツの一例として、フィギュアスケートを想定する。
例えば、フィギュアスケートの演技には、審査員により得点が付けられる。詳しくは、審査員は、演技を複数の軸で評価する。評価軸としては、例えばスケート技術、要素のつなぎ、動作、身のこなし、振り付け、構成、及び曲の解釈等がある。これらの各評価軸における評価は、審査員の経験に基づいて行われ得る。そして、審査員は、各々の評価結果を重み付けすることで、得点を計算する。この重み付けも、審査員の経験に基づいて行われ得る。フィギュアスケートでは、審査員による恣意的な評価を回避するため、得点が高い又は低い審査員の評価を除いて、総合的に評価がなされる。将来的に、この評価は機械により行われる可能性もある。
そこで、システム１は、図１８を参照して上記説明した芸術作品の評価処理と同様の処理により、スポーツの評価を行ってもよい。その場合、入力データは、演技者を撮影した動画になり得る。これにより、システム１は、動画が変動した場合の応答、又は総合評価値を変えたときの項目別評価値の寄与などを提供することで、評価の妥当性の根拠を提供することが可能となる。
＜＜５．ハードウェア構成例＞＞
最後に、図１９を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図１９は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図１９に示す情報処理装置９００は、例えば、図２及び図３にそれぞれ示した処理装置１００又は端末装置２００を実現し得る。本実施形態に係る処理装置１００又は端末装置２００による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
図１９に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１及び通信装置９１３を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図２に示す制御部１３０、又は図３に示す制御部２５０を形成し得る。
ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
他にも、入力装置９０６は、ユーザに関する情報を検知する装置により形成され得る。例えば、入力装置９０６は、画像センサ（例えば、カメラ）、深度センサ（例えば、ステレオカメラ）、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサを含み得る。また、入力装置９０６は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得してもよい。また、入力装置９０６は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して装置の緯度、経度及び高度を含む位置情報を測定するＧＮＳＳモジュールを含んでもよい。また、位置情報に関しては、入力装置９０６は、Ｗｉ−Ｆｉ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。入力装置９０６は、例えば、図３に示す入力部２１０を形成し得る。
出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。上記表示装置又は上記音声出力装置は、例えば、図３に示す出力部２２０を形成し得る。
ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図２に示す記憶部１２０又は図３に示す記憶部２４０を形成し得る。
ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、図２に示す通信部１１０又は図３に示す通信部２３０を形成し得る。
なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
＜＜６．まとめ＞＞
以上、図１〜図１９を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係るシステム１は、入力データ及び入力データをニューラルネットに入力して得られた出力データの組み合わせから成る第１のデータセットを取得し、第１のデータセットと同一の項目を有する第２のデータセットをひとつ以上取得し、第２のデータセットとの関係における第１のデータセットの位置付けを示す情報を生成する。この位置付けを示す情報により、ニューラルネットの演算結果の妥当性を示す根拠をユーザに提供することが可能となる。これにより、ユーザは、演算結果に容易に納得することが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、処理装置１００と端末装置２００とが別箇の装置であるものとして説明したが、本技術はかかる例に限定されない。例えば、処理装置１００と端末装置２００とはひとつの装置として実現されてもよい。
また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
入力データ及び前記入力データをニューラルネットに入力して得られた出力データの組み合わせから成る第１のデータセットを取得する第１の取得部と、
前記第１のデータセットと同一の項目を有する第２のデータセットをひとつ以上取得する第２の取得部と、
前記第２のデータセットとの関係における前記第１のデータセットの位置付けを示す情報を生成する生成部と、
を備える情報処理装置。
（２）
前記第２のデータセットは、前記第１のデータセットと同一の値の項目を有する、前記（１）に記載の情報処理装置。
（３）
前記第２のデータセットは、前記入力データに含まれる項目のうち第１の項目の値が前記第１のデータセットと異なり、他の第２の項目の値が前記第１のデータセットと同一である、前記（２）に記載の情報処理装置。
（４）
前記位置付けを示す情報は、前記第１のデータセット及び前記第２のデータセットの、前記第１の項目の値と前記出力データに対応する項目の値との関係を示す情報を含む、前記（３）に記載の情報処理装置。
（５）
前記第２のデータセットは、過去に実際に観測されたデータセットに基づいて学習された前記ニューラルネットにより生成されたデータセットを含む、前記（２）に記載の情報処理装置。
（６）
前記第２のデータセットは、過去に実際に観測されたデータセットを含む、前記（２）に記載の情報処理装置。
（７）
前記第２のデータセットは、前記入力データに含まれる項目のうち第１の項目の値が前記第１のデータセットと異なり、他の第２の項目の値及び前記出力データに対応する項目の値が前記第１のデータセットと同一である、前記（２）に記載の情報処理装置。
（８）
前記位置付けを示す情報は、前記出力データに対応する項目の値が前記出力データと同一である前記第２のデータセットの分布における前記入力データの位置を示す情報である、前記（７）に記載の情報処理装置。
（９）
前記位置付けを示す情報は、前記出力データに対応する項目の値が前記出力データと同一である前記第２のデータセットの分布における前記入力データの偏差値を示す情報である、前記（７）に記載の情報処理装置。
（１０）
前記生成部は、前記ニューラルネットの中間層から選択された入力層のユニットへの入力値と選択された出力層のユニットからの出力値との応答関係を示す情報を生成する、前記（１）に記載の情報処理装置。
（１１）
前記応答関係を示す情報は、グラフである、前記（１０）に記載の情報処理装置。
（１２）
前記応答関係を示す情報は、関数である、前記（１０）に記載の情報処理装置。
（１３）
前記生成部は、前記出力層のユニットからの出力値に寄与しない前記入力層のユニットの除去を提案する情報を生成する、前記（１０）に記載の情報処理装置。
（１４）
前記入力データは、評価対象の属性情報であり、
前記出力データは、前記評価対象の評価値である、前記（１）に記載の情報処理装置。
（１５）
前記評価対象は、不動産であり、
前記評価値は、価格である、前記（１４）に記載の情報処理装置。
（１６）
前記評価対象は、芸術作品である、前記（１４）に記載の情報処理装置。
（１７）
前記評価対象は、スポーツである、前記（１４）に記載の情報処理装置。
（１８）
入力データを他の装置へ通知する通知部と、
前記入力データをニューラルネットに入力して得られた出力データの組み合わせから成る第１のデータセットと同一の項目を有する第２のデータセットとの関係における、前記第１のデータセットの位置付けを示す情報を前記他の装置から取得する取得部と、
を備える情報処理装置。
（１９）
入力データ及び前記入力データをニューラルネットに入力して得られた出力データの組み合わせから成る第１のデータセットを取得することと、
前記第１のデータセットと同一の項目を有する第２のデータセットをひとつ以上取得することと、
前記第２のデータセットとの関係における前記第１のデータセットの位置付けを示す情報をプロセッサにより生成することと、
を含む情報処理方法。
（２０）
入力データを他の装置へ通知することと、
前記入力データをニューラルネットに入力して得られた出力データの組み合わせから成る第１のデータセットと同一の項目を有する第２のデータセットとの関係における、前記第１のデータセットの位置付けを示す情報を前記他の装置からプロセッサにより取得することと、
を含む情報処理方法。
１ システム
１００ 処理装置
１１０ 通信部
１２０ 記憶部
１３０ 制御部
１３１ 第１の取得部１３１
１３２ 第２の取得部１３２
１３３ 演算部１３３
１３４ 生成部１３４
１３５ 通知部１３５
２００ 端末装置
２１０ 入力部
２２０ 出力部
２３０ 通信部
２４０ 記憶部
２５０ 制御部
２５１ 通知部
２５３ 取得部

Claims (20)

  1. 入力データ及び前記入力データをニューラルネットに入力して得られた出力データの組み合わせから成る第１のデータセットを取得する第１の取得部と、
    前記第１のデータセットと同一の項目を有する第２のデータセットをひとつ以上取得する第２の取得部と、
    前記第２のデータセットとの関係における前記第１のデータセットの位置付けを示す情報を生成する生成部と、
    を備える情報処理装置。
  2. 前記第２のデータセットは、前記第１のデータセットと同一の値の項目を有する、請求項１に記載の情報処理装置。
  3. 前記第２のデータセットは、前記入力データに含まれる項目のうち第１の項目の値が前記第１のデータセットと異なり、他の第２の項目の値が前記第１のデータセットと同一である、請求項２に記載の情報処理装置。
  4. 前記位置付けを示す情報は、前記第１のデータセット及び前記第２のデータセットの、前記第１の項目の値と前記出力データに対応する項目の値との関係を示す情報を含む、請求項３に記載の情報処理装置。
  5. 前記第２のデータセットは、過去に実際に観測されたデータセットに基づいて学習された前記ニューラルネットにより生成されたデータセットを含む、請求項２に記載の情報処理装置。
  6. 前記第２のデータセットは、過去に実際に観測されたデータセットを含む、請求項２に記載の情報処理装置。
  7. 前記第２のデータセットは、前記入力データに含まれる項目のうち第１の項目の値が前記第１のデータセットと異なり、他の第２の項目の値及び前記出力データに対応する項目の値が前記第１のデータセットと同一である、請求項２に記載の情報処理装置。
  8. 前記位置付けを示す情報は、前記出力データに対応する項目の値が前記出力データと同一である前記第２のデータセットの分布における前記入力データの位置を示す情報である、請求項７に記載の情報処理装置。
  9. 前記位置付けを示す情報は、前記出力データに対応する項目の値が前記出力データと同一である前記第２のデータセットの分布における前記入力データの偏差値を示す情報である、請求項７に記載の情報処理装置。
  10. 前記生成部は、前記ニューラルネットの中間層から選択された入力層のユニットへの入力値と選択された出力層のユニットからの出力値との応答関係を示す情報を生成する、請求項１に記載の情報処理装置。
  11. 前記応答関係を示す情報は、グラフである、請求項１０に記載の情報処理装置。
  12. 前記応答関係を示す情報は、関数である、請求項１０に記載の情報処理装置。
  13. 前記生成部は、前記出力層のユニットからの出力値に寄与しない前記入力層のユニットの除去を提案する情報を生成する、請求項１０に記載の情報処理装置。
  14. 前記入力データは、評価対象の属性情報であり、
    前記出力データは、前記評価対象の評価値である、請求項１に記載の情報処理装置。
  15. 前記評価対象は、不動産であり、
    前記評価値は、価格である、請求項１４に記載の情報処理装置。
  16. 前記評価対象は、芸術作品である、請求項１４に記載の情報処理装置。
  17. 前記評価対象は、スポーツである、請求項１４に記載の情報処理装置。
  18. 入力データを他の装置へ通知する通知部と、
    前記入力データをニューラルネットに入力して得られた出力データの組み合わせから成る第１のデータセットと同一の項目を有する第２のデータセットとの関係における、前記第１のデータセットの位置付けを示す情報を前記他の装置から取得する取得部と、
    を備える情報処理装置。
  19. 入力データ及び前記入力データをニューラルネットに入力して得られた出力データの組み合わせから成る第１のデータセットを取得することと、
    前記第１のデータセットと同一の項目を有する第２のデータセットをひとつ以上取得することと、
    前記第２のデータセットとの関係における前記第１のデータセットの位置付けを示す情報をプロセッサにより生成することと、
    を含む情報処理方法。
  20. 入力データを他の装置へ通知することと、
    前記入力データをニューラルネットに入力して得られた出力データの組み合わせから成る第１のデータセットと同一の項目を有する第２のデータセットとの関係における、前記第１のデータセットの位置付けを示す情報を前記他の装置からプロセッサにより取得することと、
    を含む情報処理方法。
JP2018508386A 2016-03-28 2016-12-14 情報処理装置及び情報処理方法 Active JP7006585B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016063785 2016-03-28
JP2016063785 2016-03-28
PCT/JP2016/087186 WO2017168865A1 (ja) 2016-03-28 2016-12-14 情報処理装置及び情報処理方法

Publications (2)

Publication Number Publication Date
JPWO2017168865A1 true JPWO2017168865A1 (ja) 2019-02-07
JP7006585B2 JP7006585B2 (ja) 2022-01-24

Family

ID=59962884

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018508386A Active JP7006585B2 (ja) 2016-03-28 2016-12-14 情報処理装置及び情報処理方法

Country Status (4)

Country Link
US (1) US20190026630A1 (ja)
EP (1) EP3438887A4 (ja)
JP (1) JP7006585B2 (ja)
WO (1) WO2017168865A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101335278B1 (ko) * 2012-07-19 2013-11-29 에스에이비(주) 이원 사이클 히트 펌프 시스템
CA2881033C (en) 2015-02-03 2016-03-15 1Qb Information Technologies Inc. Method and system for solving lagrangian dual of a constrained binary quadratic programming problem
US11797641B2 (en) 2015-02-03 2023-10-24 1Qb Information Technologies Inc. Method and system for solving the lagrangian dual of a constrained binary quadratic programming problem using a quantum annealer
JP6523379B2 (ja) * 2017-07-25 2019-05-29 ファナック株式会社 情報処理装置
JP2019080232A (ja) * 2017-10-26 2019-05-23 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 勾配圧縮装置、勾配圧縮方法及びプログラム
EP3718026B1 (en) * 2017-12-01 2023-11-29 1QB Information Technologies Inc. Systems and methods for stochastic optimization of a robust inference problem
JP6857332B2 (ja) * 2018-03-13 2021-04-14 オムロン株式会社 演算装置、演算方法、及びそのプログラム
JP7297286B2 (ja) * 2019-02-07 2023-06-26 国立研究開発法人情報通信研究機構 最適化方法、最適化プログラム、推論方法、および推論プログラム
JP7139996B2 (ja) * 2019-02-25 2022-09-21 日本電信電話株式会社 評価装置及び評価方法
JP7269778B2 (ja) * 2019-04-04 2023-05-09 富士フイルムヘルスケア株式会社 超音波撮像装置、および、画像処理装置
JP7439470B2 (ja) 2019-04-11 2024-02-28 富士電機株式会社 情報処理装置、情報処理方法、及びプログラム
WO2020255076A1 (en) 2019-06-19 2020-12-24 1Qb Information Technologies Inc. Method and system for mapping a dataset from a hilbert space of a given dimension to a hilbert space of a different dimension
JP2021005211A (ja) 2019-06-26 2021-01-14 キオクシア株式会社 情報処理方法及び情報処理装置
US11640539B2 (en) * 2019-07-08 2023-05-02 Vianai Systems, Inc. Techniques for visualizing the operation of neural networks using samples of training data
US11112783B2 (en) * 2019-10-25 2021-09-07 Computational Systems, Inc. Method and apparatus for machine monitoring with continuous improvement of a predictive maintenance database
CN111078725B (zh) * 2019-12-13 2022-07-12 浙江大学 一种多数据源合并数据的可视化查询方法和装置
JP6872214B1 (ja) * 2020-08-20 2021-05-19 株式会社医療情報技術研究所 分類システム
JP7101349B1 (ja) 2021-05-28 2022-07-15 株式会社医療情報技術研究所 分類システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0535707A (ja) * 1991-07-25 1993-02-12 Hitachi Ltd ニユ−ラルネツトを利用したパタ−ン分類方法および装置
JPH0561849A (ja) * 1991-08-29 1993-03-12 Toyoda Mach Works Ltd ニユーラルネツトワークの入出力特性検出装置
JPH05225163A (ja) * 1992-02-13 1993-09-03 Hitachi Ltd ニューラルネットシステムおよびニューラルネットの学習方法
JPH11282823A (ja) * 1998-03-31 1999-10-15 Ricchi Hyoka Kenkyusho:Kk 土地評価システムおよび方法，ならびに土地評価のためのプログラムを格納した媒体
JP2001344590A (ja) * 2000-05-31 2001-12-14 Fuji Electric Co Ltd ニューラルネットワーク及びその学習方法、解析方法並びに異常判定方法
JP2007094631A (ja) * 2005-09-28 2007-04-12 Hitachi Electronics Service Co Ltd アプリケーション稼働監視システム及び顧客アプリケーション稼働監視サービス提供システム及びアプリケーション稼働監視方法及び顧客アプリケーション稼働監視サービス提供方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7617163B2 (en) * 1998-05-01 2009-11-10 Health Discovery Corporation Kernels and kernel methods for spectral data
US6941287B1 (en) * 1999-04-30 2005-09-06 E. I. Du Pont De Nemours And Company Distributed hierarchical evolutionary modeling and visualization of empirical data
US8463718B2 (en) * 2000-08-07 2013-06-11 Health Discovery Corporation Support vector machine-based method for analysis of spectral data
EP1393196A4 (en) * 2001-05-07 2007-02-28 Health Discovery Corp CORES AND METHODS FOR SELECTING CORES FOR USE IN TEACHING MACHINES
US20070118487A1 (en) * 2005-11-18 2007-05-24 Caterpillar Inc. Product cost modeling method and system
US9015083B1 (en) * 2012-03-23 2015-04-21 Google Inc. Distribution of parameter calculation for iterative optimization methods
US20130346150A1 (en) * 2012-06-21 2013-12-26 Data Ventures, Inc. System, method, and computer program product for forecasting sales
US20150025918A1 (en) * 2013-07-16 2015-01-22 Broker Genius LLC Forecasting and management system and method concerning ticket transactions in multiple markets
US9741081B2 (en) * 2014-12-23 2017-08-22 Invent.ly LLC Perturbing a subject's contextualization of a proposition about an item considered in a quantum representation by altering the item
US11093982B1 (en) * 2014-10-02 2021-08-17 Zillow, Inc. Determine regional rate of return on home improvements

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0535707A (ja) * 1991-07-25 1993-02-12 Hitachi Ltd ニユ−ラルネツトを利用したパタ−ン分類方法および装置
JPH0561849A (ja) * 1991-08-29 1993-03-12 Toyoda Mach Works Ltd ニユーラルネツトワークの入出力特性検出装置
JPH05225163A (ja) * 1992-02-13 1993-09-03 Hitachi Ltd ニューラルネットシステムおよびニューラルネットの学習方法
JPH11282823A (ja) * 1998-03-31 1999-10-15 Ricchi Hyoka Kenkyusho:Kk 土地評価システムおよび方法，ならびに土地評価のためのプログラムを格納した媒体
JP2001344590A (ja) * 2000-05-31 2001-12-14 Fuji Electric Co Ltd ニューラルネットワーク及びその学習方法、解析方法並びに異常判定方法
JP2007094631A (ja) * 2005-09-28 2007-04-12 Hitachi Electronics Service Co Ltd アプリケーション稼働監視システム及び顧客アプリケーション稼働監視サービス提供システム及びアプリケーション稼働監視方法及び顧客アプリケーション稼働監視サービス提供方法

Also Published As

Publication number Publication date
JP7006585B2 (ja) 2022-01-24
EP3438887A1 (en) 2019-02-06
WO2017168865A1 (ja) 2017-10-05
EP3438887A4 (en) 2019-03-27
US20190026630A1 (en) 2019-01-24

Similar Documents

Publication Publication Date Title
WO2017168865A1 (ja) 情報処理装置及び情報処理方法
Hew et al. Crafting a smartphone repurchase decision making process: Do brand attachment and gender matter?
CN112966712B (zh) 语言模型训练方法、装置、电子设备和计算机可读介质
Bobadilla et al. Collaborative filtering adapted to recommender systems of e-learning
TWI465691B (zh) 用於位置至地標之系統、電腦可讀取記憶體及方法
JP6093792B2 (ja) 測位装置、測位方法、測位プログラム、および、測位システム
JP2012058972A (ja) 評価予測装置、評価予測方法、及びプログラム
US20210325343A1 (en) Information processing apparatus, information processing method, learned model generation method, and program
AU2013251195A1 (en) Program, apparatus, and method for information processing
CN107710192A (zh) 用于会话响应的自动评价的度量
JP2011248829A (ja) 評価予測装置、評価予測方法、及びプログラム
JP2023514465A (ja) 機械学習プラットフォーム
US20210117792A1 (en) Methods and apparatus to facilitate continuous learning
US10482491B2 (en) Targeted marketing for user conversion
JP2002358400A (ja) 顧客満足度を評価する方法およびプログラム
JP7063389B2 (ja) 処理装置、処理方法、およびプログラム
JP6093791B2 (ja) 測位装置、測位方法、測位プログラム、および、測位システム
JP2012094056A (ja) ユーザ状態推定システム、ユーザ状態推定方法及びユーザ状態推定プログラム
CN111368195B (zh) 一种模型训练方法、装置、设备及存储介质
WO2020004049A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2019235370A1 (ja) 学習装置、予測装置、方法、及びプログラム
JP2023088136A (ja) 学習装置、学習方法、学習プログラム、および学習システム
JP7056747B2 (ja) 情報処理装置、処理装置、情報処理方法、処理方法、決定方法、およびプログラム
CN113822435A (zh) 一种用户转化率的预测方法及相关设备
TWI453452B (zh) 行動裝置、氣象統計系統以及氣象統計方法

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191127

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211220