JP6574942B2 - 情報処理方法および情報処理装置 - Google Patents

情報処理方法および情報処理装置 Download PDF

Info

Publication number
JP6574942B2
JP6574942B2 JP2017567959A JP2017567959A JP6574942B2 JP 6574942 B2 JP6574942 B2 JP 6574942B2 JP 2017567959 A JP2017567959 A JP 2017567959A JP 2017567959 A JP2017567959 A JP 2017567959A JP 6574942 B2 JP6574942 B2 JP 6574942B2
Authority
JP
Japan
Prior art keywords
neural network
learning
information
information processing
comparison
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017567959A
Other languages
English (en)
Other versions
JPWO2017141517A1 (ja
Inventor
和樹 吉山
和樹 吉山
由幸 小林
由幸 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017141517A1 publication Critical patent/JPWO2017141517A1/ja
Application granted granted Critical
Publication of JP6574942B2 publication Critical patent/JP6574942B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G06F16/83—Querying
    • G06F16/838—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Stored Programmes (AREA)
  • Debugging And Monitoring (AREA)

Description

本開示は、情報処理方法および情報処理装置に関する。
近年、脳神経系の仕組みを模したニューラルネットワークが注目されている。また、ニューラルネットワークを開発するための種々の手法が提案されている。例えば、非特許文献１には、ニューラルネットワークによる学習過程をモニタリングするライブラリが開示されている。
Google Research、外４０名、「TensorFlow: Large-ScaleMachine Learning on Heterogeneous Distributed Systems」、２０１５年１１月９日、［Online]、［平成２８年１月１２日検索]、インターネット<http://download.tensorflow.org/paper/whitepaper2015.pdf>
しかし、非特許文献１に記載のライブラリでは、複数のニューラルネットワークによる学習結果を比較することが困難である。
そこで、本開示では、ニューラルネットワークの開発効率を向上させる情報をユーザに提示することが可能な情報処理方法および情報処理装置を提案する。
本開示によれば、プロセッサが、複数モデルのニューラルネットワークによる学習結果を比較し、前記学習結果に係る比較情報をグラフで提示すること、を含む、情報処理方法が提供される。
また、本開示によれば、複数モデルのニューラルネットワークによる学習結果を取得し、前記学習結果に係る比較情報を制御する制御部、を備え、前記制御部は、前記比較情報をグラフで提示する、情報処理装置が提供される。
複数モデルのニューラルネットワークによる学習結果を比較し、前記学習結果に係る比較情報を生成する比較部、を備え、前記比較情報はグラフによる比較情報である、情報処理装置が提供される。
以上説明したように本開示によれば、ニューラルネットワークの開発効率を向上させる情報をユーザに提示することが可能となる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示に係るビジュアルプログラミングを説明するための図である。 本開示に係るネットワークを定義するＸＭＬファイルの一例である。 本開示に係るソースコードの一例である。 本開示の実施形態に係るシステム構成例を示す図である。 同実施形態に係る情報処理装置の機能ブロック図である。 同実施形態に係るサーバの機能ブロック図である。 同実施形態に係るフォームを説明するための図である。 同実施形態に係る結果概要の表示例である。 同実施形態に係る学習曲線の表示例である。 同実施形態に係る学習曲線による比較の表示例である。 同実施形態に係るトレードオフ情報の表示例である。 同実施形態に係るトレードオフ情報のパレート最適解を説明するための図である。 同実施形態に係る実行設定画面の一例である。 本開示に係るハードウェア構成例を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．背景
１．１．ニューラルネットワークとは
１．２．ビジュアルプログラミングの概要
２．実施形態
２．１．本開示に係るシステム構成例
２．２．本実施形態に係る情報処理装置
２．３．本実施形態に係るサーバ３０
２．４．本実施形態に係るフォームの説明
２．５．本実施形態に係る比較情報
２．６．ニューラルネットワークの並列実行
３．ハードウェア構成例
４．まとめ
＜１．背景＞
＜＜１．１．ニューラルネットワークとは＞＞
ニューラルネットワークとは、人間の脳神経回路を模したモデルであり、人間が持つ学習能力をコンピュータ上で実現しようとする技法である。上述したとおり、ニューラルネットワークは学習能力を有することを特徴の一つとする。ニューラルネットワークでは、シナプスの結合によりネットワークを形成した人工ニューロン（ノード）が、学習によりシナプスの結合強度を変化させることで、問題に対する解決能力を獲得することが可能である。すなわち、ニューラルネットワークは、学習を重ねることで、問題に対する解決ルールを自動的に推論することができる。
ニューラルネットワークによる学習の例としては、画像認識や音声認識が挙げられる。ニューラルネットワークでは、例えば、手書きの数字パターンを繰り返し学習することで、入力される画像情報を、０〜９の数字のいずれかに分類することが可能となる。ニューラルネットワークの有する上記のような学習能力は、人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）の発展を推し進める鍵としても注目されている。また、ニューラルネットワークが有するパターン認識力は、種々の産業分野における応用が期待される。
本開示に係る情報処理方法および情報処理装置は、上記で説明したようなニューラルネットワークの開発手法に着目して発想されたものであり、ニューラルネッワークの開発工程において、開発効率を向上させることが可能である。
＜＜１．２．ビジュアルプログラミングの概要＞＞
続いて、本開示に係るビジュアルプログラミングについて、概要を説明する。本開示において、ビジュアルプログラミングとは、ソフトウェア開発において、プログラムコードをテキストで記述することなく、視覚的なオブジェクトを用いて作成する手法を指す。ビジュアルプログラミングでは、例えば、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）上で、オブジェクトを操作することで、プログラムを作成することができる。
図１は、本開示に係るビジュアルプログラミングのイメージ図である。図１には、ＧＵＩ上に配置されたオブジェクト（コンポーネント）を基に生成される生成物が示されている。図１に示す一例では、コンポーネント１〜３が順に処理されるように配置されている。ここで、コンポーネント１〜３は、例えば、データの取り込み、データの処理、データの出力をそれぞれ意味するコンポーネントであってもよい。また、図１に示すように、本開示に係るビジュアルプログラミングでは、パラメータの設定ファイル、ネットワークを定義するＸＭＬファイル、及び上記の２ファイルを読み込んでＦｏｒｗａｒｄＰｒｏｐ（予測や識別）を実行するソースコードなどが生成されてよい。
図２は、上記で述べたＸＭＬファイルの一例である。上述したとおり、本開示に係るＸＭＬファイルには、ニューラルネットワークに係るネットワーク構造が定義されてよい。図２を参照すると、本開示に係るＸＭＬファイルには、ネットワークを構成するレイヤーや、ノード、インプット、アウトプットなどに係る情報が定義されている。また、図２に示すように、各レイヤーには、入出力に係るノードやニューロンの数が定義されてよい。このように、本開示に係るビジュアルプログラミングでは、ネットワークを定義するＸＭＬをソースコードとは別に生成することが可能である。
また、図３は、上記で述べたＦｏｒｗａｒｄＰｒｏｐを実行するソースコードの一例である。上述したとおり、本開示に係るソースコードは、ネットワークを定義するＸＭＬフィルやパラメータの設定ファイルを読み込んで処理を実行する。図３に示す一例において、ｌｏａｄ＿ｎｅｔｗｏｒｋ（）は、指定された上記のＸＭＬファイルを読み込むための関数であってよい。また、ｄｕｍｐ＿ｎｅｔｗｏｒｋ（）は、読み込んだネットワーク構造をダンプするための関数であってよく、ｉｎｉｔｉａｌｉｚｅ＿ｃｏｎｔｅｘｔ（）は、コンテキストの初期化を行うための関数であってよい。このように、本開示に係るソースコードは、読み込んだファイルの情報を基に順次処理を行い、ＦｏｒｗａｒｄＰｒｏｐを実行することができる。
以上説明したように、本開示に係るビジュアルプログラミングでは、パラメータの設定ファイル、ネットワークを定義するＸＭＬファイル、及びＦｏｒｗａｒｄＰｒｏｐを実行するソースコードを分離して生成することができる。これにより、上記の３種のファイルをそれぞれファイル単位で再利用することが可能となる。ユーザは、例えば、ＸＭＬファイルを修正し、当該ＸＭＬファイルをソースコードに読み込ませることで、異なるネットワーク構造による処理結果を取得することができる。
なお、図３で示した一例は、ソースコードの一部を抜粋したサンプルであり、各処理の前後には、それぞれ適切なコードが記載されてよい。また、本開示に係るソースコードは、特定のプログラム言語に限定されるものではなく、開発仕様や運用により適宜変更され得る。
以上、本開示に係る背景について説明した。上述したとおり、本開示に係る情報処理方法および情報処理装置は、ニューラルネッワークの開発工程において、開発効率を向上させることを可能とする。以降の実施形態の説明では、本開示に係る情報処理方法および情報処理装置の特徴を挙げながら、当該特徴が奏する効果について述べる。
＜２．実施形態＞
＜＜２．１．本開示に係るシステム構成例＞＞
まず、図４を参照して本開示の実施形態に係る情報処理方法を実施するためのシステム構成例について説明する。図４を参照すると、本実施形態に係る情報処理方法を実施するためのシステムは、情報処理装置１０、サーバ３０、及びデバイス４０を備える。また、情報処理装置１０、サーバ３０、及びデバイス４０は、ネットワーク２０を介して、互いに通信が行えるように接続される。
ここで、本実施形態に係る情報処理装置１０は、ユーザにニューラルネットワークの学習結果を提示するクライアント端末である。また、サーバ３０は、複数モデルのニューラルネットワークによる学習結果を取得し、当該学習結果に係る比較情報を生成する情報処理装置である。上記の比較情報は、グラフによる比較情報であってよい。また、デバイス４０は、サーバ３０により作成されたニューラルネットワークのプログラムを実行するハードウェアである。デバイス４０は、例えば、スマートフォン、タブレット、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などであってよい。
また、ネットワーク２０は、インターネット、電話回線網、衛星通信網などの公衆回線網であってもよいし、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
本実施形態に係る情報処理方法では、ニューラルネットワークによる学習結果をユーザに提示するためのフォームが提供される。また、本実施形態に係る情報処理方法は、プロセッサが、複数モデルのニューラルネットワークによる学習結果を比較し、前記学習結果に係る比較情報をグラフで提示すること、を特徴の一つとする。また、本実施形態に係る情報処理方法は、ニューラルネットワークによる学習結果をリアルタイムに提示できる。また、上記の学習結果には、演算量、学習誤差、及びヴァリデーション誤差などが含まれてよい。これにより、ユーザは、ネットワーク構造やハイパーパラメータを変更した複数モデルのニューラルネットワークを作成し、学習結果を容易に比較することが可能となる。
＜＜２．２．本実施形態に係る情報処理装置＞＞
次に、本実施形態に係る情報処理装置１０について詳細に説明する。本実施形態に係る情報処理装置１０は、複数モデルのニューラルネットワークによる学習結果を取得し、当該学習結果に係る比較情報をグラフにより提示する機能を有する。また、情報処理装置１０は、ユーザの操作を受け付け、当該ユーザに指定されたニューラルネットワークの学習結果に係る比較情報を提示することができる。
また、情報処理装置１０は、ユーザの操作を受け付け、サーバ３０に、ニューラルネットワークの実行に係るファイルのダウンロードを要求する機能を有する。ここで、ニューラルネットワークの実行に係るファイルには、パラメータの設定ファイル、ネットワークを定義するＸＭＬファイル、及び上記の２ファイルを読み込んでＦｏｒｗａｒｄＰｒｏｐを実行するソースコードが含まれてよい。
図５を参照すると、本実施形態に係る情報処理装置１０は、表示部１１０、入力部１２０、フォーム制御部１３０、及びサーバ通信部１４０を備える。以下、情報処理装置１０が備える各構成について説明する。
（表示部１１０）
表示部１１０は、情報処理装置１０の各構成により制御される情報を表示する機能を有する。本実施形態においては、特に、ニューラルネットワークの学習結果を提示するフォームを表示する機能を有してよい。上記の機能は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置により実現されてもよい。また、表示部１１０は、ユーザからの情報入力を受け付ける入力部としての機能を有してもよい。入力部としての機能は、例えば、タッチパネルにより実現され得る。
（入力部１２０）
入力部１２０は、ユーザからの情報入力を受け付け、情報処理装置１０の各構成に入力情報を引き渡す機能を有する。本実施形態においては、特に、ニューラルネットワークの学習結果を提示するフォーム上におけるユーザの操作を受け付け、当該操作に基づく入力情報を後述するフォーム制御部１３０に引き渡す機能を有してよい。上記の機能は、例えば、キーボードやマウスにより実現されてもよい。
（フォーム制御部１３０）
フォーム制御部１３０は、ニューラルネットワークの学習結果を提示するフォームを制御する機能を有する。具体的には、フォーム制御部１３０は、後述するサーバ通信部１４０を介してサーバ３０から取得する情報に基づいて、表示部１１０に表示させる内容を制御する機能を有する。また、フォーム制御部１３０は、入力部１２０から取得する情報に基づいて、対象となるニューラルネットワークの情報や、ファイルのダウンロードをサーバ３０に要求する機能を有する。
（サーバ通信部１４０）
サーバ通信部１４０は、ネットワーク２０を介して、サーバ３０との情報通信を行う機能を有する。具体的には、サーバ通信部１４０は、フォーム制御部１３０の制御に基づいて、上記フォームに係る情報をサーバ３０に送信する。また、サーバ通信部１４０は、サーバ３０から取得した情報をフォーム制御部１３０に引き渡す。
＜＜２．３．本実施形態に係るサーバ３０＞＞
次に、本実施形態に係るサーバ３０について詳細に説明する。本実施形態に係るサーバ３０は、複数モデルのニューラルネットワークによる学習結果から、当該学習結果に係る比較情報を生成する情報処理装置である。上記の比較情報はグラフによる比較情報であってよい。また、本実施形態に係るサーバ３０は、複数モデルのニューラルネットワークに異なるハイパーパラメータを設定し、並列実行させる機能を有する。
図６を参照すると、本実施形態に係るサーバ３０は、比較部３１０、実行制御部３２０、及び端末通信部３３０を備える。以下、サーバ３０が備える各構成について説明する。
（比較部３１０）
比較部３１０は、後述する実行制御部３２０から、複数モデルのニューラルネットワークによる学習結果を取得し、当該学習結果に係る比較情報を生成する機能を有する。ここで、学習結果には、例えば、演算量、学習誤差、及びヴァリデーション誤差が含まれてよい。
具体的には、比較部３１０は、上記の学習結果と、ニューラルネットワークにおける学習時間と、の関係を示す学習曲線グラフによる比較情報を作成することができる。また、比較部３１０は、演算量と誤差とのトレードオフ情報に係るグラフを作成することができる。ここで、上記の誤差には、学習誤差とヴァリデーション誤差が含まれてよい。また、比較部３１０は、上記のトレードオフ情報をパレート最適解で限定したグラフを作成することができる。比較部３１０により生成される比較情報を情報処理装置１０上で確認することで、ユーザは、ビジュアルプログラミングにより作成したニューラルネットワークの性能を容易に比較することできる。
さらに、比較部３１０は、情報処理装置１０から取得した情報に基づいて、ユーザが指定したニューラルネットワークによる学習結果の比較情報を生成してもよい。これにより、ユーザが、任意のニューラルネットワークによる学習結果を比較すること可能となる。また、比較部３１０は、実行制御部３２０の制御により実行されるニューラルネットワークの学習結果をリアルタイムに取得し、比較情報を生成してもよい。これにより、ユーザが、実行中のニューラルネットワークの学習結果をリアルタイムで取得し、学習結果を比較することが可能となる。なお、比較部３１０による比較情報の生成に係る詳細については、後述する。
（実行制御部３２０）
実行制御部３２０は、クラウド上のコンピューティングリソースに実装されるニューラルネットワークの実行を制御する機能を有する。また、実行制御部３２０は、実行させたニューラルネットワークの学習結果をリアルタイムに取得する機能を有する。さらに、本実施形態に係る実行制御部３２０は、複数のニューラルネットワークにそれぞれ異なるハイパーパラメータを自動的に設定し、学習を並列実行させること、を特徴の一つとする。実行制御部３２０による当該機能の詳細については後述する。
また、実行制御部３２０は、エミュレータやデバイス４０にニューラルネットワークを実行させ、学習結果を取得する機能を有してよい。この際、実行制御部３２０は、ネットワーク２０を介してサーバ３０と接続されるエミュレータにニューラルネットワークを実行させ、学習結果を取得してもよい。または、実行制御部３２０は、エミュレータとしての機能を有し、ニューラルネットワークによる処理を実行し、学習結果を得てもよい。
（端末通信部３３０）
端末通信部３３０は、ネットワーク２０を介して、情報処理装置１０及びデバイス４０との情報通信を行う機能を有する。具体的には、端末通信部３３０は、比較部３１０が生成する比較情報を情報処理装置１０に送信する。ここで、比較部３１０が生成する比較情報には、複数モデルのニューラルネットワークによる学習結果と、当該学習結果を基に生成されたグラフの情報と、が含まれてよい。また、端末通信部３３０は、情報処理装置１０から、比較対象となるニューラルネットワークの情報や、ファイルのダウンロード要求を受信する。また、端末通信部３３０は、実行制御部３２０の制御に基づいて、エミュレータやデバイス４０にニューラルネットワークの実行要求を送信し、当該要求に基づいて実行された学習結果を取得する機能を有する。
＜＜２．４．本実施形態に係るフォームの説明＞＞
次に、本実施形態に係るニューラルネットワークによる学習結果をユーザに提示するフォームについて詳細に説明する。本実施形態に係るフォームは、複数モデルのニューラルネットワークによる学習結果の比較情報を提示する。なお、本実施形態に係るフォームは情報処理装置１０の表示部１１０に表示されてよい。ユーザは、上記のフォームに表示される比較情報を参照することで、作成したニューラルネットワークの学習性能を容易に比較することができる。
図７は、本実施形態に係るフォームの構成例を示す図である。図７を参照すると、本実施形態に係るフォームＦ１は、パレットＰ１〜Ｐ３を含んでいる。ここで、パレットＰ１は、ニューラルネットワークによる学習結果の概要（以下、結果概要、とも呼ぶ）を表示する領域であってよい。また、パレットＰ２は、選択されたニューラルネットワークのネットワーク構造を示す領域であってよい。また、パレットＰ３は、学習結果の詳細や比較情報などを表示する領域であってよい。本実施形態に係るフォーム制御部１３０は、サーバ３０から取得した情報に基づいて、パレットＰ１〜Ｐ３に表示させる情報を制御することができる。
（パレットＰ１）
上述したとおり、パレットＰ１は、ニューラルネットワークに係る結果概要を表示する領域である。図７を参照すると、パレットＰ１には、複数の結果概要Ｒ１〜Ｒ４が表示されている。
続いて、図８を用いて、パレットＰ１に表示される結果概要について詳細に説明する。図８は、パレットＰ１に表示される結果概要の表示例である。図８に示す一例では、結果概要には、実行日時、実行状態、学習誤差、ヴァリデーション誤差、及び演算量が含まれている。ここで、実行日時は、例えば、「ｙｙｙｙＭＭｄｄ＿ＨＨｍｍｓｓ」の形式で表示され、ユーザが実行結果を識別するために用いられてよい。また、実行日時は日付と採番により設定される値であってもよい。また、図８には示していないが、パレットＰ１に表示される結果概要には、ユーザが指定する任意の名称が含まれてもよい。
また、実行状態は、例えば、評価済、未完了、または中断などのステータスにより示されてよい。図８に示す一例では、評価済を示すステータス、「ｅｖａｌｕａｔｅｄ」、が表示されている。ユーザは、実行状態を確認することで、ニューラルネットワークによる学習の状況を確認することができる。
また、学習誤差、ヴァリデーション誤差、及び演算量は、それぞれ学習過程における最新の値であってよい。すなわち、結果概要に含まれる上記の３項目は、学習が進行中の場合、リアルタイムに更新される。これにより、ユーザは、常に最新の学習結果を確認することができる。なお、図８に示す一例では、演算量として、乗加算回数が表示されている。
さらに、図８に示すように、結果概要上には、ニューラルネットワークの実行に係るファイルをダウンロードするためのボタンｂ１が配置されてもよい。上述したとおり、ニューラルネットワークの実行に係るファイルには、パラメータの設定ファイル、ネットワークを定義するＸＭＬファイル、及び上記の２ファイルを読み込んでＦｏｒｗａｒｄＰｒｏｐを実行するソースコードが含まれてよい。ユーザは、フォームＦ１に示される比較情報を確認することで、学習結果が良好なニューラルネットワークを特定し、学習済みのニューラルネットワークの実行に係るファイルをダウンロードできる。また、パラメータの設定ファイル及びネットワークを定義するＸＭＬファイルを、ソースコードと分離して、ダウンロードできることで、上記３種のファイルを、ファイル単位で再利用することが可能となる。
なお、図８では、ファイルのダウンロードボタンを配置する例について説明したが、本実施形態に係るファイルのダウンロードはボタン操作以外の方法により実現されてもよい。本実施形態に係るファイルのダウンロードは、例えば、結果概要を右クリックすることで表示されるメニュー上から実行されてもよい。
（パレットＰ２）
再び、図７に戻って、本実施形態に係るフォームＦ１についての説明を続ける。上述したとおり、パレットＰ２は、選択されたニューラルネットワークのネットワーク構造を示す領域である。図７に示す一例は、結果概要Ｒ１が選択された状態を示している。すなわち、図７に示すパレットＰ２には、結果概要Ｒ１に係るニューラルネットワークのネットワーク構造が示されている。
図７を参照すると、パレットＰ２には、ニューラルネットワークを構成するレイヤーに該当するコンポーネントが直線により接続された状態で示されている。ここで、「Ｉｎｐｕｔ」及び「Ｏｕｔｐｕｔ」は、入力レイヤー及び出力レイヤーを示すコンポーネントであってよい。また、「Ａｆｆｉｎｅ ＃１」及び「Ａｆｆｉｎｅ＃２」は、中間層の１種であるＡｆｆｉｎｅレイヤーを示すコンポーネントであってよい。また、「Ｔａｎｈ」及び「Ｓｏｆｔｍａｘ」は、それぞれ該当する活性化関数を示すコンポーネントであってよい。このように、本実施形態に係るビジュアルプログラミングでは、ニューラルネットワークのレイヤーに該当するコンポーネントを接続することで、視覚的にプログラミングを行うことができる。
以上、本実施形態に係るパレットＰ２に表示されるニューラルネットワークのネットワーク構造について説明した。上述したように、選択したニューラルネットワークのネットワーク構造がパレットＰ２に表示されることで、ユーザは、学習結果とネットワーク構造とを１つの画面で確認することができる。これにより、ユーザが、複数モデルのニューラルネットワークによる学習結果をより詳細に比較することが可能となる。なお、上記で示したＡｆｆｉｎｅレイヤーや活性化関数については、ニューラルネットワークの開発において広く利用されるものであるため、詳細な説明は省略する。
（パレットＰ３）
パレットＰ３は、学習結果の詳細や、複数モデルのニューラルネットワークに係る学習結果の比較情報などを表示する領域である。図７に示す一例では、パレットＰ３には、パレットＰ１で選択された結果概要Ｒ１に係るニューラルネットワークの学習曲線がインフォメーションｉ１として表示されている。このように、パレットＰ３は、ユーザの操作により指定された情報を表示するための領域であってもよい。
図９は、パレットＰ３に表示されるニューラルネットワークの学習曲線の表示例である。図９を参照すると、学習曲線に係るグラフでは、縦軸に目的関数の演算量及び誤差レート、横軸に学習時間が示されている。ここで、曲線Ｃ１は、目的関数の演算量を示す曲線であってよい。なお、図９に示す例においては、曲線Ｃ１は、乗加算回数を示している。また、曲線Ｔ１及び曲線Ｖ１は、それぞれ学習誤差及びヴァリデーション誤差を示す曲線であってよい。ユーザは、曲線Ｃ１、Ｔ１、及びＶ１により示される演算量や誤差を確認することで、ニューラルネットワークの学習結果を総合的に判断することができる。なお、選択されたニューラルネットワークに係る学習が実行中である場合、学習曲線に示される各情報はリアルタイムに更新されてよい。
以上、本実施系形態に係るフォームＦ１の構成、及び表示される情報の一例について説明した。本実施形態に係る情報処理装置１０のフォーム制御部１３０は、サーバ３０から取得した情報に基づいて、フォームＦ１の表示を制御することができる。これにより、ユーザがニューラルネットワークのネットワーク構造や学習結果を同一の画面で確認することが可能となり、ニューラルネットワークの開発に係る効率を向上させることができる。
なお、本実施形態に係るフォームＦ１は、上記で説明した情報以外を表示してもよい。例えば、本実施形態に係るフォームＦ１は、パレットＰ４をさらに含み、パレットＰ４には、ニューラルネットワークの実行に係るログが表示されてもよい。本実施形態に係るフォームＦ１の構成は、開発を行うニューラルネットワークの特性や、開発手順などに応じて、適宜設計され得る。
＜＜２．５．本実施形態に係る比較情報＞＞
次に、本実施形態に係る比較情報について詳細に説明する。本実施形態に係る情報処理方法では、複数モデルのニューラルネットワークによる学習結果から比較情報を生成し、当該比較情報をユーザに提示することができる。すなわち、サーバ３０の比較部３１０は、実行制御部３２０が取得したニューラルネットワークの学習結果に基づいて比較情報を生成することができる。また、情報処理装置１０のフォーム制御部１３０は、比較部３１０により生成された比較情報を取得し、フォームＦ１上に表示させることができる。以下、本実施形態に係る比較情報について、具体的な例を挙げながら詳細に説明する。なお、以降に説明される比較情報は、フォームＦ１上のパレットＰ３に表示されてよい。
（学習曲線による比較）
本実施形態に係る情報処理方法では、複数のニューラルネットワークに係る学習曲線を比較して提示することができる。本実施形態に係る比較部３１０は、情報処理装置１０から、ユーザの操作に基づいて選択された複数のニューラルネットワークの情報を取得し、当該複数のニューラルネットワークに係る学習曲線を比較情報として生成することができる。
図１０は、本実施形態に係る学習曲線による比較の一例である。図１０を参照すると、図９に示した学習曲線の一例とは異なり、２つのニューラルネットワークに係る演算量及び誤差の情報が示されている。図１０に示す一例は、図７で示したパレットＰ１上で結果概要Ｒ１が選択された状態から、さらに結果概要Ｒ２が選択された場合の表示例であってよい。すなわち、図１０の一例では、結果概要Ｒ１に係るニューラルネットワークによる学習曲線を示した図９の例に加え、さらに結果概要Ｒ２に係るニューラルネットワークによる学習曲線が示されている。
図１０の一例では、結果概要Ｒ１に係るニューラルネットワークの演算量、学習誤差、及びヴァリデーション誤差が、それぞれ、曲線Ｃ１、曲線Ｔ１、及び曲線Ｖ１で示されている。また、結果概要Ｒ２に係るニューラルネットワークの演算量、学習誤差、及びヴァリデーション誤差が、それぞれ、曲線Ｃ２、曲線Ｔ２、及び曲線Ｖ２で示されている。なお、それぞれのニューラルネットワークに係る学習曲線は、異なる色で示されてもよい。このように、本実施形態に係る情報処理方法では、複数のニューラルネットワークに係る学習曲線を比較情報として提示することが可能である。ユーザは、学習曲線を確認することで、作成した複数モデルの学習結果をネットワーク構造と対応付けて比較することができる。
また、図１０では、２つのニューラルネットワークに係る学習曲線を比較する例を示しているが、本実施形態に係る情報処理方法では、３つ以上のニューラルネットワークに係る学習曲線が提示されてよい。ニューラルネットワークの開発では、ネットワーク構造やハイパーパラメータの異なる複数モデルの比較検討を行うことが多いため、複数モデルのニューラルネットワークに係る学習曲線を提示することで、ユーザの利便性を高めることが可能となる。
また、本実施形態に係る学習曲線には、演算量、学習誤差、またヴァリデーション誤差のうち、ユーザが指定した項目のみが比較対象として表示されてもよい。ユーザは、例えば、グラフ上の凡例をクリックすることで、各項目の表示及び非表示を切り替えてもよい。上記の機能により、ユーザが比較したい項目のみを表示させることができ、グラフ上における情報量を低減することが可能となる。表示項目の指定に係る上記の機能は、比較対象のニューラルネットワークの数が増加した場合、特に有効である。
なお、上記では、クラウド上のコンピューティングリソースなどにより実行されるニューラルネットワークの学習結果比較について説明したが、本実施形態に係る情報処理方法では、エミュレータやデバイス４０における学習結果との比較を行うこともできる。この場合、実行制御部３２０は、指定されたニューラルネットワークをエミュレータやデバイス４０に実行させ、学習結果を取得してよい。また、比較部３１０は、当該学習結果に基づいて、比較情報を生成することができる。これにより、ユーザがデバイス４０の仕様に基づいた学習結果との差分を把握することが可能となる。
（トレードオフ情報による比較）
次に、本実施形態に係るトレードオフ情報について説明する。通常、ニューラルネットワークでは、演算量が増加するほど学習精度が向上する傾向がある。言い換えると、ニューラルネットワークにおいて、演算量と誤差は、いわゆるトレードオフの関係にあたる。このため、本実施形態に係るトレードオフ情報は、演算量と誤差との関係を示す情報であってよい。
本実施形態に係る情報処理方法では、複数モデルのニューラルネットワークに係る演算量と誤差の関係をトレードオフ情報として提示することができる。このように、本実施形態に係る比較情報は、トレードオフ情報を含んでよい。本実施形態に係る比較部３１０は、実行制御部３２０から複数のニューラルネットワークに係る学習結果を取得し、上記のトレードオフ情報を生成することができる。
図１１は、本実施形態に係るトレードオフ情報の表示例である。図１１を参照すると、トレードオフ情報に係るグラフでは、縦軸に誤差レートが、横軸に演算量が示され、複数のニューラルネットワークに係る誤差情報がプロットされている。図１１に示す一例では、学習誤差が枠線のみの四角形で、ヴァリデーション誤差が塗りつぶされた四角形で示されている。
なお、本実施形態に係るトレードオフ情報では、上記の学習誤差及びヴァリデーション誤差が、ニューラルネットワークごとに異なる色で示されてよい。誤差情報がニューラルネットワークごとに異なる色で表示されることで、ユーザは、異なるニューラルネットワークに係る誤差情報を識別できる。また、同一のニューラルネットワークに係る誤差情報が同一色で表示されることで、ユーザは、同一のニューラルネットワークに係る学習誤差とヴァリデーション誤差とを対応付けて認識することができる。
また、本実施形態に係る比較部３１０は、過去に実行されたすべての学習結果に基づいて、トレードオフ情報を生成してもよい。ニューラルネットワークの開発では、ネットワーク構造やハイパーパラメータを変更した複数モデルのニューラルネットワークを作成し、学習結果の比較を行うことが多い。言い換えると、ユーザは、複数モデルのニューラルネットワークを作成し、学習結果を比較することで、採用するネットワーク構造やハイパーパラメータの値を決定する。このため、比較部３１０が過去のすべての学習結果に基づくトレードオフ情報を生成することで、ユーザが一度に複数モデルの学習結果を比較し、採用するネットワーク構造やハイパーパラメータの値を決定することができる。
一方、本実施形態に係る比較部３１０は、ユーザが選択したニューラルネットワークの学習結果に限定してトレードオフ情報を生成してもよいし、後述する並列実行されたニューラルネットワークの学習結果に限定してトレードオフ情報を生成してもよい。このように、本実施形態に係る情報処理方法では、グラフ上に表示する情報量を限定することで、ユーザの目的に合わせた比較情報を提示することができる。
また、図１１に示すように、本実施形態に係るトレードオフ情報では、選択された誤差情報に係るニューラルネットワークの結果概要がグラフ上に表示されてもよい。図１１に示す一例では、学習誤差Ｔ３がユーザにより選択された状態を示している。この際、学習誤差Ｔ３、及び学習誤差Ｔ３と対応するヴァリデーション誤差Ｖ３は、強調された形式で表示されてよい。また、グラフ上には、学習誤差Ｔ１に係るニューラルネットワークの結果概要Ｒ５が表示されてよい。このように、選択された誤差情報に係るニューラルネットワークの結果概要が表示されることで、ユーザは、選択した誤差情報に係るニューラルネットワークを特定することができる。なお、ユーザは、トレードオフ情報に係るグラフ上に表示される結果概要を操作することで、ニューラルネットワークの実行に係るファイルをダウンロードできてよい。
続いて、本実施形態に係るトレードオフ情報のパレート最適解による限定表示について説明する。本実施形態に係る情報処理方法では、上記で説明したトレードオフ情報をパレート最適解で限定し、該当するニューラルネットワークに係るトレードオフ情報のみをユーザに提示することができる。すなわち、本実施形態に係る情報処理方法によれば、誤差レートまたは演算量のいずれかの指標が他の学習結果を上回っている学習結果のみに限定してトレードオフ情報を提示することが可能となる。これにより、ユーザは、比較対象とするニューラルネットワークを直観的に把握することができ、比較に係る作業を効率化することができる。
図１２は、図１１に示したトレードオフ情報をパレート最適解により限定した場合の一例である。図１２を参照すると、図１１と比較して、グラフ上にプロットされる誤差情報の数が減少していることがわかる。図１２に示す一例では、ヴァリデーション誤差に係るパレート最適解が、各プロットを結ぶ線により示されている。図１２を参照すると、パレート最適解を示す線よりもヴァリデーション誤差が大きいプロット、及び当該ヴァリデーション誤差に対応する学習誤差のプロットが消失していることがわかる。なお、本実施形態に係るパレート最適解は、学習誤差またはヴァリデーション誤差ごとに判別されてよい。
以上、本実施形態に係るトレードオフ情報について説明した。上述したように、本実施形態に係る情報処理方法によれば、複数モデルのニューラルネットワークに係る演算量と誤差の関係をトレードオフ情報として提示することができる。また、本実施形態に係る情報処理方法によれば、上記のトレードオフ情報をパレート最適解により限定して提示することができる。これにより、ユーザは、複数モデルのニューラルネットワークに係る学習結果を一度に確認し、適用するネットワーク構造やハイパーパラメータの値を決定することができる。
＜＜２．６．ニューラルネットワークの並列実行＞＞
次に、本実施形態に係るニューラルネットワークの並列実行について説明する。本実施形態に係る情報処理方法では、複数のニューラルネットワークにそれぞれ異なるハイパーパラメータを自動的に設定し、学習を並列実行させることができる。本実施形態に係る実行制御部３２０は、情報処理装置１０から、ユーザが指定した並列実行に係る情報を取得し、当該情報に基づいて、ニューラルネットワークによる学習を並列で実行させることができる。
図１３は、フォームＦ１に表示されるニューラルネットワークの実行に係る設定画面の一例である。ユーザは、当該画面に表示される各項目の値を指定することで、ニューラルネットワークの実行に係る条件を設定することができる。図１３を参照すると、ニューラルネットワークの実行に係る設定画面には、「Ｅｘｅｃｕｔｉｏｎ ｈｏｓｔ」、「Ｐｒｏｃｅｓｓｏｒ ｔｙｐｅ」、及び「Ｊｏｂ ｔｙｐｅ」の３つの項目が含まれている。
ここで、「Ｅｘｅｃｕｔｉｏｎ ｈｏｓｔ」は、ニューラルネットワークによる学習を実行するホストを指定する項目であってよい。ユーザは、例えば、ローカルやクラウド上のコンピューティングリソースをホストとして指定できる。
また、「Ｐｒｏｃｅｓｓｏｒ ｔｙｐｅ」は、ニューラルネットワークの実行に係るプロセッサを指定する項目であってよい。ユーザは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（ＧｒａＰｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）をプロセッサとして指定できる。
また、「Ｊｏｂ ｔｙｐｅ」は、ニューラルネットワークの実行種類を指定する項目であってよい。ユーザは、例えば、単独実行、複数リソースによる分散実行、または複数のニューラルネットワークの並列実行から、実行種類を指定できる。本実施形態に係る実行制御部３２０は、「Ｊｏｂ ｔｙｐｅ」に、並列実行が指定されたことに基づいて、複数のニューラルネットワークによる学習を並列実行させてよい。この際、実行制御部３２０は、設定画面に指定された数値に基づいて、並列実行させるニューラルネットワークの数を決定することができる。図１３に示す一例では、ユーザが４並列を指定した場合を示している。
以上説明したように、本実施形態に係る実行制御部３２０は、ユーザに指定された情報に基づいて、複数のニューラルネットワークにそれぞれ異なるハイパーパラメータを自動的に設定し、学習を並列実行させることができる。この際、実行制御部３２０は、予め設定されたニューラルネットワークに係るパラメータ値を平均とした標準正規分布（Ｘ； 設定値，１）からｎ並列サンプリングすることで、ハイパーパラメータの値を設定してよい。また、実行制御部３２０は、外れ値の大きな値を除外するため、２シグマによるクリッピングを実施してよい。
以上、本実施系形態に係るニューラルネットワークの並列実行について詳細に説明した。当然ながら、本実施形態に係る情報処理方法では、並列実行させたニューラルネットワークの学習結果を取得し、当該学習情報に係る比較情報をユーザに提示することが可能である。例えば、本実施形態に係る比較部３１０は、並列実行されるニューラルネットワークの学習結果をリアルタイムに取得し、学習曲線やトレードオフ情報を生成することができる。このため、本実施形態に係る情報処理方法によれば、ユーザがハイパーパラメータの値を手動で設置する負担を低減し、さらに、複数モデルのニューラルネットワークによる学習結果を比較して提示することが可能となる。
＜３．ハードウェア構成例＞
次に、本開示に係る情報処理装置１０、サーバ３０、及びデバイス４０に共通するハードウェア構成例について説明する。図１４は、本開示に係る情報処理装置１０、サーバ３０、及びデバイス４０のハードウェア構成例を示すブロック図である。図１４を参照すると、情報処理装置１０、サーバ３０、及びデバイス４０は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力部８７８と、出力部８７９と、記憶部８８０と、ドライブ８８１と、接続ポート８８２と、通信部８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
（ＣＰＵ８７１）
ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、記憶部８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
（ＲＯＭ８７２、ＲＡＭ８７３）
ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
（入力部８７８）
入力部８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力部８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。
（出力部８７９）
出力部８７９には、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
（記憶部８８０）
記憶部８８０は、各種のデータを格納するための装置である。記憶部８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
（ドライブ８８１）
ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙ（登録商標）メディア、ＨＤ ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
（接続ポート８８２）
接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
（外部接続機器９０２）
外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
（通信部８８３）
通信部８８３は、ネットワーク９０３に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
＜４．まとめ＞
以上説明したように、本開示に係る情報処理方法では、複数モデルのニューラルネットワークによる学習結果から比較情報を生成し、当該比較情報をユーザに提示することができる。比較情報には、学習曲線による比較や、演算量と誤差とのトレードオフ情報が含まれてよい。また、本開示に係る情報処理方法では、複数のニューラルネットワークにそれぞれ異なるハイパーパラメータを自動的に設定し、学習を並列実行させることができる。係る構成によれば、ニューラルネットワークの開発効率を向上させる情報をユーザに提示することが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、ビジュアルプログラミングにより作成されるニューラルネットワークについて説明したが、本技術はかかる例に限定されない。本開示に係るニューラルネットワークは、例えば、プログラムコードをテキストで記述することで作成されてもよい。
また、例えば、上記実施形態では、サーバ３０が、学習結果に基づいた比較情報を生成する場合を例に説明したが、本技術はかかる例に限定されない。例えば、比較情報の生成は、情報処理装置１０により実現されてもよい。この場合、情報処理装置１０のフォーム制御部１３０が、複数のニューラルネットワークの学習結果を取得し、当該学習結果に基づいて比較情報を生成することができる。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
プロセッサが、複数モデルのニューラルネットワークによる学習結果を比較し、前記学習結果に係る比較情報をグラフで提示すること、
を含む、情報処理方法。
（２）
前記学習結果は、演算量、学習誤差、またはヴァリデーション誤差のうち少なくとも１つを含む、
前記（１）に記載の情報処理方法。
（３）
前記比較情報は、前記学習結果と、前記ニューラルネットワークにおける学習時間と、の関係を示す学習曲線による比較を含む、
前記（１）または（２）に記載の情報処理方法。
（４）
前記比較情報は、前記演算量と誤差とのトレードオフ情報による比較を含み、
前記誤差は、前記学習誤差または前記ヴァリデーション誤差のうち少なくとも１つを含む、
前記（２）に記載の情報処理方法。
（５）
前記比較情報は、前記トレードオフ情報をパレート最適解で限定した比較を含む、
前記（４）に記載の情報処理方法。
（６）
ユーザにより指定された前記ニューラルネットワークの前記比較情報を提示する、
前記（１）〜（５）のいずれかに記載の情報処理方法。
（７）
複数モデルのニューラルネットワークによる学習を並列実行させること、
をさらに含む、
前記（１）〜（６）のいずれかに記載の情報処理方法。
（８）
複数のニューラルネットワークにそれぞれ異なるハイパーパラメータを設定し学習を並列実行させる、
前記（１）〜（７）のいずれかに記載の情報処理方法。
（９）
前記並列実行される複数モデルのニューラルネットワークに係る前記比較情報をリアルタイムに提示する、
前記（７）または（８）に記載の情報処理方法。
（１０）
前記ニューラルネットワークは、ビジュアルプログラミングにより作成される、
前記（１）〜（９）のいずれかに記載の情報処理方法。
（１１）
ユーザにより指定された前記ニューラルネットワークの実行に係るファイルのダウンロードを許可する、
前記（１）〜（１０）のいずれかに記載の情報処理方法。
（１２）
前記ニューラルネットワークの実行に係るファイルは、ネットワーク定義ファイル、パラメータファイル、またはソースコードのうち少なくとも１つを含む、
前記（１１）に記載の情報処理方法。
（１３）
複数モデルのニューラルネットワークによる学習結果を取得し、前記学習結果に係る比較情報を制御する制御部、
を備え、
前記制御部は、前記比較情報をグラフで提示する、
情報処理装置。
（１４）
複数モデルのニューラルネットワークによる学習結果を比較し、前記学習結果に係る比較情報を生成する比較部、
を備え、
前記比較情報はグラフによる比較情報である、
情報処理装置。
１０ 情報処理装置
１１０ 表示部
１２０ 入力部
１３０ フォーム制御部
１４０ サーバ通信部
２０ ネットワーク
３０ サーバ
３１０ 比較部
３２０ 実行制御部
３３０ 端末通信部
４０ デバイス

Claims (11)

  1. プロセッサが、複数モデルのニューラルネットワークによる学習結果を比較し、前記学習結果に係る比較情報をグラフで提示すること、
    を含み、
    前記比較情報は、前記ニューラルネットワークの演算量と、前記ニューラルネットワークに係る機械学習上の誤差とのトレードオフ情報をパレート最適解で限定した比較を含む、
    情報処理方法。
  2. 前記比較情報は、前記学習結果と、前記ニューラルネットワークにおける学習時間と、の関係を示す学習曲線による比較を含む、
    請求項１に記載の情報処理方法。
  3. 前記誤差は、学習誤差またはヴァリデーション誤差のうち少なくとも１つを含む、
    請求項１または２に記載の情報処理方法。
  4. ユーザにより指定された前記ニューラルネットワークの前記比較情報を提示する、
    請求項１〜３のいずれかに記載の情報処理方法。
  5. 複数モデルのニューラルネットワークによる学習を並列実行させること、
    をさらに含む、
    請求項１〜４のいずれかに記載の情報処理方法。
  6. 複数のニューラルネットワークにそれぞれ異なるハイパーパラメータを設定し学習を並列実行させる、
    請求項５に記載の情報処理方法。
  7. 前記並列実行される複数モデルのニューラルネットワークに係る前記比較情報をリアルタイムに提示する、
    請求項５または６に記載の情報処理方法。
  8. 前記ニューラルネットワークは、ビジュアルプログラミングにより作成される、
    請求項１〜７のいずれかに記載の情報処理方法。
  9. ユーザにより指定された前記ニューラルネットワークの実行に係るファイルのダウンロードを許可すること、
    さらに含む、
    請求項１〜８のいずれかに記載の情報処理方法。
  10. 前記ニューラルネットワークの実行に係るファイルは、ネットワーク定義ファイル、パラメータファイル、またはソースコードのうち少なくとも１つを含む、
    請求項９に記載の情報処理方法。
  11. 複数モデルのニューラルネットワークによる学習結果を取得し、前記学習結果に係る比較情報のグラフを用いた提示を制御する制御部、
    を備え、
    前記比較情報は、前記ニューラルネットワークの演算量と前記ニューラルネットワークに係る機械学習上の誤差とのトレードオフ情報をパレート最適解で限定した比較を含む、
    情報処理装置。
JP2017567959A 2016-02-17 2016-11-25 情報処理方法および情報処理装置 Active JP6574942B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016027923 2016-02-17
JP2016027923 2016-02-17
PCT/JP2016/084964 WO2017141517A1 (ja) 2016-02-17 2016-11-25 情報処理方法および情報処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019114081A Division JP6881511B2 (ja) 2016-02-17 2019-06-19 情報処理方法および情報処理装置

Publications (2)

Publication Number Publication Date
JPWO2017141517A1 JPWO2017141517A1 (ja) 2018-12-06
JP6574942B2 true JP6574942B2 (ja) 2019-09-18

Family

ID=59625826

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017567959A Active JP6574942B2 (ja) 2016-02-17 2016-11-25 情報処理方法および情報処理装置
JP2019114081A Active JP6881511B2 (ja) 2016-02-17 2019-06-19 情報処理方法および情報処理装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019114081A Active JP6881511B2 (ja) 2016-02-17 2019-06-19 情報処理方法および情報処理装置

Country Status (4)

Country Link
US (1) US10664752B2 (ja)
EP (1) EP3418949A4 (ja)
JP (2) JP6574942B2 (ja)
WO (1) WO2017141517A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102527605B1 (ko) * 2017-10-31 2023-05-02 한국전자기술연구원 다중 아날로그 제어 변수 생성을 위한 다중 뉴럴 네트워크 구성 방법
WO2020157939A1 (ja) * 2019-01-31 2020-08-06 富士通株式会社 情報処理装置、学習履歴管理システム及び学習履歴管理プログラム
CN114341806A (zh) * 2019-04-12 2022-04-12 瑟威斯劳加拿大有限公司 用于软件模块开发的系统
JP7361505B2 (ja) * 2019-06-18 2023-10-16 キヤノンメディカルシステムズ株式会社 医用情報処理装置及び医用情報処理方法
US11615321B2 (en) 2019-07-08 2023-03-28 Vianai Systems, Inc. Techniques for modifying the operation of neural networks
US11681925B2 (en) 2019-07-08 2023-06-20 Vianai Systems, Inc. Techniques for creating, analyzing, and modifying neural networks
US11640539B2 (en) 2019-07-08 2023-05-02 Vianai Systems, Inc. Techniques for visualizing the operation of neural networks using samples of training data
KR102164509B1 (ko) * 2019-12-11 2020-10-12 김용걸 인공지능을 이용한 IoT 기반 쓰레기 수거차량 최적화 경로 제공시스템
US11973743B2 (en) 2019-12-13 2024-04-30 TripleBlind, Inc. Systems and methods for providing a systemic error in artificial intelligence algorithms
US11431688B2 (en) 2019-12-13 2022-08-30 TripleBlind, Inc. Systems and methods for providing a modified loss function in federated-split learning
US11528259B2 (en) 2019-12-13 2022-12-13 TripleBlind, Inc. Systems and methods for providing a systemic error in artificial intelligence algorithms
US11582203B2 (en) * 2019-12-13 2023-02-14 TripleBlind, Inc. Systems and methods for encrypting data and algorithms
JP7447529B2 (ja) 2020-02-17 2024-03-12 ソニーグループ株式会社 情報処理装置、情報処理方法、および、プログラム
EP4154196A1 (en) * 2020-05-18 2023-03-29 INTEL Corporation Methods and apparatus for attestation of an artificial intelligence model
JP7423484B2 (ja) * 2020-09-16 2024-01-29 株式会社東芝 学習装置、方法及びプログラム
US11507693B2 (en) 2020-11-20 2022-11-22 TripleBlind, Inc. Systems and methods for providing a blind de-identification of privacy data
CN116450465B (zh) * 2023-06-14 2023-09-15 建信金融科技有限责任公司 数据处理方法、装置、设备及介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04190461A (ja) * 1990-11-26 1992-07-08 Fujitsu Ltd ニューラルネットワークの構築表示方法
JP3412384B2 (ja) * 1996-03-13 2003-06-03 株式会社日立製作所 制御モデル構築支援装置
JP2001034599A (ja) 1999-07-22 2001-02-09 Fujitsu Ltd 問題解決システムにおけるインタフェース装置、インタフェース生成方法及び記録媒体
JP2002042107A (ja) 2000-07-31 2002-02-08 Fuji Electric Co Ltd ニューラルネットワークの学習方法
US20120158623A1 (en) * 2010-12-21 2012-06-21 Microsoft Corporation Visualizing machine learning accuracy
JP5792642B2 (ja) * 2012-01-12 2015-10-14 日本電信電話株式会社 データ解析装置、データ解析調整方法およびプログラム

Also Published As

Publication number Publication date
WO2017141517A1 (ja) 2017-08-24
JPWO2017141517A1 (ja) 2018-12-06
US10664752B2 (en) 2020-05-26
JP6881511B2 (ja) 2021-06-02
JP2019164839A (ja) 2019-09-26
EP3418949A4 (en) 2019-02-27
EP3418949A1 (en) 2018-12-26
US20180330237A1 (en) 2018-11-15

Similar Documents

Publication Publication Date Title
JP6574942B2 (ja) 情報処理方法および情報処理装置
JP6852748B2 (ja) 情報処理方法および情報処理装置
EP3623961A1 (en) Predictive modeling with machine learning in data management platforms
Du et al. Zero latency: Real-time synchronization of BIM data in virtual reality for collaborative decision-making
US11461689B2 (en) Techniques for automatically testing/learning the behavior of a system under test (SUT)
US20180365557A1 (en) Information processing method and information processing apparatus
JP2021501382A (ja) 自動コード生成
US20190057309A1 (en) Information processing apparatus and information processing method
US10810018B2 (en) Device with extensibility
US20210141616A1 (en) Computerized system and method for a distributed low-code / no-code computing environment
US20220318077A1 (en) Data engine
US8788248B2 (en) Transparent flow model simulation implementing bi-directional links
WO2019191810A1 (en) Methods and systems for resolving user interface features, and related applications
US11315039B1 (en) Systems and methods for model management
JP2021528714A (ja) アバター生成装置およびコンピュータプログラム
KR20190081373A (ko) 인공 신경망에 기반한 단말 장치 및 데이터 처리 방법
Skripcak et al. Toward nonconventional human–machine interfaces for supervisory plant process monitoring
JP2021099885A (ja) 文書種別の推奨方法、装置、電子機器、可読記憶媒体及びコンピュータプログラム製品
US8881110B2 (en) Role-based automation scripts
CN109726232A (zh) 一种模型可视化计算方法及系统
WO2019187542A1 (ja) 情報処理方法、情報処理装置、およびプログラム
US11922143B1 (en) Systems and methods for providing a user interface that facilitates application development
JP6694197B2 (ja) 学習ネットワーク生成装置、及び学習ネットワーク生成プログラム
Goel et al. Object Detection Using TensorFlow 2 and Amazon SageMaker
WO2023143746A1 (en) System and method for managing artifacts related to apps

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190130

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190130

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190130

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190131

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190426

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190521

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190603

R151 Written notification of patent or utility model registration

Ref document number: 6574942

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151