JP7097195B2 - 学習結果識別装置、学習結果識別方法、及びそのプログラム - Google Patents

学習結果識別装置、学習結果識別方法、及びそのプログラム Download PDF

Info

Publication number
JP7097195B2
JP7097195B2 JP2018037459A JP2018037459A JP7097195B2 JP 7097195 B2 JP7097195 B2 JP 7097195B2 JP 2018037459 A JP2018037459 A JP 2018037459A JP 2018037459 A JP2018037459 A JP 2018037459A JP 7097195 B2 JP7097195 B2 JP 7097195B2
Authority
JP
Japan
Prior art keywords
learning
information
result
factor
learning result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018037459A
Other languages
English (en)
Other versions
JP2018152063A (ja
Inventor
丹一 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of JP2018152063A publication Critical patent/JP2018152063A/ja
Application granted granted Critical
Publication of JP7097195B2 publication Critical patent/JP7097195B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、学習結果識別装置、学習結果識別方法、及びそのプログラムに関する。
生産ライン上を搬送される検査対象物を撮像した画像からAIを使って検査対象物の検査や文字の認識といった処理を実行する検査機が開発されている。例えば、下記特許文献1には、複数の検査対象の画像を表示するための表示部と、複数の検査対象の画像を分類する入力を受け付ける入力部と、予め準備された検査対象の画像が示す検査対象の大きさ等に基づいて表示部に表示させる検査対象の順序を決定する処理と、決定された順序に従って複数の検査対象の画像を表示部に配列表示させる処理を行う処理部と、を備える分類支援装置が記載されている。
特開2003-317082号公報
特許文献1に記載されるような従来の検査機に検査対象物の認識処理を行わせるにあたり、例えば、あらかじめ学習装置で認識処理を学習させる態様が考えられる。このような学習の結果として獲得された能力は、例えば、学習済みのニューラルネットワークの構造とパラメータに関する情報としてデータ化することで、記憶媒体や通信手段を介して、検査機等の別の装置上で利用することが可能となる。
例えば学習が複数回行われた場合、行った学習に与えられた要因に応じて、その学習結果は異なる場合がある。しかし、学習を行う学習装置と学習結果として得られた能力を利用する利用装置がそれぞれ別である場合には、学習結果の利用者は、どのような学習データを用いて、どのような学習を行わせたことにより得られた学習結果であるのかを把握することができない。そのため、利用者は、例えば検査機をはじめとした学習結果の利用装置の性能に見合った学習結果を探索し、利用装置上で利用することが難しい。
そこで、本発明は、機械学習により学習を行った結果を識別して適切に管理するための技術を提供することを目的とする。
本発明の一側面に係る検査機の管理装置は、学習結果を適用させる検査機のスペックに関する情報を取得する取得部と、学習データベースに記憶された、機械学習により所定の学習がなされたことによって所定の能力を獲得した学習結果に対して、所定の学習を他の学習から識別可能な第1情報と、記所定の学習による学習結果を他の学習結果から識別可能な第2情報と、を含む識別情報とのマッチングを行い、検査機に適用させる学習結果を特定するマッチング部と、を備える。
上記構成によれば、学習結果は、識別情報によって識別される。これにより、獲得された能力のそれぞれに対して如何なる学習が行われたかを識別して適切に管理することが可能になる。また、学習結果に識別子が付与されることによって、学習結果を検索する際の処理速度を向上させることができる。さらに、学習や学習結果について、識別子を付与して管理することによって、管理装置は、学習結果を実装する装置に見合った性能の学習結果を検索する時間を短縮することができる。
また、上記マッチング部は、識別情報に基づいて、特定の識別範囲において、第1の学習がなされたことにより第1の能力を獲得した第1の学習結果と、第2の学習がなされたことにより第2の能力を獲得した第2の学習結果とを識別して、前記検査機に適用させる学習結果を特定するように構成されてよい。これにより、所定の識別範囲の外においては検索することが不要になるため、検索速度をより向上させることができる。
さらに識別情報は、前記第1及び第2の学習がなされる際に与えられる条件のうち、前記特定の識別範囲内において学習結果又は当該学習結果によってもたらされる成果に影響を与える要因に基づいて付与されるよう構成されてよい。この態様によると、学習結果には所定の識別範囲内において識別可能になるように、識別情報が付与される。これにより、所定の範囲の外においては識別することが不要になるため、識別情報の情報量を縮小させることができる。
また、識別情報によって識別可能な学習の情報は、学習装置、学習プログラム、学習データ、学習の回数、学習の時期、学習の目標、学習の方法、学習依頼者、学習データの取得元、又は学習データの取得方法、のうち少なくともいずれかの要因を含む構成でもよい。
請求項1乃至3のいずれかに記載の管理装置。さらに、識別情報によって識別可能な学習結果の情報は、学習結果の利用形態に関する情報、学習の実施環境に関する情報、学習結果によって獲得した能力に関する情報、及び学習を識別する情報のうち少なくともいずれかの要因を含む構成でもよい。この態様によると、学習結果提供者や学習利用者は学習についてより詳細な情報を入手することができる。さらに学習についてのより詳細な情報を学習結果に紐づけて識別子で管理することによって、詳細な情報を検索する際の処理速度を向上させることができる。
本発明の一側面に係る学習結果識別装置は、機械学習により所定の学習がなされたことによって所定の能力を獲得した学習結果に対して、所定の学習を他の学習から識別可能な第1情報と、所定の学習による学習結果を他の学習結果から識別可能な第2情報と、を含む識別情報を生成する生成部と、生成された識別情報を格納する記憶部と、を備える。
上記構成によれば、学習結果は、識別情報によって識別される。これにより、獲得された能力のそれぞれに対して如何なる学習が行われたかを識別して適切に管理することが可能になる。また、学習結果に識別子が付与されることによって、学習結果を検索する際の処理速度を向上させることができる。さらに、学習や学習結果について、識別子を付与して管理することによって、異なる識別子の学習や学習結果を記憶することが可能になり、
記憶容量を低減させることができる。
また、生成部は、第1の学習がなされたことにより第1の能力を獲得した第1の学習結果に対して、特定の識別範囲内において、第1の学習と前記第1の学習結果とを識別可能な第1の識別情報を生成し、第2の学習がなされたことにより第2の能力を獲得した第2の学習結果に対して、特定の識別範囲内において、第2の学習と前記第2の学習結果とを識別可能な第2の識別情報を生成する構成でもよい。これにより、所定の範囲の外においては識別することが不要になるため、識別情報の情報量を縮小させることができる。
さらに、生成部は、前記第1及び第2の学習がなされる際に与えられる条件のうち、前記特定の識別範囲内において学習結果又は当該学習結果によってもたらされる成果に影響を与える要因に基づいて、前記識別情報を生成する構成でもよい。
この態様によると、学習結果には所定の識別範囲内において識別可能になるように、識別情報が付与される。これにより、所定の範囲の外においては識別することが不要になるため、識別情報の情報量を縮小させることができる。
また、識別情報によって識別可能な学習結果の情報は、学習結果の利用形態に関する情報、学習の実施環境に関する情報、学習結果によって獲得した能力に関する情報、及び学習を識別する情報のうち少なくともいずれかの要因を含む構成でもよい。この態様によると、学習結果提供者や学習利用者は学習についてより詳細な情報を入手することができる。さらに学習についてのより詳細な情報を学習結果に紐づけて識別子で管理することによって、詳細な情報を検索する際の処理速度を向上させることができる。
また、上記のいずれかに記載の学習結果識別装置に用いられ、要因に関する情報を格納するデータベースに格納される要因情報のデータ構造であって、記要因情報は、学習を上位の階層で識別するために用いられる第1要因と、第1要因に紐づけられた、学習を第1要因よりも下位の階層で識別するために用いられる第2要因と、を含み、生成部が、第1及び第2の学習がなされる際に与えられる条件に基づいて、学習結果又は当該学習結果によってもたらされる成果に影響を与える第2要因をデータベースから特定し、当該特定した第2要因に紐づけられた第1要因に付与されたID情報と、特定された第2要因に付与されたID情報とを暗号化、圧縮化、又は一覧表化して識別情報を生成する処理に用いられる。要因情報が階層構造を有することにより、要因に関する情報を格納するデータベースは、情報が重複して記憶されることが低減でき、記憶容量を低減させることができる。また、生成部は、学習結果に影響を与えない条件に関する情報を識別情報から除くことができるため、識別情報の情報量を縮小させることができる。
また、本発明の一側面に係る識別情報付与方法は、コンピュータが、機械学習により所定の学習がなされたことによって所定の能力を獲得した学習結果に対して、所定の学習を他の学習から識別可能な第1情報と、所定の学習による学習結果を他の学習結果から識別可能な第2情報と、を含む識別情報を生成することと、前記生成された識別情報を格納することと、を実行する。
本発明の一側面に係るプログラムは、コンピュータを、機械学習により所定の学習がなされたことによって所定の能力を獲得した学習結果に対して、所定の学習を他の学習から識別可能な第1情報と、所定の学習による学習結果を他の学習結果から識別可能な第2情報と、を含む識別情報を生成する手段、及び生成された識別情報を格納する手段、として機能させる。
本発明によれば、機械学習により学習を行った結果を識別して適切に管理するための技術を提供することができる。
一実施形態における学習サービスの提供が行われるシステム全体の概略を示す図である。 一実施形態における学習サービスの流れを概念的に示す図である。 一実施形態における学習データ準備装置の構成の一例を示すブロック図である。 一実施形態における学習依頼装置の構成の一例を示すブロック図である。 一実施形態における学習結果利用装置の構成の一例を示すブロック図である。 一実施形態における学習結果データベースの構成の一例を示すブロック図である。 一実施形態における基本要因の一例を示す図である。 一実施形態における影響要因の一例を示す図である。 一実施形態における学習依頼受付装置の構成の一例を示すブロック図である。 一実施形態における学習装置の構成の一例を示すブロック図である。 一実施形態における学習管理装置の構成の一例を示すブロック図である。 一実施形態における識別範囲のリストの一例を示す図である。 一実施形態における学習結果データベースにおいて管理される学習に関する情報の構造の一例を示す図である。 一実施形態における学習依頼システムの処理の一例を示すフローチャートである。 一実施形態における学習サービス提供システムの処理の一例を示すフローチャートである。 一実施形態における学習管理システムの処理の一例を示すフローチャートである。 一実施形態における検査機の構成の一例を示すブロック図である。 一実施形態における検査システムの構成の一例を示すブロック図である。 一実施形態における管理装置の機能構成の一例を示すブロック図である。 製造装置の構成の一例を示すブロック図である。 一実施形態における学習サービス提供システム、学習依頼システム、及び検査システムのハードウェア構成の一例を示す図である。
以下、図面を参照して本発明の実施形態について詳細に説明する。なお、同一の要素には同一の符号を付し、重複する説明を省略する。また、以下の実施の形態は、本発明を説明するための例示であり、本発明をその実施の形態のみに限定する趣旨ではない。さらに、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。
<1.システム概要>
図1及び図2を参照して本実施形態におけるシステムの概要について説明する。
図1は、本システム全体の概略を示す図である。本システムは、学習サービス提供システム1と学習依頼システム2とを含んで構成され、両者はインターネットなどのネットワークN0を介して互いに接続される。なお、本システムの構成は図示のものに限定されず、例えば、学習サービス提供システム1と学習依頼システム2とを一体のものとして構成してもよい。
図1に示すように、学習サービス提供システム1は、学習結果データベース11と、学習依頼受付装置12と、一又は複数の学習装置13と、学習管理システム14とを有し、これらがローカルネットワークN1を介して互いに接続されている。また、学習依頼システム2は、学習データ準備装置21と、学習依頼装置22と、一又は複数の学習結果利用装置23とを有し、これらがローカルネットワークN2を介して互いに接続されている。また、学習データ準備装置21と学習結果利用装置23には、それぞれ学習データ入力装置24が接続されている。
なお、以下の説明では、学習サービス提供システム1及び学習依頼システム2に含まれる各装置はPC(Personal Computer)やサーバ装置などのコンピュータによって構成されるものとして説明するが、これに限定されず、例えば、プロセッサを用いた任意の組込装置によって実現されてもよい。また、各装置において実装される機能はソフトウェアによって実現される構成に限定されない。各装置に含まれる任意の機能は、ハードウェアによって実現される構成でもよい。例えば学習モデルの一例として後述するニューラルネットワーク132、233はカスタムLSI(Large-Scale Integration)やFPGA(Field-Programmable Gate Array)等の電子回路によって構成されてもよい。さらに、各装置の一部は、物理的な鍵やDNAのような生化学的な方法、ホログラムなど光学的な方法による識別手段によって実現される構成でもよい。
図2は、図1に示したシステムによる、学習サービスの流れを概念的に示す図である。学習依頼システム2は、ネットワークN0を介して学習サービス提供システム1にアクセスし、学習結果利用装置23に追加する能力の機械学習を依頼する。機械学習を行うために必要な情報(以下、「学習依頼情報」ともいう。)は、学習依頼装置22から学習サービス提供システム1の学習依頼受付装置12へ提供される(S1)。学習依頼情報には、例えば学習の目標や、学習結果を利用する装置を識別する情報、学習データ等が含まれる。
学習依頼情報は、学習依頼受付装置12から学習装置13へと送信される(S2)。学習装置13では、学習依頼情報に基づいて、学習を行い、学習結果として新たな能力を獲得する。なお、学習結果とは、具体的には、ニューラルネットワーク132、233に設定されるパラメータ等の設定値であってもよい。
学習結果は、複製可能なパッケージ化されたデータに変換される(S3。以下、単に「学習結果」ともいう。)。データ化された学習結果は、学習装置13から学習結果データベース11へ送信され、種々の利用者から検索可能な形式で管理される(S4。詳細については後述する。)。なお、種々の利用者とは、学習プログラムの作成者や、学習結果の提供者、学習の成果を利用する利用者、その他学習結果にかかわる人を含む。さらに、学習結果は、学習依頼システム2の学習結果利用装置23へと送信され、学習結果利用装置23において、学習結果が利用されることによって、能力が発揮される(S5)。
<2.機能>
<2-1.学習依頼システム2>
次に、図3乃至図5を参照して学習依頼システム2の機能について説明する。なお、学習依頼システム2は、以下に説明する構成に限定されず、例えば単一の装置により構築される構成でもよい。
まず、学習データ入力装置24は、学習結果利用装置23の、後述するニューラルネットワーク233の入力データとなる対象に関する情報や、学習データ準備装置21の入力データとなるデータを取得する。例えば学習データ入力装置24は、カメラやセンサ、ネットワーク端末、自走型ロボットのセンサなど任意の入力装置を用いることができる。
図3は、本実施形態における学習データ準備装置21の機能ブロック図である。学習データ準備装置21は、学習モジュール(例えば後述するニューラルネットワーク233)が学習するために必要なデータ(学習データ)を準備する機能を有する。図3に示すように、学習データ準備装置21は、機能部として、操作部211と、学習データ取得部212と、学習データ記憶部213と、データ取得制御部214とを有している。
例えば、操作部211は、学習依頼システム2の利用者(以下、「依頼者」ともいう。)からの操作を受け付ける。学習データ取得部212は、学習データ入力装置24から学習データを作成するために必要なデータを取得し、学習データ記憶部213に記憶する。データ取得制御部214は、操作部211や学習データ取得部212、学習データ記憶部213を制御して、学習に必要なデータを準備する。通信部216は、学習依頼システム2のローカルネットワークと接続し、データ取得制御部214が作成した学習に必要なデータを他の装置に送信する。
なお、学習データ準備装置21は後述する学習結果利用装置23と同一の装置を用いて構築する構成でもよい。この場合、学習データ準備装置21は、学習結果利用装置23に外部接続される入力装置として構築することも可能である。
図4は、本実施形態における学習依頼装置22の機能ブロック図である。学習依頼装置22は、学習依頼情報を学習サービス提供システム1に送信する機能を有する。図4に示すように、学習依頼装置22は、学習依頼部221と、学習依頼内容記憶部222と、学習データ記憶部223と、通信部224とを有している。
学習依頼部221は、依頼者から学習依頼を受け付け、学習依頼情報を作成し、通信部224を介して学習依頼情報を学習サービス提供システム1へと送信する。このとき送信される学習依頼情報は、学習依頼内容記憶部222に記憶される。また、学習データ準備装置21から送信される学習データは、学習データ記憶部223に記憶される。
さらに、学習依頼装置22は、学習結果に付与されている識別情報(詳細については後述する)を参照し、入力された学習結果が利用目的に適合するか否かを判定してもよい。学習結果が利用目的に適合する場合には、学習依頼装置22は、学習結果を学習結果利用装置23に組み込み、学習結果を利用させる。他方で、学習結果が利用目的に適合しない場合には、学習依頼装置22は学習サービス提供システム1に対して不適合を通知することができる。このとき、学習依頼装置22は、条件を変えて再度学習を依頼してもよい。
図5は、本実施形態における学習結果利用装置23の機能ブロック図である。学習結果利用装置23は、学習結果を利用して新たな能力をユーザに提供する機能を有する。図5に示すように、学習結果利用装置23は、機能部として、学習結果入力部231と、ニューラルネットワーク設定部232と、ニューラルネットワーク233と、制御部234と、入力部235と、通信部236と、データ取得部237と、出力部238とを有している。
学習結果入力部231は、学習結果の入力を受け付ける。このとき、ニューラルネットワーク設定部232が利用目的に応じた設定をニューラルネットワーク233に対して行う。さらに制御部234は、データ取得部237及び入力部235を制御して学習結果の利用に必要なデータをニューラルネットワーク233に入力し、学習結果の利用を行う。なお、学習結果を利用した結果は、通信部236を介して出力部238より出力される。
<2-2.学習サービス提供システム1>
図6乃至図10を参照して学習サービス提供システム1の機能について説明する。なお、学習サービス提供システム1は、データセンターやクラウドを用いて実装することが可能である。この場合、学習サービス提供システム1の各装置は、PCサーバやブレードPCを用いて構築することができる。学習サービス提供システム1の各装置を複数のPCで構築することで、深層学習等の繰り返し演算を実行する場合に処理時間を短縮することができる。なお、学習サービス提供システム1は、1台のPCで構築される構成や、組み込み装置によって実装される構成でもよい。
図6は、本実施形態における学習結果データベース11の構成を示すブロック図である。学習結果データベース11は、学習を行うときに必要となる様々な情報を格納する。学習結果データベース11は、個々の学習結果を識別する機能と、学習結果を所定の検索条件に基づいて抽出する機能と、抽出された学習結果について、詳細な情報を出力して提示する機能とを有していてもよい。
図6に示すように、学習結果データベース11は、学習データDB111と、学習依頼DB112と、学習結果利用情報DB113と、バージョン管理DB114と、学習プログラムDB115と、要因情報DB116とを有している。
学習データDB111は、学習に用いる学習データを格納する。例えば学習データDB111は、学習データに、学習データの対象や、学習データの内訳、学習データの範囲、学習の目的など学習の要件を関連づけて格納することができる。
学習依頼DB112は、学習依頼情報と、当該学習依頼情報を学習依頼装置22から受け付けた場合に実施する学習の内容を格納する。例えば学習依頼DB112は、学習依頼情報に、学習依頼者に関する情報、学習データの対象や、学習データの内訳、学習データの範囲、学習の目的など学習の依頼要件を関連づけて格納することができる。
学習結果利用情報DB113は、学習結果の成果や利用履歴に関する情報を格納する。例えば学習結果利用情報DB113は、学習結果として分類能力が獲得された場合には、獲得した分類能力を利用して、分類を行った結果に関する情報を格納できる。さらに学習結果利用情報DB113は、学習結果の利用者に関する情報や、学習データの対象、学習データの内訳、学習データの範囲、学習の目的など学習の利用に関連づけて、学習結果の利用に関連する情報を格納することができる。さらに学習結果利用情報DB113は、利用識別情報を含むことが好ましい。利用識別情報は、学習結果の利用や成果を識別できる情報であり、例えば利用する装置のIDや能力に影響を与える設定(後述の基本要因や影響要因等)に関する情報を含む。獲得した能力は、利用される装置や利用される環境に応じて変化する場合があるため、学習利用履歴DB133が利用識別情報を含むことにより、より詳細に利用履歴を記録することができる。
バージョン管理DB114は、学習により獲得した能力のバリエーションに関連する情報を格納する。例えばバージョン管理DB114は、学習結果ごとに能力のバリエーションに関連する情報を格納することができる。バージョン管理DB114に格納される情報には、後述する学習結果及び学習成果の識別情報が含まれる。すなわち、バージョン管理DBは、学習結果及び学習成果を識別可能な情報を格納する記憶部として機能する。
学習プログラムDB115は、学習を行うための学習プログラムを格納する。例えば学習プログラムDB115は、学習の対象や、学習データの内容、学習の目標など学習の要件に関連づけて、学習プログラムを格納することができる。なお、学習プログラムDB115には多数の学習プログラムを登録できることが好ましい。この場合、後述する学習装置13は、学習の要件を指定することで、学習プログラムDB115から学習プログラムを特定して、実行可能にすることができる。また、学習プログラムDB115は、学習プログラムごとに、学習結果の能力を比較するプログラムを格納する。この比較プログラムは、学習プログラムごとに予め作成される。なお、学習プログラムごとに比較プログラムを用意することに限定されず、学習対象ごとに比較プログラムが用意されるものとしてもよい。
要因情報DB116は、学習の結果として得られる学習結果や能力に影響を与える要因に関する情報を格納する。要因情報DB116に格納される情報は階層的に管理され、ツリー状の構成を持つ。本実施形態においては、要因は基本要因と影響要因とに大きく分類される。基本要因は学習結果を上位の階層で識別するために用いられる要因である。他方で、影響要因は基本要因以外で学習結果に影響を与える要因である。要因情報DB116においては、格納された各要因に識別用のID情報が付与されており、相互に識別することが可能である。
図7A、図7Bを参照して、要因情報DB116に格納される要因に関する情報の一例について説明する。なお、本実施形態においては、要因を基本要因と影響要因とに分類して識別情報を管理する例について説明する。ここでは、基本要因は、使用開始前に学習結果をグループ化することのできる要因であり、影響要因は、使用開始後に学習結果の識別に影響を与える要因であるものとして説明する。しかしながら、要因の分類方法はこれに限定されず、他の観点で要因を分類してもよい。また、分類の数も2つに限定されず、3つ以上に分類してもよいし1つにまとめて管理してもよい。
図7Aは、基本要因と基本要因に割り当てられるIDの種別の対応関係の一例を示す表である。基本要因は、上記のとおり、使用開始前に学習結果をグループ化することのできる要因である。
学習は所定の能力を獲得するために行われるものであるため、獲得能力によって識別できる。従って獲得能力の種類にIDが付与されて管理されている。また、学習は学習依頼者の依頼に基づいて行われ、学習依頼ごとに異なる学習が行われることになる。従って学習依頼者(依頼者ID)によっても学習結果を識別することが可能である。さらに、すべての学習は学習データに基づいて行われており、学習データの対象によって学習結果を識別することが可能である。学習データの対象は入力データの取得元や、取得期間によって特定できるため、これらの要因にもID(入力データID、取得期間ID)が付与され基本要因として管理される。
また、獲得した能力が同じ(獲得能力IDが同一)であっても、能力が利用される装置の仕様や利用環境などの影響で学習結果が変化する場合がある。従って利用する装置や利用する対象にも利用装置IDや対象IDが付与され、基本要因として管理される。なお、基本要因は図7Aに示したものに限定されず、図7Aの基本要因の一部を選択的に使ってもよいし、学習結果をグループ化できれば他の要因が含まれていてもよい。
図7Bは、影響要因の相互関係の一例を示す図である。影響要因は、使用開始後に学習結果の識別に影響を与える要因であり、例えば過去の学習において、設定されたパラメータや条件等に基づいて要因情報DB116に追加して登録される。図7Bに示すように、影響要因はツリー構造となる相互関係を有していることが好ましい。なお、図7Bには図示を省略しているが、各影響要因には識別可能なIDが付与されている。また、各影響要因に付与されるIDは、階層構造が把握可能なように付与されていることが好ましい。
図7Bに示すように、影響要因の最上位の階層は、一例として外部インタフェース、学習データ、所属関連情報、学習の時期、学習の目標、学習装置、学習の方法、能力のテストから構成されている。
外部インタフェースは、例えば入力データの種類や出力データの種類等、学習プログラムと外部とのインタフェースに関連する要因である。
また、学習データは、学習に使用されるデータに関する要因である。要因情報DB116において、学習データにIDを付与して管理することで、学習データの詳細を秘匿して管理することができる。
所属関連情報は、学習プログラム等の所属に関する情報に基づく要因である。なお、所属関連情報のそれぞれに権利関係がある場合には、所属関連情報の下位の要因として、要因情報DB116において管理されることが好ましい。
学習の時期は、学習がいつ行われたかに基づく要因である。また、学習の目標は、学習ごとに設定された多様な目標に基づく要因である。
学習装置は、学習が行われる装置に基づく要因である、なお、学習がクラウド上で行われる場合には、装置の機種の代わりに、クラウドの運営会社の名称やネットワークアドレスを、学習装置の下位の要因として用いることができる。
学習の方法は、学習が行われる方法に基づく要因である。なお、図7Bには示さないが、学習の方法の下位の要因であるニューラルネットワークの構成はさらに下位の要因として、例えば、深層学習以前からあるSVM、回帰モデルなどの手法や、ディープビリーフネットワーク、ディープボルツマンマシン、積層自己符号化器、オートエンコーダ、制限ボルツマンマシン(RBM)、ドロップアウト、スパースコーティング、正則化、雑音除去自己符号化器、活性化関数の種類、シグモイド関数、ソフトサイン、ソフトプラス、Relu、乱数系列の種類など、具体的な学習手法を有していることが好ましい。また、ニューラルネットワークの構成の設定の下位の要因には、ハイパーパラメータ、入力層の構成、層の数、隠れ層のユニット数、各層の内容(CNN(Convolutional Neural Network)、RNN(Recurrent Neural Network)、Elman network、Jordan network、ESN(Echo state network)、LSTM(Long short term memory network)、BRNN(Bi-directional RNN)等、具体的なニューラルネットワークの設定に関する情報が含まれることが好ましい。
能力のテストは、学習結果が満たすべきテスト要件に基づく要因である。能力のテストが行われることにより、学習結果は、その要件を満たすように変更されるという影響を受けるため、能力のテストも影響要因の一つとして管理される。
なお、例えば深層学習など、乱数を用いる学習手法においては、学習を実施するごとに、獲得した能力に少しずつ差異が生じる場合がある。このような場合には、学習開始時刻や学習終了時刻と学習装置のIDを影響要因として識別IDを付与して管理することが好ましい。
また、影響要因のうち、複数の項目は同等であると見なせるケースがあり得る。その場合、複数の要因の種別をグループ化して同じ識別IDを付与するようにしてもよい。さらに影響要因は上記に限定されない。学習の対象と目的や環境に応じて、さまざまな影響要因が発生する。
本実施形態に係る学習結果データベース11が、上述の構成を備えることで、異なる学習結果をそれぞれ識別して管理することが可能となり、それにより、学習サービス提供システム1において、学習結果の同一性を判定することができる。なお、学習結果データベース11が有する各DBはそれぞれローカルネットワークなどのネットワークを介して、学習依頼受付装置12、学習装置13、学習管理装置140等から利用することができる。なお、学習結果データベース11の検索処理の詳細については後述する。
図8は、本実施形態における学習依頼受付装置12の機能ブロック図である。学習依頼受付装置12は、学習依頼装置22から学習依頼情報を受け付け、当該学習依頼情報を学習装置13に送信する機能を有する。図8に示すように、学習依頼受付装置12は、例えば、学習依頼受付部121と、学習データ記憶部123と、学習依頼内容記憶部124と、通信部125とを含んで構成される。
学習依頼受付部121は、学習依頼装置22から学習依頼を受け付ける。学習依頼受付部121は受け付けた学習依頼に含まれる学習依頼情報を、学習依頼DB112に登録する。このとき学習依頼受付部121は、通信部125を介して、学習依頼を受け付けた旨の通知を学習管理装置140に送信する。また、学習依頼受付装置12は、受け付けた学習依頼を学習データ記憶部123や、学習依頼内容記憶部124に一時的に保存しておくことができる。
図9は、本実施形態における学習装置13の機能ブロック図である。学習装置13は、学習依頼情報に基づいて学習を行い、学習結果として新たな能力を獲得する機能を有する。図9に示すように、学習装置13は、機能部として、学習制御部131と、ニューラルネットワーク132と、学習結果抽出部133と、通信部134と、学習結果出力部135とを有している。
学習装置13においては、学習制御部131がニューラルネットワーク132を制御して、学習依頼情報に基づいて学習を行うことができる。学習結果は学習結果抽出部133によって抽出され、通信部134を介して、学習結果出力部135によって出力される。
学習装置13において、複数回学習が行われると、複数の学習結果が得られる。それぞれの学習において、学習データ、学習プログラム、学習時間、学習の目標など、学習結果に影響を与える要件が相違すると、複数の学習結果によって得られる能力は同一ではない可能性がある。詳細については後述するが、本実施形態に係る学習サービス提供システム1においては、複数の学習結果によって得られる能力が同一ではない可能性がある場合には異なる識別情報を付与してバリエーションとして管理することができる。
なお、学習装置13は、自身が、学習依頼を行うことも可能である。この場合には、学習装置13は、自律的な学習が可能となる。
図10は、学習管理システム14の構成を示す概略図である。図10に示すように、学習管理システム14は、学習管理装置140と、学習識別情報生成装置15と、学習結果識別情報生成装置16と、学習結果利用環境情報生成装置17とを有し、これらがローカルネットワークを介して互いに接続されている。
学習管理装置140は、学習結果とその成果の管理を行う。学習サービスを提供する学習サービス提供システム1において、学習サービス提供システム1内のすべての学習結果とそれによってもたらされる学習成果を個別に管理することが望ましい。従って、学習サービス提供システム1の内部では、すべての学習結果とその成果は、学習管理装置140によって相互に識別できるように管理される。例えば影響要因のいずれかが異なる条件で学習を行うと、それぞれの学習結果は相違する可能性がある。すなわち、影響要因の構成が変わることで、学習結果は異なる影響を受けるため、学習結果には多くのバリエーションが発生する。また、同じ学習結果であっても異なる装置や環境で利用すれば、もたらされる成果は異なり得る。学習管理装置140は、学習結果とその成果を管理するために、バリエーションを識別する。
図10に示すように、学習管理装置140は、学習情報取得部141と、学習制御部142と、要因情報取得部143と、識別範囲設定部144と、影響判定部145と、通信部147と、を有している。
学習情報取得部141は、通信部147を介して学習依頼情報を取得する。
学習制御部142は、学習依頼情報に基づいて、学習を行う学習装置13と学習プログラムとを選択し、学習を指示する。また、学習制御部142は、学習結果を比較する処理を実行する。さらに、学習制御部142は、学習がなされたことによって所定の能力を獲得した学習結果に対して、学習識別情報生成装置15によって生成された第1情報と、学習結果識別情報生成装置16によって生成された第2情報とを含む識別情報を付与する機能を有する。また、学習制御部142は、学習結果によってもたらされる成果に対して、第1情報と第2情報とを含む識別情報に紐付けて、学習結果利用環境情報生成装置17によって生成された第3情報を含む情報を付与する機能を有する。すなわち、学習制御部142は、学習結果に対して、学習を識別可能な第1情報と、学習結果を識別可能な第2情報と、学習成果を識別可能な第3情報とを含む識別情報を生成する生成部として機能し、これにより、学習結果によってもたらされる成果を相互に識別できるようになる。ここで、学習結果に識別情報を付与するとは、学習結果と識別情報とを対応付けることを含む概念であり、例えば、学習結果のデータに識別情報を付加することや、記憶装置に学習結果と識別情報を対応付けて記憶することを含む。また、学習結果と識別情報を直接対応付けることに加え、これらを間接的に対応付けることも含む。例えば、学習結果に対して、当該学習結果そのものを識別するための識別子(例えばシリアル番号)を対応付けた上で、識別子と識別情報とを対応付ける場合も、学習結果に識別情報を付与することに含まれる。
要因情報取得部143は、要因情報DB116から学習結果に影響を与える可能性がある要因のリストを取得する。例えば要因情報取得部143は、図7Bに示した影響要因のツリー構造に対応する情報(以下、「影響要因のリスト」ともいう。)を取得することができる。
識別範囲設定部144は、バリエーションの識別が必要となる範囲(識別範囲)を設定する。識別範囲を特定することは、学習結果や学習成果をグループ化することに相当する。学習結果や学習成果のバリエーションは、識別を行う必要のある範囲において識別できればよい。すなわち、識別範囲が相違する場合には、異なる識別範囲間において、学習結果や学習成果は相互に識別できなくてもよい。例えば、学習依頼者が異なる場合には、バリエーションを相互に識別できなくても問題にならない場合がある。具体的には、ある学習依頼者は、自身が依頼した範囲で識別できればよく、他者の学習結果とその学習成果との間でバリエーションが一意に識別される必要はない。例えば識別範囲設定部144は識別範囲のリストを用いて識別範囲を設定することができる。
図11は、識別範囲のリストの一例を示す図である。図11に示すように識別範囲は、例えば階層的に構成され、下位の識別範囲は上位の識別範囲に対して包含関係となるようにできる。具体的には、全ての識別範囲を含む集合は、全体のトップレベル(以下、「第1層」という。)の識別範囲となる。第1層の識別範囲では、全ての学習結果や学習成果が相互に識別できる必要がある。例えば、学習サービス提供者の全ての学習結果や学習成果を識別する必要がある場合には、識別範囲設定部144は、第1層の識別範囲を設定する。
図11の例では、第1層の下の第2層の識別範囲は、学習依頼者や応用分野によって規定される集合である。識別範囲設定部144によって学習依頼者ごと(第2階層)に識別範囲が設定された場合には、学習結果や学習成果は学習依頼者ごとに識別可能な識別情報が学習識別情報生成装置15、学習結果識別情報生成装置16及び学習結果利用環境情報生成装置17によって生成される。さらに第2階層の下の第3層の識別範囲は、例えば会社(図11の場合には、A社、B社、C社)や応用分野の種類(図11の場合には、工業分野、商業分野、農業分野)ごとに規定することができる。この場合、会社ごと(第3階層)に識別範囲が設定された場合には、会社ごとに識別可能な識別情報が生成されることになる。また、例えばある会社(A社)が複数の工場を保有しており、さらに工場や、工場のラインごとに異なる対象に関する学習を行っている場合には、識別範囲設定部144は、A社の工場ごと(第4層)やそのライン(第5層)ごとに識別範囲を設定してもよい。なお、この場合において、識別範囲設定部144は、他の会社(B社やC社)に対して、A社とは異なる要素に基づいて下位の識別範囲を設定してもよい。
識別範囲が階層構造を有することで、下位の識別範囲に対応する識別情報から上位の識別範囲に対応する識別情報を除くことができ、これによって識別情報の容量を減らすことができる。
なお、識別範囲設定部144が設定する識別範囲は上述の例に限定されず、任意に設定可能である。例えば、識別範囲は、基本要因や影響要因に基づいて設定されるものとしてもよい。この場合には、識別範囲のリストは、影響要因のリストに対応する構成を有してもよい。例えば影響要因のツリー構造は、それに対応する識別範囲の階層構造にも引き継がれることが好ましい。具体的には図7Bにおいて影響要因「外部インタフェース」によって分類される識別範囲が第3層の識別範囲であるとすると、外部インタフェースの下位に位置づけられた影響要因「入力データ」は、例えば第4層の識別範囲になる。このとき識別範囲設定部144は、学習依頼情報に含まれる影響要因が図7Bに示す影響要因のツリー構造のどの階層に属するかに基づいて、識別範囲を設定することができる。なお、識別範囲設定部144は、学習依頼情報に含まれる基本要因の組み合わせに応じて設定することも可能である。
さらに、識別範囲設定部144が識別範囲を設定する方法は、識別範囲のリストを用いる方法に限定されない。例えば、集合をクラスとして備えたプログラミング言語を用いることで、集合を直接扱うことができる。
影響判定部145は、要因情報取得部143が取得した影響要因のリストに基づいて、影響要因が学習結果に与える影響度を判定する。
例えば影響判定部145は、識別範囲ごとに作成された影響判定ロジックを用いて、基本要因や影響要因が学習結果に与える影響度を判定することができる。影響判定ロジックは、その識別範囲に含まれる学習プログラムに対して、基本要因や影響要因が与える影響について判定するロジックである。影響判定ロジックは、学習結果に影響を与える可能性のある要因(基本要因、影響要因)が入力として与えられた場合に、それぞれの要因ごとに学習結果への影響の有無を判定する。具体的には、影響判定ロジックは、学習プログラムごとに、学習結果に影響を与える要因(基本要因、影響要因)の感応度を計測し、当該要因が学習結果に影響を与えるものであるか否かを判定する。例えば、複数の要因に与えられる条件(例えば学習データや、学習依頼者のID、学習の目標等)を固定したまま、影響度を分析したい所定の一又は複数の要因に与えられる条件を変えて、学習結果にどの程度の差異が生じるかを見ることによって、当該一又は複数の要因が学習結果へ与える影響度を計測することができる。また、各要因について事前に感応度分析を行い、要因ごとに当該要因に与えられる条件が学習結果へ与える影響度を対応付けておくことにより、影響判定ロジックは当該対応付けを参照して影響度を判定してもよい。
影響判定ロジックにおいては、例えば特定の2つの学習において、完全に学習結果が一致する要因については影響を与えないとみなしてもよい。また、所定の条件で学習結果が近いと判定される要因についても、影響を与えないとみなしてもよい。
影響判定ロジックは、例えば学習プログラムの作成者によって作成される。ある識別範囲に含まれる学習プログラム全体に適用可能な影響判定ロジックを作成するのが困難な場合には、識別範囲を分割し、分割された識別範囲ごとに影響判定ロジックを作成することも可能である。
なお、影響判定ロジックの作成者は、学習ロジックの詳細を把握している者であれば学習ロジックの作成者に限定されない。影響判定ロジックを作成するには、学習ロジックの内部で乱数を用いられているか否かというような構成の内容や、入力されるデータの種類や数などに応じて所定の判定条件で、学習ロジックが切り替わる構成である場合にはその切り替え条件、学習方法に関する指定項目(ニューラルネットワークの構成や終了条件等)等、学習ロジックの詳細を知る必要がある。従って学習ロジックの詳細を把握している者であれば影響判定ロジックを作成できる。
他方で、影響判定ロジックに入力として与えられるデータは、学習ロジックの作成者では知り得ないものも含まれる。例えば、学習を行う際の学習データや、学習依頼者が指定する影響要因については、学習依頼者と学習ロジックの作成者が異なる場合には、学習ロジックの作成者は知ることができない。なお、学習依頼者が指定する影響要因として、一例として、以下の例が挙げられる。
・学習結果を利用する装置の機種、利用するセンサの機種
・獲得する分類能力の分類数
・言語処理能力で対象とする言語
影響判定部145は、学習プログラムの作成者では知り得ない上述のような情報を学習依頼情報から抽出し、学習プログラムの構成を知る者しか知り得ない影響判定ロジックに対してこのような情報を入力として与える。これによって、学習が行われたときに、基本要因や影響要因が学習結果に与える影響を判定することができ、学習結果のバリエーションを管理することができる。さらに、学習サービスの場合、学習依頼を受け付けたときの情報や、選択した学習プログラムの情報、選択した学習データの情報等、学習サービス提供システム1しか把握できない情報もある。これらの情報も、学習を実施するときに、影響判定部145によって、影響判定ロジックに入力されることが好ましい。
さらに影響判定ロジックは、学習データによる影響の判定に用いてもよい。多くの場合に、学習データの相違は学習結果に影響を与えるが、学習データは、学習を行うときに指定され、学習プログラムの作成者では学習データを指定できない場合がある。このような場合にも、用いられた学習データの内容に関する情報を取得できるようにすることで、学習データに応じて影響が有るか、無いかを判定するロジックを作成することができる。具体的には、学習データ準備装置21が学習データを準備するときに、準備する学習データに関する情報を取得して、その識別IDを記録することで、学習データに関する詳細な情報が記録できる。
なお、影響判定部145において、要因が学習結果に与える影響を判定する方法は、上述の例に限定されない。例えば、学習ツールとして所定の学習プログラムを使っているとき、影響判定部145は、当該プログラム内で利用方法や設定が変更されたことに基づいて影響の有無を判定してもよい。例えば、変更された設定に関する情報を学習データに追加することで、影響判定部145は、設定の変更を検知することができる。具体的には、センサの閾値を変更させた場合等には、変更前の閾値に加えて変更後の閾値に関する情報を追加することで、影響判定部145は、設定変更を検知することができる。さらに、IDやタグなどの情報を追加することでも設定変更を検知することができる。
他方で、例えば、学習に関する設定や、学習データを全く変更せずに、2回学習を行った場合、2回行ったこと以外に影響要因の変更はない。しかし、学習プログラムが内部で乱数を使っている場合などに、同じ条件で複数回行った学習結果とで獲得された能力が異なる場合がある。このような場合には、影響判定ロジックは、学習回数が学習結果に影響を与えるとの判定を行う。これにより後述する学習識別情報生成装置15、学習結果識別情報生成装置16及び学習結果利用環境情報生成装置17は、学習回数=1回目と学習回数=2回目のように識別情報を付与することができる。
さらに影響の有無を判定する方法は上記に限定されず、任意の方法を用いることができる。例えば、学習データの取得担当者が、学習データ準備装置21のキーボードとマウス(操作部211)を操作して、識別のための情報を入力する構成でもよい。また、学習依頼装置22からの学習依頼情報に含まれる情報を元に、依頼内容の差を把握して影響の有無を判定する構成でもよい。
図10に戻って学習管理システム14の構成の続きについて説明する。
学習識別情報生成装置15は、学習結果が利用される範囲(例えば識別範囲設定部144が設定した識別範囲)に応じて学習のバリエーションを相互に識別可能なように識別情報(以下、「第1情報」ともいう。)を生成する。例えば学習識別情報生成装置15は、学習結果に影響を与える要因に基づいて第1情報を当該学習に付与する。具体的には、学習識別情報生成装置15は、学習依頼情報に対応する学習プログラムに基づいて、影響判定ロジックを選択する。次に学習識別情報生成装置15は、識別範囲と、影響要因のリストとを、選択した影響判定ロジックに入力する。学習識別情報生成装置15は、影響判定ロジックが、学習結果に影響を与えると判定した影響要因をすべて含むように、第1情報の元となるデータを生成する。さらに学習識別情報生成装置15は、この第1情報の元となるデータを所定の方法で変換することで、学習の第1情報を生成する。
学習識別情報生成装置15の処理について、より詳細に説明する。影響要因は、上述のとおりツリー構造を有している(図8B参照)。学習識別情報生成装置15は、影響判定ロジックによって影響を与える影響要因と判定された影響要因を含まない分岐について、ツリー構造から削除する。この処理をツリー構造の上層から下層へと順次実行していき、ツリー(以下、「影響要因説明情報」ともいう。)を作成する。学習識別情報生成装置15は、影響要因説明情報に含まれる影響要因のIDを上層から順次列挙していくことで得られたデータ列を、第1情報の元となるデータとすることができる。このときのデータ列は、例えば文字列でもよいしバイナリ形式でもよいし、XML形式でもよいし、JSON(JavaScript Object Notation)のような表現方法でもよい。なお、この手順で得られたデータ列は、所定の影響要因が学習結果に対する影響度の情報を含むことが好ましい。この場合、例えば、影響判定部145は、影響判定ロジックの出力に応じて、ツリー構造に影響度を記述しておき、学習識別情報生成装置15は、影響度も合わせてデータ列に列挙することが好ましい。
学習識別情報生成装置15は、データ列を、一覧表化、圧縮化、又は暗号化等、所定の方法で変換し、第1情報を生成する。なお、所定の方法とは、このとき元のデータ列が異なれば、異なる第1情報が生成される方法である。
一例として、このとき生成される第1情報は、「qijsudi48fuhu」「nvfsuki3fjn45ip」等の所定の文字列である。なおこの文字列はランダムに生成されてもよい。この場合、学習識別情報生成装置15は、生成した文字列と元のデータ列とを一覧表で管理することで、異なる学習結果に同一の第1情報を割り当てることを防ぐことができる。ただし、第1情報の例は文字列に限定されず、データ列から情報量を減らせる任意の方法をとることができる。
なお学習識別情報生成装置15は、上記以外の任意の方法で第1情報を生成することができる。例えば、オブジェクト指向言語でプログラムを作成し、要因情報を階層構造のクラスで定義して、クラスのインスタンスに対してマーキングした結果を、シリアライズして、データベースに登録することも可能である。
例えば深層学習など、乱数を用いる学習手法においては、上述のとおり学習を実施するごとに、獲得した能力に少しずつ差異が生じる場合がある。このような場合には、学習識別情報生成装置15は、上述の手法により生成した第1情報に1回目の学習、2回目の学習のように回数を表す情報(派生識別情報)を付与してもよい。また、学習装置13として多数のPCが用いられる場合、用いられたPC名を組み合わせて第1情報を生成することができる(例えば、「C2145.33回目の学習」等)。
なお、第1情報は基本要因や影響要因に応じて階層構成とすることも可能である。
学習結果識別情報生成装置16は、学習がされた結果である学習結果を識別するための識別情報(以下、「第2情報」ともいう。)を生成する。学習結果は影響要因が同等であっても(すなわち、同一の第1情報が付与された学習がなされた場合であっても)異なる場合がある。このような場合には、影響要因が同じであったとしても、学習結果を用いた成果(学習成果)が異なる可能性がある。学習結果を利用する利用者は、学習成果に関心があるため、影響要因が同じであっても学習成果が異なる可能性がある場合には、別の学習結果として識別されることが好ましい。学習結果識別情報生成装置16は、このような場合でも学習結果を識別できるように学習結果に対して第2情報を付与して識別する。
第2情報は、例えば、学習を識別する情報(どのような学習が行われたかを示す情報。例えば第1情報である。)や、学習の実施環境に関する情報(どこのどのような装置で学習がされたのかを示す情報)、学習結果を利用する装置に関する情報(どこでどのように利用されるかを示す情報)、学習結果として獲得した能力に関する情報(どのような能力が獲得されたかを示す情報)等を含んでもよい。なお、学習結果を利用する装置に関する情報は、当該装置のスペックや設置環境に関する情報を含んでもよい。
このような学習結果を識別する情報は、学習依頼に基づいて生成されることが好ましい。例えば学習依頼において、サイズの異なるロボットの制御に関する学習が依頼されている場合には、学習結果を識別する情報には、学習結果が利用されるロボットのサイズを示す情報が含まれることが好ましい。
なお第2情報には、さらに学習結果の内容を識別することが可能な情報を含めてもよい。すなわち、第2情報に、依頼者が依頼した内容に合致した学習結果であるか否かを判断することが可能な情報を含ませることができる。例えば、学習結果識別情報生成装置16は、第2情報に基づいて、学習依頼DB112を参照して、学習結果の内容を識別するのに必要な、個別の影響要因に関する詳細な情報(例えば、学習データの識別子や、学習の目標値等)を検索し、第1情報及び第2情報と併せて依頼者に通知することができる。依頼者は通知された詳細な情報を参酌することで、学習結果の内容について識別を行うことができる。
外部からの入力を受け付ける手段(以下、「入力手段」ともいう。)を有しておらず、自己学習等で能力が変化しない機械の場合、当該機械の動作仕様は納品時(または工場出荷時)に確定する。他方で、能力が変化しない機械であっても、外部からの入力に応じて動作を行う機械の場合には、その入力に対する動作の仕様を定義して当該機械を製造することで、動作仕様を満たす機械を製造することができる。
しかし、学習によって能力が変化する機械である場合には、学習の前後によって、入力に対する動作が変化する場合があるため、あらかじめすべての動作仕様を定義しておくことができない。例えば、利用する機械の種類や製造番号、インストールしたプログラムのバージョン番号等がすべて同一であったとしても、学習前後で動作が異なる場合がある。そのため、本実施形態に係る学習結果識別情報生成装置16が、学習結果に対して識別情報を生成することで、このような機械を利用する際に、利用者はあらかじめ機械の動作仕様を把握することができる。
学習結果利用環境情報生成装置17は、学習結果の成果や利用状況に関する情報である利用識別情報(第3情報)を生成する。学習結果を学習結果利用装置23において利用する場合には、学習結果の成果に関する情報の他、学習結果の複製や、当該複製の転送、学習結果の利用状況等の事項を管理することが好ましい。そのため、学習結果利用環境情報生成装置17は、以下のような成果や利用状況等に関する情報を第2情報に紐づけて学習結果利用情報DB113に格納することが好ましい。
・学習によって獲得された能力
・学習結果の利用者
・学習結果を利用した装置・学習結果が利用された場所
・学習結果の利用目的
・学習結果の利用対象
・学習結果の組み合わせ
・学習結果の分割
・学習結果の利用履歴
学習結果利用情報DB113において、上記の情報を記録可能なデータに変換して、時系列で記録する。このとき、成果や利用状況を識別する利用識別情報を、上述の学習や学習結果の識別情報と同様の方法で生成し記録することが好ましい。
<3.データ構造>
図12を参照して、学習結果利用情報DB113に格納される学習に関する情報の構成の一例について説明する。学習結果利用情報DB113には、図12に示すように、学習に関する情報がツリー構造で保存されている。具体的には、学習の識別子(第1情報)ID1に、複数の学習結果の識別子(第2情報)ID2が紐づけられており、さらに複数の学習結果の識別子ID2のそれぞれには、成果や利用状況に関する利用識別情報(第3情報)が紐づけられている。このように学習結果利用情報DB113において、学習に関する情報がツリー構造で保存されることにより、記憶容量を低減させることができ、さらに検索の際の処理速度を向上させることができる。なお、図12に示した学習に関する情報の構成は一例であり、これに限定されない。例えば、学習がユニークなものである場合には、第1情報を有さず、第2情報及び第3情報のみで学習結果や成果が識別される構成でもよい。
<4.検索処理>
学習結果データベース11の検索機能について説明する。学習結果データベース11の利用者としては、一例として以下の者が想定される。
・学習フレームワークの作成者
・学習プログラムの作成者
・学習の管理者
・学習データの管理者
・学習結果の管理者
・学習結果利用装置23の開発者
・学習結果利用装置23の管理者
・学習結果利用装置23の利用者
上記の利用者は、それぞれ異なる利用形態で学習結果データベース11を利用する場合がある。例えば、学習フレームワークの作成者は、学習結果に学習時の詳細な情報を関連付けるために利用する。また、学習プログラムの作成者は、学習プログラムの詳細について記録するために利用する。また、学習の管理者は、学習を管理するための詳細な情報を記録するために利用する。また、学習データの管理者は、どこでどのように利用する学習データであるか詳細な情報を関連付けて管理するために利用する。また、学習結果の管理者は、学習結果がどのような経緯で得られたものか、詳細な情報を用いて管理するために利用する。
さらに、学習結果利用装置23の開発者は、学習結果利用装置23において提供する、学習結果を利用するためのデータベース機能に、学習結果データベース11の機能を組み込む場合がある。また、学習結果利用装置23の管理者は、学習結果利用装置23に組み込まれた学習結果の内容を詳細に把握して管理を行う場合がある。さらに、学習結果利用装置23の利用者は、利用する学習結果が同のような学習の結果として得られたものであるか、またその学習結果が有用なものであるか、学習結果の内容を把握して利用する場合がある。
本実施形態に係る学習結果データベース11は、任意な形状に構成可能なツリー構造によって学習に関する情報を管理するため、上記の様々な利用形態に対応することができる。
例えば、利用者は、学習結果データベース11において、影響要因を組み合わせて検索することができる。また、例えば利用者は、上記の第1情報や第2情報、利用環境に関する情報等を任意に組み合わせて検索することができる。学習結果データベース11は、このような検索に対して、検索結果をリストや集合で出力することができる。さらに学習結果データベース11は、検索結果のリストや集合に対して、和、積、否定などの各種論理演算を行い、出力する構成でもよい。さらに学習結果データベース11は、個々の事柄毎に詳細情報を階層的に詳細化して出力することも可能である。また、学習結果データベース11は、検索結果のサマリや、検索結果に基づく統計データを出力する構成でもよい。これによって、学習結果データベース11の利用者は、例えばロボット制御用の学習結果を検索する際に、自社の工場と類似する環境において、高い成果を示した学習結果を検索したり、当該学習結果がどのような学習によるものなのかを検索することができる。
<5.識別情報の利用>
次に、学習結果の識別情報の利用例について説明する。
学習結果の識別情報を用いることで、依頼者は、獲得した能力のバリエーションを相互に識別することができる。すなわち、学習結果を対比して、目的に対する適合度を比較でき、また対象ごとに、適切なバリエーションを選択することができる。
例えば、学習結果の比較処理は次のように行われる。学習管理システム14は、依頼者から受け付けた条件(依頼者が期待する動作等)に基づいて学習結果データベース11を検索し、比較する学習結果のリストを作成する。次に、学習結果のリストに含まれる学習対象を特定し、特定された学習対象に対する比較プログラムを特定する。そして、特定された比較プログラムを用いて学習結果を相互に比較し、比較結果を表形式などにして依頼者に出力する。こうして、学習サービス提供システム1は、個々の学習や学習結果を単に記憶しておくだけでなく、識別情報に基づいて学習結果の比較処理を行うことで、依頼者の期待に対してより望ましい学習結果を探して出力することができる。
また、学習結果を識別できることにより、学習結果を利用している装置と、利用されている学習結果との対応関係や、利用している学習結果と対象との対応関係、学習結果により獲得した能力の所属、学習結果の複製に対して学習結果をもたらした要因の所属等をそれぞれ識別して管理することができる。さらに学習結果を識別できることにより、獲得した能力の利用履歴、獲得した能力が存在する場所、獲得した能力のアウトプット等を管理可能になる。
本発明の具体的な利用で生成される識別情報とその利用方法の具体例について説明する。なお、以下の利用例では、理解を容易にするため、影響判定ロジックを用いて影響要因のリストから得られた上述のデータ列に対して、学習識別情報生成装置15、学習結果識別情報生成装置16及び学習結果利用環境情報生成装置17は暗号化等を行わない例を示す。この場合でも、利用者ごとに異なる暗号キーを用いることで、識別情報の内容が他者にわからないようにできる。また、下記に挙げる例は任意に組み合わせることができる。
(利用例A):1つの影響要因が異なる例
・利用例A-1:対象が異なる例
同じ学習依頼者のなかで、対象が異なる場合、それぞれの学習結果に異なる学習結果識別情報が付与される。例えば、「対象装置=SX9100.jdsjhfsd」や「対象装置=SX9200.djsfhsjfk」のような識別情報が付与される。
他方で、同じ対象装置で対象とするセンサ等が異なる場合は、「対象センサ=グループa74.jhsjhuo」や「対象センサ=グループa90.jsdfhjkg」のような識別情報が付与される(ただし、対象装置はSX9100で共通、識別範囲はSX9100の場合の例である。)。
・利用例A-2:複数回学習したときの例(ただし、対象装置の識別が必要な場合)
この場合には、「対象装置=SX9100.1回目の学習」や、「対象装置=SX9100.2回目の学習」、「対象装置=SX9100.学習終了時刻=20160707123521」、「対象装置=SX9100.学習終了時刻=20160708114335」のような識別情報が付与される。
・利用例A-3:学習データが異なる例
この場合には、「対象装置=SX9100.学習データ=000001~019999」や「対象装置=SX9100.学習データ=020000~029999」、「対象装置=SX9100.学習データ=2015年4月分」、「対象装置=SX9100.学習データ=2015年5月分」のような識別情報が付与される。
・利用例A-4:学習プログラムが異なる例
この場合には、「学習プログラム=DQ2939.対象装置=SX9100」や「学習プログラム=DQ3200.対象装置=SX9100」のような識別情報が付与される。
・利用例A-5:依頼者が異なる例
例えば依頼部門が異なる場合には、「対象装置=SX9100.依頼部門=第1工務課」や「対象装置=SX9100.依頼部門=第2工務課」のような識別情報が付与される。
(利用例B):複数の影響要因が異なる例
例えば基本要因である依頼者と対象と学習データが異なる例には、「対象装置=SX9100.依頼部門=第1工務課.学習データ=2015年4月分」や「対象装置=SX9200.依頼部門=第1技術課.学習データ=2016年7月分」のような識別情報が付与される。
(利用例C):識別情報が利用される範囲が違う例
例えば学習サービス提供者内での識別情報は、「学習依頼者=A社.対象装置=SX9100.学習プログラムDQ2939.学習データ=020000~029999」であり、「学習依頼者=B社.対象装置=JQR939400.学習プログラムDQ2939.学習データ=2016年7月分」のように異なる依頼者間で区別される。この場合、利用者に提供される識別情報は、学習依頼者に関する識別情報を除くことで、次のような識別情報が得られる。
・学習依頼者A社に提供される識別情報:「対象装置=SX9100.学習プログラムDQ2939.学習データ=020000~029999」
・学習依頼者B社に提供される識別情報:「対象装置=JQR939400.学習プログラムDQ2939.学習データ=2016年7月分」
<6.システムフロー>
次に図13、図14、及び図15を参照して本実施形態に係るシステムの処理フローについて説明する。図13は学習依頼システム2における処理フローを示すフローチャートである。
まず、依頼者は学習データ準備装置21を用いて、学習データの準備を行う(S101)。次に、依頼者は学習依頼装置22を用いて学習依頼情報を入力する(S102)。さらに依頼者は学習依頼装置22から学習サービス提供システム1に、学習を依頼する(S103)。学習サービス提供システム1において学習が実施されると、学習依頼装置22は、学習サービス提供システム1から学習結果を受け取り(S104)、受け取った学習結果を保管する(S105)。
学習依頼装置22は、学習結果利用装置23において学習結果を利用する際に、保管された学習結果から、適切な学習結果を選択する(S106)。学習依頼装置22は、このとき学習結果の識別情報を参照し、選択した学習結果が利用目的に適合するか否かを判定する(S108)。利用目的に適合する場合(S108:Yes)には、学習結果を学習結果利用装置23に組み込み(S109)、学習結果利用装置23において学習結果を利用する(S110)。
他方で、S108において選択した学習結果が利用目的に適合しない場合(S108:No)には、不適合通知を行い(S119)、必要に応じて条件を変えて再度学習を行う(S120)。
次に、学習サービス提供システム1の処理フローについて説明する。図14は、学習サービス提供システム1における処理フローを示すフローチャートである。
まず、学習依頼受付装置12が、学習依頼装置22から学習依頼情報を受け取り、学習依頼を受け付ける(S201)。次に、学習管理装置140における識別範囲設定部144は、識別範囲を設定するのに必要な情報を取得する(S202)。識別範囲設定部144は、取得した情報と学習依頼情報から識別範囲を設定する(S203)。
学習制御部142は、学習依頼情報と設定された識別範囲とに基づいて、学習装置13と学習プログラムを選択し(S204)、学習依頼情報を選択した学習装置13に通知し(S205)、学習を指示する(S206)。
影響判定部145は、要因情報DB116を参照し、影響要因のリストを抽出する。また、影響判定部145は、学習装置13から学習プログラムに対応する影響判定ロジックを取得し(S207)、取得した影響判定ロジックを用いて、各要因が学習結果に与える影響度を判定する(S208)。影響判定部145は、影響要因のリストに記された影響要因ごとに判定結果を設定する(S209)。
次に、学習識別情報生成装置15、学習結果識別情報生成装置16及び学習結果利用環境情報生成装置17は、影響要因のリストから、影響度がなしと設定された影響要因を除き(S210)、除いた後の影響要因のリストを用いて学習結果の識別情報を生成し(S211)、学習制御部142は、生成した識別情報と学習結果とを対応付けてバージョン管理DB114に登録する(S212)。また、学習結果が特定の環境で利用されたとき、学習結果利用環境情報生成装置17は学習結果によってもたらされた成果を識別するための情報を生成し、学習制御部142は生成された情報を学習結果の識別情報と組み合わせて、学習成果の識別情報としてバージョン管理DB114に登録する(S213)。
このように、本実施形態に係る学習サービス提供システム1によれば、機械が獲得する能力のバリエーションについて、適切に管理することができる。
図15は、学習結果を比較する処理のフローチャートである。学習結果の比較処理を行う前の準備として、学習プログラム又は学習対象ごとに学習結果の能力を比較するプログラムが学習結果データベース11に登録されているものとする。比較プログラムは、学習プログラムの作成者や学習の管理者等によって作成される。また、機械学習によって得られた学習結果には上述の識別情報が付与され、影響要因に関連付けられて学習結果データベース11に登録されているものとする。
学習管理システム14は、所定のトリガに応答して、学習結果の比較処理を開始する。例えば、学習管理システム14が、入力装置等を介して利用者からの指示を受け付けたときに、比較処理を開始してもよい。また、学習管理システム14は新たな学習結果が得られたときに比較処理を開始してもよい。
まず学習管理システム14の学習制御部142は、学習結果を比較する対象となる複数の学習結果を学習結果データベース11から抽出して、比較対象とする複数の学習結果のリストを作成する(S301)。このとき、学習管理システム14は、入力装置等を介して利用者が直接選択した複数の学習結果を学習結果データベース11から抽出してもよい。利用者が学習結果に期待する能力や動作を指定することにより、指定された能力や動作を獲得した学習結果を学習結果データベース11から抽出するものとしてもよい。また、学習管理システム14は、利用者が依頼した学習依頼に基づく学習の結果得られる能力や動作を獲得済みの学習結果を学習結果データベース11から抽出してもよい。新たな学習結果が得られたときに、当該学習結果により得られた能力や動作と同じ能力や動作を有する学習結果を学習結果データベース11から抽出してもよい。
次に、抽出された学習結果のリストに含まれる学習対象を特定する(S302)。例えば、抽出された複数の学習結果に付与された識別情報を参照することにより、学習対象を特定することができる。そして、学習管理システム14は、特定された学習対象に対する比較プログラムを特定し、学習結果データベース11から取得する(S303)。
学習管理システム14は、取得された比較プログラムを実行して、ステップS301で抽出された複数の学習結果を相互に比較する(S304)。学習結果の比較は、比較対象とした複数の学習結果を、所定の比較基準に基づいて相対的に比較してもよく、所定の比較基準に対して絶対的な評価に基づく比較をしてもよい。例えば、比較プログラムは、複数の学習結果のそれぞれに対して、利用者自身が期待する特定の能力又は動作が含まれるか否かを判定してもよい。比較プログラムは、利用者の期待に対してどの学習結果がどのように優れているかを判定してもよい。また、比較プログラムは、複数の学習結果の中から、利用者の期待に対してより望ましい学習結果を抽出してもよい。なお、比較プログラムは、各学習結果に付与された識別情報を参照することにより、各学習結果を比較し、評価してもよい。また、サンプルデータを各学習結果に適用することにより、各学習結果を比較し、評価してもよい。例えば比較プログラムが、農産物の画像とその等級を対応付けたサンプルデータを各学習結果に適用することにより、各学習結果を比較し、評価を行うことができる。
学習管理システム14は、比較プログラムを用いて学習結果を相互に比較した結果を表形式などの形式にして出力する(S305)。学習管理システム14は、比較処理を依頼した利用者のPCやスマートフォン等の端末装置に学習結果を出力することができる。
以上、本発明の一実施形態について説明した。なお、本実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。また、本発明は、その趣旨を逸脱することなく、変更ないし改良され得るものである。例えば、上述の処理フローにおける各ステップは処理内容に矛盾を生じない範囲で各ステップの一部を省略したり、各処理ステップの順番を任意に変更して又は並列に実行することができる。
上述の実施形態では、本発明に係るシステムを利用して、深層学習などのAI技術によって機械が獲得した能力の管理を行う例について説明したが、本発明はこれに限定されず、幅広い分野に適用することができる。例えば、製品の良品と不良品の識別、食品、機械部品、化学製品、薬品などのさまざまな工業分野、漁業分野、農業分野、林業分野、サービス業、医療や健康分野に適用することができる。また、組込分野の製品にAI技術を適用する場合や社会システム等のIT技術を活用したシステム、ビッグデータの分析、幅広い制御装置における分類機能等に本発明を適用してもよい。
<7.検査機の実施例1>
本実施形態に係る学習サービス提供システム1を用いて、検査対象物を測定する少なくとも1つのセンサを備える検査機に所定の能力を学習させる場合の実施例について説明する。例えば、電子回路基板の製造者1は、検査機aにより製品の良品と不良品の選別を行っている。この例では、製造者1は学習依頼者であり、検査機aが製品の良品と不良品の選別をする能力を学習により獲得させる場合について説明する。
検査機aは、典型的には、生産ラインなどに組み込まれる。検査機aは、生産ライン上を搬送される検査対象物を撮像することによって得られる画像に基づいて、検査対象物の検査や文字の認識といった処理を実行する。なお、検査対象物はどのような対象物であってもよいが、ここでは、製造過程にある部品、製品等のワークであるものとして説明する。たとえば、ワークはベルトコンベヤなどの搬送機構によって所定方向に搬送され、検査機aは、この搬送経路に相対して予め定められた位置に配置される。本実施例において、検査機aはワークを検査するための識別器を備えている。検査機aが備える識別器は、機械学習により生成された識別器であり、ワークを撮影した画像に基づいて、当該ワークが欠陥等の検出対象を有するか否かを識別することでワークの検査を行う。以下、検出対象は欠陥であることを前提に説明するが、欠陥は、本発明の「検出対象」の一例であり、本実施形態は欠陥に限られずあらゆる検出対象に適用することができる。ここで、欠陥とは、ワークが有する異常であって、例えば、キズ、色等のムラ、汚れ、打痕、欠け、バリ、異物、印字のかすれ、印字等の位置ずれ等を含む。
まず、図16を用いて検査機aの構成について説明する。図16は検査機aの構成の一例を示すブロック図である。図16に示すように検査機aは、記憶部A1と、入力部A2と、判別部(識別器)A3と、出力部A4とを備えている。記憶部A1は、例えば学習サービス提供システム1によって行われた学習の学習結果が記憶される。入力部A2は、検査対象の情報を取得する機能を有し、例えばカメラやマイク等のセンサから構成される。判別部A3は、入力部A2から入力された検査対象の情報(例えば画像等)に基づいて、良品や不良品等の所定の検査対象を判別する機能を有している。また、出力部A4は、判別部A3の判定結果を出力する機能を有する。なお、ここで判定結果を出力するとは、例えば表示装置等に判定結果を表示させる等、判定結果をユーザに提示するだけでなく、所定の検査対象を他の検査対象から選り分ける等の検査機の動作を含むものである。
次に、学習の依頼が行われる流れについて説明する。まず、製造者1は、学習依頼装置22から、学習サービス提供者Aの学習依頼受付装置12に対して、製造者1の所有する検査機a上で動作する学習モデルを納品するよう学習依頼する。具体的には、製造者1は、学習依頼時に検査機aに備えられたカメラによって撮像された電子回路基板の複数の画像と、各画像に対して製造者1が良品または不良品を判定した結果とを組み合わせたデータを含む情報を学習依頼情報として学習サービス提供者Aへと提供して、学習依頼する。
この際、学習依頼DB112には、例えば、獲得する能力、学習依頼者、学習データの対象、取得期間等の情報として以下に示す情報が格納される。
・獲得する能力が、回路基板の実装の良品と不良品を判別すること、及び、学習結果による正解率が90%以上であること
・学習依頼者が、回路基板の製造者Aであること
・学習データの対象が、回路基板の製造者Aの検査機aで取得された回路基板の撮像画像、及び、製造者1が各撮像画像に対して良品または不良品を判定した結果であること
・取得期間が例えば、2016年6月1日から2016年6月15日であること
さらに、これらの依頼情報に加え、学習サービス提供者Aは深層学習等どのようなアルゴリズムにより学習を行うか等の情報を加えたうえで、学習サービス提供者Aは、製造者1より提供された画像を学習データ、良品または不良品の判定結果を教師データとして、所有する学習装置13によって学習を行わせる。
例えば、学習装置13は、製造者1の学習データを入力として、良品または不良品を分類できるよう深層学習を行う。深層学習が完了した後、例えば、学習サービス提供者Aは、学習装置13におけるニューラルネットワーク132の層数や各ノードの重み等、学習モデルの構成情報、あるいは、学習済みのニューラルネットワーク132自体を取得し、製造者1へ納入する。
この際、学習サービス提供者Aは、学習管理装置140及び学習識別情報生成装置15を用いて第1情報を生成する。具体的には、学習管理装置140の影響判定部145が影響要因判定ロジックにより影響要因を抽出し、当該影響要因に基づいて学習識別情報生成装置15が第1情報を生成する。この場合、上記の学習依頼情報に加え、学習サービス提供者A側から提供される学習アルゴリズム等の情報を含めて影響要因が判断され、学習を識別する第1情報となり得る。また、例えば、学習サービス提供者Aが複数の学習装置13を保有する場合には、複数の学習装置13のうち、学習装置Aによって学習を行ったのか学習装置Bによって学習を行ったのかを学習結果を識別可能な第2情報が学習結果識別情報生成装置16によって生成されてもよい。また、第3情報として、学習結果が製造者Aの検査機Aで利用されるのか、検査機Bについて利用されるのかを識別する情報が、学習結果利用環境情報生成装置17によって生成されてもよい。
<8.検査機の実施例2>
次に、図17、及び図18を参照して、本実施形態に係る学習サービス提供システム1を用いて、検査機に所定の能力を学習させる場合の別の実施例について説明する。図17は、学習サービス提供システム1において管理される学習結果を検査システム5に適用する場合の一例を示すシステム構成図である。本実施例において、管理装置51は、適切な学習結果を検索し、当該学習結果を検査機bに適用する。
図17に示すように、検査システム5は、管理装置51と、ネットワーク52を介して接続された、1以上の検査機bとを含む。管理装置51は、上述した学習データベース11と接続可能に構成されている。なお、検査機bの機能や構成は、上述した検査機aと同様である。
管理装置51は、1以上の検査機bを管理するための装置である。本実施例において、管理装置51は、学習データベース11に登録された識別情報に基づいて、それぞれの検査機bに応じた学習結果を学習データベース11から取得して、検査機bに適用する。
図18は管理装置51の機能構成の一例を示すブロック図である。管理装置17は、センサ501と、記憶部502と、取得部511と、マッチング部512を有している。
センサ501は、検査機bの設置環境に関する情報を取得する。装置の「設置環境」とは、当該装置が設置されている周辺の環境に関する情報であり、例えば、照度、湿度、温度等を含む。センサ501は、具体的には、湿度計や温度計、照度センサ、カメラやマイク等である。
記憶部502には、少なくとも検査機bに関する情報が登録されている。検査機bに関する情報は、例えば、装置スペックや製造年月日、製造者、検査成績等である。なお、装置の「スペック」とは、当該装置(ここでは検査機b)の機能、構造、性能等の仕様に関する情報であり、例えば、処理速度、メモリ容量、ハードディスク容量等を含む。また、「検査成績」は、過去の検査における正答率や、検査に要した時間を示す情報である。
取得部511は、学習結果の検索条件を取得する。例えば、取得部511は、検索条件として、上述した第1乃至第3情報に対応する情報、あるいはこれらを組み合わせた条件を取得することができる。
具体的には、取得部511は、第1情報、第2情報に対応する検索条件として、上述した以下の情報を取得することができる。
・学習を識別する情報(どのような学習が行われたかを示す情報。例えば第1情報である。)
・学習の実施環境に関する情報(どこのどのような装置で学習がされたのかを示す情報)
・学習結果を利用する装置に関する情報(どこでどのように利用されるかを示す情報)
・学習結果として獲得した能力に関する情報(どのような能力が獲得されたかを示す情報)
また例えば、取得部511は、第3情報に対応する検索条件として、上述した以下の利用履歴に関する情報の指定を受付けてもよい。
・学習によって獲得された能力
・学習結果の利用者
・学習結果を利用した装置
・学習結果が利用された場所
・学習結果の利用目的
・学習結果の利用対象
・学習結果の組み合わせ
・学習結果の分割
・学習結果の利用履歴
学習結果を利用する装置に関する情報や、学習結果を利用した装置、学習結果が利用された場所については、取得部511は、自動で取得することも可能である。一例として、学習結果を利用する装置に関する情報として、取得部511は、記憶部502を参照して、任意の検査機bの装置スペックを取得することができる。また例えば取得部511は、センサ501から、任意の検査機bの設置環境の情報を取得することも可能である。
他方、学習を識別する情報や、学習の実施環境に関する情報、学習結果として獲得した能力に関する情報等については、取得部511は、ユーザからの入力を受け付けることができる。例えば取得部511は、学習結果として獲得した能力に関する情報として、検査機bに獲得させたい能力の入力をユーザから受け付けることができる。獲得させたい能力の指定方法は、例えば以下のとおりである。
・獲得する能力が、回路基板の実装の良品と不良品を判別すること、及び、学習結果による正解率が90%以上であること
マッチング部512は、取得部511が取得した検索条件と、学習データベース11に登録された学習結果とのマッチングを行い、適切な学習結果の検索を行う。マッチング部512は、検索した学習結果を検査機bに適用する。
例えば検索条件として、検査機bに獲得させたい能力が指定された場合には、マッチング部512は、ワークの種類や正答率に基づいて、学習データベース11から学習結果を検索することができる。また検索条件が装置スペックや設置環境に関する情報である場合、マッチング部512は、学習データベース11を参照して、任意の検査機bと同様のスペックの装置での利用状況に基づいて、学習結果を検索することができる。
このとき、マッチング部512は、検索条件と学習結果とのマッチングを、学習データベース11に登録されている識別情報の第1情報や第2情報、第3情報を参照して行う構成でもよい。この場合には、マッチング部512は、上述した学習結果識別情報生成装置16や学習結果利用環境情報生成装置17と同様の機能を有することが好ましい。これによって、管理装置51は、検査機bに獲得させたい能力や、必要な学習情報、装置スペック等に基づいて第1情報、第2情報、及び/又は第3情報を生成することができる。そして、管理装置51は、生成した第1情報や第2情報、及び/又は第3情報に基づいて、学習データベース11に登録されている識別情報とマッチングを行うことで、所望の学習結果を学習データベース11から検索する。
なお、マッチング部512は、所望の学習結果を学習データベース11から検索する際に、識別範囲を特定して検索することが好ましい。例えばマッチング部512は、検査機bを利用する会社や、工場、ラインを指定することで識別範囲を特定することができる。なお、指定可能な識別範囲はこれに限定されず、図11に示した任意の識別範囲を指定することができる。マッチング部512が識別範囲を指定することで、検索速度をより向上させることができる。
このように、学習データベース11において、学習結果が識別情報によって管理されることで、管理装置51は、学習結果を実装する装置(検査機)に見合った性能の学習結果を容易に検索することができる。
<9.製造装置の実施例>
次に、本実施形態に係る学習サービス提供システム1を用いて、製造装置に所定の能力を学習させる場合の例について説明する。例えば、電子回路基板の製造者1は、製造装置cにより製品の組み立てを行っている。この例では、製造者1は学習依頼者であり、製造装置cに所定の工程において、組み立て対象となる部品を選定する能力を学習により獲得させる場合について説明する。
まず、図19を用いて製造装置cの構成について説明する。図19は制御装置bの構成の一例を示すブロック図である。図19に示すように、製造装置cは、記憶部C1と、入力部C2と、判別部C3と、出力部C4とを備えている。記憶部C1は、例えば学習サービス提供システム1によって行われた学習の学習結果が記憶される。入力部C2は、製造する電子回路基板の部品の情報を取得する機能を有し、例えばカメラやマイク等から構成される。判別部C3は、入力部C2から入力された部品の情報(例えば画像等)に基づいて、所定の工程において組み立て対象となる部品を判別する機能を有している。また、出力部C4は、判別部C3の判定結果を出力する機能を有する。なお、ここで判定結果を出力するとは、例えば表示装置等に判定結果を表示させる等、判定結果をユーザに提示するだけでなく、所定の部品を他の部品から選り分ける等の製造装置の動作を含むものである。
まず、製造者1は、学習依頼装置22から、学習サービス提供者Aの学習依頼受付装置12に対して、製造者1の所有する製造装置c上で動作する学習モデルを納品するよう学習依頼する。具体的には、製造者1は、学習依頼時に製造装置cに備えられたカメラによって撮像された電子回路基板の複数の部品に関する複数の画像と、各画像に対して製造者1がある工程において組み立て対象の部品であると判定した結果とを組み合わせたデータを含む情報を学習依頼情報として学習サービス提供者Aへと提供して、学習依頼する。
この際、学習依頼DB112には、例えば、獲得する能力、学習依頼者、学習データの対象、取得期間等の情報として以下に示す情報が格納される。
・獲得する能力が、所定の工程において組み立て対象である部品を判別すること、及び、学習結果による正解率が90%以上であること
・学習依頼者が、回路基板の製造者Aであること
・学習データの対象が、回路基板の製造者Aの製造装置cで取得された回路基板の部品の撮像画像、及び、製造者1が各撮像画像に対してある工程における組み立て対象である部品を判定した結果であること
・取得期間が例えば、2016年6月1日から2016年6月15日であること
さらに、これらの依頼情報に加え、学習サービス提供者Aは深層学習等どのようなアルゴリズムにより学習を行うか等の情報を加えたうえで、学習サービス提供者Aは、製造者1より提供された画像を学習データ、選定された部品の判定結果を教師データとして、所有する学習装置13によって学習を行わせる。
例えば、学習装置13は、製造者1の学習データを入力として、所定の工程において組み立て対象である部品を選定できるよう深層学習を行う。深層学習が完了した後、例えば、学習サービス提供者Aは、学習装置13におけるニューラルネットワーク132の層数や各ノードの重み等、学習モデルの構成情報、あるいは、学習済みのニューラルネットワーク132自体を取得し、製造者1へ納入する。
この際、学習サービス提供者Aは、学習管理装置140及び学習識別情報生成装置15を用いて第1情報を生成する。具体的には、学習管理装置140の影響判定部145が影響要因判定ロジックにより影響要因を抽出し、当該影響要因に基づいて学習識別情報生成装置15が第1情報を生成する。この場合、上記の学習依頼情報に加え、学習サービス提供者A側から提供される学習アルゴリズム等の情報を含めて影響要因が判断され、学習を識別する第1情報となり得る。また、例えば、学習サービス提供者Aが複数の学習装置13を保有する場合には、複数の学習装置13のうち、学習装置Aによって学習を行ったのか学習装置Bによって学習を行ったのかを学習結果を識別可能な第2情報が学習結果識別情報生成装置16によって生成されてもよい。また、第3情報として、学習結果が製造者Aの検査機Aで利用されるのか、検査機Bについて利用されるのかを識別する情報が、学習結果利用環境情報生成装置17によって生成されてもよい。
<10.ハードウェア構成>
以下、図20を参照しながら、上述してきた学習サービス提供システム1、学習依頼システム2、及び検査システム5をコンピュータ800により実現する場合のハードウェア構成の一例を説明する。なお、それぞれの装置の機能は、複数台の装置に分けて実現することもできる。
図20に示すように、コンピュータ800は、プロセッサ801、メモリ803、記憶装置805、入力I/F部807、データI/F部809、通信I/F部811、及び表示装置813を含む。
プロセッサ801は、メモリ803に記憶されているプログラムを実行することによりコンピュータ800における様々な処理を制御する。例えば、学習サービス提供システム1の学習依頼受付装置12と、一又は複数の学習装置13と、学習管理システム14、及び学習依頼システムの学習依頼装置22と、一又は複数の学習結果利用装置23が備える各機能部などは、メモリ803に一時記憶された上で、主にプロセッサ801上で動作するプログラムとして実現可能である。
メモリ803は、例えばRAM(Random Access Memory)等の記憶媒体である。メモリ803は、プロセッサ801によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。
記憶装置805は、例えばハードディスクドライブ(HDD)やフラッシュメモリ等の不揮発性の記憶媒体である。記憶装置805は、オペレーティングシステムや、上記各構成を実現するための各種プログラムを記憶する。この他、記憶装置805は、学習結果データベース11の学習データDB111と、学習依頼DB112と、学習結果利用情報DB113と、バージョン管理DB114と、学習プログラムDB115と、要因情報DB116を記憶することも可能である。このようなプログラムやデータは、必要に応じてメモリ803にロードされることにより、プロセッサ801から参照される。
入力I/F部807は、ユーザからの入力を受け付けるためのデバイスである。入力I/F部807の具体例としては、キーボードやマウス、タッチパネル、各種センサ、ウェアラブル・デバイス等が挙げられる。入力I/F部807は、例えばUSB(Universal Serial Bus)等のインタフェースを介してコンピュータ800に接続されてもよい。
データI/F部809は、コンピュータ800の外部からデータを入力するためのデバイスである。データI/F部809の具体例としては、各種記憶媒体に記憶されているデータを読み取るためのドライブ装置等がある。データI/F部809は、コンピュータ800の外部に設けられることも考えられる。その場合、データI/F部809は、例えばUSB等のインタフェースを介してコンピュータ800へと接続される。
通信I/F部811は、コンピュータ800の外部の装置と有線又は無線により、インターネットNを介したデータ通信を行うためのデバイスである。通信I/F部811は、コンピュータ800の外部に設けられることも考えられる。その場合、通信I/F部811は、例えばUSB等のインタフェースを介してコンピュータ800に接続される。
表示装置813は、各種情報を表示するためのデバイスである。表示装置813の具体例としては、例えば液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイ、ウェアラブル・デバイスのディスプレイ等が挙げられる。表示装置813は、コンピュータ800の外部に設けられてもよい。その場合、表示装置813は、例えばディスプレイケーブル等を介してコンピュータ800に接続される。また、入力I/F部807としてタッチパネルが採用される場合には、表示装置813は、入力I/F部807と一体化して構成することが可能である。
なお、本明細書において、「部」ないし「手段」とは、単に物理的構成を意味するものではなく、その「部」が有する機能をソフトウェアによって実現する場合も含む。また、1つの「部」ないし「手段」や装置が有する機能が2つ以上の物理的構成や装置により実現されても、2つ以上の「部」ないし「手段」や装置の機能が1つの物理的手段や装置により実現されてもよい。
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
(付記A1)
学習結果を適用させる検査機(b)のスペックに関する情報を取得する取得部(511)と、
学習データベース(11)に記憶された、機械学習により所定の学習がなされたことによって所定の能力を獲得した学習結果に対して、前記所定の学習を他の学習から識別可能な第1情報と、前記所定の学習による前記学習結果を他の学習結果から識別可能な第2情報と、を含む識別情報とのマッチングを行い、前記検査機(b)に適用させる学習結果を特定するマッチング部(512)と、
を備える検査機(b)の管理装置(51)。
(付記A2)
前記マッチング部(512)は、
前記識別情報に基づいて、特定の識別範囲において、第1の学習がなされたことにより第1の能力を獲得した第1の学習結果と、第2の学習がなされたことにより第2の能力を獲得した第2の学習結果とを識別して、前記検査機に適用させる学習結果を特定する
付記A1に記載の管理装置(51)。
(付記A3)
前記識別情報は、
前記第1及び第2の学習がなされる際に与えられる条件のうち、前記特定の識別範囲内において学習結果又は当該学習結果によってもたらされる成果に影響を与える要因に基づいて付与された、
付記A2に記載の管理装置(51)。
(付記A4)
前記識別情報によって識別可能な学習の情報は、学習装置、学習プログラム、学習データ、学習の回数、学習の時期、学習の目標、学習の方法、学習依頼者、学習データの取得元、又は学習データの取得方法、のうち少なくともいずれかの要因を含む、
付記A1乃至A3のいずれかに記載の管理装置。
(付記A5)
前記識別情報によって識別可能な学習結果の情報は、学習結果の利用形態に関する情報、学習の実施環境に関する情報、学習結果によって獲得した能力に関する情報、及び学習を識別する情報のうち少なくともいずれかの要因を含む、
付記A1乃至A4のいずれかに記載の管理装置。
(付記A6)
機械学習により所定の学習がなされたことによって所定の能力を獲得した学習結果に対して、前記所定の学習を他の学習から識別可能な第1情報と、前記所定の学習による前記学習結果を他の学習結果から識別可能な第2情報と、を含む識別情報を生成する生成部(14)と、
前記生成された識別情報を格納する記憶部(11)と、
を備える学習結果識別装置(1)。
(付記A7)
前記生成部(14)は、
第1の学習がなされたことにより第1の能力を獲得した第1の学習結果に対して、特定の識別範囲内において、前記第1の学習と前記第1の学習結果とを識別可能な第1の識別情報を生成し、
第2の学習がなされたことにより第2の能力を獲得した第2の学習結果に対して、前記特定の識別範囲内において、前記第2の学習と前記第2の学習結果とを識別可能な第2の識別情報を生成する、
付記A6記載の学習結果識別装置(1)。
(付記A8)
前記生成部(14)は、前記第1及び第2の学習がなされる際に与えられる条件のうち、前記特定の識別範囲内において学習結果又は当該学習結果によってもたらされる成果に影響を与える要因に基づいて、前記識別情報を生成する、
付記A7記載の学習結果識別装置(1)。
(付記A9)
前記識別情報によって識別可能な学習の情報は、学習装置、学習プログラム、学習データ、学習の回数、学習の時期、学習の目標、学習の方法、学習依頼者、学習データの取得元、又は学習データの取得方法、のうち少なくともいずれかの要因を含む、
付記A6乃至A8のいずれかに記載の学習結果識別装置(1)。
(付記A10)
前記識別情報によって識別可能な学習結果の情報は、学習結果の利用形態に関する情報、学習の実施環境に関する情報、学習結果によって獲得した能力に関する情報、及び学習を識別する情報のうち少なくともいずれかの要因を含む、
付記A6乃至A9のいずれかに記載の学習結果識別装置(1)。
(付記A11)
付記A8乃至A10のいずれかに記載の学習結果識別装置(1)に用いられ、前記要因に関する情報を格納するデータベース(11)に格納される要因情報のデータ構造であって、
前記要因情報は、
前記学習を上位の階層で識別するために用いられる第1要因と、
前記第1要因に紐づけられた、前記学習を前記第1要因よりも下位の階層で識別するために用いられる第2要因と、
を含み、
前記生成部(14)が、前記第1及び第2の学習がなされる際に与えられる条件に基づいて、前記学習結果又は当該学習結果によってもたらされる成果に影響を与える第2要因を前記データベースから特定し、当該特定した第2要因に紐づけられた第1要因に付与されたID情報と、特定された第2要因に付与されたID情報とを暗号化、圧縮化、又は一覧表化して識別情報を生成する処理に用いられる、
要因情報のデータ構造。
(付記A12)
コンピュータ(800)が、
機械学習により所定の学習がなされたことによって所定の能力を獲得した学習結果に対して、前記所定の学習を他の学習から識別可能な第1情報と、前記所定の学習による前記学習結果を他の学習結果から識別可能な第2情報と、を含む識別情報を生成することと、
前記生成された識別情報を格納することと、
を実行する学習結果識別方法。
(付記A13)
コンピュータ(800)を、
機械学習により所定の学習がなされたことによって所定の能力を獲得した学習結果に対して、前記所定の学習を他の学習から識別可能な第1情報と、前記所定の学習による前記学習結果を他の学習結果から識別可能な第2情報と、を含む識別情報を生成する手段、及び
前記生成された識別情報を格納する手段、
として機能させるプログラム。
(付記A14)
所定の能力を獲得するために行われた所定の学習の結果である学習結果を適用可能な検査機であって、
前記学習結果が記憶される記憶部(A1)と、
検査対象の情報が入力される入力部(A2)と、
前記検査対象の情報に基づいて、所定の検査対象を判別する判別部(A3)と、
前記判別部が判別した結果を出力可能な出力部(A4)と、
を備え、
前記学習結果は、
前記記憶部において、前記所定の学習を他の学習から識別可能な第1情報と、前記所定の学習による前記学習結果を他の学習結果から識別可能な第2情報と、対応付けられて記憶される、
検査機(a)。
(付記A15)
機械学習により所定の学習がなされたことによって所定の能力を獲得した学習結果に対して、前記所定の学習を他の学習から識別可能な第1情報と、前記所定の学習による前記学習結果を他の学習結果から識別可能な第2情報と、を含む識別情報が記憶された学習データベース(11)と、
学習結果を適用させる検査機(b)のスペックに関する情報を取得する取得部(511)と、学習データベース(11)に記憶された、前記学習結果に対して、前記識別情報とのマッチングを行い、前記検査機(b)に適用させる学習結果を特定するマッチング部(512)と、を備える管理装置(51)と、
前記管理部によって適用された学習結果が記憶される記憶部(A1)と、検査対象の情報が入力される入力部(A2)と、前記検査対象の情報に基づいて、所定の検査対象を判別する判別部(A3)と、
前記判別部が判別した結果を出力可能な出力部(A4)と、と備える検査機(b)と、
を有する検査システム(5)。
(付記B1)
機械学習により所定の学習がなされたことによって得られた学習結果を格納するデータベースに接続される比較装置であって、
複数の学習結果を前記データベースから抽出する抽出部と、
前記抽出部で抽出された複数の学習結果のそれぞれが獲得した能力を比較する比較部と、
前記比較部による比較の結果を出力する出力部と、
を備える比較装置。
(付記B2)
前記データベースに格納される学習結果のそれぞれは、学習結果を相互に識別可能な識別情報が付与され、
前記比較部は、学習結果に付与された識別情報に基づいて前記比較を行う、
付記B1記載の比較装置。
(付記B3)
前記識別情報は、特定の識別範囲内において、前記抽出部で抽出された複数の学習結果を相互に識別可能である、
付記B2記載の比較装置。
(付記B4)
前記比較部は、前記抽出部で抽出された複数の学習結果に基づいて特定されたプログラムを用いて前記比較を行う、
付記B1乃至B3のいずれかに記載の比較装置。
(付記B5)
付記B1乃至B4のいずれかに記載の比較装置によって出力された比較結果の中から選択された一の学習結果を適用した検査機。
(付記B6)
制御部を備え、機械学習により所定の学習がなされたことによって得られた学習結果を格納するデータベースに接続されたコンピュータが実行する学習結果の比較方法であって、
前記コンピュータは、
複数の学習結果を前記データベースから抽出するステップと、
前記抽出された複数の学習結果のそれぞれが獲得した能力を比較するステップと、
前記比較の結果を出力するステップと、
を備える比較方法。
(付記B7)
機械学習により所定の学習がなされたことによって得られた学習結果を格納するデータベースに接続されたコンピュータを、
複数の学習結果を前記データベースから抽出する手段、
前記抽出された複数の学習結果のそれぞれが獲得した能力を比較する手段、及び
前記比較の結果を出力する手段、
として機能させるプログラム。
(付記C1)
複数の学習結果を格納する記憶部であって、前記学習結果は、機械学習により所定の学習がなされたことによって得られたものであり、前記学習結果のそれぞれは、特定の識別範囲内において前記学習結果と、当該学習結果をもたらした学習とを識別可能な識別情報が付与されている、記憶部と、
利用者から検索条件を受け付ける受付部と、
前記受付部によって受け付けられた検索条件に対応する識別情報に関連付けられた学習結果を検索する検索部と、
前記検索の結果を出力する出力部と、
を備えるデータベース装置。
(付記C2)
前記識別情報は、前記所定の学習を識別可能な第1情報、前記学習結果を識別可能な第2情報、及び前記学習結果によってもたらされる成果を識別可能な第3情報のうち少なくともいずれかを含む、
付記C1記載のデータベース装置。
(付記C3)
前記第1情報、前記第2情報、及び前記第3情報は、前記所定の学習がなされる際に与えられる条件のうち、前記特定の識別範囲内において、それぞれ学習、学習結果、及び当該学習結果によってもたらされる成果に影響を与える要因に基づいて付与される、
付記C2記載のデータベース装置。
(付記C4)
付記C2又はC3に記載のデータベース装置に用いられ、前記記憶部に記憶される前記識別情報のデータ構造であって、
前記学習を識別可能な第1情報と、
前記第1情報に紐づけられた複数の第2情報と、
複数の前記第2情報によって互いに識別される複数の学習結果のデータと、
を含み、
前記データベース装置において、
前記受付部が、前記第2情報を検索条件として受け付けた場合には、受け付けた第2情報に紐づく第1情報を特定して検索の結果を前記出力部が出力し、
前記受付部が、前記第1情報を検索条件として受け付けた場合には、受け付けた第1条件に紐づけられた第2情報に対応する学習結果のデータを検索の結果として、前記出力部が出力する処理に用いられる、
識別情報のデータ構造。
(付記C5)
制御部を備えるコンピュータが実行する学習結果管理方法であって、
前記制御部が、複数の学習結果を格納するステップであって、前記学習結果は、機械学習により所定の学習がなされたことによって得られたものであり、前記学習結果のそれぞれは、特定の識別範囲内において前記学習結果と、当該学習結果をもたらした学習とを識別可能な識別情報が付与されている、ステップと、
前記制御部が、利用者から検索条件を受け付けるステップと、
前記制御部が、前記受け付けるステップによって受け付けられた検索条件に対応する識別情報に関連付けられた学習結果を検索するステップと、
前記制御部が、前記検索の結果を出力するステップと、
を実行する学習結果管理方法。
(付記C6)
コンピュータを、
複数の学習結果を格納する手段であって、前記学習結果は、機械学習により所定の学習がなされたことによって得られたものであり、前記学習結果のそれぞれは、特定の識別範囲内において前記学習結果と、当該学習結果をもたらした学習とを識別可能な識別情報が付与されている、手段、
利用者から検索条件を受け付ける手段、
前記受け付ける手段によって受け付けられた検索条件に対応する識別情報に関連付けられた学習結果を検索する手段、及び
前記検索の結果を出力する手段、
として機能させるプログラム。
(付記C7)
所定の能力を獲得するために行われた所定の学習の結果である学習結果を適用可能な製造装置であって、
前記学習結果が記憶される記憶部と、
部品に関する情報が入力される入力部と、
前記部品の情報に基づいて、所定の部品を判別する判別部と、
前記判別部が判別した結果を出力可能な出力部と、
を備え、
前記学習結果は、
前記記憶部において、前記所定の学習を他の学習から識別可能な第1情報と、前記所定の学習による前記学習結果を他の学習結果から識別可能な第2情報と、対応付けられて記憶される、
製造装置。
(付記D1)
機械学習により所定の学習がなされたことによって所定の能力を獲得した学習結果に対して、前記所定の学習を識別可能な第1情報と、前記学習結果を識別可能な第2情報と、前記学習結果によってもたらされる成果を識別可能な第3情報と、を含む識別情報を生成する生成部と、
前記生成された識別情報を格納する記憶部と、
を備える学習成果識別装置。
(付記D2)
前記生成部は、
第1の成果をもたらした学習結果に対して、特定の識別範囲内において、前記第1の成果を識別可能な第1の識別情報を生成し、
第2の成果をもたらした学習結果に対して、前記特定の識別範囲内において、前記第2の成果を識別可能な第2の識別情報を生成する、
付記D1記載の学習成果識別装置。
(付記D3)
前記生成部は、前記第1及び第2の成果がもたらされる際に与えられる条件のうち、前記特定の識別範囲内において学習結果又は当該学習結果によってもたらされる成果に影響を与える要因に基づいて、前記識別情報を生成する、
付記D2記載の学習成果識別装置。
(付記D4)
所定の要因が前記学習結果又は前記成果に与える影響の感応度を計測することによって、当該要因が前記学習結果又は前記成果に影響を与える要因であるか否かを判定する影響判定部、
をさらに備える付記D3記載の学習成果識別装置。
(付記D5)
前記識別情報によって識別可能な学習の情報は、学習装置、学習プログラム、学習データ、学習の回数、学習の時期、学習の目標、学習の方法、学習依頼者、学習データの取得元、又は学習データの取得方法、のうち少なくともいずれかの要因を含む、
付記D1乃至D4のいずれかに記載の学習成果識別装置。
(付記D6)
前記識別情報によって識別可能な学習結果の情報は、学習の実施環境に関する情報、学習結果を利用する装置に関する情報、学習結果が獲得した能力に関する情報のうち少なくともいずれかの要因を含む、
付記D1乃至D5のいずれかに記載の学習成果識別装置。
(付記D7)
前記識別情報によって識別可能な成果の情報は、学習によって獲得された能力、学習結果の利用者、学習結果を利用する装置、学習結果が利用される場所、学習結果の利用目的、学習結果の利用対象、学習結果の組み合わせ、学習結果の分割、学習結果の利用履歴のうち少なくともいずれかの要因を含む、
付記D1乃至D6のいずれかに記載の学習成果識別装置。
(付記D8)
所定の能力を獲得するために行われた所定の学習の結果である学習結果を適用可能な検査機であって、
検査対象物を測定する少なくとも1つのセンサと、
前記学習結果を記憶する記憶部であって、付記D1乃至D7のいずれかに記載の学習成果識別装置によって生成された識別情報を前記学習結果に対応付けて記憶する、記憶部と、
を備える検査機。
(付記D9)
制御部を備えるコンピュータが実行する学習成果識別方法であって、
機械学習により所定の学習がなされたことによって所定の能力を獲得した学習結果に対して、前記所定の学習を識別可能な第1情報と、前記学習結果を識別可能な第2情報と、前記学習結果によってもたらされる成果を識別可能な第3情報と、を含む識別情報を生成するステップと、
前記生成された識別情報を記憶部に格納するステップと、
を備える学習成果識別方法。
(付記D10)
コンピュータを、
機械学習により所定の学習がなされたことによって所定の能力を獲得した学習結果に対して、前記所定の学習を識別可能な第1情報と、前記学習結果を識別可能な第2情報と、前記学習結果によってもたらされる成果を識別可能な第3情報と、を含む識別情報を生成する手段、及び
前記生成された識別情報を記憶部に格納する手段、
として機能させるプログラム。
1 学習サービス提供システム、2 学習依頼システム、11 学習結果データベース、12 学習依頼受付装置、13 学習装置、14 学習管理システム、15 学習識別情報生成装置、16 学習結果識別情報生成装置、17 学習結果利用環境情報生成装置、21 学習データ準備装置、22 学習依頼装置、23 学習結果利用装置、23 学習結果利用装置、24 学習データ入力装置、121 学習依頼受付部、123 学習データ記憶部、124 学習依頼内容記憶部、125 通信部、131 学習制御部、132 ニューラルネットワーク、133 学習結果抽出部、134 通信部、135 学習結果出力部、140 学習管理装置、141 学習情報取得部、142 学習制御部、143 要因情報取得部、144 識別範囲設定部、145 影響判定部、147 通信部、211 操作部、212 学習データ取得部、213 学習データ記憶部、214 データ取得制御部、216 通信部、221 学習依頼部、222 学習依頼内容記憶部、223 学習データ記憶部、224 通信部、231 学習結果入力部、232 ニューラルネットワーク設定部、233 ニューラルネットワーク、234 制御部、235 入力部、236 通信部、237 データ取得部、238 出力部

Claims (9)

  1. 学習結果を適用させる検査機のスペックに関する情報を取得する取得部と、
    学習データベースに記憶された、機械学習により所定の学習がなされたことによって所定の能力を獲得した学習結果に対して、前記所定の学習を他の学習から識別可能な第1情報と、前記所定の学習による前記学習結果を他の学習結果から識別可能な第2情報と、を含む識別情報とのマッチングを行い、前記検査機に適用させる学習結果を特定するマッチング部と、
    を備え、
    前記マッチング部は、
    前記識別情報に基づいて、特定の識別範囲において、第1の学習がなされたことにより第1の能力を獲得した第1の学習結果と、第2の学習がなされたことにより第2の能力を獲得した第2の学習結果とを識別して、前記検査機に適用させる学習結果を特定し、
    前記識別情報は、
    前記第1及び第2の学習がなされる際に与えられる条件のうち、前記特定の識別範囲内において学習結果又は当該学習結果によってもたらされる成果に影響を与える要因に基づいて付与され、
    前記要因に関する情報は、
    前記学習を上位の階層で識別するために用いられ、前記学習への使用開始前に学習結果をグループ化することが可能な第1要因と、
    前記第1要因に紐づけられた、前記学習を前記第1要因よりも下位の階層で識別するために用いられ、前記学習への使用開始後に学習結果の識別に影響を与える第2要因と、
    を含み、
    前記第2要因は、第1及び第2の学習がなされる際に与えられる条件に基づいて特定される、前記学習結果又は当該学習結果によってもたらされる成果に影響を与える要因として特定され、前記識別情報は、当該特定した第2要因に紐づけられた第1要因に付与されたID情報と、特定された第2要因に付与されたID情報とを暗号化、圧縮化、又は一覧表化して生成され、各々の第2要因は、階層構造を構成する相互関係を有しており、各第2要因に付与されたID情報は、前記階層構造が把握可能に付与されており、
    前記識別情報によって識別可能な学習の情報は、学習結果を利用する装置に関する情報の要因を含む、検査機の管理装置。
  2. 前記識別情報によって識別可能な学習の情報は、学習装置、学習プログラム、学習データ、学習の回数、学習の時期、学習の目標、学習の方法、学習依頼者、学習データの取得元、又は学習データの取得方法、のうち少なくともいずれかの要因を含む、
    請求項1に記載の管理装置。
  3. 前記識別情報によって識別可能な学習結果の情報は、学習結果の利用形態に関する情報、学習の実施環境に関する情報、学習結果によって獲得した能力に関する情報、及び学習を識別する情報のうち少なくともいずれかの要因を含む、
    請求項1または2に記載の管理装置。
  4. 機械学習により所定の学習がなされたことによって所定の能力を獲得した学習結果に対して、前記所定の学習を他の学習から識別可能な第1情報と、前記所定の学習による前記学習結果を他の学習結果から識別可能な第2情報と、を含む識別情報を生成する生成部と、
    前記生成された識別情報を格納する記憶部と、
    を備え、
    前記生成部は、
    第1の学習がなされたことにより第1の能力を獲得した第1の学習結果に対して、特定の識別範囲内において、前記第1の学習と前記第1の学習結果とを識別可能な第1の識別情報を生成し、
    第2の学習がなされたことにより第2の能力を獲得した第2の学習結果に対して、前記特定の識別範囲内において、前記第2の学習と前記第2の学習結果とを識別可能な第2の識別情報を生成し、
    前記第1及び第2の学習がなされる際に与えられる条件のうち、前記特定の識別範囲内において学習結果又は当該学習結果によってもたらされる成果に影響を与える要因に基づいて、前記識別情報を生成し、
    前記要因に関する情報は、
    前記学習を上位の階層で識別するために用いられ、前記学習への使用開始前に学習結果をグループ化することが可能な第1要因と、
    前記第1要因に紐づけられた、前記学習を前記第1要因よりも下位の階層で識別するために用いられ、前記学習への使用開始後に学習結果の識別に影響を与える第2要因と、
    を含み、
    前記生成部は、第1及び第2の学習がなされる際に与えられる条件に基づいて、前記学習結果又は当該学習結果によってもたらされる成果に影響を与える第2要因を特定し、当該特定した第2要因に紐づけられた第1要因に付与されたID情報と、特定された第2要因に付与されたID情報とを暗号化、圧縮化、又は一覧表化して識別情報を生成し、各々の第2要因は、階層構造を構成する相互関係を有しており、各第2要因に付与されたID情報は、前記階層構造が把握可能に付与されており、
    前記識別情報によって識別可能な学習の情報は、学習結果を利用する装置に関する情報の要因を含む、
    学習結果識別装置。
  5. 前記識別情報によって識別可能な学習の情報は、学習装置、学習プログラム、学習データ、学習の回数、学習の時期、学習の目標、学習の方法、学習依頼者、学習データの取得元、又は学習データの取得方法、のうち少なくともいずれかの要因を含む、
    請求項4に記載の学習結果識別装置。
  6. 前記識別情報によって識別可能な学習結果の情報は、学習結果の利用形態に関する情報、学習の実施環境に関する情報、学習結果によって獲得した能力に関する情報、及び学習を識別する情報のうち少なくともいずれかの要因を含む、
    請求項4または5に記載の学習結果識別装置。
  7. コンピュータが、
    機械学習により所定の学習がなされたことによって所定の能力を獲得した学習結果に対して、前記所定の学習を他の学習から識別可能な第1情報と、前記所定の学習による前記学習結果を他の学習結果から識別可能な第2情報と、を含む識別情報を生成することと、
    前記生成された識別情報を格納することと、
    を実行し、
    前記生成することは、
    第1の学習がなされたことにより第1の能力を獲得した第1の学習結果に対して、特定の識別範囲内において、前記第1の学習と前記第1の学習結果とを識別可能な第1の識別情報を生成し、
    第2の学習がなされたことにより第2の能力を獲得した第2の学習結果に対して、前記特定の識別範囲内において、前記第2の学習と前記第2の学習結果とを識別可能な第2の識別情報を生成し、
    前記第1及び第2の学習がなされる際に与えられる条件のうち、前記特定の識別範囲内において学習結果又は当該学習結果によってもたらされる成果に影響を与える要因に基づいて、前記識別情報を生成し、
    前記要因に関する情報は、
    前記学習を上位の階層で識別するために用いられ、前記学習への使用開始前に学習結果をグループ化することが可能な第1要因と、
    前記第1要因に紐づけられた、前記学習を前記第1要因よりも下位の階層で識別するために用いられ、前記学習への使用開始後に学習結果の識別に影響を与える第2要因と、
    を含み、
    前記生成することは、第1及び第2の学習がなされる際に与えられる条件に基づいて、前記学習結果又は当該学習結果によってもたらされる成果に影響を与える第2要因を特定し、当該特定した第2要因に紐づけられた第1要因に付与されたID情報と、特定された第2要因に付与されたID情報とを暗号化、圧縮化、又は一覧表化して識別情報を生成し、各々の第2要因は、階層構造を構成する相互関係を有しており、各第2要因に付与されたID情報は、前記階層構造が把握可能に付与されており、
    前記識別情報によって識別可能な学習の情報は、学習結果を利用する装置に関する情報の要因を含む、
    学習結果識別方法。
  8. コンピュータを、
    機械学習により所定の学習がなされたことによって所定の能力を獲得した学習結果に対して、前記所定の学習を他の学習から識別可能な第1情報と、前記所定の学習による前記学習結果を他の学習結果から識別可能な第2情報と、を含む識別情報を生成する手段、及び
    前記生成された識別情報を格納する手段、
    として機能させ、
    前記生成する手段は、
    第1の学習がなされたことにより第1の能力を獲得した第1の学習結果に対して、特定の識別範囲内において、前記第1の学習と前記第1の学習結果とを識別可能な第1の識別情報を生成し、
    第2の学習がなされたことにより第2の能力を獲得した第2の学習結果に対して、前記特定の識別範囲内において、前記第2の学習と前記第2の学習結果とを識別可能な第2の識別情報を生成し、
    前記第1及び第2の学習がなされる際に与えられる条件のうち、前記特定の識別範囲内において学習結果又は当該学習結果によってもたらされる成果に影響を与える要因に基づいて、前記識別情報を生成し、
    前記要因に関する情報は、
    前記学習を上位の階層で識別するために用いられ、前記学習への使用開始前に学習結果をグループ化することが可能な第1要因と、
    前記第1要因に紐づけられた、前記学習を前記第1要因よりも下位の階層で識別するために用いられ、前記学習への使用開始後に学習結果の識別に影響を与える第2要因と、
    を含み、
    前記生成する手段は、第1及び第2の学習がなされる際に与えられる条件に基づいて、前記学習結果又は当該学習結果によってもたらされる成果に影響を与える第2要因を特定し、当該特定した第2要因に紐づけられた第1要因に付与されたID情報と、特定された第2要因に付与されたID情報とを暗号化、圧縮化、又は一覧表化して識別情報を生成し、各々の第2要因は、階層構造を構成する相互関係を有しており、各第2要因に付与されたID情報は、前記階層構造が把握可能に付与されており、
    前記識別情報によって識別可能な学習の情報は、学習結果を利用する装置に関する情報の要因を含む、
    プログラム。
  9. 所定の能力を獲得するために行われた所定の学習の結果である学習結果を適用可能な検査機であって、
    前記学習結果が記憶される記憶部と、
    検査対象の情報が入力される入力部と、
    前記検査対象の情報に基づいて、所定の検査対象を判別する判別部と、
    前記判別部が判別した結果を出力可能な出力部と、
    を備え、
    前記学習結果は、
    前記記憶部において、前記所定の学習を他の学習から識別可能な第1情報と、前記所定の学習による前記学習結果を他の学習結果から識別可能な第2情報と、対応付けられて記憶され、
    前記学習結果は、
    前記第1情報と前記第2情報を含む識別情報に基づいて、特定の識別範囲において、第1の学習がなされたことにより第1の能力を獲得した第1の学習結果と、第2の学習がなされたことにより第2の能力を獲得した第2の学習結果とを識別して特定され、
    前記識別情報は、
    前記第1及び第2の学習がなされる際に与えられる条件のうち、前記特定の識別範囲内において学習結果又は当該学習結果によってもたらされる成果に影響を与える要因に基づいて付与され、
    前記要因に関する情報は、
    前記学習を上位の階層で識別するために用いられ、前記学習への使用開始前に学習結果をグループ化することが可能な第1要因と、
    前記第1要因に紐づけられた、前記学習を前記第1要因よりも下位の階層で識別するために用いられ、前記学習への使用開始後に学習結果の識別に影響を与える第2要因と、
    を含み、
    前記第2要因は、第1及び第2の学習がなされる際に与えられる条件に基づいて特定される、前記学習結果又は当該学習結果によってもたらされる成果に影響を与える要因として特定され、前記識別情報は、当該特定した第2要因に紐づけられた第1要因に付与されたID情報と、特定された第2要因に付与されたID情報とを暗号化、圧縮化、又は一覧表化して生成され、各々の第2要因は、階層構造を構成する相互関係を有しており、各第2要因に付与されたID情報は、前記階層構造が把握可能に付与されており、
    前記識別情報によって識別可能な学習の情報は、学習結果を利用する装置に関する情報の要因を含む、
    検査機。
JP2018037459A 2017-03-14 2018-03-02 学習結果識別装置、学習結果識別方法、及びそのプログラム Active JP7097195B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017048920 2017-03-14
JP2017048920 2017-03-14

Publications (2)

Publication Number Publication Date
JP2018152063A JP2018152063A (ja) 2018-09-27
JP7097195B2 true JP7097195B2 (ja) 2022-07-07

Family

ID=63679656

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018037459A Active JP7097195B2 (ja) 2017-03-14 2018-03-02 学習結果識別装置、学習結果識別方法、及びそのプログラム

Country Status (1)

Country Link
JP (1) JP7097195B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7363823B2 (ja) * 2019-01-22 2023-10-18 ソニーグループ株式会社 情報処理装置、および情報処理方法
JP7166951B2 (ja) * 2019-02-08 2022-11-08 オリンパス株式会社 学習依頼装置、学習装置、推論モデル利用装置、推論モデル利用方法、推論モデル利用プログラム及び撮像装置
JP7195977B2 (ja) * 2019-02-28 2022-12-26 デンカ株式会社 基板検査装置、基板検査方法、およびプログラム
JP7194613B2 (ja) * 2019-02-28 2022-12-22 デンカ株式会社 基板の製造方法
JP7297532B2 (ja) * 2019-05-28 2023-06-26 オークマ株式会社 機械学習用データ収集システム及びデータ収集方法
JP7309533B2 (ja) * 2019-09-06 2023-07-18 株式会社日立製作所 モデル改善支援システム
JP7006954B2 (ja) * 2019-09-22 2022-01-24 株式会社リョーワ 良否判定システム、サーバ及び良否判定方法
JP7511379B2 (ja) 2020-04-28 2024-07-05 株式会社マネーフォワード 情報処理装置及びプログラム
CN111860121B (zh) * 2020-06-04 2023-10-24 上海翎腾智能科技有限公司 一种基于ai视觉下的阅读能力辅助评估方法及系统
KR102466016B1 (ko) * 2021-06-21 2022-11-11 주식회사 크립토랩 동형 암호문을 처리하는 서버 장치 및 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016170012A (ja) 2015-03-12 2016-09-23 エヌ・ティ・ティ・コミュニケーションズ株式会社 測位装置、測位方法、測位プログラム、および、測位システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7428751B2 (en) * 2002-12-05 2008-09-23 Microsoft Corporation Secure recovery in a serverless distributed file system
JP2006018707A (ja) * 2004-07-05 2006-01-19 Nippon Telegr & Teleph Corp <Ntt> 被写体識別装置、その識別方法とその識別プログラム、および被写体識別器設定装置、その設定方法とその設定プログラム
JP2006325725A (ja) * 2005-05-24 2006-12-07 Resource One Co Ltd 医療情報管理装置、医療情報管理システム、医療情報管理方法、および医療情報管理プログラム
JP2009064162A (ja) * 2007-09-05 2009-03-26 Fuji Heavy Ind Ltd 画像認識システム
JP2013045270A (ja) * 2011-08-24 2013-03-04 Canon Inc 情報処理装置、情報処理方法、及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016170012A (ja) 2015-03-12 2016-09-23 エヌ・ティ・ティ・コミュニケーションズ株式会社 測位装置、測位方法、測位プログラム、および、測位システム

Also Published As

Publication number Publication date
JP2018152063A (ja) 2018-09-27

Similar Documents

Publication Publication Date Title
JP7097195B2 (ja) 学習結果識別装置、学習結果識別方法、及びそのプログラム
Ghosal et al. An explainable deep machine vision framework for plant stress phenotyping
US11531885B2 (en) Training data generation for visual search model training
US11507989B2 (en) Multi-label product categorization
US20150213392A1 (en) System and Method of Using Task Fingerprinting to Predict Task Performance
US11409888B2 (en) Security information processing device, information processing method, and recording medium
US20230138180A1 (en) Systems and methods for generating and executing a test case plan for a software product
CN110580489B (zh) 一种数据对象的分类系统、方法以及设备
WO2018168521A1 (en) Learning result identifying apparatus, learning result identifying method, and program therefor
Sylligardos et al. Choose wisely: An extensive evaluation of model selection for anomaly detection in time series
Darias et al. Using case-based reasoning for capturing expert knowledge on explanation methods
Mahmood et al. Identification of critical factors for assessing the quality of restaurants using data mining approaches
Sandra et al. Social network analysis algorithms, techniques and methods
US10867249B1 (en) Method for deriving variable importance on case level for predictive modeling techniques
US20230333720A1 (en) Generating presentation information associated with one or more objects depicted in image data for display via a graphical user interface
JP6781956B2 (ja) 学習結果比較装置、学習結果比較方法、及びそのプログラム
JP6818253B2 (ja) 学習成果識別装置、学習成果識別方法、及びそのプログラム
JP6818252B2 (ja) データベース装置、学習結果管理方法、及びそのプログラム
WO2020045526A1 (ja) 情報分析装置及びプログラム
Uddin et al. A study of deterioration in classification models in real-time big data environment
JP6781950B2 (ja) 識別情報付与システム、識別情報付与方法、及びそのプログラム
Mamman et al. Search-Based Fairness Testing: An Overview
Dhanasekar et al. Design and Implementation of a Defect Identification Using Image Processing Technique
Mishra Linking Models for Collective Attention in Social Media
Bakirarar et al. A New Class-Weighting Formulation for the Class Imbalance Problem: A Methodological Research.

Legal Events

Date Code Title Description
AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20180323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180509

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210610

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210922

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210922

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210930

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20211001

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20211126

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20211130

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220228

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220404

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220523

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220615

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220615

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220627

R150 Certificate of patent or registration of utility model

Ref document number: 7097195

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150