JP6435581B2 - 転移学習装置、転移学習システム、転移学習方法およびプログラム - Google Patents

転移学習装置、転移学習システム、転移学習方法およびプログラム Download PDF

Info

Publication number
JP6435581B2
JP6435581B2 JP2015016125A JP2015016125A JP6435581B2 JP 6435581 B2 JP6435581 B2 JP 6435581B2 JP 2015016125 A JP2015016125 A JP 2015016125A JP 2015016125 A JP2015016125 A JP 2015016125A JP 6435581 B2 JP6435581 B2 JP 6435581B2
Authority
JP
Japan
Prior art keywords
transfer
learning
output
data
transfer destination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015016125A
Other languages
English (en)
Other versions
JP2016143094A (ja
Inventor
好秀 澤田
好秀 澤田
和紀 小塚
和紀 小塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2015016125A priority Critical patent/JP6435581B2/ja
Priority to US14/997,539 priority patent/US10832128B2/en
Publication of JP2016143094A publication Critical patent/JP2016143094A/ja
Application granted granted Critical
Publication of JP6435581B2 publication Critical patent/JP6435581B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/091—Active learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、転移学習装置、転移学習システム、転移学習方法およびプログラムに関し、特には、ニューラルネットワーク装置での転移学習に関する。
近年、ニューラルネットワークにおける転移学習に関する研究が行われている。ニューラルネットワークにおける転移学習とは、転移元のデータセットでの学習結果を、転移先のデータセットの分類や回帰などの特徴抽出に利用するための適応である。
例えば、非特許文献１では、転移元のデータセットを用いて深層学習させた多層ニューラルネットワークを、転移先のデータセットに適応するようにさらに学習させる、転移学習の方法が提案されている。
非特許文献１に開示される転移学習では、前記深層学習後の前記多層ニューラルネットワークの入力層からある隠れ層までの下位層を、汎用の特徴抽出器としてそのまま利用する。また、前記多層ニューラルネットワークの前記隠れ層の出力を受ける隠れ層から出力層までの上位層を、新たに構成した適応層（つまり、新たな隠れ層及び出力層）で置き換え、転移先のデータセットを用いて当該適応層の学習を行う。
非特許文献１では、画像プロセッサで動作するソフトウェアによってエミュレートされる多層ニューラルネットワークを、約１２０万枚の転移元画像を用いて深層学習させた後、異種の転移先画像を用いて上述の転移学習を行う実験について報告されている。当該報告では、前記転移先画像が前記転移元画像とは異種の画像であるにもかかわらず、前記転移学習によって、転移先画像に表される物体及び動作の認識精度が向上することが示されている。
Ｍａｘｉｍｅ Ｏｑｕａｂ， Ｌｅｏｎ Ｂｏｔｔｏｕ， Ｉｖａｎ Ｌａｐｔｅｖ， Ｊｏｓｅｆ Ｓｉｖｉｃ "Ｌｅａｒｎｉｎｇ ａｎｄ Ｔｒａｎｓｆｅｒｒｉｎｇ Ｍｉｄ−Ｌｅｖｅｌ Ｉｍａｇｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｕｓｉｎｇ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，" ＣＶＰＲ， Ｊｕｎｅ ２０１４ ＜ｈａｌ−００９１１１７９ｖ１＞
しかしながら、本発明者らは、非特許文献１に開示される転移学習に関し、学習効果を損ない得るいくつかの問題に気づいた。
そこで、本開示では、ニューラルネットワーク装置での転移学習に適した新規な転移学習装置、転移学習システム、転移学習方法およびプログラムを提供することを目的とする。
開示される一態様に係るデータ学習装置は、各々に１以上の評価項目ごとのラベルが付された複数のラベル付き転移先データを、前記評価項目と同数以上の出力ユニットを出力層に有しかつ複数のラベル付き転移元データで学習済みのニューラルネットワーク装置に入力することにより、前記出力ユニットから出力された評価値を取得する転移先データ評価部と、前記１以上の評価項目の各々の評価値を出力するための出力ユニットとして、前記出力ユニットのうち当該評価項目のラベルとの差分が最も小さい評価値が取得された頻度がより高い出力ユニットを優先的に割り当てる出力層調整部と、を備える。
これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
開示される一態様に係る転移学習装置によれば、前記転移元データでの学習によって設定された前記ニューラルネットワーク装置の構成や荷重値をそのまま使用しつつ、前記転移先データの評価項目の各々の評価値を出力するための出力ユニットの割り当てによって、転移先データに適応するための転移学習が行われる。
そのため、転移学習の際に、転移先データを利用して前記ニューラルネットワーク装置の構成や荷重値を変更する手間や、前記構成や前記荷重値の変更によって生じ得る過学習や認識精度の低下といった悪影響がない転移学習装置が得られる。
ニューラルネットワーク装置が行う演算の計算モデルを説明する概念図 分類問題を解くためのニューラルネットワーク装置の学習の一例を説明する図 回帰問題を解くためのニューラルネットワーク装置の学習の一例を説明する図 実施の形態１に係る転移学習装置の機能的な構成の一例を示すブロック図 実施の形態１に係る転移学習の一例を示すフローチャート 分類問題でのラベル付き転移先データの一例を示す図 「病変」カテゴリに関する近似評価値出現頻度の分布の一例を示す図 「非病変」カテゴリに関する近似評価値出現頻度の分布の一例を示す図 「病変」及び「非病変」カテゴリの出力ユニットの割り当ての一例を示す図 回帰問題でのラベル付き転移先データの一例を示す図 「筋力レベル」属性に関する近似評価値出現頻度の分布の一例を示す図 「バランス力」属性に関する近似評価値出現頻度の分布の一例を示す図 「持久力」属性に関する近似評価値出現頻度の分布の一例を示す図 「筋力レベル」、「バランス力」及び「持久力」属性の出力ユニットの割り当ての一例を示す図 実施の形態２に係る転移学習装置の機能的な構成の一例を示すブロック図 実施の形態２に係る転移学習の一例を示すフローチャート 実施の形態３に係る転移学習装置の機能的な構成の一例を示すブロック図 実施の形態３に係る転移学習の一例を示すフローチャート 分類問題での転移元データの関連ラベルの一例を示す図 回帰問題での転移元データの関連ラベルの一例を示す図 実施の形態４に係る転移学習装置の機能的な構成の一例を示すブロック図 実施の形態４に係る転移学習の一例を示すフローチャート ユーザーに提示される選択画面の一例を示す図 Ｗｏｒｋｆｌｏｗ ｄａｔａの一例を示す図 ユーザーに提示される選択画面の一例を示す図 ユーザーに提示される選択画面の一例を示す図 ユーザーに提示される選択画面の一例を示す図 転移学習システムを実現するためのハードウェア構成の一例を示すブロック図 データサーバを利用したデータ転移学習システムの一例を示す模式図
（本発明の基礎となった知見）
本発明者らは、背景技術の欄において記載した、非特許文献１に開示される転移学習に関し、学習効果を損ない得るいくつかの問題に気づいた。
背景技術の欄で述べたように、前記転移学習では、深層学習後の多層ニューラルネットワークの下位層がそのまま利用され、上位層が転移先のデータセットに適応するように新たに構成され学習される。しかしながら、利用できる下位層の好適な範囲を定める明確な基準がなく、上位層を新たに構成する手間もかかる。また、転移先のデータセットが比較的小規模なデータセットである場合、新たな上位層を、当該小規模なデータセットを用いて初期状態から学習させることで、過学習に陥る恐れがある。加えて、下位層と上位層とを異なるデータセットを用いて学習させるため、データセットの組み合わせによっては、認識精度が低下する悪影響が生じる懸念もある。
本発明者らは、このような問題を解決すべく鋭意検討の結果、以下に開示される転移学習装置、転移学習システム、及び転移学習方法に到達した。
開示される一態様に係る転移学習装置は、各々に１以上の評価項目ごとのラベルが付された複数のラベル付き転移先データを、前記評価項目と同数以上の出力ユニットを出力層に有しかつ複数のラベル付き転移元データで学習済みのニューラルネットワーク装置に入力することにより、前記出力ユニットから出力された評価値を取得する転移先データ評価部と、前記１以上の評価項目の各々の評価値を出力するための出力ユニットとして、前記出力ユニットのうち当該評価項目のラベルとの差分が最も小さい評価値が取得された頻度がより高い出力ユニットを優先的に割り当てる出力層調整部と、を備える。
このような構成によれば、前記転移元データでの学習によって設定された前記ニューラルネットワーク装置の構成や荷重値をそのまま使用しつつ、前記転移先データの評価項目の各々の評価値を出力するための出力ユニットの割り当てによって、転移先データに適応するための転移学習が行われる。
そのため、転移学習の際に、転移先データを利用して前記ニューラルネットワーク装置の構成や荷重値を変更する手間や、前記構成や前記荷重値の変更によって生じ得る過学習や認識精度の低下といった悪影響がない転移学習装置が得られる。
また、前記出力層調整部は、前記１以上の評価項目の各々について、前記複数のラベル付き転移先データにわたって当該評価項目のラベルとの差分が最も小さい評価値が取得された前記出力ユニットの頻度分布を算出し、前記１以上の評価項目の各々に異なる１つの前記出力ユニットを対応付ける組み合わせの中から、対応付けられる前記出力ユニットでの前記頻度の総和がより大きい組み合わせを優先的に選択し、選択された前記組み合わせによって前記１以上の評価項目の各々に対応付けられる出力ユニットを、当該評価項目の出力ユニットとして割り当ててもよい。
このような構成によれば、前記転移先データの評価項目の各々の評価値を出力するための出力ユニットを適切に割り当てることができる。
また、前記ニューラルネットワーク装置における荷重値を、前記複数のラベル付き転移元データで学習済みの荷重値を初期値として、前記複数のラベル付き転移先データを用いた教師付き学習によって更新する荷重調整部を、さらに備えてもよい。
このような構成によれば、前記転移先データでの学習により、前記ニューラルネットワーク装置における荷重値を、学習済みの荷重値を初期値として更新する。そのため、学習済みの荷重値を用いずかつ少量の転移先データで学習する場合に起こり得る過学習を抑制できる。
また、前記荷重調整部は、前記ニューラルネットワーク装置が有する全てのユニットの荷重値を更新の対象としてもよい。
このような構成によれば、例えば、多層ニューラルネットワーク装置において上位層に位置するユニットの荷重値のみを更新する場合など、前記ニューラルネットワーク装置における荷重値を一部のユニットについてのみ更新する場合に起こり得る認識精度の低下を抑制することができる。
また、前記ラベル付き転移元データには、前記出力ユニットの各々に対応するラベルが付されており、前記荷重調整部は、さらに、前記ニューラルネットワーク装置における荷重値を、前記複数のラベル付き転移元データに付されたラベルのうち、前記出力層調整部によって割り当てられた出力ユニットに対応するラベルのみを用いた教師付き学習によって更新してもよい。
このような構成によれば、前記複数のラベル付き転移元データで学習済みの荷重値を、転移先データの評価項目との関連性が高い転移元データのラベルのみを用いた再学習によって更新することができる。これにより、転移先データの評価項目との関連性が低い転移元データのラベルがノイズとなることで生じる認識精度の低下を抑制することができる。
また、前記荷重調整部は、前記教師付き学習を行う前に、前記ニューラルネットワーク装置が有する１以上の隠れ層の各々で教師なし学習を行ってもよい。
このような構成によれば、事前に層ごとの教師なし学習を行うことによって、認識精度の向上が期待できる。
また、前記ニューラルネットワーク装置は、前記評価項目の数よりも多くの出力ユニットを前記出力層に有しており、前記転移学習装置は、１以上のラベルなし転移先データを前記ニューラルネットワーク装置に入力することにより、前記出力層調整部によって割り当てられなかった出力ユニットから出力された評価値を取得し、当該評価値が基準範囲から逸脱することにより学習不足を検出する学習不足検出部を、さらに備えてもよい。
前記基準範囲には、前記出力層調整部によって割り当てられなかった前記出力ユニットの出力値と矛盾する値の範囲が用いられ得る。例えば、前記学習不足を検出する前に、前記出力層調整部によって割り当てられなかった前記出力ユニットの出力値が０などの特定の値になるように、前記ニューラルネットワーク装置を学習しておいてもよい。その場合、前記評価値が当該特定の値を含む基準範囲から逸脱することにより、学習不足が検出される。
このような構成によれば、前記ニューラルネットワーク装置において、前記ラベルなし転移先データに適応するための転移学習が不足していることが検出できるので、追加的な学習など、適応のための対策がさらに必要であることが分かる。
また、前記転移学習装置は、前記ラベルなし転移先データについて前記学習不足が検出された場合、前記ラベルなし転移先データに対応するラベルをユーザーから受け付ける正解取得部を、さらに備え、前記荷重調整部は、前記ユーザーから受け付けた前記ラベルと前記ラベルなし転移先データとを用いた教師付き学習によって前記ニューラルネットワーク装置の荷重値を更新してもよい。
このような構成によれば、転移学習の不足が検出された前記ラベルなし転移先データのラベルを前記ユーザーから受け付けることによって、当該ラベルと前記ラベルなし転移先データとを用いて追加的な学習を行うことができる。
また、前記正解取得部は、前記出力層調整部によって割り当てられなかった同じ１つの出力ユニットから出力された評価値が前記基準範囲から逸脱する複数のラベルなし転移先データに共通するラベルを前記ユーザーから受け付け、前記荷重調整部は、前記ユーザーから受け付けた前記ラベルと前記複数のラベルなし転移先データとを用いた教師付き学習によって前記ニューラルネットワーク装置の荷重値を更新してもよい。
このような構成によれば、前記ユーザーから受け付けたラベルと前記複数のラベルなし転移先データとを用いて追加的な学習を行うことができる。
また、前記複数のラベル付き転移先データの各々には、さらに連想データが付されており、前記正解取得部は、前記ラベルなし転移先データに関する連想データを前記ユーザーから受け付け、前記荷重調整部は、前記ユーザーから受け付けた前記連想データが付されたラベル付き転移先データのラベルと前記ラベルなし転移先データとを用いて前記教師付き学習を行ってもよい。
このような構成によれば、前記ユーザーは、前記ラベルなし転移先データのラベルを直接的に指定することが困難な場合に、前記連想データに基づいて転移先データのラベルを指定することによって、当該ラベルと前記ラベルなし転移先データとを用いて追加的な学習を行うことができる。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、図面を参照して本発明の実施の形態を詳細に説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
（ニューラルネットワーク装置）
実施の形態を説明するための準備として、ニューラルネットワーク装置に関する一般的な事項について説明する。
図１は、ニューラルネットワーク装置が行う演算の計算モデルを説明する概念図である。ニューラルネットワーク装置は、周知のように、生物のニューラルネットワークを模した計算モデルに従って演算を行う演算装置である。
図１に示されるように、ニューラルネットワーク装置１００は、ニューロンに相当する複数のユニット１０５（白丸で示されている）を、入力層１０１、隠れ層１０２、及び出力層１０３に配置して構成される。隠れ層１０２は、一例として、２つの隠れ層１０２ａ、１０２ｂで構成されているが、単一の隠れ層若しくは３以上の隠れ層で構成されてもよい。複数の隠れ層を有するニューラルネットワーク装置は、特に、多層ニューラルネットワーク装置と呼ばれることがある。
入力層１０１に近い層を下位層とし、出力層１０３に近い層を上位層とするとき、ユニット１０５は、下位層に配置されたユニットから受信した計算結果を荷重値に応じて結合（例えば、荷重和演算）し、当該結合の結果を上位層に配置されたユニットに送信する計算要素である。
ニューラルネットワーク装置１００の機能は、ニューラルネットワーク装置１００が有する層の数や各層に配置されるユニット１０５の数を表す構成情報と、各ユニット１０５での荷重和計算に用いられる荷重値を表す荷重Ｗ＝［ｗ１，ｗ２，・・・］とで定義される。
ニューラルネットワーク装置１００によれば、入力層１０１の各ユニット１０５に入力データＸ＝［ｘ１，ｘ２，・・・］の要素値が入力されることにより、隠れ層１０２及び出力層１０３のユニット１０５において荷重Ｗ＝［ｗ１，ｗ２，・・・］を用いた荷重和演算がなされ、出力層１０３の各ユニット１０５から出力データＹ＝［ｙ１，ｙ２，・・・］の要素値が出力される。
以下では、入力層１０１、隠れ層１０２、及び出力層１０３に配置されるユニット１０５を、それぞれ、入力ユニット、隠れユニット、及び出力ユニットとも言う。
本開示では、ニューラルネットワーク装置１００の具体的な実装について限定しない。ニューラルネットワーク装置１００は、例えば、再構成可能なハードウェアで実現されてもよく、また、ソフトウェアによるエミュレーションによって実現されてもよい。
本開示に係る転移学習は、複数のラベル付き転移元データで学習済のニューラルネットワーク装置１００を用いて行われる。すなわち、転移学習に用いられるニューラルネットワーク装置１００の構成及び荷重値は、前記複数のラベル付き転移元データでの学習によって、あらかじめ設定されている。
本開示では、ニューラルネットワーク装置１００の学習は、周知の方法に従って行われるものとし、具体的な方法を限定しない。当該学習は、例えば、ニューラルネットワーク装置１００に接続された図示しない学習装置によって、以下で述べる周知の方法に従ってなされてもよい。
図２は、分類問題を解くためのニューラルネットワーク装置１００の学習の一例を説明する図である。
図２の例において、ラベル付き転移元データは、ＴＶの画像、時計の画像、椅子の画像、机の画像、及び車の画像であり、各画像には、「ＴＶ」、「時計」、「椅子」、「机」及び「車」カテゴリの５つのラベルが付されている。当該５つのラベルのうち、当該画像の正しいカテゴリのラベルのみが１であり、他のカテゴリのラベルは０である。
分類問題を解くためのニューラルネットワーク装置１００では、各出力ユニットは入力データＸを分類するための異なるカテゴリに対応付けられ、荷重Ｗは、複数の入力データＸの各々が入力されたときに、当該入力データＸの正しいカテゴリに対応する出力ユニットの出力値が１に近づき、他の出力ユニットの出力値が０に近づくように調整される。
図２の例では、ニューラルネットワーク装置１００において、各出力ユニットは、「ＴＶ」、「時計」、「椅子」、「机」及び「車」の５つのカテゴリのうちの異なる１つのカテゴリに対応付けられる。また、荷重Ｗは、ラベル付き転移元データである画像を入力したときに出力される出力データＹと当該画像に付されたラベルとの差分が小さくなるように、教師付き学習によって調整される。
教師付き学習では、例えば、入力データＸ、荷重Ｗ及びラベルを用いて、ラベルと出力データＹとの誤差を表す損失関数を定義し、勾配降下法により当該損失関数を減少させる勾配に沿って荷重Ｗを更新してもよい。
ニューラルネットワーク装置１００が多層ニューラルネットワーク装置である場合は特に、前記教師付き学習を行う前に、ｌａｙｅｒ−ｗｉｓｅ ｐｒｅ−ｔｒａｉｎｉｎｇと呼ばれる教師なし学習によって、荷重値を隠れ層ごとに個別に調整してもよい。これにより、その後の教師付き学習によって、より正確な分類ができる荷重Ｗが得られる。
教師なし学習では、例えば、入力データＸ及び荷重Ｗを用いて、ラベルに依存しない所定の評価値を表す損失関数を定義し、勾配降下法により当該損失関数を減少させる勾配に沿って荷重Ｗを更新してもよい。
図３は、回帰問題を解くためのニューラルネットワーク装置１００の学習の一例を説明する図である。
図３の例において、ラベル付き転移元データは、複数の人のライフログデータである。ライフログデータとは、例えば、加速度計や角速度計で計測されたその人の動作の時系列値であってもよい。各ライフログデータには、その人の「身長」、「体重」、「体脂肪」、「体水分量」及び「年齢」属性の５つのラベルが付されている。当該５つのラベルは、その人の各属性の正しい値を示す。
回帰問題を解くためのニューラルネットワーク装置１００では、各出力ユニットは入力データＸの回帰を行うための異なる属性に対応付けられ、荷重Ｗは、複数の入力データＸの各々が入力されたときに、各出力ユニットの出力値が当該入力データＸの対応する属性の正しい値に近づくように調整される。
図３の例では、ニューラルネットワーク装置１００において、各出力ユニットは、「身長」、「体重」、「体脂肪」、「体水分量」及び「年齢」の５つの属性のうちの異なる１つの属性に対応付けられる。また、荷重Ｗは、ラベル付き転移元データであるライフログデータを入力したときに出力される出力データＹと当該ライフログデータに付されたラベルとの差分が小さくなるように、教師付き学習によって調整される。
回帰問題においても、分類問題と同様、層ごとの教師なし学習を事前に行うことにより、その後の教師付き学習によって、より正確な回帰ができる荷重Ｗが得られる。また、教師付き学習及び教師なし学習のために、勾配降下法を用いることができることも、分類問題と同様である。
このように、分類問題と回帰問題とでは、出力データＹの要素値の定義が異なることを除いて、ニューラルネットワーク装置１００の動作及びその学習方法は基本的に共通している。そのため、本明細書では、分類問題と回帰問題とを特に区別することなく、分類と回帰とを包括して評価と言い、分類におけるカテゴリと回帰における属性とを包括して評価項目と言い、出力ユニットの出力値を評価値と言うことがある。
なお、ニューラルネットワーク装置１００の荷重値の調整には、上述した勾配降下法の他にも、例えば、バックプロパゲーションなどの周知のアルゴリズムが用いられ得る。また、ニューラルネットワーク装置１００の学習では、荷重値を調整せずに、ニューラルネットワーク装置１００の構成の変更（例えば、ユニットの追加、削除）のみを行ってもよく、荷重値の調整と構成の変更の両方を行ってもよい。特に、多層ニューラルネットワーク装置では、各層で個別に学習を行ってもよい。
以下では、ラベル付き転移元データで学習済みのニューラルネットワーク装置１００における転移学習について、複数の態様に基づいて説明する。
（実施の形態１）
実施の形態１に係る転移学習装置は、複数の転移元データで学習済のニューラルネットワーク装置の構成や荷重値をそのまま使用しつつ、転移先データの評価項目の各々の評価値を出力するための出力ユニットの割り当てによって、転移先データに適応するための転移学習を行う転移学習装置である。
図４は、実施の形態１に係る転移学習装置２０１の機能的な構成の一例を示すブロック図である。図４には、転移学習装置２０１と共に、転移学習装置２０１を用いて構成される転移学習システム３０１、及び複数のラベル付き転移先データを、転移学習装置２０１から取得可能に保持しているラベル付き転移先データ保持部４１０が示されている。
図４に示されるように、転移学習システム３０１は、前述したニューラルネットワーク装置１００と転移学習装置２０１とを備える。転移学習システム３０１の各部は、例えば、画像プロセッサやマイクロプロセッサが所定のプログラムを実行することにより発揮されるソフトウェア機能として実現されてもよい。
ニューラルネットワーク装置１００は、構成情報保持部１１０、荷重保持部１２０、データ入力部１３０、データ演算部１４０、及びデータ出力部１５０を有する。
構成情報保持部１１０は、ニューラルネットワーク装置１００が有する層の数及び層ごとに配置されるユニット１０５の数を表す構成情報を保持している。
荷重保持部１２０は、各ユニット１０５での荷重和計算に用いられる荷重値を表す荷重Ｗを保持している。
データ入力部１３０は、評価されるべき入力データＸを受信する。
データ演算部１４０は、前記構成情報によって表されるユニットの配置に従って、荷重Ｗによって表される荷重値を用いた荷重和演算を行うことにより、入力データＸが入力ユニットに与えられたときの各ユニットでの荷重和を算出する。
データ出力部１５０は、データ演算部１４０で出力ユニットでの荷重和として算出された評価値を出力データＹとして送信する。
転移学習の前提として、ニューラルネットワーク装置１００の構成情報及び荷重Ｗは、図４には示されていない複数のラベル付き転移元データでの学習によってあらかじめ設定され、構成情報保持部１１０及び荷重保持部１２０にそれぞれ保持されているとする。また、前記構成情報に従い、ニューラルネットワーク装置１００は、転移先データの評価項目と同数以上の出力ユニットを有しているとする。
転移学習装置２０１は、転移先データ評価部２１０及び出力層調整部２２０を有する。
転移先データ評価部２１０は、複数の転移先データを、ラベル付き転移先データ保持部４１０から取得し、ニューラルネットワーク装置１００に入力することにより、ニューラルネットワーク装置１００の各出力ユニットから出力された評価値を取得する。複数の転移先データの各々には、転移元データの評価項目とは異なる１以上の評価項目ごとのラベルが付されている。
出力層調整部２２０は、転移先データの前記１以上の評価項目の各々の評価値を出力するための出力ユニットとして、前記出力ユニットのうち当該評価項目のラベルとの差分が最も小さい評価値が取得された頻度がより高い出力ユニットを優先的に割り当てる。割り当ての結果は、評価項目と出力ユニットとの対応を示す情報として、構成情報保持部１１０に記録されてもよい。
次に、上述のように構成された転移学習装置２０１の動作の一例について説明する。
図５は、転移学習装置２０１において実行される転移学習の一例を示すフローチャートである。
転移学習装置２０１において、転移先データ評価部２１０は、複数の転移先データを、転移元データで学習済みのニューラルネットワーク装置１００で評価する（Ｓ１０１）。
図６は、分類問題でのラベル付き転移先データの一例を示す図である。
図６の例において、ラベル付き転移先データは、複数の病変画像及び複数の非病変画像であり、各画像には、「病変」及び「非病変」カテゴリの２つのラベルが付されている。当該２つのラベルのうち、当該画像が分類されるべきカテゴリのラベルのみが１であり、他のラベルは０である。
ニューラルネットワーク装置１００は、転移先データが入力されるたびに、転移元データでの学習によってあらかじめ設定されている構成情報及び荷重Ｗに従って、出力ユニットごとの評価値からなる出力データＹ＝［ｙ１，ｙ２，ｙ３，ｙ４，ｙ５］を出力する。
転移先データ評価部２１０は、複数の転移先データのそれぞれについて出力データＹ＝［ｙ１，ｙ２，ｙ３，ｙ４，ｙ５］を取得する。
出力層調整部２２０は、評価項目ごとに、当該評価項目のラベル値との差分が最も小さい評価値が取得された出力ユニットの頻度である近似評価値出現頻度の分布を算出する（Ｓ１０２）。
図７Ａは、「病変」カテゴリに関する近似評価値出現頻度の分布の一例を示す図である。
図７Ａの例では、複数枚の病変画像を評価したときに、５つの出力ユニットのそれぞれの出力値ｙ１、ｙ２、ｙ３、ｙ４、及びｙ５が、「病変」ラベルの値である１に最も近かった回数が、評価した病変画像の枚数に対する比率で表されている。例えば、１０００枚の病変画像を評価したとき、出力値ｙ１、ｙ２、ｙ３、ｙ４、及びｙ５が、それぞれ、８００枚、２０枚、４０枚、４０枚、及び１００枚の病変画像で１に最も近かった場合、図７Ａに示される近似評価値出現頻度の分布が算出される。
図７Ｂは、「非病変」カテゴリに関する近似評価値出現頻度の分布の一例を示す図である。
図７Ｂの例では、複数枚の非病変画像を評価したときに、５つの出力ユニットのそれぞれの出力値ｙ１、ｙ２、ｙ３、ｙ４、及びｙ５が、「非病変」ラベルの値である１に最も近かった回数が、評価した非病変画像の枚数に対する比率で表されている。例えば、１０００枚の非病変画像を評価したとき、出力値ｙ１、ｙ２、ｙ３、ｙ４、及びｙ５が、それぞれ、５５０枚、２０枚、３０枚、１００枚、及び３００枚の非病変画像で１に最も近かった場合、図７Ｂに示される近似評価値出現頻度の分布が算出される。
出力層調整部２２０は、評価項目の各々に異なる１つの出力ユニットを対応付ける組み合わせの中から、対応付けられる出力ユニットでの近似評価値出現頻度の総和がより大きい組み合わせを優先的に選択する（Ｓ１０３）。
図７Ａ及び図７Ｂの例では、「病変」及び「非病変」カテゴリの各々に５つの出力ユニットのうちの異なる１つの出力ユニットを対応付けるための５Ｐ２＝２０個の組み合わせが存在する。例えば、「病変」及び「非病変」カテゴリに、それぞれ出力値ｙ１及びｙ５を出力する出力ユニットを対応付けるとき、対応付けられる出力ユニットでの近似評価値出現頻度の総和は０．８＋０．３＝１．１となる。この値は、他のどの組み合わせによる近似評価値出現頻度の総和よりも大きいので、出力層調整部２２０は、「病変」及び「非病変」カテゴリに、それぞれ出力値ｙ１及びｙ５を出力する出力ユニットを対応付ける組み合わせを選択する。
出力層調整部２２０は、必ずしも、全ての組み合わせの中から近似評価値出現頻度の総和が最大になる組み合わせを選択しなくても構わない。例えば、評価項目の数と出力ユニットの数によっては、組み合わせの総数が非常に大きくなり、近似評価値出現頻度の総和が最大になる組み合わせを見つけることが事実上できない場合があり得る。そのような場合、出力層調整部２２０は、限られた組み合わせの中から近似評価値出現頻度の総和がより大きくなる組み合わせを優先的に選択してもよい。
出力層調整部２２０は、選択された組み合わせによって前記１以上の評価項目の各々に対応付けられる出力ユニットを、当該評価項目の出力ユニットとして割り当てる（Ｓ１０４）。割り当ての結果は、評価項目と出力ユニットとの対応を示す情報として、例えば、ニューラルネットワーク装置１００の構成情報保持部１１０に記憶されてもよい。
図８は、「病変」及び「非病変」カテゴリに対する出力ユニットの割り当ての一例を示す図である。選択された組み合わせに従って、出力値ｙ１及びｙ５を出力する出力ユニットが、それぞれ「病変」及び「非病変」カテゴリの出力ユニットとして割り当てられる。
このような割り当てによって、ラベルなし転移先データである新たな画像をニューラルネットワーク装置１００に入力したときに得られる出力値ｙ１及びｙ５が、当該画像の「病変」及び「非病変」カテゴリの評価値としてそれぞれ利用可能になることで、転移先データに適応するための転移学習が行われる。
上記では、分類問題に関する具体例を用いて説明したが、回帰問題においても同様の手順に従って転移学習が行われる。
図９は、回帰問題でのラベル付き転移先データの一例を示す図である。
図９の例において、ラベル付き転移先データは、複数のライフログデータであり、各ライフログデータには、「筋力レベル」、「バランス力」、及び「持久力」属性の３つのラベルが付されている。
図１０Ａは、「筋力レベル」属性に関する近似評価値出現頻度の分布の一例を示す図である。
図１０Ｂは、「バランス力」属性に関する近似評価値出現頻度の分布の一例を示す図である。
図１０Ｃは、「持久力」属性に関する近似評価値出現頻度の分布の一例を示す図である。
図１０Ａの例では、複数件のライフログデータを評価したときに、５つの出力ユニットのそれぞれの出力値ｙ１、ｙ２、ｙ３、ｙ４、及びｙ５が、当該ライフログデータに付された「筋力レベル」ラベルの値に最も近かった回数が、評価したライフログデータの件数に対する比率で表されている。
例えば、１０００件のライフログデータを評価したとき、出力値ｙ１、ｙ２、ｙ３、ｙ４、及びｙ５が、それぞれ、２５０件、５５０件、１００件、５０件、及び５０件のライフログデータに付された「筋力レベル」ラベルの値に最も近かった場合、図１０Ａに示される近似評価値出現頻度の分布が算出される。
図１０Ｂ及び図１０Ｃの例では、それぞれ「バランス力」ラベル及び「持久力」ラベルについて、同様にして算出された近似評価値出現頻度の分布が示されている。
図１０Ａ、図１０Ｂ及び図１０Ｃの例では、「筋力レベル」、「バランス力」及び「持久力」属性の各々に５つの出力ユニットのうちの異なる１つの出力ユニットを対応付けるための５Ｐ３＝６０個の組み合わせが存在する。例えば、「筋力レベル」、「バランス力」及び「持久力」属性に、それぞれ出力値ｙ２、ｙ５及びｙ３を出力する出力ユニットを対応付けるとき、対応付けられる出力ユニットでの近似評価値出現頻度の総和は０．５５＋０．６＋０．４＝１．５５となる。この値は、他のどの組み合わせによる近似評価値出現頻度の総和よりも大きいので、出力層調整部２２０は、「筋力レベル」、「バランス力」及び「持久力」属性に、それぞれ出力値ｙ２、ｙ５及びｙ３を出力する出力ユニットを対応付ける組み合わせを選択する。
図１１は、「筋力レベル」、「バランス力」及び「持久力」属性に対する出力ユニットの割り当ての一例を示す図である。選択された組み合わせに従って、出力値ｙ２、ｙ５及びｙ３を出力する出力ユニットが、それぞれ「筋力レベル」、「バランス力」及び「持久力」属性の出力ユニットとして割り当てられる。
このような割り当てによって、ラベルなし転移先データである新たなライフログデータをニューラルネットワーク装置１００に入力したときに得られる出力値ｙ５、ｙ２及びｙ３が、当該ライフログデータの「筋力レベル」、「バランス力」及び「持久力」属性の評価値としてそれぞれ利用可能になることで、転移先データに適応するための転移学習が行われる。
以上説明したように、実施の形態１に係る転移学習装置によれば、転移元データでの学習によって設定されたニューラルネットワーク装置１００の構成や荷重値をそのまま使用しつつ、転移先データの評価項目の各々の評価値を出力するための出力ユニットの割り当てによって、転移先データに適応するための転移学習が行われる。
そのため、転移学習の際に、転移先データを利用して前記ニューラルネットワーク装置の構成や荷重値を変更する手間や、前記構成や前記荷重値の変更によって生じ得る過学習や認識精度の低下といった悪影響がない転移学習装置が得られる。
なお、実施の形態では説明しなかったが、ニューラルネットワーク装置１００に入力される入力データに、正規化、しきい値処理、ノイズ除去、及びデータサイズの統一などを含むデータ整形処理を行ってもよい。正規化は、入力データに限らず、ラベルに対して行ってもよい。データ整形処理は、ニューラルネットワーク装置１００及び転移学習装置２０１の何れが行ってもよい。データ整形処理を行うことによって、転移元データから転移先データへの整合性の高い転移学習が可能になる。
（実施の形態２）
実施の形態２に係る転移学習装置は、実施の形態１で説明した出力ユニットの割り当てに加えて、前記ニューラルネットワーク装置における荷重値を、複数の転移元データで学習済みの荷重値を初期値として、複数のラベル付き転移先データを用いた教師付き学習によって更新する転移学習装置である。
図１２は、実施の形態２に係る転移学習装置２０２の機能的な構成の一例を示すブロック図である。図１２には、転移学習装置２０２と共に、転移学習装置２０２を用いて構成される転移学習システム３０２が示されている。
図１２に示されるように、転移学習装置２０２では、実施の形態１の転移学習装置２０１に荷重調整部２３２が追加される。以下では、実施の形態１と同一の構成要素には同一の符号を付して適宜説明を省略し、主として実施の形態１から追加された事項について説明する。
荷重調整部２３２は、ニューラルネットワーク装置１００の荷重保持部１２０に保持されている荷重値を、複数の転移元データで学習済みの荷重値を初期値として、転移先データのラベルを用いた教師付き学習によって更新する。
次に、上述のように構成された転移学習装置２０２の動作の一例について説明する。
図１３は、転移学習装置２０２において実行される転移学習の一例を示すフローチャートである。
図１３に示されるように、ステップＳ１０１〜Ｓ１０４で、転移先データの評価項目ごとに出力ユニットが割り当てられる。評価項目ごとに転移先データの評価値を出力するための出力ユニットが割り当てられることで、転移先データのラベルを用いた教師付き学習が可能になる。
荷重調整部２３２は、複数のラベル付き転移先データを、ラベル付き転移先データ保持部４１０から取得する。そして、ニューラルネットワーク装置１００における荷重値を、複数の転移元データで学習済みの荷重値を初期値として、取得された複数のラベル付き転移先データを用いた教師付き学習によって更新する（Ｓ２０５）。
前述したように、教師付き学習では、例えば、入力データＸ、荷重Ｗ及びラベルを用いて、ラベルと出力データＹとの誤差を表す損失関数を定義し、勾配降下法により当該損失関数を減少させる勾配に沿って荷重Ｗを更新してもよい。
ニューラルネットワーク装置１００が多層ニューラルネットワーク装置である場合は特に、前記教師付き学習を行う前に、ｌａｙｅｒ−ｗｉｓｅ ｐｒｅ−ｔｒａｉｎｉｎｇと呼ばれる教師なし学習によって、荷重値を層ごとに調整してもよい。これにより、その後の教師付き学習によって、より正確な評価ができる荷重Ｗが得られる。
教師なし学習では、例えば、入力データＸ及び荷重Ｗを用いて、ラベルに依存しない所定の評価値を表す損失関数を定義し、勾配降下法により当該損失関数を減少させる勾配に沿って荷重Ｗを更新してもよい。
また、実施の形態１で説明したように、ニューラルネットワーク装置１００に入力される入力データに、正規化、しきい値処理、ノイズ除去、及びデータサイズの統一などを含むデータ整形処理を行ってもよい。正規化は、入力データに限らず、ラベルに対して行ってもよい。データ整形処理は、ニューラルネットワーク装置１００及び転移学習装置２０２の何れが行ってもよい。
以上説明したように、実施の形態２に係る転移学習装置２０２によれば、前記転移先データでの学習により、ニューラルネットワーク装置１００における荷重値を、学習済みの荷重値を初期値として更新する。そのため、学習済みの荷重値を用いず、かつ少量の転移先データで学習する場合に起こり得る過学習を抑制できる。
また、荷重調整部２３０は、前記転移先データでの学習を、ニューラルネットワーク装置１００が有する全てのユニットの荷重値を更新の対象として行ってもよい。
このような構成によれば、例えば、多層ニューラルネットワーク装置において上位層に位置するユニットの荷重値のみを更新する場合など、ニューラルネットワーク装置１００における荷重値を一部のユニットについてのみ更新する場合に起こり得る認識精度の低下を抑制することができる。
（実施の形態３）
実施の形態３に係る転移学習装置は、実施の形態１で説明した出力ユニットの割り当てに加えて、前記ニューラルネットワーク装置における荷重値を、複数の転移元データで学習済みの荷重値を初期値として、転移先データの評価項目との関連性が高い転移元データのラベルのみを用いた再学習によって更新する転移学習装置である。
図１４は、実施の形態３に係る転移学習装置２０３の機能的な構成の一例を示すブロック図である。図１４には、転移学習装置２０３と共に、転移学習装置２０３を用いて構成される転移学習システム３０３、及び複数のラベル付き転移元データを、転移学習装置２０３から取得可能に保持しているラベル付き転移元データ保持部４２０が示されている。
図１４に示されるように、転移学習装置２０３では、実施の形態１の転移学習装置２０１に荷重調整部２３３が追加される。以下では、実施の形態１と同一の構成要素には同一の符号を付して適宜説明を省略し、主として実施の形態１から追加された事項について説明する。
転移学習の前提として、転移元データ保持部４２０に保持されている複数の転移元データのそれぞれには、ニューラルネットワーク装置１００の出力ユニットの各々に対応するラベルが付されているとする。前記複数のラベル付き転移元データは、ニューラルネットワーク装置１００の構成情報及び荷重Ｗをあらかじめ設定するための学習に用いられた転移元データであってもよい。また、転移元データ４２０の評価項目とニューラルネットワーク装置１００の出力ユニットとの対応を示す情報が、前記複数のラベル付き転移元データでの学習の際に、例えば、ニューラルネットワーク装置１００の構成情報保持部１１０に記憶されているとする。
荷重調整部２３３は、ニューラルネットワーク装置１００の荷重保持部１２０に保持されている荷重値を、複数の転移元データで学習済みの荷重値を初期値として、転移元データに付されたラベルのうち、出力層調整部２２０によって割り当てられた出力ユニットに対応するラベルである、関連ラベルのみを用いた教師付き学習をさらに行うことによって更新する。
次に、上述のように構成された転移学習装置２０３の動作の一例について説明する。
図１５は、転移学習装置２０３において実行される転移学習の一例を示すフローチャートである。
図１５に示されるように、ステップＳ１０１〜Ｓ１０４で、転移先データの評価項目ごとに出力ユニットが割り当てられる。
荷重調整部２３３は、複数のラベル付き転移元データを、ラベル付き転移元データ保持部４２０から取得する。そして、ニューラルネットワーク装置１００における荷重値を、複数の転移元データで学習済みの荷重値を初期値として、取得された複数の転移元データの前記関連ラベルのみを用いた教師付き学習によって更新する（Ｓ３０５）。
図１６は、分類問題での転移元データの関連ラベルの一例を示す図である。
図１６の例において、転移元データの関連ラベルは、図８に示される出力ユニットの割り当てに基づいて、出力値ｙ１及びｙ５を出力する出力ユニットにそれぞれ対応する「ＴＶ」及び「車」ラベルである。
荷重調整部２３３は、「ＴＶ」、「時計」、「椅子」、「机」及び「車」ラベルのうち、「ＴＶ」及び「車」ラベルのみを用いる教師付き学習によって、ニューラルネットワーク装置１００における荷重Ｗを調整する。
分類問題での前記教師付き学習では、「ＴＶ」及び「車」ラベルのみを用いることから、「時計」、「椅子」又は「机」ラベルが１である「時計」、「椅子」及び「机」カテゴリの転移前データは用いられず、「ＴＶ」及び「車」カテゴリの転移前データのみが用いられる。
前記教師付き学習では、例えば、入力データＸ、荷重Ｗ、並びに「ＴＶ」及び「車」ラベルを用いて、「ＴＶ」及び「車」ラベルと出力データＹの要素値［ｙ１，ｙ５］との誤差を表す損失関数を定義し、勾配降下法により当該損失関数を減少させる勾配に沿って荷重Ｗを更新してもよい。
前記教師付き学習は、ニューラルネットワーク装置１００から「時計」、「椅子」及び「机」カテゴリの出力ユニットが削除された、図１６のニューラルネットワーク装置１００で学習を行うことと、実質的に等しい。すなわち、「時計」、「椅子」及び「机」ラベルによる拘束なしに荷重Ｗが更新されるので、「時計」、「椅子」及び「机」ラベルがノイズとなることで生じる認識精度の低下を抑制する効果が得られる。当該効果は、出力層調整部２２０によって割り当てられなかった出力ユニットの数が多いほど、つまり、ノイズになり得るラベルの数が多いほど、より顕著に発揮される。
上記では、分類問題に関する具体例を用いて説明したが、回帰問題においても同様の手順に従って関連ラベルのみを用いる教師付き学習が行われる。
図１７は、回帰問題での転移元データの関連ラベルの一例を示す図である。
図１７の例において、転移元データの関連ラベルは、図１１に示される出力ユニットの割り当てに基づいて、出力値ｙ２、ｙ３及びｙ５を出力する出力ユニットにそれぞれ対応する「体重」、「体脂肪」及び「年齢」ラベルである。
荷重調整部２３３は、「身長」、「体重」、「体脂肪」、「体水分量」及び「年齢」ラベルのうち、「体重」、「体脂肪」及び「年齢」ラベルのみを用いる教師付き学習によって、ニューラルネットワーク装置１００における荷重Ｗを調整する。
回帰問題での前記教師付き学習では、全ての転移前データが用いられる。
また、前記教師付き学習では、例えば、入力データＸ、荷重Ｗ、並びに「体重」、「体脂肪」及び「年齢」ラベルを用いて、「体重」、「体脂肪」及び「年齢」ラベルと出力データＹの要素値［ｙ２，ｙ３，ｙ５］との誤差を表す損失関数を定義し、勾配降下法により当該損失関数を減少させる勾配に沿って荷重Ｗを更新してもよい。
前記教師付き学習は、ニューラルネットワーク装置１００から「身長」及び「体水分量」カテゴリの出力ユニットが削除された、図１７のニューラルネットワーク装置１００で学習を行うことと、実質的に等しい。すなわち、「身長」及び「体水分量」ラベルによる拘束なしに荷重Ｗが更新されるので、「身長」及び「体水分量」ラベルがノイズとなることで生じる認識精度の低下を抑制する効果が得られる。当該効果は、出力層調整部２２０によって割り当てられなかった出力ユニットの数が多いほど、つまり、ノイズになり得るラベルの数が多いほど、より顕著に発揮される。
なお、分類問題及び回帰問題の何れの場合も、実施の形態１で説明したように、ニューラルネットワーク装置１００に入力される入力データに、正規化、しきい値処理、ノイズ除去及びデータサイズの統一などを含むデータ整形処理を行ってもよい。正規化は、入力データに限らず、ラベルに対して行ってもよい。データ整形処理は、ニューラルネットワーク装置１００及び転移学習装置２０３の何れが行ってもよい。
また、上述の関連ラベルのみを用いる教師付き学習を行う際に、ニューラルネットワーク装置１００の構成情報を変更することにより、出力層調整部２２０によって割り当てられなかった出力ユニットを削除しても構わない。
以上説明したように、実施の形態３に係る転移学習装置２０３によれば、複数の転移元データで学習済みの荷重値を、転移先データの評価項目との関連性が高い転移元データのラベルのみを用いた再学習によって更新することができる。これにより、転移元データの評価項目との関連性が低い転移元データのラベルがノイズとなることで生じる認識精度の低下を抑制することができる。
なお、上述した転移元データの関連ラベルのみを用いた再学習に、実施の形態１で説明した出力ユニットの割り当てと、実施の形態２で説明した転移先データでの学習とを組み合わせてもよい。例えば、転移元データで学習済みのニューラルネットワークで転移先データを評価することによって出力ユニットの割り当てを行った上で、転移元データの関連ラベルのみを用いた再学習を行い、その後、転移先データでの学習を行ってもよい。
（実施の形態４）
実施の形態４に係る転移学習装置は、実施の形態１で説明した出力ユニットの割り当て、及び実施の形態２で説明した転移先データでの学習に加えて、前記ニューラルネットワーク装置において、少なくとも転移先データに適応するための転移学習が不足していることを検出する転移学習装置である。実施の形態４では、学習不足が検出されたときに行われる追加学習についても説明する。
前記学習不足の検出及び前記追加学習は、一例として、前記出力ユニットの割り当て及び前記転移先データでの学習の後、カテゴリや属性値を評価するために与えられる新たなラベルなし転移先データに対して行われてもよい。
図１８は、実施の形態４に係る転移学習装置の機能的な構成の一例を示すブロック図である。図１８には、転移学習装置２０４と共に、転移学習装置２０４を用いて構成される転移学習システム３０４、複数のラベルなし転移先データを転移学習装置２０４から取得可能に保持しているラベルなし転移先データ保持部４３０、及びユーザーにデータを提示しユーザーからデータを受け付けるためのユーザーインターフェース部４４０が示されている。
図１８に示されるように、転移学習装置２０４では、実施の形態２の転移学習装置２０２と比べて、荷重調整部２３４が変更され、学習不足検出部２４０及び正解取得部２５０が追加される。以下では、実施の形態１及び実施の形態２と同一の構成要素には同一の符号を付して適宜説明を省略し、主として実施の形態１及び実施の形態２から追加された事項について説明する。
学習不足検出部２４０は、１以上のラベルなし転移先データをニューラルネットワーク装置１００に入力することにより、出力層調整部２２０によって割り当てられなかった出力ユニットである、非関連ユニットから出力された評価値を取得する。そして、当該評価値が基準範囲から逸脱することにより学習不足を検出する。
前記基準範囲には、前記非関連ユニットの出力値と矛盾する値の範囲が用いられ得る。前記学習不足を検出する前に、例えば、前記転移先データでの学習の際に、前記非関連ユニットの出力値が０などの特定の値になるように、ニューラルネットワーク装置１００を学習しておいてもよい。その場合、前記評価値が当該特定の値を含む基準範囲から逸脱する（例えば、所定のしきい値を上回る）ことにより、学習不足が検出される。
正解取得部２５０は、学習不足検出部２４０によって、ラベルなし転移先データについて学習不足が検出された場合、ユーザーインターフェース４４０を介して、前記ラベルなし転移先データ、又は後述する前記ラベルなし転移先データの連想データをユーザーに提示し、前記ラベルなし転移先データに対応するラベルをユーザーから受け付ける。正解取得部２５０は、前記ラベルなし転移先データにユーザーから受け付けた前記ラベルを付してラベル付き転移先データとし、ラベル付き転移先データ保持部４１０に記録してもよい。
荷重調整部２３４は、ユーザーから受け付けたラベルとラベルなし転移先データとを用いた教師付き学習によってニューラルネットワーク装置１００の荷重値を更新する。
ユーザーインターフェース部４４０は、例えば、ディスプレイ、タッチパネル、キーボード、マウスなどを用いて構成されてもよい。
次に、上述のように構成された転移学習装置２０３の動作の一例について説明する。
図１９は、転移学習装置２０４において実行される転移学習の一例を示すフローチャートである。
図１９に示されるように、ステップＳ１０１〜Ｓ１０４で、転移先データの評価項目ごとに出力ユニットが割り当てられ、ステップＳ２０５で、転移先データでの学習が行われる。
学習不足検出部２４０は、ラベルなし転移先データ保持部４３０から１以上の転移先データを取得してニューラルネットワーク装置１００に入力することにより、非関連ユニットから出力された評価値を取得する（Ｓ４０６）。そして、当該評価値が基準範囲から逸脱することによりニューラルネットワーク装置１００の学習不足を検出する（Ｓ４０７）。
正解取得部２５０は、前記評価値の前記基準範囲からの逸脱（つまり学習不足）が検出された場合（Ｓ４０７でＹＥＳ）、ユーザーインターフェース部４４０を介して、前記評価値が逸脱した前記転移先データ又は前記転移先データの連想情報をユーザーに提示することにより、ユーザーから転移先データに対応するラベルを受け付ける（Ｓ４０８）。
荷重調整部２３４は、ユーザーから受け付けた前記ラベルと、前記ラベルなし転移先データとを用いた教師付き学習によってニューラルネットワーク装置１００の荷重値を更新する（Ｓ４０９）。
図２０は、ユーザーインターフェース部４４０を介してユーザーに提示される選択画面の一例を示す図である。画像群５０３、５０５には、それぞれラベル付き転移先データ保持部４１０に保持されている病変画像、非病変画像が含まれる。また、画像５０４、５０６は、画像群５０３、５０５の中からそれぞれ１つずつ、ユーザーによって選択された画像の拡大画像である。画像５０２は、非関連ユニットでの評価値が基準範囲から逸脱したラベルなし転移先データ（以下、入力画像５０２と言う）である。
ユーザーは、入力画像５０２と同じカテゴリに分類されると考えられる画像を画像群５０３、５０５の中から選択し、決定ボタン５０７を押下する。決定ボタン５０７が押下されると、入力画像５０２に、選択された画像に付されているラベルを付したラベル付き転移先データが、ラベル付き転移先データ保持部４１０に保持される。
また、再学習ボタン５０８が押下されると、ラベル付き転移先データ保持部４１０に保持されたラベル付き転移先データを利用して、ニューラルネットワーク装置１００における荷重の再調整が実施される。
決定ボタン５０７を押下することによって、新たなラベル付き転移先データがラベル付き転移先データ保持部４１０に保持されるため、再学習ボタン５０８を押下して荷重の再調整を実施することにより、これまで分類に失敗していたラベルなし転移先データについても、より正確な分類ができるようになる。
次に、ラベルなし転移先データが、前述したライフログデータのような加速度や角速度などの時系列値である場合について説明する。ライフログデータは、上述の画像情報とは異なり、ユーザーに提示しても、ユーザーが「筋力レベル」、「バランス力」、及び「持久力」などのラベル値を直接指定することは困難である。
そこで、ラベル付き転移先データ保持部４１０に、ラベル以外にもユーザーが転移先データのラベルを推測するために参照する連想データを付したライフログデータを保持しておき、当該連想データをユーザーに提示することで、ユーザーによるラベルの指定を支援する。
連想データとしては、一例として、ワークフローデータが利用される。ワークフローデータとは、例えば、医療機関のリハビリテーション業務において計測される、バランススケールなどの評価値のことを指す。
図２１は、ワークフローデータの一例を示す図である。図２１のワークフローデータは、患者の運動機能に関する複数のテスト項目で構成され、これらのテスト項目の結果に応じて患者の転倒リスクなどが評価される。
ライフログデータのような、ユーザーがラベルを直接指定することが困難な転移先データには、ワークフローデータの各テスト項目の結果値（例えば「はい」又は「いいえ」）のような連想データを付して、ラベル付き転移先データ保持部４１０に保持しておく。
図２２は、ユーザーインターフェース部４４０を介してユーザーに提示される選択画面の一例を示す図である。図２２の例では、学習不足が検出された１つのラベルなし転移先データに関する情報が表示されている。前記ラベルなし転移先データは、例えばライフログデータであってもよいが、当該ライフログデータ自体は画面には表示されていない。
テスト項目６０１は、前記ワークフローデータのテスト項目の中からユーザーによって選択された１以上のテスト項目である。ユーザーは、前記ラベルなし転移先データが測定された患者に、例えば、テスト項目６０１の各々を実施してもらうか、又は問診を行うことにより、各テスト項目の結果値６０４を連想データとして入力する。
例えば「第１項目：はい」、「第２項目：はい」、「第３項目：いいえ」が入力されたとする。
当該入力に応じて、正解取得部２５０は、ラベル付き転移先データ保持部４１０に保持されているラベル付き転送先データの中から、入力されたテスト項目の結果値６０４と同一の連想データが付されている１以上のラベル付き転移先データを取得する。正解取得部２５０は、入力されたテスト項目の結果値６０４と近似の（つまり、差分が所定のしきい値よりも小さい）連想データが付されている１以上のラベル付き転移先データを取得してもよい。
正解取得部２５０は、取得された転移先データに付されたラベルを含むラベル群６０５を、ユーザーインターフェース部４４０を介して、ユーザーに提示する。ラベルチャート６０６には、ラベル群６０５の中からユーザーによって選択されたラベルがチャートの形式で表示される。
項目追加ボタン６０２を押下するとテスト項目６０１が追加され、項目削除ボタン６０３ボタンを押下するとテスト項目６０１が削除される。これらは、表示されているテスト項目６０１に従って表示されるラベル群６０５に過不足がある場合に利用する。
ユーザーは、学習不足が検出されたラベルなし転移先データの正しい属性値に最も近いと考えられるラベルを、ラベル群６０５の中から選択し、決定ボタン６０７を押下する。決定ボタン６０７が押下されると、前記ラベルなし転移先データに、選択されたラベルを付したラベル付き転移先データが、転移先データ保持部４１０に保持される。
また、再学習ボタン６０８が押下されると、ラベル付き転移先データ保持部４１０に保持されたラベル付き転移先データを利用して、ニューラルネットワーク装置１００における荷重の再調整が実施される。
決定ボタン６０７を押下することによって、新たなラベル付き転移先データがラベル付き転移先データ保持部４１０に保持されるため、再学習ボタン６０８を押下して荷重の再調整を実施することにより、これまで回帰に失敗していたラベルなし転移先データについても、より正確な回帰ができるようになる。
以上説明したように、学習不足が検出された１つのラベルなし転移先データ、又は当該１つのラベルなし転移先データの連想データをユーザーに提示して、ユーザーから当該１つのラベルなし転移先データのラベルを受け付けることにより、学習不足に対処するための追加的な学習を行うことが可能になる。
特に、ラベルなし転移先データのラベルを直接的に指定することが困難な場合に、ユーザーは、前記連想データに基づいて転移先データのラベルを指定することによって、当該ラベルと前記ラベルなし転移先データとを用いて追加的な学習を行うことができる。
次に、学習不足が検出された複数のラベルなし転移先データに一括して、共通のラベルを指定する場合について説明する。以下では、同じ１つの非関連ユニットから出力された評価値が前記基準範囲から逸脱した複数のラベルなし転移先データ、又は当該複数のラベルなし転移先データの連想データをユーザーに提示して、ユーザーから当該複数のラベルなし転移先データに共通するラベルを受け付ける例について説明する。
図２３は、ユーザーインターフェース部４４０を介してユーザーに提示される選択画面の一例を示す図である。画像群５０１には、同じ１つの非関連ユニットから出力された評価値が前記基準範囲から逸脱した画像が含まれる。画像群５０３、５０５には、それぞれラベル付き転移先データ保持部４１０に保持されている病変画像、非病変画像が含まれる。また、画像５０２、５０４、５０６は、画像群５０１、５０３、５０５の中からそれぞれ１つずつ、ユーザーによって選択された画像の拡大画像である。
これらの画像をユーザーが観察し、画像群５０１に含まれるすべての画像が、単一のカテゴリに分類されると判断できる場合、当該カテゴリの画像を画像群５０３、５０５の中から選択し、決定ボタン５０７を押下する。決定ボタン５０７が押下されると、画像群５０１に含まれる画像の各々に、選択された画像のラベルを付したラベル付き転移先データが、転移先データ保持部４１０に保持される。
また、再学習ボタン５０８が押下されると、ラベル付き転移先データ保持部４１０に保持されたラベル付き転移先データを利用して、ニューラルネットワーク装置１００における荷重の再調整が実施される。このとき、出力層調整部２２０にて、画像群５０１に含まれる画像に対して前記基準範囲から逸脱した評価値を出力した非関連ユニットを削除し、その後、荷重の再調整を行ってもよい。
上記の内容は分類問題の場合である。次に、回帰問題の場合について説明する。
図２４は、ユーザーインターフェース部４４０を介してユーザーに提示される選択画面の一例を示す図である。図２４の例では、同じ１つの非関連ユニットから出力された評価値が前記基準範囲から逸脱した２つのラベルなし転移先データに関する情報が、画面の左右に並べて表示されている。前記ラベルなし転移先データは、例えばライフログデータであってもよいが、当該ライフログデータ自体は画面には表示されていない。
テスト項目６１１、６２１は、前記ワークフローデータのテスト項目の中からユーザーによって選択された１以上のテスト項目であり、連想データの一例である。ユーザーは、各々のラベルなし転移先データが測定された患者に、例えば、テスト項目６１１、６２１の各々を実施してもらうか、又は問診を行うことにより、各テスト項目の結果値６１４、６２４を入力する。
当該入力に応じて、入力されたテスト項目の結果値６１４と同一又は近似の連想データが付されている１以上のラベル付き転移先データが取得され、当該１以上の転移先データに付されたラベルを含むラベル群６１５が表示される。また、入力されたテスト項目の結果値６２４と同一又は近似の連想データが付されている１以上のラベル付き転移先データが取得され、当該１以上の転移先データに付されたラベルを含むラベル群６２５が表示される。
ラベルチャート６１３、６２３には、それぞれ、ラベル群６１５、６２５の中からユーザーによって選択されたラベルがチャートの形式で表示される。
ユーザーは、前記２つのラベルなし転移先データに共通する正しい属性値に最も近いと考えられる１つのラベルを、ラベル群６１５、６２５の中から選択し、決定ボタン６０７を押下する。決定ボタン６０７が押下されると、前記２つのラベルなし転移先データの各々に、選択されたラベルを付したラベル付き転移先データが、転移先データ保持部４１０に保持される。
また、再学習ボタン６０８が押下されると、ラベル付き転移先データ保持部４１０に保持されたラベル付き転移先データを利用して、ニューラルネットワーク装置１００における荷重の再調整が実施される。このとき、出力層調整部２２０にて、前記２つのラベルなし転移先データに対して前記基準範囲から逸脱した評価値を出力した非関連ユニットを削除し、その後、荷重の再調整を行ってもよい。
このような構成によれば、ユーザーは、学習不足が検出された際に提示される、ラベルなし転移先データ、又は当該転移先データの連想データを見ながら、インタラクティブに正しいラベルを指定することができる。そして、当該ラベルを用いた追加学習による荷重値の再調整を行い、また、誤った特徴抽出が行われている可能性がある非関連項目を逐次的に削除することもできる。
以上、本発明の実施の形態に係る転移学習装置について説明したが、本発明はこれら実施の形態に限定されるものではない。
例えば、転移学習システム３０１は、コンピュータを利用して実現することも可能である。図２５は、転移学習システム３０１を実現するためのハードウェア構成を示すブロック図である。
転移学習システム３０１は、コンピュータ７００とコンピュータ７００に指示を与えるためのキーボード７１１およびマウス７１２と、コンピュータ７００の演算結果等の情報を提示するためのディスプレイ７１０と、コンピュータ７００で実行されるプログラムを読み取るためのＯＤＤ（Ｏｐｔｉｃａｌ Ｄｉｓｋ Ｄｒｉｖｅ）７０８とを含む。
転移学習システム３０１が実行するプログラムは、コンピュータで読み取り可能な光記憶媒体７０９に記憶され、ＯＤＤ７０８で読み取られる。または、コンピュータネットワークを通じてＮＩＣ７０６で読み取られる。
コンピュータ７００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）７０４と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７０３と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）７０５と、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ）７０６と、バス７０７とを含む。
さらに、コンピュータ７００は、高速演算を行うためにＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７０２を含んでもよい。
ＣＰＵ７０１とＧＰＵ７０２は、ＯＤＤ７０８またはＮＩＣ７０６を介して読み取られたプログラムを実行する。ＲＯＭ７０４は、コンピュータ７００の動作に必要なプログラムやデータを記憶する。ＲＡＭ７０３は、プログラム実行時のパラメータなどのデータを記憶する。ＨＤＤ７０５は、プログラムやデータなどを記憶する。ＮＩＣ７０６は、コンピュータネットワークを介して他のコンピュータとの通信を行う。バス７０７は、ＣＰＵ７０１、ＲＯＭ７０４、ＲＡＭ７０３、ＨＤＤ７０５、ＮＩＣ７０６、ディスプレイ７１０、キーボード７１１、マウス７１２およびＯＤＤ７０８を相互に接続する。なお、コンピュータ７００に接続されているキーボード７１１、マウス７１２およびＯＤＤ７０８は、例えばディスプレイ７１０がタッチパネルになっている場合やＮＩＣ７０６を利用する場合には、取り外してもよい。
さらに、上記の各装置を構成する転移学習システム３０１の構成要素の一部または全ては、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に蓄積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
さらにまた、上記の各装置を構成する構成要素の一部または全ては、各装置に着脱可能なＩＣカードまたは単体モジュールから構成されているとしてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
また、本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムを含んでもよいし、前記コンピュータプログラムからなるデジタル信号を含んでもよい。
さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な非一時的な記憶媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ，ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリなどに記憶したものを含んでもよい。また、これら非一時的な記憶媒体に記録されている上記デジタル信号を含んでもよい。
また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回路、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、上記プログラムまたは上記デジタル信号を上記非一時的な記憶媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号は上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
また、本発明は、図２６のように、コンピュータ７００以外にも別途データサーバ８００を構築し、そのサーバ上にメモリ等の保存すべきデータを置き、上記ネットワーク等を経由してその情報をコンピュータ７００が読み出してもよい。また、データサーバ８００から情報を読み出す、コンピュータ７００は１台である必要はなく、複数であってもよい。その際、各コンピュータ７００が転移学習システム３０１の構成要素の一部をそれぞれ実施してもよい。
さらに、上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。
今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなく、請求の範囲によって示され、請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。
本発明によると、過学習とデータセットの組み合わせによる負の転移に左右されないデータ学習を実施することができる。このため、本発明は、画像やセンサ値を認識・分類するデータ学習装置に利用可能である。
１００ ニューラルネットワーク装置
１０１ 入力層
１０２、１０２ａ、１０２ｂ 隠れ層
１０３ 出力層
１０５ ユニット
１１０ 構成情報保持部
１２０ 荷重保持部
１３０ データ入力部
１４０ データ演算部
１５０ データ出力部
２０１、２０２、２０３、２０４ 転移学習装置
２１０ 転移先データ評価部
２２０ 出力層調整部
２３０、２３２、２３３、２３４ 荷重調整部
２４０ 学習不足検出部
２５０ 正解取得部
３０１、３０２、３０３、３０４ 転移学習システム
４１０ ラベル付き転移先データ保持部
４２０ ラベル付き転移元データ保持部
４３０ ラベルなし転移先データ保持部
４４０ ユーザーインターフェース部

Claims (13)

  1. 各々に１以上の評価項目ごとのラベルが付された複数のラベル付き転移先データを、前記評価項目と同数以上の出力ユニットを出力層に有しかつ複数のラベル付き転移元データで学習済みのニューラルネットワーク装置に入力することにより、前記出力ユニットから出力された評価値を取得する転移先データ評価部と、
    前記１以上の評価項目の各々の評価値を出力するための出力ユニットとして、前記出力ユニットのうち当該評価項目のラベルとの差分が最も小さい評価値が取得された頻度がより高い出力ユニットを優先的に割り当てる出力層調整部と、
    を備える転移学習装置。
  2. 前記出力層調整部は、
    前記１以上の評価項目の各々について、前記複数のラベル付き転移先データにわたって当該評価項目のラベルとの差分が最も小さい評価値が取得された前記出力ユニットの頻度分布を算出し、
    前記１以上の評価項目の各々に異なる１つの前記出力ユニットを対応付ける組み合わせの中から、対応付けられる前記出力ユニットの前記頻度の総和がより大きい組み合わせを優先的に選択し、
    選択された前記組み合わせによって前記１以上の評価項目の各々に対応付けられる出力ユニットを、当該評価項目の出力ユニットとして割り当てる、
    請求項１に記載の転移学習装置。
  3. 前記ニューラルネットワーク装置における荷重値を、前記複数のラベル付き転移元データで学習済みの荷重値を初期値として、前記複数の転移先データを用いた教師付き学習によって更新する荷重調整部を、さらに備える、
    請求項１又は２に記載の転移学習装置。
  4. 前記荷重調整部は、前記ニューラルネットワーク装置が有する全てのユニットの荷重値を更新の対象とする、
    請求項３に記載の転移学習装置。
  5. 前記ラベル付き転移元データには、前記出力ユニットの各々に対応するラベルが付されており、
    前記荷重調整部は、さらに、前記ニューラルネットワーク装置における荷重値を、前記複数のラベル付き転移元データに付されたラベルのうち、前記出力層調整部によって割り当てられた出力ユニットに対応するラベルのみを用いた教師付き学習によって更新する、
    請求項３から４の何れか１項に記載の転移学習装置。
  6. 前記荷重調整部は、前記教師付き学習を行う前に、前記ニューラルネットワーク装置が有する１以上の隠れ層の各々で教師なし学習を行う、
    請求項３から５の何れか１項に記載の転移学習装置。
  7. 前記ニューラルネットワーク装置は、前記評価項目の数よりも多くの出力ユニットを前記出力層に有しており、
    前記転移学習装置は、
    １以上のラベルなし転移先データを前記ニューラルネットワーク装置に入力することにより、前記出力層調整部によって割り当てられなかった出力ユニットから出力された評価値を取得し、当該評価値が基準範囲から逸脱することにより学習不足を検出する学習不足検出部を、さらに備える、
    請求項３から６の何れか１項に記載の転移学習装置。
  8. 前記転移学習装置は、
    前記ラベルなし転移先データについて前記学習不足が検出された場合、前記ラベルなし転移先データに対応するラベルをユーザーから受け付ける正解取得部を、さらに備え、
    前記荷重調整部は、前記ユーザーから受け付けた前記ラベルと前記ラベルなし転移先データとを用いた教師付き学習によって前記ニューラルネットワーク装置の荷重値を更新する、
    請求項７に記載の転移学習装置。
  9. 前記正解取得部は、前記出力層調整部によって割り当てられなかった同じ１つの出力ユニットから出力された評価値が前記基準範囲から逸脱する複数のラベルなし転移先データに共通するラベルを前記ユーザーから受け付け、
    前記荷重調整部は、前記ユーザーから受け付けた前記ラベルと前記複数のラベルなし転移先データとを用いた教師付き学習によって前記ニューラルネットワーク装置の荷重値を更新する、
    請求項８に記載の転移学習装置。
  10. 前記複数のラベル付き転移先データの各々には、さらに連想データが付されており、
    前記正解取得部は、前記ラベルなし転移先データに関する連想データを前記ユーザーから受け付け、
    前記荷重調整部は、前記ユーザーから受け付けた前記連想データが付されたラベル付き転移先データのラベルと前記ラベルなし転移先データとを用いて前記教師付き学習を行う、
    請求項８又は９に記載の転移学習装置。
  11. 前記ニューラルネットワーク装置と、
    当該ニューラルネットワーク装置において転移学習を行うための、請求項１から１０の何れか１項に記載の転移学習装置と、
    を備える転移学習システム。
  12. 各々に１以上の評価項目ごとのラベルが付された複数のラベル付き転移先データを、前記評価項目と同数以上の出力ユニットを出力層に有しかつ前記ラベル付き転移先データとは評価項目が異なる複数のラベル付き転移元データで学習済みのニューラルネットワーク装置に入力することにより、前記出力ユニットから出力された評価値を取得し、
    前記１以上の評価項目の各々の評価値を出力するための出力ユニットとして、前記出力ユニットのうち当該評価項目のラベルとの差分が最も小さい評価値が取得された頻度がより高い出力ユニットを優先的に割り当てる、
    転移学習方法。
  13. 請求項１２に記載の転移学習方法をコンピュータに実行させるためのプログラム。
JP2015016125A 2015-01-29 2015-01-29 転移学習装置、転移学習システム、転移学習方法およびプログラム Active JP6435581B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015016125A JP6435581B2 (ja) 2015-01-29 2015-01-29 転移学習装置、転移学習システム、転移学習方法およびプログラム
US14/997,539 US10832128B2 (en) 2015-01-29 2016-01-17 Transfer learning apparatus, transfer learning system, transfer learning method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015016125A JP6435581B2 (ja) 2015-01-29 2015-01-29 転移学習装置、転移学習システム、転移学習方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2016143094A JP2016143094A (ja) 2016-08-08
JP6435581B2 true JP6435581B2 (ja) 2018-12-12

Family

ID=56553191

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015016125A Active JP6435581B2 (ja) 2015-01-29 2015-01-29 転移学習装置、転移学習システム、転移学習方法およびプログラム

Country Status (2)

Country Link
US (1) US10832128B2 (ja)
JP (1) JP6435581B2 (ja)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9940575B2 (en) * 2015-06-04 2018-04-10 Yahoo Holdings, Inc. Image searching
US9940577B2 (en) * 2015-07-07 2018-04-10 Adobe Systems Incorporated Finding semantic parts in images
US10664722B1 (en) * 2016-10-05 2020-05-26 Digimarc Corporation Image processing arrangements
JP6662746B2 (ja) * 2016-10-07 2020-03-11 ファナック株式会社 機械学習部を備えた作業補助システム
JP6718405B2 (ja) 2017-03-31 2020-07-08 三菱重工業株式会社 情報提供装置、情報提供システム、情報提供方法及びプログラム
JP6832783B2 (ja) * 2017-04-20 2021-02-24 株式会社日立製作所 データ分析装置、データ分析方法、およびデータ分析プログラム
JP6911498B2 (ja) 2017-05-01 2021-07-28 オムロン株式会社 学習装置、学習方法、及び学習プログラム
CN107341146B (zh) * 2017-06-23 2020-08-04 上海交大知识产权管理有限公司 基于语义槽内部结构的可迁移口语语义解析系统及其实现方法
US11604983B2 (en) 2017-08-08 2023-03-14 National University Corporation Yokohama National University Neural network system, machine learning method, and program
JP6898562B2 (ja) * 2017-09-08 2021-07-07 富士通株式会社 機械学習プログラム、機械学習方法、および機械学習装置
JP6898561B2 (ja) * 2017-09-08 2021-07-07 富士通株式会社 機械学習プログラム、機械学習方法、および機械学習装置
WO2019075410A1 (en) * 2017-10-13 2019-04-18 Ai Technologies Inc. DIAGNOSIS BASED ON DEEP LEARNING AND RECOMMENDATION OF OPHTHALMIC DISEASES AND DISORDERS
CN108229652B (zh) * 2017-11-28 2021-05-04 北京市商汤科技开发有限公司 神经网络模型迁移方法和系统、电子设备、程序和介质
JP7066385B2 (ja) * 2017-11-28 2022-05-13 キヤノン株式会社 情報処理方法、情報処理装置、情報処理システム及びプログラム
EP3752860A4 (en) * 2018-02-14 2022-03-09 Syntiant OFFLINE DETECTOR
US10657377B2 (en) 2018-06-12 2020-05-19 At&T Intellectual Property I, L.P. Model-driven learning for video analytics
US10635943B1 (en) * 2018-08-07 2020-04-28 General Electric Company Systems and methods for noise reduction in medical images with deep neural networks
CN109034367A (zh) * 2018-08-22 2018-12-18 广州杰赛科技股份有限公司 神经网络更新方法、装置、计算机设备和可读存储介质
US20200104710A1 (en) * 2018-09-27 2020-04-02 Google Llc Training machine learning models using adaptive transfer learning
JP7325942B2 (ja) * 2018-10-19 2023-08-15 キヤノンメディカルシステムズ株式会社 画像処理装置及びプログラム
US20200388287A1 (en) * 2018-11-13 2020-12-10 CurieAI, Inc. Intelligent health monitoring
KR102209505B1 (ko) * 2018-12-13 2021-02-01 재단법인대구경북과학기술원 데이터 빈도수 분석을 통한 인공지능 학습 방법 및 장치
KR102057649B1 (ko) * 2018-12-13 2019-12-19 주식회사 알고리고 상위계층 인공신경망을 이용한 전기차 충전소 점유 예측 장치 및 방법
CN109800796A (zh) * 2018-12-29 2019-05-24 上海交通大学 基于迁移学习的船舶目标识别方法
CN113316790B (zh) * 2019-01-30 2024-05-28 赫尔实验室有限公司 用于自主学习代理中的无监督域适应的系统、方法和介质
KR20200129457A (ko) 2019-05-08 2020-11-18 삼성전자주식회사 학습을 수행하는 뉴럴 네트워크 시스템, 그것의 학습 방법 및 뉴럴 네트워크 프로세서의 전이 학습 방법
CN110210556B (zh) * 2019-05-29 2022-09-06 中国科学技术大学 行人再识别数据生成方法
JP7326926B2 (ja) * 2019-06-27 2023-08-16 トヨタ自動車株式会社 学習装置、リハビリ支援システム、方法、プログラム、及び学習済みモデル
CN110599401A (zh) * 2019-08-19 2019-12-20 中国科学院电子学研究所 遥感图像超分辨率重建方法、处理装置及可读存储介质
CN110489567B (zh) * 2019-08-26 2022-03-22 重庆邮电大学 一种基于跨网络特征映射的节点信息获取方法及其装置
CN110738107A (zh) * 2019-09-06 2020-01-31 上海衡道医学病理诊断中心有限公司 一种具备模型迁移功能的显微图像识别分割方法
CN110929877B (zh) * 2019-10-18 2023-09-15 平安科技（深圳）有限公司 基于迁移学习的模型建立方法、装置、设备及存储介质
CN110751207B (zh) * 2019-10-18 2022-08-05 四川大学 基于深度卷积域对抗迁移学习的故障诊断方法
US12367200B2 (en) 2019-10-30 2025-07-22 International Business Machines Corporation Ranking image sources for transfer learning
EP4471577A1 (en) 2019-12-09 2024-12-04 Samsung Electronics Co., Ltd Electronic device and controlling method of electronic device
JP7413011B2 (ja) 2019-12-27 2024-01-15 キヤノンメディカルシステムズ株式会社 医用情報処理装置
EP4099263B1 (en) 2020-03-04 2025-03-19 Mitsubishi Electric Corporation Labeling device and learning device
US11087883B1 (en) * 2020-04-02 2021-08-10 Blue Eye Soft, Inc. Systems and methods for transfer-to-transfer learning-based training of a machine learning model for detecting medical conditions
EP3893064A1 (en) * 2020-04-07 2021-10-13 GF Machining Solutions AG Method for predicting status of machining operation
CN112949904B (zh) * 2021-01-28 2022-06-07 华中科技大学 一种基于特征选择与多层级深度迁移学习的风电场短期功率预测方法
US11750927B2 (en) 2021-08-12 2023-09-05 Deepx Co., Ltd. Method for image stabilization based on artificial intelligence and camera module therefor
CN116266221A (zh) * 2021-12-14 2023-06-20 中国科学院软件研究所 神经网络的鲁棒性评估方法、装置、设备及存储介质
US12394186B2 (en) * 2022-03-25 2025-08-19 Arizona Board Of Regents On Behalf Of Arizona State University Systems, methods, and apparatuses for implementing self-supervised domain-adaptive pre-training via a transformer for use with medical image classification
JP2023144562A (ja) 2022-03-28 2023-10-11 富士通株式会社 機械学習プログラム，データ処理プログラム，情報処理装置，機械学習方法およびデータ処理方法
PL4343691T3 (pl) * 2022-07-29 2025-02-10 Contemporary Amperex Technology (Hong Kong) Limited Sposób i urządzenie do szkolenia modelu wykrywania defektów ogniw
US12417230B2 (en) * 2022-12-09 2025-09-16 International Business Machines Corporation Annotating and collecting data-centric AI quality metrics considering user preferences
JP2025107723A (ja) * 2024-01-09 2025-07-22 Ｊｆｅスチール株式会社 材料品質推定モデルの作成方法、材料品質推定方法、材料品質推定モデルの作成装置、材料品質推定装置および材料品質推定モデルの作成システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04114264A (ja) * 1990-09-04 1992-04-15 Sharp Corp 自己組織化ニューラルネットワークにおける出力ノードのラベル付け方法
JPH0589076A (ja) * 1991-09-30 1993-04-09 Sharp Corp ニユーラルネツトワークの追加学習方法
JP3337597B2 (ja) * 1995-09-28 2002-10-21 松下電器産業株式会社 学習型認識判断装置
DE60130742T2 (de) * 2001-05-28 2008-07-17 Honda Research Institute Europe Gmbh Mustererkennung mit hierarchischen Netzen
US6819790B2 (en) * 2002-04-12 2004-11-16 The University Of Chicago Massive training artificial neural network (MTANN) for detecting abnormalities in medical images
US8345962B2 (en) * 2007-11-29 2013-01-01 Nec Laboratories America, Inc. Transfer learning methods and systems for feed-forward visual recognition systems
JP2009282686A (ja) * 2008-05-21 2009-12-03 Toshiba Corp 分類モデル学習装置および分類モデル学習方法
US9412064B2 (en) * 2011-08-17 2016-08-09 Qualcomm Technologies Inc. Event-based communication in spiking neuron networks communicating a neural activity payload with an efficacy update

Also Published As

Publication number Publication date
JP2016143094A (ja) 2016-08-08
US20160224892A1 (en) 2016-08-04
US10832128B2 (en) 2020-11-10

Similar Documents

Publication Publication Date Title
JP6435581B2 (ja) 転移学習装置、転移学習システム、転移学習方法およびプログラム
TWI768216B (zh) 用於血液透析的脫水量預測方法與使用該方法的電子裝置
JP6004084B2 (ja) モデル更新方法、装置、およびプログラム
JP7298825B2 (ja) 学習支援装置、学習装置、学習支援方法及び学習支援プログラム
WO2020181805A1 (zh) 糖尿病的预测方法及装置、存储介质、计算机设备
CN110363229A (zh) 一种基于改进RReliefF和mRMR相结合的人体特征参数选择方法
WO2019176989A1 (ja) 検査システム、識別システム、及び学習データ生成装置
CN111446002A (zh) 一种基于人工智能的新型冠状病毒患者病况分类系统
CN109191451A (zh) 异常检测方法、装置、设备和介质
CN112368720A (zh) 信息处理设备、信息处理方法和程序
CN112837799A (zh) 基于区块链的远程互联网大数据智慧医疗系统
JP6941309B2 (ja) 遺伝子変異の評価装置、評価方法、プログラム、および記録媒体
JP7276018B2 (ja) 学習方法、推定方法および学習プログラム
US10467750B2 (en) Display control apparatus, display control method, and recording medium
JP7152357B2 (ja) 正解データ作成支援システムおよび正解データ作成支援方法
CN111295715B (zh) 目标管理系统、目标管理服务器、目标管理程序以及目标管理终端装置
CN114267440B (zh) 医疗订单信息处理方法、装置和计算机可读存储介质
JP7364206B2 (ja) 学習装置、学習方法、及び制御プログラム
US11289202B2 (en) Method and system to improve clinical workflow
JP2019049889A (ja) 学習装置、および学習方法
JP2022106064A (ja) 認知症兆候判別プログラム
JP7628939B2 (ja) 情報処理システム及び情報処理方法
KR102702222B1 (ko) 건강검진 데이터 처리 방법 및 장치
KR102721601B1 (ko) 건강검진 데이터 처리 방법 및 장치
WO2023224085A1 (ja) 情報処理システムおよび情報処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170822

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181016

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181025

R151 Written notification of patent or utility model registration

Ref document number: 6435581

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151