WO2020202244A1 - モデル生成装置、モデル調整装置、モデル生成方法、モデル調整方法、及び、記録媒体 - Google Patents

モデル生成装置、モデル調整装置、モデル生成方法、モデル調整方法、及び、記録媒体 Download PDF

Info

Publication number
WO2020202244A1
WO2020202244A1 PCT/JP2019/013974 JP2019013974W WO2020202244A1 WO 2020202244 A1 WO2020202244 A1 WO 2020202244A1 JP 2019013974 W JP2019013974 W JP 2019013974W WO 2020202244 A1 WO2020202244 A1 WO 2020202244A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
parameter
parameters
target
domain
Prior art date
Application number
PCT/JP2019/013974
Other languages
English (en)
French (fr)
Inventor
あずさ 澤田
剛志 柴田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2019/013974 priority Critical patent/WO2020202244A1/ja
Priority to US17/598,422 priority patent/US20220180195A1/en
Priority to PCT/JP2019/025113 priority patent/WO2020202591A1/ja
Priority to JP2021511083A priority patent/JP7251613B2/ja
Publication of WO2020202244A1 publication Critical patent/WO2020202244A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

モデル生成装置は、複数のソースドメインにおける学習用データを用いて、使用するモデルに対応するモデルパラメータ、及び、複数のソースドメインのモデルパラメータと媒介パラメータとの関連性を示す媒介パラメータ関連性情報を生成する。モデル調整装置は、複数のソースドメイン毎の学習済モデルパラメータ、及び、媒介パラメータ関連性情報に基づいて、ターゲットドメインに対応し、媒介パラメータを含むモデルパラメータであるターゲットモデルパラメータを生成する。そして、モデル調整装置は、ターゲットドメインの評価用データを用いて、ターゲットモデルパラメータに含まれる媒介パラメータを決定する。

Description

モデル生成装置、モデル調整装置、モデル生成方法、モデル調整方法、及び、記録媒体
　本発明は、認識モデルのドメイン適応に関する。
　様々なタスクにおいて、ニューラルネットワークを用いた認識モデルの性能が良いことが知られている。しかし、モデルが柔軟性を有するため、学習用データの表面的特性にも適合してしまい、異なるデータに転用すると性能が低下してしまう。そこで、目的のデータ特性（ターゲットドメイン）において良い性能を得るための学習技術が開発されている。この手法は「ドメイン適応」とも呼ばれる。具体的に、ソースドメインで学習されたモデルを、ターゲットドメインの学習用データを用いて追加で学習する手法が知られている。例えば、特許文献１は、第１ドメインのデータの学習により得られたモデルのパラメータを、第２ドメインの学習により得られたパラメータを用いて補正、補間する手法を記載している。
特願２０１８－１８００４５号公報
　しかし、上記の手法では、ターゲットドメインについての十分な学習用データや計算環境が得られないところでは、ドメイン適応を行うことは困難であった。
　本発明の目的の１つは、ターゲットドメインについて限られた量のデータしかない場合でも、ターゲットドメインに適応したモデルを生成可能とすることにある。
　上記の課題を解決するため、本発明の一つの観点は、モデル生成装置であって、
　複数のソースドメインにおける学習用データを用いて、使用するモデルに対応するモデルパラメータを学習する学習部と、
　前記モデルパラメータと媒介パラメータとの関連性を示す媒介パラメータ関連性情報を生成する関連性情報生成部と、を備える。
　本発明の他の観点は、モデル調整装置であって、
　複数のソースドメイン毎の学習済モデルパラメータ、及び、前記学習済モデルパラメータと媒介パラメータとの関連性を示す媒介パラメータ関連性情報に基づいて、ターゲットドメインに対応し、前記媒介パラメータを含むモデルパラメータであるターゲットモデルパラメータを生成するターゲットモデルパラメータ生成部と、
　前記ターゲットドメインの評価用データを用いて、前記ターゲットモデルパラメータに含まれる媒介パラメータを決定する決定部と、を備える。
　本発明の他の観点では、モデル生成方法は、
　複数のソースドメインにおける学習用データを用いて、使用するモデルに対応するモデルパラメータを学習し、
　前記モデルパラメータと媒介パラメータとの関連性を示す媒介パラメータ関連性情報を生成する。
　本発明の他の観点では、モデル調整方法は、
　複数のソースドメイン毎の学習済モデルパラメータ、及び、前記学習済モデルパラメータと媒介パラメータとの関連性を示す媒介パラメータ関連性情報に基づいて、ターゲットドメインに対応し、前記媒介パラメータを含むモデルパラメータであるターゲットモデルパラメータを生成し、
　前記ターゲットドメインの評価用データを用いて、前記ターゲットモデルパラメータに含まれる媒介パラメータを決定する。
　本発明の他の観点では、記録媒体は、
　複数のソースドメインにおける学習用データを用いて、使用するモデルに対応するモデルパラメータを学習し、
　前記モデルパラメータと媒介パラメータとの関連性を示す媒介パラメータ関連性情報を生成する処理をコンピュータに実行させるプログラムを記録する。
　本発明の他の観点では、記録媒体は、
　複数のソースドメイン毎の学習済モデルパラメータ、及び、前記学習済モデルパラメータと媒介パラメータとの関連性を示す媒介パラメータ関連性情報に基づいて、ターゲットドメインに対応し、前記媒介パラメータを含むモデルパラメータであるターゲットモデルパラメータを生成し、
　前記ターゲットドメインの評価用データを用いて、前記ターゲットモデルパラメータに含まれる媒介パラメータを決定する処理をコンピュータに実行させる。
　本発明によれば、ターゲットドメインのデータを用いて媒介パラメータを決定することにより、ターゲットドメインに適応したモデルを得ることが可能となる。
実施形態によるドメイン適応の基本原理を模式的に示す。 第１実施形態によるモデル生成装置のハードウェア構成を示すブロック図である。 モデル生成装置の機能構成を示すブロック図である。 モデル生成処理のフローチャートである。 第１実施形態によるモデル調整装置のハードウェア構成を示すブロック図である。 モデル調整装置の機能構成を示すブロック図である。 モデル調整処理のフローチャートである。 モデル生成処理の第１実施例に係る媒介パラメータの関連性を模式的に示す。 第２実施例による学習モデルの構成例を示す。 第２実施例による学習モデルの他の構成例を示す。 第２実施形態によるモデル生成装置及びモデル調整装置の機能構成を示すブロック図である。
　以下、図面を参照して本発明の好適な実施形態について説明する。
　＜基本原理＞
　まず、実施形態によるドメイン適応の基本原理を説明する。実施形態は、限られた量のターゲットドメインの評価用データを用いてドメイン適応を行う点に特徴を有する。ここで、「ドメイン」とは、例えばデータが得られた場所、時間、環境などの条件により規定されるデータの領域であり、これらの条件が共通するデータが同一のドメインのデータとなる。例えば、同じ場所で撮影された画像データであっても、時間が違ったり、カメラ特性が違ったりした場合は、異なるドメインの画像データとなる。また、同じ場所で同一のカメラで撮影された画像データであっても、撮影画像のスケール比、照明条件、カメラの向き、カメラの画角などの撮影条件が異なる場合は、異なるドメインの画像データとなる。以下では、モデルの学習に用いられるドメインを「ソースドメイン」と呼び、その学習により得られたモデルを適用するドメインを「ターゲットドメイン」と呼ぶ。
　実施形態によるドメイン適応は、基本的にモデル生成装置とモデル調整装置により行われる。モデル生成装置は、複数のソースドメインの学習用データを用いて、ソースドメイン毎のモデルのパラメータ（以下、「モデルパラメータ」と呼ぶ。）と、媒介パラメータ関連性情報とを生成する。一方、モデル調整装置は、モデル生成装置が生成したモデルパラメータ及び媒介パラメータ関連性情報と、ターゲットドメインの評価用データとを用いて、ターゲットドメインに適応したモデルのパラメータを生成する。
　図１は、実施形態によるドメイン適応の基本原理を模式的に示す。本実施形態では、モデル生成装置は、画像データから物体を認識する処理に使用される認識モデルを生成するものとする。また、認識モデルはニューラルネットワークを用いたモデルであるものとする。いま、図示のように、ソースドメイン１、２があり、ソースドメイン１について学習用データＤ１が用意され、ソースドメイン２について学習用データＤ２が用意されているとする。モデル生成装置は、ソースドメイン１について、学習用データＤ１を用いて学習モデルの学習を行い、学習結果を生成する。また、モデル生成装置は、ソースドメイン２について、学習用データＤ２を用いて学習モデルの学習を行い、学習結果を生成する。なお、これらの学習結果は、学習モデルを構成するニューラルネットワークにおけるパラメータ（重み）の集合であり、以下「学習済モデルパラメータ」とも呼ぶ。
　いま、ソースドメイン１、２とは異なるターゲットドメインについてモデルパラメータを生成することを考える。ターゲットドメインについて十分な学習用データがあれば、それらを使ってモデルの学習を行えばよいが、ここではターゲットドメインについては、限られた量のデータ、具体的には評価用データしか得られないものとする。この場合、本実施形態では、ドメインの差に対応する媒介パラメータを導入する。媒介パラメータは、異なるソースドメインに対応するモデルパラメータを媒介する役割を有するパラメータであり、異なるソースドメインのモデルパラメータに対する関連性を有する。
　媒介パラメータは、ソースドメイン１、２の学習結果に基づいて規定され、概念的には図１に示すように、ソースドメイン１、２の学習結果を接続する曲線Ｃにより与えられる。媒介パラメータの値は、曲線Ｃ上の位置を指定する。媒介パラメータの値を変化させることにより、モデルパラメータが、曲線Ｃ上で、ソースドメイン１の学習済モデルパラメータと、ソースドメイン２の学習済モデルパラメータとの間を移動する。この曲線Ｃは、媒介パラメータと、ソースドメイン毎の学習済モデルパラメータとの関連性を示す情報（以下、「媒介パラメータ関連性情報」と呼ぶ。）を示す。モデル生成装置は、ソースドメイン１の学習済モデルパラメータと、ソースドメイン２の学習済モデルパラメータと、ソースドメイン１、２の学習用データＤ１、Ｄ２とを用いて、媒介パラメータの値によってどのようにモデルパラメータを変形するかを示す媒介パラメータ関連性情報を生成する。そして、モデル生成装置は、ソースドメイン毎の学習済モデルパラメータと、媒介パラメータ関連性情報とを含むパラメータセットを生成する。このパラメータセットは、媒介パラメータを調整することにより、モデルパラメータをターゲットドメインに適応させることが可能に構成されたものである。
　次に、あるターゲットドメインの評価用データを用いて、ターゲットドメインのモデルパラメータを調整することを考える。この場合、モデル調整装置は、まず、ソースドメイン毎の学習済モデルパラメータと、媒介パラメータ関連性情報とを用いて、ターゲットドメインのモデル（以下、「ターゲットモデル」と呼ぶ。）を生成する。一例では、モデル調整装置は、複数のソースドメインのうち、ターゲットドメインに最も近いソースドメインの学習済モデルパラメータに、媒介パラメータを反映してターゲットモデルを生成する。他の例では、モデル調整装置は、複数のソースドメインのうち、予め決められた１つの基本ドメインの学習済モデルパラメータに、媒介パラメータを反映してターゲットモデルを生成する。さらに他の例では、モデル調整装置は、複数のソースドメインのいくつか又は全てについての学習済モデルパラメータに、媒介パラメータを反映してターゲットモデルを生成する。
　次に、モデル調整装置は、媒介パラメータの値を変化させつつ、ターゲットドメインの評価用データを用いた性能評価を行う。言い換えると、モデル調整装置は、ターゲットドメインの評価用データを用いて、そのターゲットドメインに適応する媒介パラメータの探索を行う。そして、最も良い性能が得られたときの媒介パラメータの値を、そのターゲットドメインに適応した媒介パラメータの値と決定し、ターゲットモデルの媒介パラメータにその値を適用する。
　図１において、ターゲットドメインにおける十分な学習用データが存在すると仮定した場合に、十分な学習用データを用いた学習により得られるモデルを「最適モデルＭｔ」とする。これに対し、実施形態の手法により、媒介パラメータを調整してターゲットドメインに適応させたターゲットモデルを「Ｍａ」で示す。ターゲットモデルＭａは、媒介パラメータ関連性情報を示す曲線Ｃ上であって、最適モデルＭｔに十分に近い位置に決定される。このように、実施形態の手法では、最適モデルＭｔと一致するモデルを生成することはできないが、媒介パラメータ関連性情報を示す曲線Ｃ上に位置し、かつ、最適モデルＭｔに最も近いターゲットモデルＭａを得ることができる。
　＜第１実施形態＞
　次に、本発明の第１実施形態について説明する。
　［モデル生成装置］
　まず、モデル生成装置について詳しく説明する。
　（ハードウェア構成）
　図２は、第１実施形態に係るモデル生成装置のハードウェア構成を示すブロック図である。モデル生成装置１０は、コンピュータを用いて構成され、複数のソースドメインの学習用データを用いて、使用する認識モデルのパラメータを学習する。
　図２に示すように、モデル生成装置１０は、プロセッサ１１と、メモリ１２とを備える。プロセッサ１１は、ＣＰＵ、又は、ＣＰＵとＧＰＵなどであり、予め用意されたプログラムを実行することによりモデル生成処理を実行する。メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などにより構成され、プロセッサ１１が実行するプログラムを記憶する。また、メモリ１２は、プロセッサ１１による処理の実行中に作業メモリとしても機能する。
　モデル生成装置１０は、記録媒体５を読み取り可能である。記録媒体５は、モデル生成処理を行うためのプログラムを記録している。記録媒体５は、コンピュータにより読み取り可能な、不揮発性記録媒体などの非一時的な記録媒体である。記録媒体５の例としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどが挙げられる。記録媒体５に記録されているプログラムは、モデル生成装置１０による処理の実行時にメモリ１２に読み込まれ、プロセッサ１１により実行される。
　モデル生成装置１０には、学習用データ２１と、学習モデル２２とが入力される。学習用データ２１は、複数のソースドメインで用意された画像データ群である。学習モデル２２は、目的の認識処理を行うために予め用意された識別モデルである。モデル生成装置１０は、学習用データ２１及び学習モデル２２を用いてモデル生成処理を行い、学習済モデルパラメータ２３と、媒介パラメータ関連性情報２４とを出力する。学習済モデルパラメータ２３は、複数のソースドメイン毎に生成される。媒介パラメータは、異なるソースドメイン間の差に対応するパラメータであるが、その詳細は後述する。
　（機能構成）
　次に、モデル生成装置１０の機能構成について説明する。図３は、モデル生成装置１０の機能構成を示すブロック図である。図示のように、モデル生成装置１０は、機能的には、モデルパラメータ学習部１５と、関連性情報生成部１６と、を備える。
　モデルパラメータ学習部１５は、複数のソースドメイン毎に学習モデルのパラメータであるモデルパラメータを学習し、ソースドメイン毎に学習済モデルパラメータ２３を生成する。いま、学習用データ２１として、ソースドメイン０～２の学習用データがあると仮定すると、モデルパラメータ学習部１５は、ソースドメイン０の学習用データを用いて学習モデルの学習を行い、ソースドメイン０の学習済モデルパラメータを生成する。なお、学習済モデルパラメータは、認識モデルを構成するニューラルネットワークにおける重みの集合である。また、モデルパラメータ学習部１５は、ソースドメイン１の学習用データを用いて学習モデルの学習を行い、ソースドメイン１の学習済モデルパラメータを生成する。さらに、モデルパラメータ学習部１５は、ソースドメイン２の学習用データを用いて学習モデルの学習を行い、ソースドメイン２の学習済モデルパラメータを生成する。そして、モデルパラメータ学習部１５は、ソースドメイン０～２の学習済モデルパラメータ２３を出力する。モデルパラメータ学習部１５は、本発明の学習部の一例である。
　関連性情報生成部１６は、複数のソースドメインの学習用データと、モデルパラメータ学習部１５により生成されるソースドメイン毎の学習済モデルパラメータとを用いて、学習済モデルパラメータと媒介パラメータとの関連性を示す媒介パラメータ関連性情報２４を生成する。ここで、「関連性」とは、媒介パラメータの値によって、どのようにモデルパラメータを変形するかを示す。なお、関連性情報生成部１６は、モデルパラメータ学習部１５によるモデルパラメータの学習とは分離して媒介パラメータ関連性情報の生成を行う。
　（モデル生成処理）
　次に、モデル生成装置１０により実行されるモデル生成処理について説明する。図４は、モデル生成処理のフローチャートである。この処理は、図２に示すプロセッサ１１が、予め用意されたプログラムを実行することにより実現される。
　まず、モデル生成装置１０は、複数のソースドメインの学習用データ２１と、学習モデル２２とを取得する（ステップＳ１１）。次に、モデル生成装置１０は、モデルパラメータ学習部１５により、ソースドメイン毎の学習用データを用いて、ソースドメイン毎にモデルパラメータを学習する（ステップＳ１２）。
　次に、モデル生成装置１０は、関連性情報生成部１６により、複数のソースドメインの学習用データと、ステップＳ１２で得られたソースドメイン毎の学習済モデルパラメータとに基づいて、学習済モデルパラメータと媒介パラメータとの関連性を示す媒介パラメータ関連性情報２４を生成する（ステップＳ１３）。そして、モデル生成装置１０は、ステップＳ１２で得られたソースドメイン毎の学習済モデルパラメータ２３と、ステップＳ１３で得られた媒介パラメータ関連性情報２４とを出力する（ステップＳ１４）。そして、処理は終了する。
　［モデル調整装置］
　次に、モデル調整装置について詳しく説明する。
　（ハードウェア構成）
　図５は、実施形態に係るモデル調整装置のハードウェア構成を示すブロック図である。モデル調整装置５０は、コンピュータを用いて構成される。モデル調整装置５０は、モデル生成装置１０が生成したソースドメイン毎の学習済モデルパラメータと、媒介パラメータ関連性情報とを用いて、ターゲットドメインに適応した認識モデル（以下、「ターゲットモデル」とも呼ぶ。）のパラメータ（以下、「ターゲットモデルパラメータ」とも呼ぶ。）を生成する。
　図５に示すように、モデル調整装置５０は、プロセッサ５１と、メモリ５２とを備える。プロセッサ５１は、ＣＰＵ、又は、ＣＰＵとＧＰＵなどであり、予め用意されたプログラムを実行することによりモデル調整処理を実行する。メモリ５２は、ＲＡＭ、ＲＯＭなどにより構成され、プロセッサ５１が実行するプログラムを記憶する。また、メモリ５２は、プロセッサ５１による処理の実行中に作業メモリとしても機能する。
　また、モデル調整装置５０は、記録媒体５を読み取り可能である。記録媒体５は、モデル調整処理を行うためのプログラムを記録している。記録媒体５の例は、モデル生成装置１０の場合と同様である。記録媒体５に記録されているプログラムは、モデル調整装置５０による処理の実行時にメモリ５２に読み込まれ、プロセッサ５１により実行される。
　モデル調整装置５０には、学習済モデルパラメータ２３と、媒介パラメータ関連性情報２４と、ターゲットドメインの評価用データ２５とが入力される。学習済モデルパラメータ２３と媒介パラメータ関連性情報２４は、上述のモデル生成装置１０により生成されたものである。評価用データ２５は、ターゲットドメインにおいて得られたデータである。なお、このターゲットドメインは、図２に示すモデル生成装置１０に入力される学習用データ２１のソースドメイン、即ち、学習済モデルパラメータ２３の各ソースドメインとは異なるドメインである。
　モデル調整装置５０は、上記の入力データを用いてターゲットドメインに対応するターゲットモデルを生成する。次に、モデル調整装置５０は、ターゲットモデルに含まれる媒介パラメータの調整を行い、調整後の媒介パラメータにより規定されるターゲットモデルパラメータ２６を出力する。
　（機能構成）
　次に、モデル調整装置５０の機能構成について説明する。図６は、モデル調整装置５０の機能構成を示すブロック図である。図示のように、モデル調整装置５０は、機能的には、媒介パラメータ反映部５４と、性能評価部５５と、評価結果保存部５６と、媒介パラメータ調整部５７と、パラメータ保存部５８と、を備える。
　媒介パラメータ反映部５４は、媒介パラメータ関連性情報２４に基づいて媒介パラメータを学習済モデルパラメータ２３に反映し、媒介パラメータを含むターゲットモデルを生成する。性能評価部５５は、ターゲットドメインの評価用データを用いて、媒介パラメータ反映部５４が生成したターゲットモデルの性能評価を行う。ここで、性能評価部５５は、媒介パラメータを含むターゲットモデルにおいて、媒介パラメータの値を変化させつつ、そのターゲットモデルの性能評価を行う。具体的には、性能評価部５５は、媒介パラメータの値を変化させつつ、ターゲットドメインの全ての評価用データについて、予め決められた評価指標を用いて性能評価を行う。そして、得られた性能評価値を評価結果保存部５６に保存する。媒介パラメータ反映部５４は、本発明のターゲットモデルパラメータ生成部の一例である。
　媒介パラメータ調整部５７は、評価結果保存部５６に保存された性能評価結果を参照し、最も良い評価結果が得られたときの媒介パラメータの値を、そのターゲットドメインに対して使用する媒介パラメータの値と決定する。そして、媒介パラメータ調整部５７は、決定された値の媒介パラメータを含むターゲットモデルを生成し、そのパラメータであるターゲットモデルパラメータ２６をパラメータ保存部５８に保存するとともに、外部に出力する。媒介パラメータ調整部５７は、本発明の決定部の一例である。
　（モデル調整処理）
　次に、モデル調整装置５０により実行されるモデル調整処理について説明する。図７は、モデル調整処理のフローチャートである。この処理は、図５に示すプロセッサ５１が、予め用意されたプログラムを実行することにより実現される。
　まず、モデル調整装置５０は、学習済モデルパラメータ２３、媒介パラメータ関連性情報２４、及び、ターゲットドメインの評価用データ２５を取得する（ステップＳ２１）。次に、モデル調整装置５０は、媒介パラメータ反映部５４により、媒介パラメータを反映したターゲットモデルを生成する（ステップＳ２２）。
　次に、モデル調整装置５０は、性能評価部５５により、媒介パラメータを変化させつつ評価用データを用いた性能評価を行う（ステップＳ２３）。次に、媒介パラメータ調整部５７は、性能評価の結果が最良となる媒介パラメータの値を、そのターゲットドメインに対する媒介パラメータの値として決定する（ステップＳ２４）。そして、モデル調整装置５０は、決定された媒介パラメータの値を含むターゲットモデルパラメータを出力する（ステップＳ２５）。そして、処理は終了する。
　［実施例］
　次に、モデル生成装置１０によるモデル生成処理の実施例について説明する。
　（第１実施例）
　第１実施例は、媒介パラメータ関連性情報を、複数のソースドメインの学習済モデルパラメータの差分を用いて表現するものである。図８は、モデル生成処理の第１実施例に係る媒介パラメータ関連性情報を模式的に示す。図８は、媒介パラメータにより規定されるモデル空間を模式的に示している。
　第１実施例では、複数のソースドメインのうちから１つの基本ドメインが決定される。基本ドメインは、複数のソースドメインのうち、基準となるドメインであるので、そのソースドメインの持つ特徴が極端でないものが好ましい。また、基本ドメインは、最もデータセットの質が良いものが好ましい。具体例としては、基本ドメインは、複数のソースドメインのうち、最もデータ数の多いもの、最もデータの劣化が少ないもの、最もノイズの少ないものなどとすることが好ましい。
　図８の例において、３つのソースドメイン０～２が存在し、基本ドメインをソースドメイン０とし、ソースドメイン０の学習済モデルパラメータを「ｗ０」とする。同様に、ソースドメイン１の学習済モデルパラメータを「ｗ１」とし、ソースドメイン２の学習済モデルパラメータを「ｗ２」とする。これらの学習済モデルパラメータｗ０～ｗ２は、いずれもモデル生成装置１０のモデルパラメータ学習部１５により生成されるものである。また、モデル生成装置１０が生成する学習モデル、即ち、媒介パラメータを含むモデルパラメータにより表現されるモデルを「ｗ」で示すものとする。
　第１実施例では、モデル生成装置１０が生成する学習モデルｗを、基本ドメインの学習済モデルパラメータと、他のソースドメインの学習済モデルパラメータとの差分ベクトルの線形結合として表現する。具体的に、学習モデルｗは以下の式により与えられる。
　　　ｗ＝ｗ０＋ａ（ｗ１－ｗ０）＋ｂ（ｗ２－ｗ０）　　　　　　（１）
　ここで、「ａ」、「ｂ」は媒介パラメータである。
　このように、第１実施例では、基本ドメインに対する各ソースドメインの差分ベクトルで規定される空間を考え、媒介パラメータａ、ｂを各差分ベクトル（ｗ１－ｗ０）、（ｗ２－ｗ０）に乗算する係数として規定する。これにより、学習モデルｗは、図８に示すように、２つの媒介パラメータａ、ｂにより規定されるモデル空間内に示される。
　モデル調整装置５０によるモデル調整処理においては、媒介パラメータ調整部５７は、（ソースドメイン数－１）次元（本例では２次元）のモデル空間内で媒介パラメータの値を探索すればよい。なお、学習モデルｗを含むモデル空間を規定するためにソースドメインは２つ以上必要であるが、ソースドメイン数が多すぎると、モデル調整処理において媒介パラメータ調整部５７が行う探索処理が膨大となる。よって、ソースドメイン数が多い場合には、モデル空間の次元を抑えるためにソースドメイン数を削減してもよい。例えば、複数のソースドメインから、有用と思われるいくつかのソースドメインを選択したり、パラメータ変動の主要な変化方向などの基準を用いていくつかのソースドメインを選択したりすることができる。
　モデル生成処理において、モデル生成装置１０のモデルパラメータ学習部１５は、ソースドメイン０の学習済モデルパラメータｗ０を初期値として、ソースドメイン１の学習済モデルパラメータｗ１及びソースドメイン２の学習済モデルパラメータｗ２を学習する。そして、モデルパラメータ学習部１５は、各モデルパラメータｗ０～ｗ２を学習済モデルパラメータ２３として出力する。関連性情報生成部１６は、上記の式（１）、又は、媒介パラメータａ、ｂが各差分ベクトル（ｗ１－ｗ０）、（ｗ２－ｗ０）に乗算する係数であることを示す情報を、媒介パラメータ関連性情報２４として出力する。このとき出力される媒介パラメータ関連性情報として、調整に用いる目的に適したものを獲得するために、モデルパラメータ学習部１５は、他のドメインでの学習済モデルパラメータとの差分を抑える制約を使ってもよい。
　（第２実施例）
　第２実施例は、媒介パラメータを、学習モデルを構成するニューラルネットワークに入力される変数として規定するものである。図９は、第２実施例による学習モデルの構成例を示す。この例では、ソースドメインの違いに対応する変数をドメイン情報ｄとし、これをニューラルネットワークの入力変数とする。即ち、ニューラルネットワークの入力層には、入力ｘに加えて、ドメイン情報ｄが入力変数として入力される。ドメイン情報ｄは、各ソースドメインにおいて相違する条件、例えば、画像データのスケール比、色温度、カメラの画角度などを用いることができる。
　例えば、画像のスケール比がそれぞれ「１」、「２」、「５」である３つのソースドメインがあると仮定する。この場合、モデル生成処理においては、それぞれのスケール比の値がドメイン情報ｄとして入力され、モデル生成装置１０は各ソースドメインの学習用データを用いた学習を行う。これにより、ドメイン情報ｄを媒介パラメータとする学習モデルが生成される。
　この場合、モデル生成装置１０のモデルパラメータ学習部１５は、ニューラルネットワークのパラメータセット及びドメイン情報ｄを学習済モデルパラメータ２３として出力する。また、関連性情報生成部１６は、ニューラルネットワークにおけるドメイン情報ｄの入力位置、例えば、入力層、隠れ層の何層目、などの情報を媒介パラメータ関連性情報２４として出力する。
　一方、モデル調整処理においては、モデル調整装置５０は、媒介パラメータとしてのドメイン情報ｄ、即ち、画像のスケール比を変更しつつ、ターゲットドメインの評価用データを用いてターゲットモデルの性能評価を行う。そして、モデル調整装置５０は、最良の性能が得られたときの媒介パラメータの値、即ち、画像のスケール比を採用してターゲットモデルを決定する。例えば、ターゲットドメインにおける画像のスケール比が未知であるが、評価用データを用いて行った性能評価により、画像のスケールを「３」としたときに最良の性能が得られた場合、ターゲットモデルにおける媒介パラメータの値は「３」と決定される。
　なお、ターゲットドメインにおけるドメイン情報ｄ（上記の例では画像のスケール比）が既知である場合には、媒介パラメータとしてその値を用いればよい。例えば、上記の例でターゲットドメインにおける画像のスケール比が「２」であるとわかっている場合、即ち、ターゲットドメインにおけるドメイン情報ｄがいずれかのソースドメインのドメイン情報ｄと一致した場合、モデル調整処理において媒介パラメータを変更しつつ探索する処理を省略することができる。この場合、モデル調整装置５０は、媒介パラメータ反映部５４が生成したターゲットモデルにおいて、媒介パラメータの値を「２」に決定すればよい。
　図１０（Ａ）及び１０（Ｂ）は、第２実施例による学習モデルの他の例を示す。図９の例では、ドメイン情報ｄがニューラルネットワークの入力層に入力されている。その代わりに、図１０（Ａ）及び１０（Ｂ）に示すように、ドメイン情報ｄをニューラルネットワークの隠れ層に入力してもよい。例えば、図１０（Ａ）に示すように、ドメイン情報ｄを隠れ層の１箇所に入力しても良い。また、図１０（Ｂ）に示すように、ドメイン情報ｄをニューラルネットワークの複数の箇所に入力しても良い。
　［実施形態による効果］
　上記のように、本実施形態によれば、モデル調整装置５０は、評価用データセットを用いて性能評価を行い、適切な媒介パラメータを決定することができる。よって、ターゲットドメインにおける大量のデータを学習用データとして用意する必要が無く、ターゲットドメインにおいて得られるデータ量が少なくても、ドメイン適応が可能となる。
　認識モデルを使用する業界などによっては、ターゲットドメインのデータの秘匿性が高く、企業などからデータの提供を受けられない場合がある。このような場合でも、本実施形態によれば、ソースドメインの学習用データを用いてモデル生成処理を行ってその結果を該企業に提供すればよい。企業側では、社内で秘匿されているターゲットドメインのデータを用いて上記のモデル調整処理を行い、ターゲットモデルを生成することができる。なお、ソースドメインの学習用データをシミュレーションで生成する場合には、企業側での環境において使用されそうな条件を予測し、それに対応するソースドメインにおける学習用データを生成すれば、企業側におけるモデル調整を容易にすることができる。
　また、本実施形態では、モデル調整処理において媒介パラメータを調整することにより、モデルをターゲットドメインに適応させることができる。よって、ターゲットドメインのデータが少なかったり、秘匿されていたりする場合に限らず、生成したモデルのデプロイ時においても、ターゲットドメインで得られた少量のデータを用いてモデルを調整することが可能となる。
　＜第２実施形態＞
　次に、本発明の第２実施形態について説明する。図１１（Ａ）は、本発明の第２実施形態に係るモデル生成装置６０の機能構成を示す。なお、モデル生成装置６０のハードウェア構成は、図２に示すモデル生成装置１０と同様である。図１１（Ａ）に示すように、モデル生成装置６０は、学習部６１と、関連性情報生成部６２と、を備える。学習部６１は、複数のソースドメインにおける学習用データを用いて、使用するモデルに対応するモデルパラメータを学習する。関連性情報生成部６２は、複数のソースドメインのモデルパラメータと媒介パラメータとの関連性を示す媒介パラメータ関連性情報を生成する。モデルの調整処理では、媒介パラメータを、ターゲットドメインの評価用データを用いて調整することにより、ターゲットドメインに適応したモデルを得ることができる。
　図１１（Ｂ）は、第２実施形態に係るモデル調整装置の機能構成を示す。なお、モデル調整装置７０のハードウェア構成は、図５に示すモデル調整装置５０と同様である。図１１（Ｂ）に示すように、モデル調整装置７０は、ターゲットモデルパラメータ生成部７１と、決定部７２とを備える。ターゲットモデルパラメータ生成部７１は、複数のソースドメイン毎の学習済モデルパラメータ、及び、複数のソースドメインの学習済モデルパラメータと媒介パラメータとの関連性を示す媒介パラメータ関連性情報を取得する。そして、ターゲットモデルパラメータ生成部７１は、複数のソースドメイン毎の学習済モデルパラメータ、及び、媒介パラメータ関連性情報に基づいて、ターゲットドメインに対応し、媒介パラメータを含むモデルパラメータであるターゲットモデルパラメータを生成する。決定部７２は、ターゲットドメインの評価用データを用いて、ターゲットモデルパラメータに含まれる媒介パラメータを決定する。これにより、ターゲットドメインに適応したターゲットモデルを得ることができる。
　＜変形例＞
　上記の実施形態では、モデル生成装置とモデル調整装置とを別個の装置として構成しているが、両者の機能を合わせ持つ単一のモデル生成装置を構成しても良い。また、上記の実施形態では、モデルによる処理の対象を画像データとしているが、これは一例に過ぎず、他の各種のデータを対象とすることができる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　複数のソースドメインにおける学習用データを用いて、使用するモデルに対応するモデルパラメータを学習する学習部と、
　前記モデルパラメータと媒介パラメータとの関連性を示す媒介パラメータ関連性情報を生成する関連性情報生成部と、
　を備えるモデル生成装置。
　（付記２）
　前記学習部は、前記複数のソースドメインにおける学習用データを用いて、前記ソースドメイン毎に学習済モデルパラメータを生成し、
　前記関連性情報生成部は、前記ソースドメイン毎の学習済モデルパラメータを用いて、前記媒介パラメータと前記ソースドメイン毎の学習済モデルパラメータとの関連性を示す媒介パラメータ関連性情報を生成する付記１に記載のモデル生成装置。
　（付記３）
　前記媒介パラメータ関連性情報は、前記ソースドメイン毎の学習済モデルパラメータ間の差分ベクトルの線形結合により示され、
　前記媒介パラメータは、前記差分ベクトルに乗算される係数である付記１又は２に記載のモデル生成装置。
　（付記４）
　前記差分ベクトルは、前記複数のソースドメインのうちの１つの基本ドメインの学習済モデルパラメータと、他のソースドメインの学習済モデルパラメータとの差分を示す付記３に記載のモデル生成装置。
　（付記５）
　前記基本ドメインは、前記複数のソースドメインのうち、最も学習用データ数が多いソースドメインである付記４に記載のモデル生成装置。
　（付記６）
　前記モデルは、ニューラルネットワークであり、
　前記媒介パラメータは、前記ニューラルネットワークの入力層、又は、隠れ層の少なくとも１か所に入力される変数である付記１又は２に記載のモデル生成装置。
　（付記７）
　前記ソースドメイン毎の学習済モデルパラメータ、及び、前記媒介パラメータ関連性情報を出力する出力部を備える付記２に記載のモデル生成装置。
　（付記８）
　前記複数のソースドメイン毎の学習済モデルパラメータ、及び、前記媒介パラメータ関連性情報に基づいて、ターゲットドメインに対応し、前記媒介パラメータを含むモデルパラメータであるターゲットモデルパラメータを生成するターゲットモデルパラメータ生成部と、
　前記ターゲットドメインの評価用データを用いて、前記ターゲットモデルパラメータに含まれる媒介パラメータを決定する決定部と、
　を備える付記２に記載のモデル生成装置。
　（付記９）
　複数のソースドメイン毎の学習済モデルパラメータ、及び、前記学習済モデルパラメータと媒介パラメータとの関連性を示す媒介パラメータ関連性情報に基づいて、ターゲットドメインに対応し、前記媒介パラメータを含むモデルパラメータであるターゲットモデルパラメータを生成するターゲットモデルパラメータ生成部と、
　前記ターゲットドメインの評価用データを用いて、前記ターゲットモデルパラメータに含まれる媒介パラメータを決定する決定部と、
　を備えるモデル調整装置。
　（付記１０）
　前記決定部は、前記媒介パラメータの値を変化させて前記評価用データを用いた性能評価を行い、前記性能評価の結果が最も良いときの媒介パラメータの値を前記ターゲットモデルパラメータに含まれる媒介パラメータの値と決定する付記９に記載のモデル調整装置。
　（付記１１）
　複数のソースドメインにおける学習用データを用いて、使用するモデルに対応するモデルパラメータを学習し、
　前記モデルパラメータと媒介パラメータとの関連性を示す媒介パラメータ関連性情報を生成するモデル生成方法。
　（付記１２）
　複数のソースドメイン毎の学習済モデルパラメータ、及び、前記学習済モデルパラメータと媒介パラメータとの関連性を示す媒介パラメータ関連性情報に基づいて、ターゲットドメインに対応し、前記媒介パラメータを含むモデルパラメータであるターゲットモデルパラメータを生成し、
　前記ターゲットドメインの評価用データを用いて、前記ターゲットモデルパラメータに含まれる媒介パラメータを決定するモデル調整方法。
　（付記１３）
　複数のソースドメインにおける学習用データを用いて、使用するモデルに対応するモデルパラメータを学習し、
　前記モデルパラメータと媒介パラメータとの関連性を示す媒介パラメータ関連性情報を生成する処理をコンピュータに実行させるプログラムを記録した記録媒体。
　（付記１４）
　複数のソースドメイン毎の学習済モデルパラメータ、及び、前記学習済モデルパラメータと媒介パラメータとの関連性を示す媒介パラメータ関連性情報に基づいて、ターゲットドメインに対応し、前記媒介パラメータを含むモデルパラメータであるターゲットモデルパラメータを生成し、
　前記ターゲットドメインの評価用データを用いて、前記ターゲットモデルパラメータに含まれる媒介パラメータを決定する処理をコンピュータに実行させるプログラムを記録した記録媒体。
　以上、実施形態及び実施例を参照して本発明を説明したが、本発明は上記実施形態及び実施例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　１０、６０　モデル生成装置
　１１、５１　プロセッサ
　１２、５２　メモリ
　１５　モデルパラメータ学習部
　１６　関連性情報生成部
　５０、７０　モデル調整装置
　５４　媒介パラメータ反映部
　５５　性能評価部
　５７　媒介パラメータ調整部

Claims (14)

  1. 　複数のソースドメインにおける学習用データを用いて、使用するモデルに対応するモデルパラメータを学習する学習部と、
    　前記モデルパラメータと媒介パラメータとの関連性を示す媒介パラメータ関連性情報を生成する関連性情報生成部と、
    　を備えるモデル生成装置。
  2. 　前記学習部は、前記複数のソースドメインにおける学習用データを用いて、前記ソースドメイン毎に学習済モデルパラメータを生成し、
    　前記関連性情報生成部は、前記ソースドメイン毎の学習済モデルパラメータを用いて、前記媒介パラメータと前記ソースドメイン毎の学習済モデルパラメータとの関連性を示す媒介パラメータ関連性情報を生成する請求項１に記載のモデル生成装置。
  3. 　前記媒介パラメータ関連性情報は、前記ソースドメイン毎の学習済モデルパラメータ間の差分ベクトルの線形結合により示され、
    　前記媒介パラメータは、前記差分ベクトルに乗算される係数である請求項１又は２に記載のモデル生成装置。
  4. 　前記差分ベクトルは、前記複数のソースドメインのうちの１つの基本ドメインの学習済モデルパラメータと、他のソースドメインの学習済モデルパラメータとの差分を示す請求項３に記載のモデル生成装置。
  5. 　前記基本ドメインは、前記複数のソースドメインのうち、最も学習用データ数が多いソースドメインである請求項４に記載のモデル生成置。
  6. 　前記モデルは、ニューラルネットワークであり、
    　前記媒介パラメータは、前記ニューラルネットワークの入力層、又は、隠れ層の少なくとも１か所に入力される変数である請求項１又は２に記載のモデル生成装置。
  7. 　前記ソースドメイン毎の学習済モデルパラメータ、及び、前記媒介パラメータ関連性情報を出力する出力部を備える請求項２に記載のモデル生成装置。
  8. 　前記複数のソースドメイン毎の学習済モデルパラメータ、及び、前記媒介パラメータ関連性情報に基づいて、ターゲットドメインに対応し、前記媒介パラメータを含むモデルパラメータであるターゲットモデルパラメータを生成するターゲットモデルパラメータ生成部と、
    　前記ターゲットドメインの評価用データを用いて、前記ターゲットモデルパラメータに含まれる媒介パラメータを決定する決定部と、
    　を備える請求項２に記載のモデル生成装置。
  9. 　複数のソースドメイン毎の学習済モデルパラメータ、及び、前記学習済モデルパラメータと媒介パラメータとの関連性を示す媒介パラメータ関連性情報に基づいて、ターゲットドメインに対応し、前記媒介パラメータを含むモデルパラメータであるターゲットモデルパラメータを生成するターゲットモデルパラメータ生成部と、
    　前記ターゲットドメインの評価用データを用いて、前記ターゲットモデルパラメータに含まれる媒介パラメータを決定する決定部と、
    　を備えるモデル調整装置。
  10. 　前記決定部は、前記媒介パラメータの値を変化させて前記評価用データを用いた性能評価を行い、前記性能評価の結果が最も良いときの媒介パラメータの値を前記ターゲットモデルパラメータに含まれる媒介パラメータの値と決定する請求項９に記載のモデル調整装置。
  11. 　複数のソースドメインにおける学習用データを用いて、使用するモデルに対応するモデルパラメータを学習し、
    　前記モデルパラメータと媒介パラメータとの関連性を示す媒介パラメータ関連性情報を生成するモデル生成方法。
  12. 　複数のソースドメイン毎の学習済モデルパラメータ、及び、前記学習済モデルパラメータと媒介パラメータとの関連性を示す媒介パラメータ関連性情報に基づいて、ターゲットドメインに対応し、前記媒介パラメータを含むモデルパラメータであるターゲットモデルパラメータを生成し、
    　前記ターゲットドメインの評価用データを用いて、前記ターゲットモデルパラメータに含まれる媒介パラメータを決定するモデル調整方法。
  13. 　複数のソースドメインにおける学習用データを用いて、使用するモデルに対応するモデルパラメータを学習し、
    　前記モデルパラメータと媒介パラメータとの関連性を示す媒介パラメータ関連性情報を生成する処理をコンピュータに実行させるプログラムを記録した記録媒体。
  14. 　複数のソースドメイン毎の学習済モデルパラメータ、及び、前記学習済モデルパラメータと媒介パラメータとの関連性を示す媒介パラメータ関連性情報に基づいて、ターゲットドメインに対応し、前記媒介パラメータを含むモデルパラメータであるターゲットモデルパラメータを生成し、
    　前記ターゲットドメインの評価用データを用いて、前記ターゲットモデルパラメータに含まれる媒介パラメータを決定する処理をコンピュータに実行させるプログラムを記録した記録媒体。
PCT/JP2019/013974 2019-03-29 2019-03-29 モデル生成装置、モデル調整装置、モデル生成方法、モデル調整方法、及び、記録媒体 WO2020202244A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2019/013974 WO2020202244A1 (ja) 2019-03-29 2019-03-29 モデル生成装置、モデル調整装置、モデル生成方法、モデル調整方法、及び、記録媒体
US17/598,422 US20220180195A1 (en) 2019-03-29 2019-06-25 Model generation device, model adjustment device, model generation method, model adjustment method, and recording medium
PCT/JP2019/025113 WO2020202591A1 (ja) 2019-03-29 2019-06-25 モデル生成装置、モデル調整装置、モデル生成方法、モデル調整方法、及び、記録媒体
JP2021511083A JP7251613B2 (ja) 2019-03-29 2019-06-25 モデル生成装置、モデル生成方法、及び、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/013974 WO2020202244A1 (ja) 2019-03-29 2019-03-29 モデル生成装置、モデル調整装置、モデル生成方法、モデル調整方法、及び、記録媒体

Publications (1)

Publication Number Publication Date
WO2020202244A1 true WO2020202244A1 (ja) 2020-10-08

Family

ID=72666609

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2019/013974 WO2020202244A1 (ja) 2019-03-29 2019-03-29 モデル生成装置、モデル調整装置、モデル生成方法、モデル調整方法、及び、記録媒体
PCT/JP2019/025113 WO2020202591A1 (ja) 2019-03-29 2019-06-25 モデル生成装置、モデル調整装置、モデル生成方法、モデル調整方法、及び、記録媒体

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/025113 WO2020202591A1 (ja) 2019-03-29 2019-06-25 モデル生成装置、モデル調整装置、モデル生成方法、モデル調整方法、及び、記録媒体

Country Status (3)

Country Link
US (1) US20220180195A1 (ja)
JP (1) JP7251613B2 (ja)
WO (2) WO2020202244A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023053419A1 (ja) * 2021-09-30 2023-04-06 日本電信電話株式会社 処理装置及び処理方法
WO2023189737A1 (ja) * 2022-03-28 2023-10-05 富士フイルム株式会社 情報処理方法、情報処理装置及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018081404A (ja) * 2016-11-15 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 識別方法、識別装置、識別器生成方法及び識別器生成装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018081404A (ja) * 2016-11-15 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 識別方法、識別装置、識別器生成方法及び識別器生成装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MORIYA, T. ET AL.: "Progressive Neural Network- based Knowledge Transfer in Acoustic Models", PROCEEDINGS OF 2018 ASIA-PACIFIC SIGNAL AND INFORMATION PROCESSING ASSOCIATION ANNUAL SUMMIT AND CONFERENCE (APSIPA-ASC 2018, 15 November 2018 (2018-11-15), pages 998 - 1002, XP033525913, ISBN: 978-988-14768-5-2, DOI: 10.23919/APSIPA.2018.8659556 *
MORIYA, T. ET AL.: "Transfer learning using progressive neural networks for acoustic models", PROCEEDINGS OF 2018 SPRING MEETING OF THE ACOUSTICAL SOCIETY OF JAPAN, 13 March 2018 (2018-03-13), pages 13 - 14, ISSN: 1880-7658 *
TANEL ALUMÄE: "Multi-domain Neural Network Language Model", PROCEEDINGS OF THE 14TH ANNUAL CONFERENCE OF THE INTERNATIONAL SPEECH COMMUNICATION ASSOCIATION (INTERSPEECH 2013), 29 August 2013 (2013-08-29), pages 2182 - 2186, XP055746119, ISSN: 2308-457X, Retrieved from the Internet <URL:https://www.isca-speech.org/archive/archive_papers/interspeech_2013/il3_2182.pdf> [retrieved on 20190605] *

Also Published As

Publication number Publication date
JP7251613B2 (ja) 2023-04-04
US20220180195A1 (en) 2022-06-09
JPWO2020202591A1 (ja) 2020-10-08
WO2020202591A1 (ja) 2020-10-08

Similar Documents

Publication Publication Date Title
CN109661705B (zh) 声源分离装置和方法以及程序
WO2020202244A1 (ja) モデル生成装置、モデル調整装置、モデル生成方法、モデル調整方法、及び、記録媒体
Nielsen Transformation of a wave energy spectrum from encounter to absolute domain when observing from an advancing ship
CN110265054B (zh) 语音信号处理方法、装置、计算机可读存储介质和计算机设备
WO2019146189A1 (ja) ニューラルネットワークのランク最適化装置および最適化方法
US20050119982A1 (en) Information processing apparatus and method
Luo et al. Performance evaluation of selective fixed-filter active noise control based on different convolutional neural networks
WO2021064856A1 (ja) ロバスト学習装置、ロバスト学習方法、プログラム及び記憶装置
Liu et al. A reduced Gaussian kernel least-mean-square algorithm for nonlinear adaptive signal processing
US20210090551A1 (en) Emotional speech generating method and apparatus for controlling emotional intensity
Beeson et al. Balancing policy constraint and ensemble size in uncertainty-based offline reinforcement learning
Oszust Image quality assessment with lasso regression and pairwise score differences
JP6567478B2 (ja) 音源強調学習装置、音源強調装置、音源強調学習方法、プログラム、信号処理学習装置
WO2020071213A1 (ja) 音響モデル学習装置、音声合成装置、及びプログラム
JP7041239B2 (ja) 深層距離学習方法およびシステム
JP2021184217A (ja) モデル生成プログラム、モデル生成装置、及びモデル生成方法
JP7438544B2 (ja) ニューラルネットワーク処理装置、コンピュータプログラム、ニューラルネットワーク製造方法、ニューラルネットワークデータの製造方法、ニューラルネットワーク利用装置、及びニューラルネットワーク小規模化方法
Wu et al. DRGS: Low-precision full quantization of deep neural network with dynamic rounding and gradient scaling for object detection
US20050065900A1 (en) Information processing apparatus and method
Haubner et al. Online acoustic system identification exploiting Kalman filtering and an adaptive impulse response subspace model
WO2021106961A1 (ja) 画像生成装置
JP2012175448A (ja) 色処理装置および色処理プログラム
WO2023026314A1 (ja) ニューラルネットワーク制御器、及びニューラルネットワーク制御器の学習方法
Anderson et al. Channel-robust classifiers
Labao et al. Induced exploration on policy gradients by increasing actor entropy using advantage target regions

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19923607

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19923607

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP