JP7421363B2 - パラメータ更新装置、分類装置、パラメータ更新プログラム、および、パラメータ更新方法 - Google Patents

パラメータ更新装置、分類装置、パラメータ更新プログラム、および、パラメータ更新方法 Download PDF

Info

Publication number
JP7421363B2
JP7421363B2 JP2020023047A JP2020023047A JP7421363B2 JP 7421363 B2 JP7421363 B2 JP 7421363B2 JP 2020023047 A JP2020023047 A JP 2020023047A JP 2020023047 A JP2020023047 A JP 2020023047A JP 7421363 B2 JP7421363 B2 JP 7421363B2
Authority
JP
Japan
Prior art keywords
estimated
data items
data
labels
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020023047A
Other languages
English (en)
Other versions
JP2021128569A (ja
Inventor
万理 寺田
清孝 粕渕
清孝 宮井
明子 吉田
一博 北村
光規 梅原
祐輝 角谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Screen Holdings Co Ltd
Original Assignee
Screen Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Screen Holdings Co Ltd filed Critical Screen Holdings Co Ltd
Priority to JP2020023047A priority Critical patent/JP7421363B2/ja
Priority to US17/167,326 priority patent/US20210256308A1/en
Priority to CN202110182057.8A priority patent/CN113268963A/zh
Publication of JP2021128569A publication Critical patent/JP2021128569A/ja
Application granted granted Critical
Publication of JP7421363B2 publication Critical patent/JP7421363B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本願明細書に開示される技術は、パラメータ更新装置、分類装置、パラメータ更新プログラム、および、パラメータ更新方法に関するものである。
従来から、文書データにおけるそれぞれの単語などの複数のデータ項目に対して、適切なラベルを推定して付することによって、これらのデータ項目を分類する技術が用いられている。
また、上記のラベルを適切に推定するためのパラメータを更新する技術も、従来から用いられている（たとえば、特許文献１を参照）。
特開２０１６－１６２１９８号公報
入力される複数のデータ項目が階層構造を構成する場合、すなわち、データ項目間で、少なくとも一部の組み合わせが制限される（禁止される）場合、当該階層構造で制限されているデータ項目の組み合わせが分類の推定結果に含まれてしまうことで、分類精度が低下してしまうという問題がある。
本願明細書に開示される技術は、以上に記載されたような問題を鑑みてなされたものであり、階層構造を構成する複数のデータ項目を、分類精度の低下を抑制しつつ分類するための技術である。
本願明細書に開示される技術の第１の態様は、階層構造を構成する複数のデータ項目とそれぞれの前記データ項目に対応する正解ラベルとを含む教師データが入力される入力部と、入力される前記教師データの複数の前記データ項目についてニューラルネットワークを用いてマルチタスク学習することによって、それぞれの前記データ項目に対応する少なくとも１つの推定ラベルを付与するためのパラメータを更新する更新部とを備え、前記更新部は、付与される前記推定ラベルと前記教師データにおける対応する前記正解ラベルとの誤差の、複数の前記データ項目における総和が最小化するように前記パラメータを更新する。
本願明細書に開示される技術の第２の態様は、第１の態様に記載のパラメータ更新装置における前記更新部によって更新された前記パラメータにしたがって、入力されるそれぞれの前記データ項目に対応して少なくとも１つの前記推定ラベルを付与するラベル付与部を備える。
本願明細書に開示される技術の第３の態様は、第２の態様に関連し、前記ラベル付与部は、それぞれの前記データ項目に対応して複数の前記推定ラベルを付与し、それぞれの前記データ項目に対応する複数の前記推定ラベルのうちの、推定確率の高い順に少なくとも１つの前記推定ラベルを選択する選択部をさらに備える。
本願明細書に開示される技術の第４の態様は、第３の態様に関連し、前記選択部は、選択される前記推定ラベルの前記推定確率の合計に基づいて、選択する前記推定ラベルの数を決定する。
本願明細書に開示される技術の第５の態様は、第３または４の態様に関連し、前記選択部は、選択される前記推定ラベルの数があらかじめ定められた範囲内であるように、少なくとも１つの前記推定ラベルを選択する。
本願明細書に開示される技術の第６の態様は、第２から５のうちのいずれか１つの態様に関連し、それぞれの前記データ項目に対する重みを設定する重み付け部と、前記重みに基づいて、複数の前記データ項目にそれぞれ対応する前記推定ラベル間の組み合わせの確信度を算出する確信度算出部とをさらに備える。
本願明細書に開示される技術の第７の態様は、第６の態様に関連し、前記確信度が高い順に複数の前記組み合わせを表示する表示部をさらに備える。
本願明細書に開示される技術の第８の態様は、コンピュータにインストールされて実行されることによって、前記コンピュータに、階層構造を構成する複数のデータ項目とそれぞれの前記データ項目に対応する正解ラベルとを含む教師データの複数の前記データ項目についてニューラルネットワークを用いてマルチタスク学習させることによって、それぞれの前記データ項目に対応する少なくとも１つの推定ラベルを付与するためのパラメータを更新させ、前記パラメータの更新は、付与される前記推定ラベルと前記教師データにおける対応する前記正解ラベルとの誤差の、複数の前記データ項目における総和が最小化するように前記パラメータを更新するものである。
本願明細書に開示される技術の第９の態様は、階層構造を構成する複数のデータ項目とそれぞれの前記データ項目に対応する正解ラベルとを含む教師データを入力する工程と、入力される前記教師データの複数の前記データ項目についてニューラルネットワークを用いてマルチタスク学習することによって、それぞれの前記データ項目に対応する少なくとも１つの推定ラベルを付与するためのパラメータを更新する工程とを備え、前記パラメータを更新する工程は、付与される前記推定ラベルと前記教師データにおける対応する前記正解ラベルとの誤差の、複数の前記データ項目における総和が最小化するように前記パラメータを更新する工程である。
本願明細書に開示される技術の第１から９の態様によれば、更新部が、付与される推定ラベルと正解ラベルとの誤差の、複数のデータ項目における総和が最小化するようにパラメータを更新することによって、当該パラメータを用いれば、複数のデータ項目間の階層構造を考慮した推定ラベルを付与することができる。その結果、分類精度の低下を抑制することができる。
また、本願明細書に開示される技術に関連する目的と、特徴と、局面と、利点とは、以下に示される詳細な説明と添付図面とによって、さらに明白となる。
実施の形態に関する、パラメータ更新装置のハードウェア構成の例を示す図である。 実施の形態に関する、パラメータ更新装置の機能的構成の例を示す図である。 実施の形態に関する、分類装置の機能的構成の例を示す図である。 パラメータ更新動作の例を示すフローチャートである。 階層構造を構成する複数のデータ項目の例を示す図である。 ニューラルネットワークを用いて行われるマルチタスク学習を概念的に示す図である。 ニューラルネットワークを用いて行われるマルチタスク学習の手順の例を示すフローチャートである。 分類動作の例を示すフローチャートである。 第１のデータ項目に関して推定された複数の推定ラベルと、それぞれの推定ラベルに対応する推定確率を示す図である。 算出された確信度の例を示す図である。 図１０に示された複数の組み合わせを確信度の高い順に５つ示す図である。
以下、添付される図面を参照しながら実施の形態について説明する。以下の実施の形態では、技術の説明のために詳細な特徴なども示されるが、それらは例示であり、実施の形態が実施可能となるためにそれらすべてが必ずしも必須の特徴ではない。
なお、図面は概略的に示されるものであり、説明の便宜のため、適宜、構成の省略、または、構成の簡略化が図面においてなされるものである。また、異なる図面にそれぞれ示される構成などの大きさおよび位置の相互関係は、必ずしも正確に記載されるものではなく、適宜変更され得るものである。また、断面図ではない平面図などの図面においても、実施の形態の内容を理解することを容易にするために、ハッチングが付される場合がある。
また、以下に示される説明では、同様の構成要素には同じ符号を付して図示し、それらの名称と機能とについても同様のものとする。したがって、それらについての詳細な説明を、重複を避けるために省略する場合がある。
また、以下に記載される説明において、ある構成要素を「備える」、「含む」または「有する」などと記載される場合、特に断らない限りは、他の構成要素の存在を除外する排他的な表現ではない。
また、以下に記載される説明において、「第１の」または「第２の」などの序数が用いられる場合があっても、これらの用語は、実施の形態の内容を理解することを容易にするために便宜上用いられるものであり、これらの序数によって生じ得る順序などに限定されるものではない。
＜実施の形態＞
以下、本実施の形態に関するパラメータ更新装置、分類装置、パラメータ更新プログラム、および、パラメータ更新方法について説明する。
＜パラメータ更新装置の構成について＞
図１は、本実施の形態に関するパラメータ更新装置１００のハードウェア構成の例を示す図である。
図１に例が示されるように、パラメータ更新装置１００は、少なくとも、パラメータの更新動作に用いられるプログラム１０５がインストールされたコンピュータであり、中央演算処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、すなわち、ＣＰＵ）１０２と、メモリ１０３と、ハードディスクドライブ（Ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ、すなわち、ＨＤＤ）１０４と、ディスプレイ１０１とを備える。
パラメータ更新装置１００においては、対応するプログラム１０５がＨＤＤ１０４にインストールされる。プログラム１０５のインストールは、コンパクトディスク（ｃｏｍｐａｃｔ ｄｉｓｃ、すなわち、ＣＤ）、デジタル多目的ディスク（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ、すなわち、ＤＶＤ）、ユニバーサルシリアルバス（ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ、すなわち、ＵＳＢ）メモリなどの外部記憶媒体１０６から読み出されたデータをＨＤＤ１０４に書き込むことによって行われてもよいし、ネットワーク１０７を経由して受信されたデータをＨＤＤ１０４に書き込むことによって行われてもよい。
また、ＨＤＤ１０４は、他の種類の補助記憶装置に置き換えられてもよい。たとえば、ＨＤＤ１０４が、ソリッドステートドライブ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ、すなわち、ＳＳＤ）、ランダムアクセスメモリー（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、すなわち、ＲＡＭ）ディスクなどに置き換えられてもよい。
パラメータ更新装置１００においては、ＨＤＤ１０４にインストールされたプログラム１０５がメモリ１０３にロードされ、ロードされたプログラム１０５がＣＰＵ１０２によって実行される。そうすることによって、コンピュータがプログラム１０５を実行し、パラメータ更新装置１００として機能する。
なお、ＣＰＵ１０２が行う処理の少なくとも一部がＣＰＵ１０２以外のプロセッサによって行われてもよい。たとえば、ＣＰＵ１０２によって行われる処理の少なくとも一部が、グラフィックス処理装置（ＧＰＵ）などによって行われてもよい。また、ＣＰＵ１０２によって行われる処理の少なくとも一部が、プログラムを実行しないハードウェアによって行われてもよい。
図２は、本実施の形態に関するパラメータ更新装置１００の機能的構成の例を示す図である。
図２に例が示されるように、パラメータ更新装置１００は、少なくとも、入力部１０と、更新部１２とを備える。また、パラメータ更新装置１００は、記憶部１４と、出力部１６とを備えることができる。入力部１０および出力部１６は、図１のディスプレイ１０１などによって実現される。また、記憶部１４は、たとえば、図１のメモリ１０３およびＨＤＤ１０４の少なくとも一方によって実現される。また、更新部１２は、たとえば、図１のＣＰＵ１０２にプログラム１０５を実行させることによって実現される。
入力部１０には、階層構造を構成する複数のデータ項目を有するデータセットと、それぞれのデータ項目に対応する正解ラベルとを含む教師データが入力される。
ここで、正解ラベルとは、それぞれのデータ項目に付されるべきとされるラベルであり、あらかじめユーザーなどによって定められるラベルである。ラベルは、対応するデータ項目を分類するために用いられる。
更新部１２は、入力される教師データの複数のデータ項目についてニューラルネットワークを用いてマルチタスク学習する。そうすることによって、それぞれのデータ項目に対応する少なくとも１つの推定ラベルを付与するためのパラメータを更新する。更新されたパラメータは、記憶部１４に記憶される。
ここで、推定ラベルとは、ニューラルネットワークを介して出力される、データ項目に付されるべきラベルの推定結果である。ラベルは、対応するデータ項目を分類するために用いられる。
＜分類装置の構成について＞
分類装置のハードウェア構成は、図１に示されたパラメータ更新装置１００の構成と同様である。すなわち、図１に示されるハードウェア構成は、パラメータを更新するための学習段階ではパラメータ更新装置のハードウェア構成となり、使用段階では、分類装置のハードウェア構成となる。
図３は、本実施の形態に関する分類装置２００の機能的構成の例を示す図である。図３に例が示されるように、分類装置２００は、少なくとも、ラベル付与部２０を備える。また、分類装置２００は、入力部２２と、選択部２４と、重み付け部２６と、確信度算出部２８と、記憶部３０と、整合部３１と、表示部３２とを備えることができる。
入力部２２および表示部３２は、図１のディスプレイ１０１などによって実現される。また、記憶部３０は、たとえば、図１のメモリ１０３およびＨＤＤ１０４の少なくとも一方によって実現される。また、ラベル付与部２０、選択部２４、重み付け部２６、整合部３１および確信度算出部２８は、たとえば、図１のＣＰＵ１０２に対応するプログラム１０５を実行させることによって実現される。
入力部２２には、互いに階層構造を構成する複数のデータ項目を有するデータセットが入力される。ラベル付与部２０は、パラメータ更新装置１００において更新されたパラメータにしたがって、入力されるそれぞれのデータ項目に対応して少なくとも１つの推定ラベルを付与する。
選択部２４は、それぞれのデータ項目に対応する複数の推定ラベルのうちの、推定確率の高い順に少なくとも１つの推定ラベルを選択する。ここで、推定確率とは、対応する推定ラベルが正解ラベルである確率を示す値である。重み付け部２６は、それぞれのデータ項目に対する重みを設定する。ここで、それぞれのデータ項目に対する重みの値は、あらかじめユーザーなどによって設定される。
確信度算出部２８は、重みに基づいて、複数のデータ項目にそれぞれ対応する推定ラベル間の組み合わせの確信度を算出する。確信度については後述する。整合部３１は、確信度が算出された組み合わせのそれぞれについて、階層構造を構成する複数のデータ項目間で、制限されている組み合わせがあるか否かをチェックする。表示部３２は、確信度が算出された複数の組み合わせを表示する。
＜パラメータ更新装置の動作について＞
次に、パラメータ更新装置１００の動作について、図４から図７を参照しつつ説明する。なお、図４は、パラメータ更新動作の例を示すフローチャートである。
まず、互いに階層構造を構成する複数のデータ項目を有するデータセットと、それぞれのデータ項目に対応する正解ラベルとを含む教師データが、入力部１０に入力される（図４のステップＳＴ０１）。なお、上記のデータセットは、たとえば、テキストデータまたは画像データなどである。
ここで、階層構造を構成する複数のデータ項目とは、データ項目間で少なくとも一部の組み合わせが制限されるデータ項目である。図５は、階層構造を構成する複数のデータ項目の例を示す図である。なお、「階層構造を構成する」場合には、データ項目間に上位下位の関係（主従関係）がないものも含まれる。
図５に例が示されるように、たとえば、１つのデータセット（たとえば、第１のデータセット）に３つのデータ項目（第１のデータ項目、第２のデータ項目および第３のデータ項目）が含まれる場合、第１のデータ項目の値（たとえば、０１－ａ）が定まると、第１のデータ項目の値（０１－ａ）に基づいて第２のデータ項目の値（００１－ａ）が定まり、さらに、第２のデータ項目の値（００１－ａ）が定まると、第２のデータ項目の値（００１－ａ）に基づいて第３のデータ項目の値（００２－ｂ）が定まるというデータセットであり、それぞれのデータセットにおけるデータ項目間には、とり得ない組み合わせが存在する。
次に、入力部１０に入力された教師データは、適宜必要となる前処理が行われた後、更新部１２に入力される（図４のステップＳＴ０２）。ここで、前処理とは、たとえば、単語に分割する処理、または、ｈｔｍｌタグまたは改行などのノイズを除去する処理などである。
次に、更新部１２は、入力された教師データに基づいて、ニューラルネットワークを用いてマルチタスク学習を行う。そうすることによって、それぞれのデータ項目に対応して推定ラベルを付与するためのパラメータを更新する（図４のステップＳＴ０３）。
具体的には、複数のタスクに対応する、それぞれのデータ項目に対する推定ラベルの付与について、推定ラベルと正解ラベルとの距離（誤差）の複数のデータ項目での総和（クロスエントロピーの総和）が最小化するように損失関数を設定する。そして、更新部１２は、複数のデータセットを順次学習し、推定ラベルを付与するためのパラメータを更新していく。
図６は、ニューラルネットワークを用いて行われるマルチタスク学習を概念的に示す図である。本実施の形態では、畳み込み層を有する畳み込みニューラルネットワークを用いて、マルチタスク学習が行われる。また、図７は、ニューラルネットワークを用いて行われるマルチタスク学習の手順の例を示すフローチャートである。
図６に例が示されるように、入力層１２０において、互いに階層構造を構成する複数のデータ項目（たとえば、Ｎ個のデータ項目）を有するデータセットが入力される（図７のステップＳＴ１１）。そして、データセットに含まれる全単語（たとえば、ｎ個の単語）に対して、単語とＩＤとが一意に定まるようにＩＤが付与される。また、それぞれの単語は、固有のベクトル（たとえば、ｍ次元のワンホットベクトル）に変換（ｅｍｂｅｄｄｉｎｇ：単語埋め込み）される。
次に、畳み込み層１２２において、入力層１２０からの入力の一部に対してパラメータとバイアス値とによる線形和を計算（畳み込み演算）し、計算結果をプーリング層１２４へ出力する（図７のステップＳＴ１２）。ここで用いられるパラメータは、たとえば、誤差逆伝搬法などによって学習され、更新されるパラメータである。
次に、プーリング層１２４において、畳み込み層１２２からの入力をサブサンプリングする。すなわち、特徴マップの解像度を下げてダウンサンプリングする（図７のステップＳＴ１３）。ここでは、最大値サンプリングを行うものとする。
次に、全結合層１２６において、プーリング層１２４からの入力全てに対してパラメータとバイアス値とによる線形和を計算し、計算結果に基づいて複数のタスクに対する推定結果（推定ラベルの識別結果）を出力する（図７のステップＳＴ１４）。ここで用いられるパラメータは、たとえば、誤差逆伝搬法などによって学習され、更新されるパラメータである。
そして、出力された推定結果を活性化関数であるｓｏｆｔｍａｘ関数を用いて推定確率に変換して、それぞれのタスク（すなわち、それぞれのデータ項目における推定ラベルの付与）での、推定ラベルと正解ラベルとの誤差（クロスエントロピー）を算出する（図７のステップＳＴ１５）。
そして、複数のタスクに跨るクロスエントロピーの総和が最小化するように、畳み込み層１２２および全結合層１２６におけるパラメータを、たとえば、誤差逆伝搬法などによって学習して更新する（図７のステップＳＴ１６）。
＜分類装置の動作について＞
分類装置２００の動作について、図８から図１１を参照しつつ説明する。なお、図８は、分類動作の例を示すフローチャートである。
分類装置２００は、上記のパラメータ更新装置１００によって更新されたパラメータが設定されたニューラルネットワークを用いて、入力されるデータセットにおけるそれぞれのデータ項目を分類する。
まず、互いに階層構造を構成する複数のデータ項目を有するデータセットが、入力部２２に入力される（図８のステップＳＴ２１）。そして、当該データセットは、適宜必要となる前処理が行われた後、ラベル付与部２０に入力される（図８のステップＳＴ２２）。
次に、ラベル付与部２０は、上記のパラメータ更新装置１００によって更新されたパラメータが設定されたニューラルネットワークを用いて、入力されたデータセットにおけるそれぞれのデータ項目に対し、少なくとも１つの推定ラベルを付与する（図８のステップＳＴ２３）。なお、それぞれのデータ項目に対して付与される推定ラベルは１つであってもよいが、本実施の形態では、１つのデータ項目に複数の推定ラベルが付与されるものとする。
そして、ラベル付与部２０は、それぞれのデータ項目に付与された複数の推定ラベルと、それぞれの推定ラベルに対応する推定確率とを出力する（図８のステップＳＴ２４）。
次に、選択部２４は、ラベル付与部２０から出力されたそれぞれのデータ項目に対応する複数の推定ラベルから、少なくとも一部の推定ラベルを選択する（図８のステップＳＴ２５）。
たとえば、選択部２４は、推定確率の高い順に推定ラベルを選択していき、推定確率の合計がしきい値を上回った時点で選択を終了する。または、選択部２４は、推定確率の高い順に推定ラベルを選択していき、選択された推定ラベルの数がしきい値を上回った時点で選択を終了する。ここで、しきい値は、あらかじめユーザーなどによって設定される。
図９は、第１のデータ項目に関して推定された複数の推定ラベルと、それぞれの推定ラベルに対応する推定確率を示す図である。
図９の場合であれば、選択部２４は、推定確率の高い順に推定ラベルを０１－ａ、０３－ｃ、０２－ｂと選択していき、推定確率の合計がしきい値（たとえば、０．９）を上回った時点（０２－ｂの選択時点）で推定ラベルの選択を終了する。
または、選択部２４は、推定確率の高い順に推定ラベルを０１－ａ、０３－ｃ、０２－ｂ、０４－ｄと選択していき、選択された推定ラベルの数がしきい値（たとえば、２）を上回った時点（０２－ｂの選択時点）で選択を終了する。
なお、選択される推定ラベルの数は、最も推定確率が高い推定ラベルが正解ラベルでない場合に正解率が０となってしまうことを防ぐために、たとえば、選択される推定ラベルの数を２以上とすることができる。
選択部２４が全てのデータ項目について複数の推定ラベルを選択した後、確信度算出部２８は、推定ラベルにしたがう複数のデータ項目の重み付き同時確率（確信度とする）を算出する（図８のステップＳＴ２６）。そして、算出された確信度は、記憶部３０に記憶される。ここで、同時確率とは、推定ラベルにしたがう複数のデータ項目の組み合わせが生じる確率（複数の推定ラベルが同時に生じる確率）である。
上記の確信度を算出するにあたり、確信度算出部２８は、重み付け部２６においてあらかじめ設定された、それぞれのデータ項目に対応する重みを取得する。なお、確信度算出部２８は、重み付け部２６から重みを取得せずに、複数のデータ項目の単純な同時確率を確信度として算出してもよい。
ここで、確信度は、以下の式（１）によって求められる。
Figure 0007421363000001
また、重み付き同時確率は、以下の式（２）によって求められる。
Figure 0007421363000002
また、重み付き全体最大同時確率は、以下の式（３）によって求められる。
Figure 0007421363000003
また、全体最小同時確率は、以下の式（４）によって求められる。
Figure 0007421363000004
図１０は、算出された確信度の例を示す図である。図１０に示される場合では、第１の項目について推定ラベル０１－ａおよび０３－ｃが選択され、第２の項目について推定ラベル００１－ａ、００４－ｄおよび００３－ｃが選択されており、それらの組み合わせとして、第１の組み合わせ、第２の組み合わせ、第３の組み合わせ、第４の組み合わせ、第５の組み合わせおよび第６の組み合わせについてそれぞれ確信度が算出されている。
次に、整合部３１が、確信度が算出されたそれぞれの組み合わせについて、整合性をチェックする（図８のステップＳＴ２７）。具体的には、階層構造を構成する複数のデータ項目間で、制限されている（禁止されている）組み合わせがないか否かをチェックする。そして、制限されている組み合わせである場合には、表示部３２に表示する組み合わせの候補から除外する。
次に、表示部３２は、整合性を有する組み合わせおよび対応する確信度について、確信度の高い順に表示する（図８のステップＳＴ２８）。
図１１は、図１０に示された複数の組み合わせを確信度の高い順に５つ示す図である。図１１の例においては、図１０に示された６つの組み合わせのうち、整合性を有する５つの組み合わせが選択され、かつ、整合性を有さない１つの組み合わせが除外されて、確信度の高い順に表示されている。
このようにして、確信度の高い順に複数のデータ項目の組み合わせが表示されるため、階層構造を考慮しつつ、これらの組み合わせの中に、正解ラベルの組み合わせが含まれる確率を高めることができる。
＜以上に記載された実施の形態によって生じる効果について＞
次に、以上に記載された実施の形態によって生じる効果の例を示す。なお、以下の説明においては、以上に記載された実施の形態に例が示された具体的な構成に基づいて当該効果が記載されるが、同様の効果が生じる範囲で、本願明細書に例が示される他の具体的な構成と置き換えられてもよい。
以上に記載された実施の形態によれば、パラメータ更新装置は、入力部１０と、更新部１２とを備える。入力部１０には、階層構造を構成する複数のデータ項目とそれぞれのデータ項目に対応する正解ラベルとを含む教師データが入力される。更新部１２は、入力される教師データの複数のデータ項目についてニューラルネットワークを用いてマルチタスク学習することによって、それぞれのデータ項目に対応する少なくとも１つの推定ラベルを付与するためのパラメータを更新する。そして、更新部１２は、付与される推定ラベルと教師データにおける対応する正解ラベルとの誤差の、複数のデータ項目における総和が最小化するようにパラメータを更新する。
このような構成によれば、更新部１２が、付与される推定ラベルと正解ラベルとの誤差の、複数のデータ項目における総和が最小化するようにパラメータを更新することによって、当該パラメータを用いれば、複数のデータ項目間の階層構造を考慮した推定ラベルを付与することができる。そのため、複数のデータ項目間で制限されている（禁止されている）組み合わせに対応する推定ラベルが付与される確率を低減することができる。その結果、分類精度の低下を抑制することができる。
なお、上記の構成に本願明細書に例が示された他の構成を適宜追加した場合、すなわち、上記の構成としては言及されなかった本願明細書中の他の構成が適宜追加された場合であっても、同様の効果を生じさせることができる。
また、以上に記載された実施の形態によれば、分類装置２００は、パラメータ更新装置１００における更新部１２によって更新されたパラメータにしたがって、入力されるそれぞれのデータ項目に対応して少なくとも１つの推定ラベルを付与するラベル付与部２０を備える。このような構成によれば、更新されたパラメータを用いて推定ラベルを付与することによって、複数のデータ項目間の階層構造を考慮してそれぞれのデータ項目に対し推定ラベルを付与することができる。よって、複数のデータ項目間で制限されている組み合わせに対応する推定ラベルが付与される確率を低減することができるため、分類精度の低下を抑制することができる。
また、以上に記載された実施の形態によれば、ラベル付与部２０は、それぞれのデータ項目に対応して複数の推定ラベルを付与する。そして、分類装置２００は、それぞれのデータ項目に対応する複数の推定ラベルのうちの、推定確率の高い順に少なくとも１つの推定ラベルを選択する選択部２４を備える。このような構成によれば、推定確率が高い順に推定ラベルが選択されるため、推定ラベルが正解ラベルである確率を高めることができる。
また、以上に記載された実施の形態によれば、選択部２４は、選択される推定ラベルの推定確率の合計に基づいて、選択する推定ラベルの数を決定する。このような構成によれば、複数の推定ラベルを選択し、それらの推定ラベルの中に正解ラベルが含まれる確率を高めることができる。
また、以上に記載された実施の形態によれば、選択部２４は、選択される推定ラベルの数があらかじめ定められた範囲内であるように、少なくとも１つの推定ラベルを選択する。このような構成によれば、複数の推定ラベルを選択しつつ、計算量が膨大とならない範囲で推定ラベルを選択することができる。
また、以上に記載された実施の形態によれば、分類装置２００は、それぞれのデータ項目に対する重みを設定する重み付け部２６と、重み付け部２６における重みに基づいて、複数のデータ項目にそれぞれ対応する推定ラベル間の組み合わせの確信度を算出する確信度算出部２８とを備える。このような構成によれば、データ項目ごとの重要度に応じて重みを設定することによって、推定ラベルの組み合わせの重み付き同時確率を、仕様に応じて適切に調整することができる。
また、以上に記載された実施の形態によれば、分類装置２００は、確信度が高い順に複数の組み合わせを表示する表示部３２を備える。このような構成によれば、複数の推定ラベルの組み合わせを、それぞれの対応する確信度が高い順に複数表示することによって、これらの組み合わせの中に、正解ラベルの組み合わせが含まれる確率を高めることができる。
以上に記載された実施の形態によれば、パラメータ更新プログラムは、コンピュータ（本実施の形態におけるＣＰＵ１０２）にインストールされて実行されることによって、ＣＰＵ１０２に、階層構造を構成する複数のデータ項目とそれぞれのデータ項目に対応する正解ラベルとを含む教師データの複数のデータ項目についてニューラルネットワークを用いてマルチタスク学習させることによって、それぞれのデータ項目に対応する少なくとも１つの推定ラベルを付与するためのパラメータを更新させる。ここで、パラメータの更新は、付与される推定ラベルと教師データにおける対応する正解ラベルとの誤差の、複数のデータ項目における総和が最小化するようにパラメータを更新するものである。
このような構成によれば、付与される推定ラベルと正解ラベルとの誤差の、複数のデータ項目における総和が最小化するようにパラメータを更新することによって、当該パラメータを用いれば、複数のデータ項目間の階層構造を考慮した推定ラベルを付与することができる。そのため、複数のデータ項目間で制限されている組み合わせに対応する推定ラベルが付与される確率を低減することができる。その結果、分類精度の低下を抑制することができる。
なお、上記のプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスクまたはＤＶＤなどのコンピュータ読取可能な可搬記録媒体に格納されていてもよい。そして、上記の機能を実現するプログラムが格納された可搬記録媒体が商業的に流通されてもよい。
以上に記載された実施の形態によれば、パラメータ更新方法において、階層構造を構成する複数のデータ項目とそれぞれのデータ項目に対応する正解ラベルとを含む教師データを入力する工程と、入力される教師データの複数のデータ項目についてニューラルネットワークを用いてマルチタスク学習することによって、それぞれのデータ項目に対応する少なくとも１つの推定ラベルを付与するためのパラメータを更新する工程とを備える。ここで、パラメータを更新する工程は、付与される推定ラベルと教師データにおける対応する正解ラベルとの誤差の、複数のデータ項目における総和が最小化するようにパラメータを更新する工程である。
このような構成によれば、付与される推定ラベルと正解ラベルとの誤差の、複数のデータ項目における総和が最小化するようにパラメータを更新することによって、当該パラメータを用いれば、複数のデータ項目間の階層構造を考慮した推定ラベルを付与することができる。そのため、複数のデータ項目間で制限されている組み合わせに対応する推定ラベルが付与される確率を低減することができる。その結果、分類精度の低下を抑制することができる。
＜以上に記載された実施の形態の変形例について＞
以上に記載された実施の形態では、それぞれの構成要素の寸法、形状、相対的配置関係または実施の条件などについても記載する場合があるが、これらはすべての局面においてひとつの例であって、本願明細書に記載されたものに限られることはないものとする。
したがって、例が示されていない無数の変形例、および、均等物が、本願明細書に開示される技術の範囲内において想定される。たとえば、少なくとも１つの構成要素を変形する場合、追加する場合または省略する場合が含まれるものとする。
また、以上に記載された実施の形態で記載されたそれぞれの構成要素は、ソフトウェアまたはファームウェアとしても、それと対応するハードウェアとしても想定され、その双方の概念において、それぞれの構成要素は「部」または「処理回路」（ｃｉｒｃｕｉｔｒｙ）などと称される。
１０，２２ 入力部
１２ 更新部
１４，３０ 記憶部
１６ 出力部
２０ ラベル付与部
２４ 選択部
２６ 重み付け部
２８ 確信度算出部
３１ 整合部
３２ 表示部
１００ パラメータ更新装置
１０１ ディスプレイ
１０２ ＣＰＵ
１０３ メモリ
１０４ ＨＤＤ
１０５ プログラム
１０６ 外部記憶媒体
１０７ ネットワーク
１２０ 入力層
１２２ 畳み込み層
１２４ プーリング層
１２６ 全結合層
２００ 分類装置

Claims (9)

  1. 階層構造を構成する複数のデータ項目とそれぞれの前記データ項目に対応する正解ラベルとを含む教師データが入力される入力部と、
    入力される前記教師データの複数の前記データ項目についてニューラルネットワークを用いてマルチタスク学習することによって、それぞれの前記データ項目に対応する少なくとも１つの推定ラベルを付与するためのパラメータを更新する更新部とを備え、
    前記更新部は、付与される前記推定ラベルと前記教師データにおける対応する前記正解ラベルとの誤差の、複数の前記データ項目における総和が最小化するように前記パラメータを更新する、
    パラメータ更新装置。
  2. 請求項１に記載のパラメータ更新装置における前記更新部によって更新された前記パラメータにしたがって、入力されるそれぞれの前記データ項目に対応して少なくとも１つの前記推定ラベルを付与するラベル付与部を備える、
    分類装置。
  3. 請求項２に記載の分類装置であり、
    前記ラベル付与部は、それぞれの前記データ項目に対応して複数の前記推定ラベルを付与し、
    それぞれの前記データ項目に対応する複数の前記推定ラベルのうちの、推定確率の高い順に少なくとも１つの前記推定ラベルを選択する選択部をさらに備える、
    分類装置。
  4. 請求項３に記載の分類装置であり、
    前記選択部は、選択される前記推定ラベルの前記推定確率の合計に基づいて、選択する前記推定ラベルの数を決定する、
    分類装置。
  5. 請求項３または４に記載の分類装置であり、
    前記選択部は、選択される前記推定ラベルの数があらかじめ定められた範囲内であるように、少なくとも１つの前記推定ラベルを選択する、
    分類装置。
  6. 請求項２から５のうちのいずれか１つに記載の分類装置であり、
    それぞれの前記データ項目に対する重みを設定する重み付け部と、
    前記重みに基づいて、複数の前記データ項目にそれぞれ対応する前記推定ラベル間の組み合わせの確信度を算出する確信度算出部とをさらに備える、
    分類装置。
  7. 請求項６に記載の分類装置であり、
    前記確信度が高い順に複数の前記組み合わせを表示する表示部をさらに備える、
    分類装置。
  8. コンピュータにインストールされて実行されることによって、
    前記コンピュータに、階層構造を構成する複数のデータ項目とそれぞれの前記データ項目に対応する正解ラベルとを含む教師データの複数の前記データ項目についてニューラルネットワークを用いてマルチタスク学習させることによって、それぞれの前記データ項目に対応する少なくとも１つの推定ラベルを付与するためのパラメータを更新させ、
    前記パラメータの更新は、付与される前記推定ラベルと前記教師データにおける対応する前記正解ラベルとの誤差の、複数の前記データ項目における総和が最小化するように前記パラメータを更新するものである、
    パラメータ更新プログラム。
  9. 階層構造を構成する複数のデータ項目とそれぞれの前記データ項目に対応する正解ラベルとを含む教師データを入力する工程と、
    入力される前記教師データの複数の前記データ項目についてニューラルネットワークを用いてマルチタスク学習することによって、それぞれの前記データ項目に対応する少なくとも１つの推定ラベルを付与するためのパラメータを更新する工程とを備え、
    前記パラメータを更新する工程は、付与される前記推定ラベルと前記教師データにおける対応する前記正解ラベルとの誤差の、複数の前記データ項目における総和が最小化するように前記パラメータを更新する工程である、
    パラメータ更新方法。
JP2020023047A 2020-02-14 2020-02-14 パラメータ更新装置、分類装置、パラメータ更新プログラム、および、パラメータ更新方法 Active JP7421363B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020023047A JP7421363B2 (ja) 2020-02-14 2020-02-14 パラメータ更新装置、分類装置、パラメータ更新プログラム、および、パラメータ更新方法
US17/167,326 US20210256308A1 (en) 2020-02-14 2021-02-04 Parameter update apparatus, classification apparatus, recording medium, and parameter update method
CN202110182057.8A CN113268963A (zh) 2020-02-14 2021-02-09 参数更新装置、分类装置、存储介质以及参数更新方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020023047A JP7421363B2 (ja) 2020-02-14 2020-02-14 パラメータ更新装置、分類装置、パラメータ更新プログラム、および、パラメータ更新方法

Publications (2)

Publication Number Publication Date
JP2021128569A JP2021128569A (ja) 2021-09-02
JP7421363B2 true JP7421363B2 (ja) 2024-01-24

Family

ID=77228105

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020023047A Active JP7421363B2 (ja) 2020-02-14 2020-02-14 パラメータ更新装置、分類装置、パラメータ更新プログラム、および、パラメータ更新方法

Country Status (3)

Country Link
US (1) US20210256308A1 (ja)
JP (1) JP7421363B2 (ja)
CN (1) CN113268963A (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004355483A (ja) 2003-05-30 2004-12-16 Oki Electric Ind Co Ltd 形態素解析装置、形態素解析方法及び形態素解析プログラム
JP2015043163A (ja) 2013-08-26 2015-03-05 日本電信電話株式会社 係り受け関係解析パラメータ学習装置、係り受け関係解析装置、方法、及びプログラム
WO2018085728A1 (en) 2016-11-03 2018-05-11 Salesforce.Com, Inc. Joint many-task neural network model for multiple natural language processing (nlp) tasks
WO2019235283A1 (ja) 2018-06-05 2019-12-12 日本電信電話株式会社 モデル学習装置、方法及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017073373A1 (ja) * 2015-10-30 2017-05-04 株式会社モルフォ 学習システム、学習装置、学習方法、学習プログラム、教師データ作成装置、教師データ作成方法、教師データ作成プログラム、端末装置及び閾値変更装置
AU2017214619A1 (en) * 2016-02-01 2018-08-16 See-Out Pty Ltd. Image classification and labeling
US20180365575A1 (en) * 2017-07-31 2018-12-20 Seematics Systems Ltd System and method for employing inference models based on available processing resources
CN108009525B (zh) * 2017-12-25 2018-10-12 北京航空航天大学 一种基于卷积神经网络的无人机对地特定目标识别方法
CN109739979A (zh) * 2018-12-11 2019-05-10 中科恒运股份有限公司 神经网络的调优方法、调优装置及终端
US11164306B2 (en) * 2019-12-09 2021-11-02 International Business Machines Corporation Visualization of inspection results

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004355483A (ja) 2003-05-30 2004-12-16 Oki Electric Ind Co Ltd 形態素解析装置、形態素解析方法及び形態素解析プログラム
JP2015043163A (ja) 2013-08-26 2015-03-05 日本電信電話株式会社 係り受け関係解析パラメータ学習装置、係り受け関係解析装置、方法、及びプログラム
WO2018085728A1 (en) 2016-11-03 2018-05-11 Salesforce.Com, Inc. Joint many-task neural network model for multiple natural language processing (nlp) tasks
WO2019235283A1 (ja) 2018-06-05 2019-12-12 日本電信電話株式会社 モデル学習装置、方法及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
大橋空 ほか，"文符号化器のマルチタスク学習によるテキスト分類モデルの頑健化"，情報処理学会研究報告 [online]，日本，情報処理学会，2019年08月，Vol. 2019-NL-241，No. 25，［2019年08月30日検索］，インターネット＜ＵＲＬ：https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_uri&item_id=198866&file_id=1&file_no=1＞
白水優太朗 ほか，"文情報の活用と階層構造に着目した固有表現ラベル推定手法"，情報処理学会研究報告 [online]，情報処理学会，2018年12月，Vol. 2018-NL-238，No. 14，［2018年12月06日検索］，インターネット＜ＵＲＬ：https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_uri&item_id=192745&file_id=1&file_no=1＞

Also Published As

Publication number Publication date
JP2021128569A (ja) 2021-09-02
US20210256308A1 (en) 2021-08-19
CN113268963A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
US10019657B2 (en) Joint depth estimation and semantic segmentation from a single image
US11593673B2 (en) Systems and methods for identifying influential training data points
US20220092411A1 (en) Data prediction method based on generative adversarial network and apparatus implementing the same method
CN110069129B (zh) 确定系统和确定方法
US20140147034A1 (en) Information processing apparatus, control method therefor, and electronic device
CN109447096B (zh) 一种基于机器学习的扫视路径预测方法和装置
US10867246B1 (en) Training a neural network using small training datasets
KR102362678B1 (ko) 생체신호 분석 방법
JPWO2019102984A1 (ja) 学習装置、識別装置及びプログラム
KR20220079726A (ko) 의료 영상 기반의 질환 예측 방법
JP2019204214A (ja) 学習装置、学習方法、プログラム及び推定装置
CN114266927A (zh) 一种无监督的显著性目标检测方法、系统、设备及介质
JP7421363B2 (ja) パラメータ更新装置、分類装置、パラメータ更新プログラム、および、パラメータ更新方法
CN114255381A (zh) 图像识别模型的训练方法、图像识别方法、装置及介质
JP7472471B2 (ja) 推定システム、推定装置および推定方法
KR102548130B1 (ko) 채널 어텐션 및 공간 어텐션을 이용한 결함 탐지 방법
KR102437396B1 (ko) 모델 학습 방법
KR20230154602A (ko) 표 인식 방법 및 장치
KR102393951B1 (ko) 객체 중심 데이터 증강 방법
KR102260169B1 (ko) 데이터 생성 방법
CN114358284A (zh) 一种基于类别信息对神经网络分步训练的方法、装置、介质
KR20230127509A (ko) 콘셉트 기반의 퓨샷 학습 방법 및 장치
KR20220075119A (ko) 의료 영상 기반의 뇌백질 병변 탐지 방법
KR102070730B1 (ko) 이미지 세그먼테이션 방법
KR20220029366A (ko) 모델 학습 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240112

R150 Certificate of patent or registration of utility model

Ref document number: 7421363

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150