JP6692488B2 - ニューロンネットワークをトレーニングする方法及び能動学習システム - Google Patents

Description

本発明は、包括的には、ニューラルネットワークをトレーニングする方法に関し、より具体的には、人工ニューラルネットワークをトレーニングする能動学習法に関する。

人工ニューラルネットワーク（ＮＮ：Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）はコンピュータービジョンの分野に大変革を起こしつつある。ＩｍａｇｅＮｅｔ、Ｍｉｃｒｏｓｏｆｔ ＣＯＣＯ、及びＰａｓｃａｌ ＶＯＣを含む、種々の視覚的物体認識を目標にする最上位のアルゴリズムは全てＮＮに基づく。

ＮＮを使用する視覚的物体認識において、ＮＮをトレーニングして良好な性能を得るために、大量の画像データセットが使用される。しかしながら、大量の画像データセットを注釈することは費用がかかり、煩わしい作業であり、未ラベル付けデータセット内の重要な画像のサブセットは人間によって選択され、人間の注釈によってラベル付けされるので、データセット内の画像コンテンツを解析するのに人々が非常に長い時間を費やす必要がある。

したがって、より少ない注釈プロセス、それゆえ、より少ない注釈バジェット（ｂｕｄｇｅｔｓ）で、より良好な性能を達成する必要がある。

本発明のいくつかの実施形態は、入力信号の特徴の不確定性指標と、それらの特徴からの信号の再構成とを使用する能動学習が、信号の分類精度を改善しながら、より少ない注釈プロセスを提供するという認識に基づく。

したがって、一実施形態は、メモリと通信するプロセッサを用いてニューロンネットワークをトレーニングする方法を開示し、この方法は、ニューロンネットワークを用いて信号の特徴を特定することと、信号を分類するために特徴の不確定性指標を特定することと、デコーダーニューロンネットワークを用いて特徴から信号を再構成して、再構成済み信号を生成することと、再構成済み信号を信号と比較して、再構成誤差を生成することと、不確定性指標を再構成誤差と合成して、手作業ラベル付けの必要性に関し、信号におけるエントロピー関数と前記再構成誤差との加法に基づいて規定されるランクを生成することと、ランクに従って信号をラベル付けして、ラベル付け済み信号を生成することと、ラベル付け済み信号を用いて、ニューロンネットワーク及びデコーダーニューロンネットワークをトレーニングすることとを含む。

別の実施形態は、ヒューマンマシンインターフェースと、ニューラルネットワークを含む記憶デバイスと、メモリと、システムの外部にあるネットワークと接続可能なネットワークインターフェースコントローラーと、撮像デバイスと接続可能な撮像インターフェースと、ヒューマンマシンインターフェース、記憶デバイス、メモリ、ネットワークインターフェースコントローラー及び撮像インターフェースに接続するように構成されるプロセッサとを備え、プロセッサは、記憶デバイスに記憶されるニューラルネットワークを用いて信号を分類する命令を実行し、ニューラルネットワークは、ニューロンネットワークを用いて信号の特徴を特定するステップと、信号を分類するために特徴の不確定性指標を特定するステップと、デコーダーニューロンネットワークを用いて特徴から信号を再構成して、再構成済み信号を生成するステップと、再構成済み信号を信号と比較して、再構成誤差を生成するステップと、不確定性指標を再構成誤差と合成して、手作業ラベル付けの必要性に関し、前記信号におけるエントロピー関数と前記再構成誤差との加法に基づいて規定される信号のランクを生成するステップと、ランクに従って信号をラベル付けして、ラベル付け済み信号を生成するステップと、ラベル付け済み信号を用いて、ニューロンネットワーク及びデコーダーニューロンネットワークをトレーニングするステップとを実行する、能動学習システムを開示する。

したがって、一実施形態は、１つ以上のコンピューターによって実行可能な命令を含むソフトウェアを記憶し、そのような実行時に、該命令は、該１つ以上のコンピューターに動作を実行させる、非一時的コンピューター可読媒体を開示する。該動作は、ニューロンネットワークを用いて信号の特徴を特定することと、信号を分類するために特徴の不確定性指標を特定することと、デコーダーニューロンネットワークを用いて特徴から信号を再構成して、再構成済み信号を生成することと、再構成済み信号を信号と比較して、再構成誤差を生成することと、不確定性指標を再構成誤差と合成して、手作業ラベル付けの必要性に関し、信号におけるエントロピー関数と前記再構成誤差との加法に基づいて規定されるランクを生成することと、ランクに従って信号をラベル付けして、ラベル付け済み信号を生成することと、ラベル付け済み信号を用いて、ニューロンネットワーク及びデコーダーニューロンネットワークをトレーニングすることとを含む。

いくつかの実施形態において、不確定性指標を特定する人工ニューラルネットワークの使用は、中央処理装置（ＣＰＵ）使用量、電力消費量、及び／又はネットワーク帯域幅使用量を削減することができ、コンピューターの機能を改善するのに有利である。

本発明のいくつかの実施形態による、ニューラルネットワークをトレーニングする能動学習システムのデータフローのブロック図である。 ニューラルネットワークをトレーニングする能動学習システムのフローチャートである。 本発明のいくつかの実施形態に基づいて実行されることになるプロセスステップのブロック図である。 本発明のいくつかの実施形態による、能動学習プロセス及び畳み込みニューラルネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）トレーニングプロセスを示すブロック図である。 本発明のいくつかの実施形態による、能動学習システムにおいて実行される主要なプロセスステップを示すブロック図である。 未ラベル付け画像の重要度をランク付けする能動的方法のブロック図である。 本発明のいくつかの実施形態による、入力信号の不確定性を計算するニューラルネットワークのブロック図である。 本発明のいくつかの実施形態による、能動学習システムにおいて未ラベル付け画像の重要度をランク付けする方法のブロック図である。 本発明のいくつかの実施形態による、未ラベル付け画像を注釈する能動学習システムのブロック図である。 ラベル付けインターフェースに関する図である。 ＣＮＮにおける能動学習法の精度比較の一例を示す図である。

本発明によるいくつかの実施形態において、能動学習システムは、ヒューマンマシンインターフェースと、ニューラルネットワークを含む記憶デバイスと、メモリと、システムの外部にあるネットワークと接続可能なネットワークインターフェースコントローラーとを備える。能動学習システムは、撮像デバイスに接続可能な撮像インターフェースと、ヒューマンマシンインターフェース、記憶デバイス、メモリ、ネットワークインターフェースコントローラー及び撮像インターフェースに接続するように構成されるプロセッサとを更に備え、プロセッサは、記憶デバイス内に記憶されるニューラルネットワークを用いて画像内の物体を分類する命令を実行し、ニューラルネットワークは、ニューロンネットワークを用いて信号の特徴を特定するステップと、信号を分類するために特徴の不確定性指標を特定するステップと、デコーダーニューロンネットワークを用いて特徴から信号を再構成して、再構成済み信号を生成するステップと、再構成済み信号を信号と比較して、再構成誤差を生成するステップと、不確定性指標を再構成誤差と合成して、手作業ラベル付けの必要性に関する信号のランクを生成するステップと、ランクに従って信号をラベル付けして、ラベル付け済み信号を生成するステップと、ラベル付け済み信号を用いて、ニューロンネットワーク及びデコーダーニューロンネットワークをトレーニングするステップとを実行する。

図１Ａは、本発明のいくつかの実施形態による、能動学習システム１０を示す。能動学習システム１０の初期設定は、ランダムパラメーターで初期化されたニューラルネットワーク１００と、ラベル付け済みトレーニング画像の初期セット１０１と、トレーナー１０２と、未ラベル付け画像のセット１０３とを含む。この場合、ニューラルネットワーク１００はユーザー定義ニューラルネットワークである。

能動学習システム１０は、図１Ａに示される基本ワークフローを通して注釈を実行するために、未ラベル付け画像を効率的に照会しようと試みる。ランダムに初期化されたパラメーターを有するニューラルネットワーク（ＮＮ）１００に基づいて、トレーナー１０２は、ＮＮ１００を画像の初期ラベル付け済みトレーニングデータセット１０１に当てはめることによって、ネットワークパラメーターを更新する。結果として、更新済みネットワークパラメーターを有するトレーニング済みＮＮ３０１を用いて、未ラベル付けデータセット１０３内の画像の重要度をランク付けする。未ラベル付け画像１０３は、トレーニング済みＮＮ３０１によって実行されたランク付け結果から取得された重要度スコア１０４に従ってソートされる。Ｋ個の最重要画像１０５は、ラベル付けインターフェース１０６に関連付けられるメモリ（図示せず）内のラベル付け記憶域に記憶される。作業者（又は注釈者）によって行われるデータ入力に応答して、ラベル付けインターフェース１０６は、グラウンドトゥルースラベルを有する注釈済み画像１０７を生成する。これらの注釈済み画像１０７を、その後、初期ラベル付け済みトレーニングデータセット１０１に追加して、新たなトレーニングデータセット１０８を形成する。トレーナー１０２は、その後、画像の新たなトレーニングデータセット１０８を当てはめることによってネットワーク３０１を再トレーニングし、更新済みニューラルネットワークパラメーター４０１を取得する。この手順は繰り返される。更新済みニューラルネットワークパラメーター４０１を用いて、未ラベル付け画像１０３のうちの残りの画像の重要度をランク付けし、Ｋ個の最重要画像１０５がラベル付けインターフェース１０６に送出される。通常、この手順は、所定の好ましい性能が達成されるまで、又は注釈のためのバジェットがなくなるまで何度も繰り返される。

さらに、本発明のいくつかの実施形態において、ニューロンネットワークをトレーニングする方法が、メモリと通信するプロセッサを使用し、その方法は、ニューロンネットワークを用いて信号の特徴を特定するステップと、信号を分類するために特徴の不確定性指標を特定するステップと、デコーダーニューロンネットワークを用いて特徴から信号を再構成して、再構成済み信号を生成するステップと、再構成済み信号を信号と比較して、再構成誤差を生成するステップと、不確定性指標を再構成誤差と合成して、手作業ラベル付けの必要性に関する信号のランクを生成するステップと、ランクに従って信号にラベル付けして、ラベル付け済み信号を生成するステップと、ラベル付け済み信号を用いて、ニューロンネットワーク及びデコーダーニューロンネットワークをトレーニングするステップとを含む。場合によっては、ラベル付けは、ランクが手作業ラベル付けプロセスの必要性を示さない場合には、ニューロンネットワークを用いて信号をラベル付けすることを含むことができ、さらに、ラベル付けは、ランクが手作業ラベル付けプロセスの必要性を示す場合には、注釈デバイスにラベル付け要求を送信することを含むことができる。

さらに、特徴を特定することは、エンコーダーニューラルネットワークを使用することによって実行することができる。この場合、エンコーダーニューラルネットワークは、与えられた信号の特徴解析を実行することができる。場合によって、信号は脳波図（ＥＥＧ）又は心電図（ＥＣＧ）とすることができる。ニューラルネットワークは、画像信号の代わりに、生体信号を使用することができる。したがって、本発明のいくつかの実施形態は、医師の診断を支援するための特定の信号を与えるために適用することができる。

図１Ｂは、ニューラルネットワークをトレーニングする能動学習システムのフローチャートである。

能動学習システム１０は、図示されるプロセスフローを通して、注釈のために未ラベル付け画像を効率的に照会しようと試みる。プロセスフローは以下のステージを含む。

Ｓ１−初期ラベル付け済みトレーニングデータセットは与えられ、そのデータセットを使用することによってニューラルネットワークはトレーニングされる。

Ｓ２−ステップＳ１において取得されたトレーニング済みＮＮを使用することによって、未ラベル付けデータセット内の各画像は評価され、各画像にスコアは割り当てられる。

Ｓ３−ステップＳ２において取得されたスコアを所与として、注釈デバイスによるラベル付けのために、上位Ｋ個の最高スコアを有する画像は選択される。

Ｓ４−新たに注釈されたラベルを有する選択された画像を現在の（最新の）ラベル付け済みトレーニングセットに追加して、新たなトレーニングデータセットを得る。

Ｓ５−新たなトレーニングデータセットに基づいて、ネットワークは精緻化又は再トレーニングされる。

図１Ｂに示されるように、能動学習システム１０の能動学習アルゴリズムは、画像をラベル付けするために画像を効率的に照会しようと試みる。小さいラベル付け済みトレーニングセットの初期に、初期化モデルはトレーニングされる。直前にトレーニングされたモデルである現在のモデルに基づいて、能動学習システム１０は、注釈されるべき最も有益な未ラベル付け画像を見つけようと試みる。有益な画像のサブセットがラベル付けされ、次回のトレーニングのためのトレーニングセットに追加される。このトレーニングプロセスは繰り返し実行され、能動学習システム１０は、テストデータセットに関するモデルの精度性能を徐々に高めるために、より多くのラベル付け済み画像を注意深く追加する。標準的な手法はラベル付けのためのサンプルを単に無作為に選択するので、その本質により、能動学習システム１０のアルゴリズムは通常、トレーニングのための標準的な手法よりはるかに良好に機能する。

本明細書において「画像」という用語が使用されるが、能動学習システム１０では、別の「信号」を使用することができる。例えば、能動学習システムは、脳波図（ＥＥＧ）又は心電図（ＥＣＧ）等の他の信号を処理する場合がある。画像の代わりに、ＥＥＧ又はＥＣＧ信号を能動学習システム１０においてトレーニングすることができる。その後、トレーニング済み能動学習システム１０を適用して、入力信号に関する異常を特定又は判断することができ、それは、関連する症状の医療診断に対する有用な支援になる可能性がある。

図１Ｃは、本発明のいくつかの実施形態に基づいて実行されることになるプロセスステップのブロック図を示す。入力信号は能動学習システム１０に送り込まれ、能動学習システム１０のエンコーダーニューラルネットワークは、ステップＳＳ１において入力信号の特徴を特定し、それらの特徴を作業メモリ（図示せず）に記憶する。さらに、ステップＳＳ２において、能動学習システム１０のトレーニング済みニューラルネットワーク３０１によって不確定性指標は特定され、不確定性指標の結果は作業メモリに記憶される。ＳＳ１において特定された特徴は、ステップＳＳ３においてデコーダーＮＮによって再構成され、再構成済み信号は作業メモリに記憶される。ステップＳＳ４において、再構成済み信号は作業メモリから送り出され、入力信号と比較され、再構成誤差が計算される。再構成誤差は作業メモリに記憶され、ステップＳＳ５に送り込まれる。ステップＳＳ５において、不確定性指標は作業メモリから読み出され、再構成誤差と合成される。ステップＳＳ６において、ランク付けスコアに従って入力信号はラベル付けされ、ラベル付け済み信号は、ステップＳＳ７において能動学習システム１０内のニューラルネットワークをトレーニングするために使用される。

図１Ｄは、いずれも能動学習システム１０において実行される、能動学習プロセス１１及び畳み込みニューラルネットワーク（ＣＮＮ）トレーニングプロセス２１を示すブロック図を示す。同一の入力信号１２（又は入力画像１２）に関して、能動学習プロセス１１は、入力信号１２を畳み込みニューラルネットワーク（ＣＮＮ）１３に送り込み、ＣＮＮ１３は、入力信号１２から特徴１４を抽出する。さらに、能動学習プロセス１１は、特徴１４から不確定性指標１６を計算し、不確定性指標１６に基づいて、スコア１７を与える。

ＣＮＮトレーニングプロセス２１において、入力信号１２は、ＣＮＮ１３に送り込まれ、ＣＮＮ１３は、入力信号１２から特徴１４を抽出する。その後、ＣＮＮデコーダー２５は、特徴１４から信号２６を再構成し、入力信号１２と比較する。入力信号１２と再構成済み信号２６とを比較することによって、ＣＮＮトレーニングプロセス２１は、再構成誤差２７を計算又は生成する。能動学習システム１０は、再構成誤差２７及び不確定性指標１６を合成し、スコア１７によって入力信号１２をランク付けする。

スコア１７が所定の閾値より高いとき、入力信号１２は、ラベル付けインターフェース（図示せず）に送り込まれ、それにより、作業者は、所定の分類されたラベルのうちの１つに従って入力信号１２を注釈できるようになる。それは人間によるラベル付けプロセス１８として示されている。上記の能動学習プロセス１１及びＣＮＮトレーニングプロセス２１において実行されるプロセスステップは、図１Ｅに示され、図１Ｅは能動学習システム１０において実行される主要なプロセスステップを示す。

本発明のいくつかの実施形態において、ランクは、エントロピー関数と再構成誤差との加法に基づいて規定される。

図２は、本発明のいくつかの実施形態による、能動学習システムにおいて未ラベル付け画像の重要度をランク付けするプロセスステップのブロック図を示す。ステップ３０２においてＮＮ３０１のフロントエンドに入力画像１０３が与えられると、トレーニング済みＮＮ３０１が特徴３０３を生成し、ソフトマックス出力層３０４を介して分類結果を出力する。分類結果は、レニーエントロピーに基づいて、不確定性指標３０５を通して入力信号の重要度スコア１０４を計算するために使用される。

トレーニング済みＮＮ３０１は、未ラベル付けデータセット１０３内の画像ごとに特徴３０３を抽出するために使用され、また、ソフトマックス出力層３０４によって分類を計算するために使用される。ソフトマックス出力層３０４によって得られた分類結果は、次元Ｄの確率ベクトルである。ただし、次元Ｄはオブジェクトクラスの数である。入力画像をｘによって表し、確率ベクトルを示す、ソフトマックス出力層３０４によって計算された分類結果をｐによって表すとき、確率ベクトルｐの各次元は、入力画像１０３が特定のクラスに属する確率を表す。ｐの成分の和は１に等しい。入力画像のクラスの不確定性を、その後、不確定性指標３０５のステップにおいてエントロピー関数Ｈ（ｘ）によって測定することができる。エントロピーＨ（ｘ）がシャノンエントロピーに基づいて計算されるとき、入力画像のクラスの不確定性は以下によって与えられる。

不確定性法において、未ラベル付け画像の重要度スコア１０４として不確定性指標を使用することができる。さらに、不確定性計算のために、レニーエントロピーカテゴリにおいて規定される他のエントロピー指標を使用することができる。例えば、エントロピー関数Ｈ（ｘ）は衝突エントロピー

又は最小エントロピー

とすることができる。

さらに、エントロピーに基づく方法は、不確定性の推定値を得るために

によって定義することができ、実験結果を図７に示している。

不確定性法は汎用能動学習法であるので、各入力画像からクラス確率を表すベクトルを導出できる限り、種々の分類器（ＳＶＭ、ガウス過程、又はニューラルネットワーク）とともに使用することができる。この場合、不確定性法は、分類器の特性を利用せず、準最適な性能に達する。

いくつかの実施形態によれば、ニューラルネットワーク計算の特性を利用することによって不確定性法を改善する手法が以下に説明される。入力画像を処理するのに応じて、ニューラルネットワークが特徴表現の階層を計算することが規定される。特徴表現の完全性を用いて、ニューラルネットワークが入力画像をいかに良好にモデル化するかを判断することができる。特徴表現の完全性を定量化するために、オートエンコーダーニューラルネットワークを使用することができる。

図３は、本発明のいくつかの実施形態による、オートエンコーダーニューラルネットワーク７１０のブロック図を示す。オートエンコーダーニューラルネットワーク７１０は、エンコーダーニューラルネットワーク７０１と、デコーダーニューラルネットワーク７０５と、ソフトマックス出力層７０３とを含む。

入力画像７００が与えられると、オートエンコーダーＮＮ７１０は、エンコーダーニューラルネットワーク７０１によって抽出された特徴７０２から分類結果７０３を出力する。さらに、特徴７０２がデコーダーニューラルネットワーク７０５に送信される。デコーダーニューラルネットワーク７０５は、エンコーダーＮＮ７０１によって抽出された特徴７０２から再構成済み画像７０４を生成する。場合によっては、エンコーダーＮＮ７０１は、第１のサブネットワーク＃１と呼ばれる場合があり、デコーダーニューラルネットワーク７０５は、第２のサブネットワーク＃２と呼ばれる場合がある。第１のサブネットワーク７０１は、入力画像７００から特徴７０２を抽出する。抽出された特徴７０２は、分類結果を出力するソフトマックス出力層７０３に送り込まれる。この場合、抽出された特徴７０２は、第２のサブネットワーク＃２にも送り込まれる。第２のサブネットワーク＃２は、特徴７０２から再構成済み画像７０４を生成し、再構成画像を出力する。

いくつかの実施形態において、入力画像（又は入力信号）と再構成済み画像（又は再構成済み信号）との間のユークリッド距離に基づいて、再構成誤差が定義される。

さらに、ユークリッド距離測定値に基づいて、再構成済み画像７０４は、入力画像７００と比較される。特徴表現の完全性を定量化するために、入力画像７００と再構成済み画像７０４との間のユークリッド距離を使用することができる。ｘを入力画像のベクトル表現とし、ｙを再構成済み画像のベクトル表現とするとき、以下のように、ユークリッド距離によって再構成誤差指標Ｒ（ｘ）が定義される。

ユークリッド距離は、入力画像が特徴表現によっていかに良好に表されるかを示す。再構成誤差Ｒ（ｘ）が小さいとき、ニューラルネットワークが入力画像を良好にモデル化しているこることを示している。しかしながら、再構成誤差Ｒ（ｘ）が大きいとき、ニューラルネットワークが入力画像を良好にモデル化していないことを示している。いくつかの実施形態において、トレーニングに入力画像を含むことは、オートエンコーダーＮＮ７１０の表現能力（精度）を改善する。

入力画像の重要度をランク付けするために、以下の式を使用することができる。

ただし、α及びβは非負の重み付けパラメーターである。

図４は、本発明のいくつかの実施形態による、能動学習システム７２０に基づく不確定性指標において使用されるサブネットワーク＃１及び＃２の総合設計を示すブロック図を示す。ブロック図は、能動学習システム７２０において未ラベル付け画像の重要度をランク付けする方法において使用されるデータプロセスステップを示している。能動学習システム７２０は、エンコーダーニューラルネットワーク７０１（第１のサブネットワーク＃１）と、ソフトマックス出力層７０３と、ランク付け層２０５と、デコーダーニューラルネットワーク（第２のサブネットワーク＃２）とを含む。

能動学習システム７２０に入力画像７００が与えられると、エンコーダーＮＮ７０１は、入力画像７００から特徴７０２を生成する。特徴７０２は、ソフトマックス出力層７０３を介して分類結果を生成するために使用することができる。分類結果は、ランク付け層２０５に送り込まれる。さらに、特徴７２０はデコーダーＮＮ７０５に送り込まれ、この特徴は、デコーダーＮＮ７０５を使用することによって再構成済み画像７０４を生成するために使用される。再構成済み画像７０４はランク付け層２０５に送り込まれる。ランク付け層２０５において、分類結果及び再構成済み画像を用いて、入力画像７００の未ラベル付け画像に関する重要度スコア１０４を計算する。

未ラベル付け画像の重要度スコア１０４は、計算ステップにおいてランク付け層２０５を使用することによって、分類出力７０３及び再構成済み画像７０４から計算することができる。未ラベル付け画像に関する重要度スコア１０４を得た後に、能動学習システムは、出力として重要度スコア１０４を出力する。

図５は、本発明のいくつかの実施形態による、能動学習システム６００のブロック図を示す。能動学習システム６００は、キーボード６１１及びポインティングデバイス／媒体６１２と接続可能なヒューマンマシンインターフェース（ＨＭＩ）６１０と、プロセッサ６２０と、記憶装置６３０と、メモリ６４０と、ローカルエリアネットワーク及びインターネットネットワークを含むネットワーク６９０と接続可能なネットワークインターフェースコントローラー（ＮＩＣ）６５０と、ディスプレイインターフェース６６０と、撮像デバイス６７５と接続可能な撮像インターフェース６７０と、印刷デバイス６８５と接続可能なプリンターインターフェース６８０とを備える。プロセッサ６２０は、１つ又は２つ以上の中央処理装置（ＣＰＵ）を含むことができる。能動学習システム６００は、ＮＩＣ６５０に接続されるネットワーク６９０を介して、電気的なテキスト／画像化ドキュメント６９５を受信することができる。能動学習システム６００は、ＨＭＩ６１０を介して、注釈デバイス６１３から注釈データを受信することができる。さらに、注釈デバイス６１３は表示画面を含み、注釈デバイス６１３の表示画面は、ラベル付けインターフェース１０６を表示するように構成され、ラベル付けインターフェースは、選択されるべき所定の注釈ボックス及び所定のラベル付け候補を有する選択エリア６０２とともに、表示領域６０１内に未ラベル付け画像を示すことによって、作業者がメモリ６４０に記憶される未ラベル付け画像のラベル付けプロセスを実行できるようにする。

記憶装置６３０は、元の画像６３１と、フィルターシステムモジュール６３２と、ニューラルネットワーク４００とを含む。例えば、プロセッサ６２０は、記憶装置６３０内のニューラルネットワーク４００のコードをメモリ６４０にロードし、能動学習を実施するためにコードの命令を実行する。さらに、ポインティングデバイス／媒体６１２は、コンピューター可読記録媒体上に記憶されたプログラムを読み出すモジュールを含むことができる。

図６は、本発明のいくつかの実施形態による、ラベル付けインターフェース１０６の一例を示す。ラベル付けインターフェース１０６は、表示領域６０１と、選択エリア６０２とを含む。ラベル付けインターフェース１０６は、注釈デバイス６１３内にインストールすることができ、注釈デバイス６１３のディスプレイ上にラベル付けインターフェース１０６が示される。場合によっては、ラベル付けインターフェース１０６は、ネットワーク６９０を介して、ヒューマンマシンインターフェース（ＨＭＩ）６１０に接続可能な入力／出力インターフェース（図示せず）をインストールすることができる。ラベル付けインターフェース１０６が、図１ＡのステップＳ６においてＫ個の最重要未ラベル付け画像１０５のうちの１つの未ラベル付け画像を受信すると、ラベル付けインターフェース１０６は、表示領域６０１上に未ラベル付け画像を表示する。選択エリア６０２は、表示領域６０１上に表示される未ラベル付け画像をラベル付けするための所定の候補を示す。ラベル付けインターフェース１０６によって、作業者は、表示領域６０１上に表示される未ラベル付け画像に対して、選択エリア６０２内に示される選択可能な注釈のうちの１つを割り当てることができるようになる。図６において、選択エリア６０２は、所定のラベル付け候補、すなわち、犬、猫、車及び飛行機を有する選択ボックスを与える。一例として、図６は、表示領域６０１上に表示される猫画像６０３を示す未ラベル付け画像を示す。この場合、選択エリア６０２内に猫画像が表示されるのに応答して、作業者（注釈者）によって猫の注釈ボックスがチェックされる。ラベル付けインターフェース１０６は、作業者による操作に応じて、メモリ内のラベル付け記憶域に記憶される未ラベル付け画像をロードし、表示するように構成される。ラベル付けインターフェース１０６によってラベル付けされた画像は、図１Ａに示されるように、ステップＳ３において、新たにラベル付けされたトレーニング画像１０７としてメモリ内の新トレーニング画像記憶エリアに記憶される。

図７は、比較のための畳み込みニューラルネットワーク（ＣＮＮ）における能動学習法と、ＣＡＮＮに基づく不確定性法とを使用する画像分類の実験結果を示す。

比較のために、ＭＮＩＳＴデータセットにおける実験のために、以下の畳み込みニューラルネットワーク（ＣＮＮ）：（２０）５ｃ−２ｐ−（５０）５ｃ−２ｐ−５００ｆｃ−ｒ−１０ｆｃを使用する。ここで、「（２０）５ｃ」は、カーネルサイズ５を有する２０ニューロンの畳み込み層を表し、「２ｐ」は２×２プーリングを表し、「ｒ」は正規化線形ユニット（ＲｅＬＵ：ｒｅｃｔｉｆｉｅｄ−ｌｉｎｅａｒ ｕｎｉｔ）を表し、「５００ｆｃ」は、５００個のノードを有する全結合層を表す。逆伝搬のために、分類出力「１０ｆｃ」に１つのソフトマックスロス層が追加される。畳み込みオートエンコーダーニューラルネットワーク（ＣＡＮＮ）部分に関して、逆畳み込みネットワークからの構造が適合する。ＣＩＦＡＲ１０データセットの場合では、「（３２）３ｃ−２ｐ−ｒ−（３２）３ｃ−ｒ−２ｐ−（６４）３ｃ−ｒ−２ｐ−２００ｆｃ−１０ｆｃ」である。ＣＡＮＮ部分に関して、その構造は、ＭＮＩＳＴ設定において言及されたのと同じである。

図７において、データセット「Ｕｎｃｅｒｔａｉｎ．ｍｅａｓ．＆Ｒｅｃｏｎ．」は、本発明の一実施形態による、不確定性指標及び再構成法によって得られたデータを示す。図７に示される不確定性法以外の方法は、オートエンコーダーを備える構造の代わりに、ＣＮＮを使用することによって得られる。さらに、「ＲＤＭ」は、無作為法を示し、「ＥＭＣ」は、予測モデル変更法を示し、「ＵＮＣ」は、再構成を使用しない不確定性法を示し、「ＤＷ」は、密度重み付け法を示し、及び「ＦＦ」は最長距離優先（ｆａｒｔｈｅｓｔ ｆｉｒｓｔ）法を示す。ＭＮＩＳＴ設定及びＣＩＦＡＲ１０設定のいずれにおいても、本発明の実施形態による不確定性指標及び再構成法は、他の方法に比べて優れた性能を示す。これは、本発明のいくつかの実施形態による能動学習システムの利点のうちの１つを示す。

その利点は、上記で論じられたように、注釈されるデータの数を削減することであり、本発明のいくつかの実施形態による人工ニューラルネットワークは、分類精度を改善しながらより少ない注釈プロセスを提供することができ、不確定性指標を特定する人工ニューラルネットワークの使用は、中央処理装置（ＣＰＵ）使用量、電力消費量、及び／又はネットワーク帯域幅使用量を削減することができ、それは、コンピューターの機能を改善するのに有利である。

本発明の上記の実施形態は数多くの方法のいずれかにおいて実現することができる。例えば、それらの実施形態は、ハードウェア、ソフトウェア又はその組み合わせを用いて実現することができる。ソフトウェアにおいて実現されるとき、そのソフトウェアコードは、単一のコンピューター内に設けられるにしても、複数のコンピューター間に分散されるにしても、任意の適切なプロセッサ、又はプロセッサの集合体において実行することができる。そのようなプロセッサは集積回路として実現することができ、集積回路構成要素内に１つ以上のプロセッサが含まれる。しかしながら、プロセッサは、任意の適切な構成の回路を用いて実現することができる。そのプロセッサは、当該技術分野において既知であるように、メモリ、送受信機及び入力／出力インターフェースに接続することができる。

また、本明細書において概説されている種々の方法又はプロセスは、種々のオペレーティングシステム又はプラットフォームのいずれか１つを利用する１つ以上のプロセッサ上で実行可能であるソフトウェアとしてコード化することができる。代替的に、又はさらに、本発明は、信号等の、コンピューター可読記憶媒体以外のコンピューター可読媒体として具現することができる。

用語「プログラム」又は「ソフトウェア」は、本明細書において、コンピューター又は他のプロセッサをプログラミングし、上記で論じられたような本発明の種々の態様を実施するために用いることができる任意のタイプのコンピューターコード又は１組のコンピューター実行可能命令を指すために、一般的な意味において用いられる。

請求項要素を修飾するために特許請求の範囲において「第１の」、「第２の」のような序数の用語を使用することは、それだけで、或る請求項要素が別の請求項要素よりも優先度が高いこと、優位であること、若しくは上位にあることを、又は方法の動作が実行される時間的な順序を暗示するのではなく、請求項要素を区別するために、或る特定の名称を有する１つの請求項要素を（序数用語を使用しなければ）同じ名称を有する別の要素から区別するラベルとして単に使用される。

いくつかの好ましい実施形態を示し説明してきたが、本発明の範囲から逸脱することなく、これらの実施形態に多くの変形及び変更を加えることができることは当業者には明らかであろう。本発明の範囲は、添付の特許請求の範囲及びそれらの均等物によって定義される。

Claims (15)

1. メモリと通信するプロセッサを用いてニューロンネットワークをトレーニングする方法であって、
   前記ニューロンネットワークを用いて信号の特徴を特定することと、
   前記信号を分類するために前記特徴の不確定性指標を特定することと、
   デコーダーニューロンネットワークを用いて前記特徴から前記信号を再構成して、再構成済み信号を生成することと、
   前記再構成済み信号を前記信号と比較して、再構成誤差を生成することと、
   前記不確定性指標を前記再構成誤差と合成して、手作業ラベル付けの必要性に関し、前記信号におけるエントロピー関数と前記再構成誤差との加法に基づいて規定されるランクを生成することと、
   前記ランクに従って前記信号をラベル付けして、ラベル付け済み信号を生成することと、
   前記ラベル付け済み信号を用いて、前記ニューロンネットワーク及び前記デコーダーニューロンネットワークをトレーニングすることと、
   を含む、方法。
2. 前記ラベル付けすることは、
   前記ランクが、前記手作業ラベル付けプロセスの前記必要性を示す場合には、注釈デバイスにラベル付け要求を送信すること、
   を含む、請求項１に記載の方法。
3. 前記特徴を特定することは、エンコーダーニューラルネットワークを使用することによって実行される、請求項１に記載の方法。
4. 前記信号は、脳波図（ＥＥＧ）又は心電図（ＥＣＧ）である、請求項１に記載の方法。
5. 前記再構成誤差は、前記信号と前記再構成済み信号との間のユークリッド距離に基づいて定義される、請求項１に記載の方法。
6. 能動学習システムであって、
   ヒューマンマシンインターフェースと、
   ニューラルネットワークを含む記憶デバイスと、
   メモリと、
   該システムの外部にあるネットワークと接続可能なネットワークインターフェースコントローラーと、
   撮像デバイスと接続可能な撮像インターフェースと、
   前記ヒューマンマシンインターフェース、前記記憶デバイス、前記メモリ、前記ネットワークインターフェースコントローラー及び前記撮像インターフェースに接続するように構成されるプロセッサと、
   を備え、
   前記プロセッサは、前記記憶デバイスに記憶される前記ニューラルネットワークを用いて信号を分類する命令を実行し、前記ニューラルネットワークは、
   ニューロンネットワークを用いて前記信号の特徴を特定するステップと、
   前記信号を分類するために前記特徴の不確定性指標を特定するステップと、
   デコーダーニューロンネットワークを用いて前記特徴から前記信号を再構成して、再構成済み信号を生成するステップと、
   前記再構成済み信号を前記信号と比較して、再構成誤差を生成するステップと、
   前記不確定性指標を前記再構成誤差と合成して、手作業ラベル付けの必要性に関し、前記信号におけるエントロピー関数と前記再構成誤差との加法に基づいて規定されるランクを生成するステップと、
   前記ランクに従って前記信号をラベル付けして、前記ラベル付け済み信号を生成するステップと、
   前記ラベル付け済み信号を用いて、前記ニューロンネットワーク及び前記デコーダーニューロンネットワークをトレーニングするステップと、
   を実行する、能動学習システム。
7. 前記ラベル付けすることは、
   前記ランクが、前記手作業ラベル付けプロセスの前記必要性を示す場合には、注釈デバイスにラベル付け要求を送信すること、
   を含む、請求項６に記載のシステム。
8. 前記特徴を特定することは、エンコーダーニューラルネットワークを使用することによって実行される、請求項６に記載のシステム。
9. 前記信号は、脳波図（ＥＥＧ）又は心電図（ＥＣＧ）である、請求項７に記載のシステム。
10. 前記再構成誤差は、前記信号と前記再構成済み信号との間のユークリッド距離に基づいて定義される、請求項６に記載のシステム。
11. １つ以上のコンピューターによって実行可能な命令を含むソフトウェアを記憶する非一時的コンピューター可読媒体であって、そのような実行時に、該命令は、該１つ以上のコンピューターに、
    ニューロンネットワークを用いて信号の特徴を特定することと、
    前記信号を分類するために前記特徴の不確定性指標を特定することと、
    デコーダーニューロンネットワークを用いて前記特徴から前記信号を再構成して、再構成済み信号を生成することと、
    前記再構成済み信号を前記信号と比較して、再構成誤差を生成することと、
    前記不確定性指標を前記再構成誤差と合成して、手作業ラベル付けの必要性に関し、前記信号におけるエントロピー関数と前記再構成誤差との加法に基づいて規定されるランクを生成することと、
    前記ランクに従って前記信号をラベル付けして、前記ラベル付け済み信号を生成することと、
    前記ラベル付け済み信号を用いて、前記ニューロンネットワーク及び前記デコーダーニューロンネットワークをトレーニングすることと、
    を含む動作を実行させる、非一時的コンピューター可読媒体。
12. 前記ラベル付けすることは、
    前記ランクが、前記手作業ラベル付けプロセスの前記必要性を示す場合には、注釈デバイスにラベル付け要求を送信すること、
    を含む、請求項１１に記載の非一時的コンピューター可読媒体。
13. 前記特徴を特定することは、エンコーダーニューラルネットワークを使用することによって実行される、請求項１１に記載の非一時的コンピューター可読媒体。
14. 前記信号は、脳波図（ＥＥＧ）又は心電図（ＥＣＧ）である、請求項１１に記載の非一時的コンピューター可読媒体。
15. 前記再構成誤差は、前記信号と前記再構成済み信号との間のユークリッド距離に基づいて定義される、請求項１１に記載の非一時的コンピューター可読媒体。

Images