JP6983800B2 - ニューラルネットワークにおける強化学習によるユニーク／希少なケースの分類のための方法 - Google Patents

Description

本発明は機械学習技法に関し、より詳細には、深層畳み込みニューラルネットワーク（ＣＮＮ）などの深層ニューラルネットワーク（ＤＮＮ）に関する。特に、本発明は、ニューラルネットワークにおける強化学習によるユニーク／希少なケースの分類方法に関する。そのような希少なケースは、以前に学習されたすべてのデータと大幅に異なる可能性があり、普段の状況で発生する可能性が低い状況またはシナリオとして定義することができる。

そのような方法は、特に、障害物の検出および回避のためのカメラまたはライダーセンサなどの深度センサを使用して環境の中を安全に操縦する、人間支援型または自律型の車両の分野において有用である。

公開文献「Ｄｉｓｔｉｌｌｉｎｇ ｔｈｅ Ｋｎｏｗｌｅｄｇｅ ｉｎ ａ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」、Ｇｅｏｆｆｒｅｙ Ｈｉｎｔｏｎ、Ｏｒｉｏｌ Ｖｉｎｙａｌｓ、Ｊｅｆｆ Ｄｅａｎ、ａｒＸｉｖ：１５０３．０２５３１は、特殊な圧縮技法を使用して、モデルの集合の知識（すべてのモデルの間の合意の必要性に起因する低いレベルの誤警報）を単一のモデルに圧縮する方法を提案しているモデルの集合から単一のモデルに知識を転送するプロセスは、「蒸留」と呼ばれる。それは、小さいモデルを訓練するための「ソフトターゲット」として、モデルの集合によって生成されたクラス確率を使用することによって行うことができる。訓練は、完全にラベル付けされてないデータを使用することにより、または元の訓練データセットを使用することによって行うことができる。知識は、完全にラベル付けされていないデータを使用して転送することができるが、この方法は、ネットワークの初期集合内と同じ数のクラスをターゲットネットワークに保持する必要がある。したがって、単一のネットワークに転送されるべきネットワークの集合によって獲得された共通の合意のために、選択された誤警報を回避する方法に関する知識でさえ、ラベル付けされたデータサンプルで訓練されたネットワークの特徴／決定空間のローカル近傍内に限定されるはずである。このように、分類段階で、以前に見えなかったデータサンプルに効率的に対処することはできない。

公開文献「Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ」、Ｉａｎ Ｊ． Ｇｏｏｄｆｅｌｌｏｗ、Ｊｅａｎ Ｐｏｕｇｅｔ−Ａｂａｄｉｅ、Ｍｅｈｄｉ Ｍｉｒｚａ、Ｂｉｎｇ Ｘｕ、Ｄａｖｉｄ Ｗａｒｄｅ−Ｆａｒｌｅｙ、Ｓｈｅｒｊｉｌ Ｏｚａｉｒ、Ａａｒｏｎ Ｃｏｕｒｖｉｌｌｅ、Ｙｏｓｈｕａ Ｂｅｎｇｉｏ、ａｒＸｉｖ：１４０６．２６６１は、発生モデルと識別モデルの両方の同時訓練の対立プロセスの使用を開示している。発生モデルは、新しいデータサンプルを合成することができるように、以前にラベル付けされたデータサンプルからのデータ分布をモデル化しなければならない。識別モデルは、モデルによって生成されるのではなく、この新しいサンプルが訓練データセットからである確率を推定するように訓練されなければならない。この反復プロセスはミニマックス２人ゲームに対応し、そこでは、強化学習が識別モデルの改善につながる。このシステムの主な欠点は二重になっている。第１に、２つのモデルは、ラベル付けされたデータサンプルによって境界が定められた同じ特徴空間で動作しており、それにより、ラベル付けされたデータセット内で提示されたサンプルと比較して実質的に異なるサンプルの分類の改善が非常に限定される。生成モデルでも新規のサンプルを生成している。新規のサンプルは、ラベル付けされたサンプルから学習された特徴の線形結合として解釈できるので、生成モデルは純粋に新規のデータをモデル化することはできない
。第２に、初期段階において、この方法は決定空間を局所的に改善することができるが、識別モデルの評価からのフィードバックが弱いためにその未知の領域を効率的に探索することができず、補強プロセスの高速飽和につながるであろう。

公開文献「Ｅｘｐｌａｉｎｉｎｇ ａｎｄ Ｈａｒｎｅｓｓｉｎｇ Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅｓ」、Ｉａｎ Ｊ．Ｇｏｏｄｆｅｌｌｏｗ、Ｊｏｎａｔｈｏｎ Ｓｈｌｅｎｓ、Ｃｈｒｉｓｔｉａｎ Ｓｚｅｇｅｄｙ、ａｒＸｉｖ：１４１２．６５７２は、誤警報の潜在的な原因である、特定の画像位置にランダムノイズを加えることによって容易に欺くことができる深層ニューラルネットワークを開示している。その上にわずかな偏差を生成することによって誤分類につながる初期画像サンプルの最小歪みを探索するために、２次方法を採用することが提案されている−修正された画像は対立例と呼ばれる。それらは、分類器からの損失を後方伝搬することによって生成することができる。あらゆる画像サンプルに対してネットワークの２回のパスが必要である。この方法は、データ拡張の別の形態と考えることができる。しかしながら、そのような方法は、既存のラベル付けされたデータサンプルからのデータ拡張にのみ限定されるので、たとえば、希少な／見えない／ユニークなオブジェクトに関して異なる外観を有するオブジェクトの誤分類の問題を解決することはできない。

公開文献 「Ｔｈｅ Ｖｉｒｔｕｅｓ ｏｆ Ｐｅｅｒ Ｐｒｅｓｓｕｒｅ：Ａ Ｓｉｍｐｌｅ Ｍｅｔｈｏｄ ｆｏｒ Ｄｉｓｃｏｖｅｒｉｎｇ Ｈｉｇｈ−Ｖａｌｕｅ Ｍｉｓｔａｋｅｓ」、Ｓｈｕｍｅｅｔ Ｂａｌｕｊａ、Ｍｉｃｈｅｌｅ Ｃｏｖｅｌｌ、Ｒａｈｕｌ Ｓｕｋｔｈａｎｋａｒ、ＣＡＩＰ２０１５は、ニューラルネットワークによって誤分類された入力インスタンスを効率的かつ直感的に発見する方法を提案している。互いに矛盾がない圧力を提供するべきＮ個の同様の「ピアネットワーク」のバスケットを訓練することが提案されている。単一のネットワークが、それらの予測が一致している他のすべてのネットワークと合意しない例が見つかったとき、その例は潜在的な間違いとみなされる。変換、縮尺変更、色の変更などのデータ拡張変換を使用して元データを修正することによって間違いを生成することも提案されている。すべての潜在的な間違いは、分類精度を向上させるために訓練データセットに後で追加される。この技法のさらなるバージョンは、元の画像上で行われる幾何学的変換の代わりに、ビデオ内のオブジェクトの画像時系列を分類するためにピアネットワークを適用することができ、ネットワークがほとんどを合意しないフレームの場合、訓練データセットを増強するために使用される間違いとみなすことができる。このようにして、ビデオはかなり豊富なデータソースを提供する。データ拡張の変動率は、オブジェクト追跡を使用することによって拡大することができるが、ラベル付けされたデータサンプルに対する訓練によって開始されたローカル空間でデータを収集することによって、依然として制限される。ピアネットワークは同様のラベル付けされたデータで同様の方式で学習しているので、以前は見えない／希少な／ユニークなデータを矛盾なく分類することができない。以前に学習されたデータと視覚的に類似するデータサンプルに関するそれらの確実な合意、および新しいデータサンプルに対する意見の相違または確実でない合意を期待するべきである。したがって、分類精度を向上させるために必要な重要アクションである、新しいデータサンプルのための特徴／決定空間の矛盾がない改善を期待することができない。

要約すると、従来技術の公開文献は、様々な種類のデータ拡張を介して希少な／見えない／ユニークなデータの誤分類の問題に対する解決策を提案し、そこでは、ビデオ内の追跡を介して、既存のラベル付けされたデータサンプルを修正すること、または（以前に学習されたデータサンプルに視覚的に類似するが）ラベル付けされていないデータサンプルの様々な時間インスタンスを使用することにより、（現在の深層ニューラルネットワークによって誤分類される）新しいデータサンプルが生成される。対象の問題は、以前見えな
かったが初期訓練中に利用可能なデータサンプルに視覚的に類似するデータサンプルの誤分類を回避する深層ニューラルネットワークを用いて、大きく解決することができるが、訓練中に使用されなかった視覚的に類似していないデータサンプルに対する精度を矛盾なく向上させることはできない。１つの解決策は、ラベル付けされたデータの非常に大きいデータセットを使用して、視覚的に類似していない見えないデータサンプルの数を最小化することに基づく可能性があるが、これは、実際にはほとんど不可能な指数関数的に高価なデータ収集タスクである。

本発明は、従来技術の上述された欠点に対処し、視覚的に類似する誤分類データサンプルと視覚的に類似していない誤分類データサンプルの両方をホストし分類することができる、特徴空間ならびに決定空間を結合する深層ニューラルネットワークを使用することによってこの問題を克服する第１の態様によって処理することを目的とする。

この目的のために、本発明の第１の態様は、
−画像データを元データ（Ｄａｔａ−Ａ）として取り込むステップと、
−元データ（Ｄａｔａ−Ａ）よりも高いスケールでラベル付けされていないデータ（Ｄａｔａ−Ｃ）としてラベル付けされていない画像を供給するステップと、
−取り込まれた画像データの間で希少なケースを分類するように深層ニューラルネットワーク学習能力を強化するステップであって、
−前記元データ（Ｄａｔａ−Ａ）の一般的なケースを指定されたラベル（Ｌａｂｅｌ−Ａ）に分類するために使用される第１の深層ニューラルネットワーク（ＤＮＮ−Ａ）を訓練するサブステップと、
−第１の深層ニューラルネットワークを介して処理された元データ内の識別クラス固有特徴を局所化し、識別クラス固有特徴を空間確率ラベル（Ｌａｂｅｌ−Ｂ）としてマッピングするサブステップと、
−元データの希少なケースを空間確率ラベルに分類するために使用される第２の深層ニューラルネットワーク（ＤＮＮ−Ｃ）を訓練するサブステップと、
−元データの一般的なケースと希少なケースの両方を１次結合指定および空間確率ラベル（Ｌａｂｅｌ−Ａ＋Ｂ^＊）に分類するために使用される結合深層ニューラルネットワーク（ＤＮＮ−Ｄ）を訓練するサブステップと
を備えるステップと
を備える、画像処理方法に関する。

有利なことに、第１の態様による画像処理方法は、より具体的に、
−一般的なケースおよび希少なケースを含む元データならびに指定されたラベル（Ｌａｂｅｌ−Ａ）を供給することによって第１の深層ニューラルネットワーク（ＤＮＮ−Ａ）を訓練し、元データの一般的なケースを指定されたラベルに分類するために使用される少なくとも１つのクラス固有特徴空間および少なくとも１つの決定空間を出力するステップと、
−第１の深層ニューラルネットワークの前記少なくとも１つのクラス固有特徴空間を介して処理された元データ内の識別クラス固有特徴（ＨＥＡＴ−Ｂ）を局所化し、識別クラス固有特徴を空間確率ラベル（Ｌａｂｅｌ−Ｂ）として元データにマッピングするステップと、
−元データおよび前記空間確率ラベルを供給することによって第２の深層ニューラルネットワーク（ＤＮＮ−Ｃ）を訓練し、元データの希少なケースを（サイズ変更された）空間確率ラベル（Ｌａｂｅｌ−Ｂ^＊）に分類するために使用される、少なくとも１つの汎用特徴（すなわち、非クラス固有特徴）空間および少なくとも１つの汎用決定（すなわち、非クラス固有決定）空間を出力するステップと、
−元データ、指定されたラベル（Ｌａｂｅｌ−Ａ）、および空間確率ラベル（Ｌａｂｅｌ−Ｂ^＊）を供給することによって第１の結合深層ニューラルネットワーク（ＤＮＮ−Ｄ
）を訓練し、元データの一般的なケースと希少なケースの両方を１次結合指定および空間確率ラベル（Ｌａｂｅｌ−Ａ＋Ｂ^＊）に分類するために使用される、１次結合クラス固有および汎用特徴／決定空間を出力するステップと、
−ラベル付けされていないデータ（Ｄａｔａ−Ｃ）を供給することによって前記結合深層ニューラルネットワーク（ＤＮＮ−Ｄ）をさらに訓練し、ラベル付けされていないデータを１次結合指定および空間確率ラベル（Ｌａｂｅｌ−Ａ＋Ｂ^＊）に分類し、１次結合指定および空間確率ラベル（Ｌａｂｅｌ−Ａ＋Ｂ^＊）を２次結合指定および空間確率誤分類ラベル（Ｌａｂｅｌ−Ｃ）にマッピングするステップと、
−ラベル付けされていないデータ（Ｄａｔａ−Ｃ）、２次誤分類ラベル（Ｌａｂｅｌ−Ｃ）、およびペナルティ行列を供給することによって第２の結合深層ニューラルネットワーク（ＤＮＮ−Ｆ）を訓練し、ペナルティ行列に従って、ラベル付けされていないデータ（Ｄａｔａ−Ｃ）の一般的なケースと希少なケースの両方を２次誤分類ラベル（Ｌａｂｅｌ−Ｃ）に分類するために使用される２次結合決定および特徴（ＦＣ−Ｃ→Ａ→Ｄ→Ｆ；Ｃｏｎｖ−Ｃ→Ａ→Ｄ→Ｆ）空間を出力するステップと、
−取り込まれたれた画像に基づいて一般的なケースおよび希少なケースを分類するステップと
を備える。

そのような画像処理方法は、視覚的に類似する誤分類データサンプルと視覚的に類似していない誤分類データサンプルの両方を容易にホストし分類することができる、汎用空間とクラス固有空間を結合する深層ニューラルネットワークを使用する。より詳細には、第１の深層ニューラルネットワークでは、訓練された特徴空間は、非識別情報をフィルタリングし、次のステップで最も識別可能な情報を見つける事前フィルタとして機能する。局所化ステップおよびマッピングステップは、元の画像に関連付けられたラベル付け情報の空間的および確率的な寸法を追加する。第２の深層ニューラルネットワークの訓練ステップの間、この情報は、クラス固有情報を除去することにより、識別クラス固有特徴に基づいて汎用特徴空間を作成するために使用される。クラス固有特徴空間と汎用特徴空間の両方は、視覚的に類似する誤分類データサンプルおよび視覚的に類似しない誤分類データサンプルを効率的に処理するために互いに補完する。さらに、第１の結合深層ニューラルネットワークの訓練ステップの間、汎用特徴空間とクラス固有特徴空間の両方を結合することにより、すべての希少なケースが自動的にクラスタリングされ、これらの希少なケースに対する訓練プロセスにより良く焦点を合わせるが可能になり、したがって、希少なケースを検出し誤警報を減らす精度が上がることをもたらす深層ニューラルネットワーク全体の学習能力が向上する。

さらに、方法は、新しい１次結合クラス固有および汎用の特徴／決定空間内でホストされる誤分類エラーの各グループのまわりに新しい誤分類ラベルを形成する。（任意の種類の自然な画像／ビデオである可能性がある）ラベル付けされていないデータの大きいソースを使用することにより、十分なデータサンプルを収集することを保証することが可能であり、その結果、（第１の深層ニューラルネットワークのラベル付けされたデータを訓練する視点から）以前の希少な／ユニークな／見えないケースに視覚的に類似する多くのデータは、一般的なケースと希少なケースの両方が高い分類精度を有する適切な特徴／決定空間を構築することができる、さらなる深層ニューラルネットワークによって使用されるはずである。

加えて、ラベル付けされていないデータの大きいソースを使用することにより、第２の結合深層ニューラルネットワークが、一般的なケースと希少なケースの両方が高い分類精度を有する適切な特徴／決定空間を構築することが可能になる。
ラベルの選択されたペアの間の誤分類の優先重要度に関する人間の知識は、ペナルティ行列の形態で導入され、それは、（ペナルティ行列内のラベルの各ペアの間の誤分類に対
するペナルティとして定義される）アプリケーションレベルのリスクの事前推定に従って、希少な／ユニークなケースごとに将来の誤分類ミスを再調整するように、訓練に使用されるラベル付けされていないデータサンプルの分布を制御するために使用される。そのようなペナルティ行列は、訓練段階の前に自動的に定義されるか、強化ループの各反復において人間の専門家によって再定義される可能性がある。

有利なことに、第１、第２、および結合の深層ニューラルネットワークは、畳み込みニューラルネットワークである。そのような場合、様々な深層ニューラルネットワークは、２次元入力を使用することを可能にする。

有利なことに、識別クラス固有特徴（ＨＥＡＴ−Ｂ）の局所化ステップは、
−前記少なくとも１つのクラス固有特徴空間を介して処理された元データのパッチをランダムに抽出するステップと、
−同じ指定されたラベル（Ｌａｂｅｌ−Ａ）のすべてのパッチの中から、それらの統計的な人気度によってランダムに抽出されたパッチをランク付けするステップと、
−上位ランクのパッチから始まるビジュアルワード特徴を袋詰めするステップと、
−ビジュアルワード特徴の袋をランダムフォレストツリー分類するステップと、
−識別クラス固有特徴を局所化し、それらの相対的な重要度を推定するために、ランダムフォレストツリー分類を使用して変数重要度測定値を抽出するステップと
から構成される。

識別クラス固有特徴を局所化およびマッピングするそのようなステップは、指定されたラベルとともに機能する損失関数を使用している、深層ニューラルネットワークによる特徴／決定空間作成のための正規化プロセスを定義する方法を、空間位置に関連する空間確率ラベル、およびヒートマップの形態で最も識別可能な特徴（すなわち、非クラス固有）の対応する確率を使用するプロセスに再公式化する。そのような特徴／決定空間作成プロセスにより、クラス固有特徴を補完する汎用特徴の特徴／決定空間を訓練することが可能になる。次いで、両方の特徴空間を結合することにより、様々なタイプの誤分類エラーを確実に識別できる深層ニューラルネットワークを訓練することが可能になる、なぜなら、誤分類エラーは、クラス固有特徴／決定空間において以前に不明瞭にマージされた汎用特徴によって識別することもできるからである。

有利なことに、ランダムに抽出されたパッチは、前記少なくとも１つのクラス固有特徴空間を介して処理された元データの高レベルの活性化を有し、ビジュアルワード特徴の袋詰めが高ランクのパッチに対して実行され、抽出された変数重要度測定値は、識別性が高いクラス固有特徴を局所化するために、ランダムフォレストツリー分類を使用している。

有利なことに、第２の深層ニューラルネットワーク（ＤＮＮ−Ｃ）の訓練ステップは、
−空間確率ラベル（Ｌａｂｅｌ−Ｂ）をサイズ変更するステップと、
−汎用損失関数によって生成されたフィードバックの後方伝播を介して汎用特徴および決定空間を学習するために、対応するサイズ変更された空間確率ラベルを有する元データのバッチ（またはミニバッチ）を作成するステップと、
−指定されたラベル（Ｌａｂｅｌ−Ａ）とは関係なく、識別クラス固有特徴の局所化および確率を推定するステップと、
・元データの希少なケースをサイズ変更された空間確率ラベル（Ｌａｂｅｌ−Ｂ^＊）に分類するステップと
をさらに含む。
第２の深層ニューラルネットワークのそのような訓練ステップは、識別クラス固有特徴に対応する汎用特徴／決定空間を学習し、希少なケースをサイズ変更された空間確率ラベルに分類するために、前のステップから受け取ったヒートマップをサイズ変更することを
保証する。

有利なことに、第１の結合深層ニューラルネットワーク（ＤＮＮ−Ｄ）の訓練ステップは、
−少なくとも１つの汎用特徴空間および少なくとも１つのクラス固有特徴空間を、異なる学習率を有する１次結合クラス固有および汎用特徴空間を形成する少なくとも１つの統合特徴空間に結合するステップと、
−少なくとも１つの汎用決定空間および少なくとも１つのクラス固有決定空間を、１次結合クラス固有および汎用決定空間を形成する少なくとも１つの統合決定空間に結合するステップと、
−第２の深層ニューラルネットワークの汎用損失関数および第１の深層ニューラルネットワークのクラス固有損失関数の結合損失関数を使用して、１次結合指定および空間確率ラベル（Ｌａｂｅｌ−Ａ＋Ｂ^＊）から任意のラベルに属する元データに対するフィードバックを提供するステップと
をさらに含む。
汎用およびクラス固有特徴／決定空間の結合または融合により、任意の種類のラベル付けされた、またはラベル付けされていないデータを用いてそのような結合深層ニューラルネットワークを訓練することが可能になる。

有利なことに、汎用特徴空間の学習率は、クラス固有特徴空間の学習率よりも小さい。

有利なことに、第２の結合深層ニューラルネットワーク（ＤＮＮ−Ｆ）の訓練ステップは、
−訓練された第１の結合深層ニューラルネットワーク（ＤＮＮ−Ｄ）から開始するステップと、
−ネットワークの能力を向上させて新たに学習された特徴および決定をホストする目的で、必要に応じて隠れレイヤを追加することによって特徴空間および決定空間を拡張するステップと、
−ペナルティ行列に基づいて誤分類に対するより高いペナルティを有する、希少なケースに対してより多くのデータサンプルを使用することにより、第２の結合深層ニューラルネットワークの損失関数またはラベル付けされていないデータのバッチを修正するステップと
をさらに含む。

より一般的には、方法は、第２の結合深層ニューラルネットワークの損失関数のための新しい誤分類ラベルを定義し、第２の結合深層ニューラルネットワークは、次いで、元の指定されたラベルに関連する間違いのサブラベル付けを、第１の結合深層ニューラルネットワークからの結合汎用／クラス固有特徴／決定空間において行うことができるので、見えない／希少な誤分類の間違いの位置において特徴／決定空間をより良く学習する。さらに、第２の結合深層ニューラルネットワークは、次いで、ラベル付けされていないデータを使用して、第１の結合深層ニューラルネットワーク（ＤＮＮ−Ｄ）に供給し、新たに定義された間違いのサブラベルごとに十分なデータサンプルを収集することができる。次いで、好ましくは第１の結合深層ニューラルネットワーク（ＤＮＮ−Ｄ）から事前訓練された別の（第２の）深層ニューラルネットワーク（ＤＮＮ−Ｆ）を、元々ラベル付けされていないデータソースから新たに収集されたデータサンプルに対して訓練することにより、以前に見えない／希少な位置における結合特徴／決定空間を効率的に改善することができる。

有利なことに、方法は、
−一般的なケースと希少なケース、指定されたラベル（Ｌａｂｅｌ−Ａ）、およびペナ
ルティ行列を含む元データ（Ｄａｔａ−Ａ）を供給すること、ならびに
−ペナルティ行列に従って、元データの一般的なケースと希少なケースの両方を指定されたラベルに分類するために使用される１次結合決定および特徴空間を出力すること
−によって、第３の結合深層ニューラルネットワーク（ＤＮＮ−Ｇ）を訓練するステップ
をさらに備える。

有利なことに、第３の結合深層ニューラルネットワーク（ＤＮＮ−Ｇ）の訓練ステップは、
−ラベル付けされていないデータ（Ｄａｔａ−Ｃ）および２次誤分類ラベル（Ｌａｂｅｌ−Ｃ）に対して訓練された第２の結合深層ニューラルネットワーク（ＤＮＮ−Ｆ）から開始するステップと、
−隠れレイヤを追加することによって特徴空間および決定空間を拡張するステップと、
−ペナルティ行列に基づいて誤分類に対するより高いペナルティを有する、希少なケースに対してより多くのデータサンプルを使用することにより、第３の結合深層ニューラルネットワークの損失関数（Ｌｏｓｓ−Ａ）またはラベル付けされていないデータのバッチを修正するステップと
をさらに含む。
第３の結合深層ニューラルネットワーク（ＤＮＮ−Ｇ）の訓練ステップは、入力されたラベル付けされていないデータを間違いのサブラベルに分類することができる、訓練された第２の結合深層ニューラルネットワーク（ＤＮＮ−Ｆ）から転送された知識を使用する。この第３の結合深層ニューラルネットワーク（ＤＮＮ−Ｇ）は、初期の深層ニューラルネットワーク（ＤＮＮ−Ａ）と同じ入力および出力構成を有し、したがって、大きい補強ループを作ることを可能にする。別のユニーク／希少なケースと比較して、ユニーク／希少なケースごとに新しいラベルを訓練するために、より多くの訓練データサンプルを提供することにより、一般的なケースおよび希少なケースをホストする可能性がある特徴／決定空間を構築する方法に関する知識転送の産物である、最終（第３の）結合深層ニューラルネットワークにおける誤分類エラーの将来の分布を制御することが可能になる。各反復の間に、ラベル付けされていないデータからの新しいデータサンプルが学習されるはずなので、補強方法は、最終ネットワーク（ＤＮＮ−Ｇ）のさらなる改善を維持しなければならない。

有利なことに、２次結合誤分類ラベル（Ｌａｂｅｌ−Ｃ）への１次結合ラベル（Ｌａｂｅｌ−Ａ＋Ｂ^＊）のマッピングステップは、第２の結合深層ニューラルネットワークと第３の結合深層ニューラルネットワークの両方の訓練ステップとともに、小さい補強ループを形成し、第１の深層ニューラルネットワークの訓練ステップから第３の結合深層ニューラルネットワークの訓練ステップまでのステップは、大きい補強ループを形成する。
このように、誤分類の間違いおよびより良い特徴／決定空間の構築を介して見えない／希少なケースの学習を初期化するために使用された、初期深層ニューラルネットワーク（ＤＮＮ−Ａ）は、したがって、より正確で信頼できるグローバルネットワークと（ＤＮＮ−ＡからＤＮＮ−Ｇへ）置き換えることができ、そのようなプロセス全体を再び繰り返すことができる。各補強ループは、前の段階では学習されていない新しい情報を学習することから恩恵を受け、それは、ラベル付けされていないほとんど無制限のソースからもたらされ、したがって、大幅には飽和しない。

より一般的には、上述された本発明の様々な態様は、様々な先行技術の公開文献に大幅な改善をもたらす。
「Ｄｉｓｔｉｌｌｉｎｇ ｔｈｅ Ｋｎｏｗｌｅｄｇｅ ｉｎ ａ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」の公開文献とは対照的に、本発明では、以前に学習されたデータサンプルの近くだけでなく、ペナルティ行列によって定義される誤分類のリスクが高い未知の位置
／領域に焦点を当てることにより他の場所でも、ラベル付けされていないデータを使用して、特徴／決定空間を構築することが提案されている。そのような方法で、本発明は、より正確で強固な分類につながる、これまでは希少な／ユニークな／見えないケース、すなわちデータサンプルのための特徴／決定空間のカバレージを大きくかつ高密度にする。

「Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ」の公開文献とは対照的に、本発明では、補間的な汎用特徴／決定空間、すなわち、非クラス固有特徴／決定空間を使用することにより、そのような特徴／決定空間を大幅に細分することが可能になり、データの巨大なラベル付けされていないソースを使用することにより、準独立した方式で各部分空間における分類を改善することが可能になる。これは、２つのモデルおよびラベル付けされたデータのみを使用する統合プロセスと比較して、補強飽和レベルがはるかに低くなる。なぜなら、補強方法の場合、各強化ループは新しい（ラベル付けされていない）データを探索し、したがって、現在のデータと以前に学習されたデータとの類似性が高いため、局所的な最小値に留まる可能性がはるかに低いからである。

「Ｅｘｐｌａｉｎｉｎｇ ａｎｄ Ｈａｒｎｅｓｓｉｎｇ Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅ」の公開文献とは対照的に、本発明では、既存のラベル付けされたデータサンプルからのデータ拡張と比較して変動性が高い潜在的に桁違いの大きさを有するラベル付けされていないデータを使用し、誤分類のリスクが高いこれまでは見えない／希少なケースを具体的に検索することを可能にする特徴／決定空間を拡張することによってデータ拡張の問題が対処される。したがって、本発明では、はるかに高い変動性のより多くの対立データサンプルを収集することが可能であり、それにより、より良い特徴／決定空間の構築をもたらし、最終的に、より正確な分類および誤警報のレベル低下をもたらす。

「Ｔｈｅ Ｖｉｒｔｕｅｓ ｏｆ Ｐｅｅｒ Ｐｒｅｓｓｕｒｅ：Ａ Ｓｉｍｐｌｅ Ｍｅｔｈｏｄ ｆｏｒ Ｄｉｓｃｏｖｅｒｉｎｇ Ｈｉｇｈ−Ｖａｌｕｅ Ｍｉｓｔａｋｅｓ」の公開文献とは対照的に、本発明では、非クラス固有ラベルを有する結合汎用／クラス固有特徴空間を使用することにより、ラベル付けされたデータを使用して以前に学習された位置／領域に限らず、ペナルティ行列に従って高いアプリケーションリスクに特に焦点を当てて、任意のこれまでは見えない／希少なデータサンプルのまわりの特徴／決定空間を適切に訓練するために、ラベル付けされていないデータから十分なデータサンプルを収集することが可能になる。

別の態様によれば、本発明は、
−車両が運転されているときに、少なくとも運転者の視点から見える辿った経路の部分を取り込み、一連のデジタルファイルに変換するように配置された経路取込みユニットと、
−上記の画像処理方法に従って一連のデジタルファイルに基づいて希少なケースを分類するように配置された、深層ニューラルネットワークをホストする処理ユニットと、
−分類された希少なケースに関する情報を表示するように配置された表示ユニットと、
−車両を制御するように配置された自動運転ユニットと、
−分類された希少なケースに応じて、表示ユニットおよび自動運転ユニットのうちの少なくとも１つを作動させるように配置された決定ユニットと
を備える車両に関する。

別の実施形態によれば、処理ユニットは、分散補強ループプロセスの最新結果を統合するサービスモードにおいて、クラウドコンピューティング処理リソースを介してオンラインで、またはオフラインで更新されるように配置される。

本発明の他の特徴および利点は、添付の図面によって例示される、本発明の特定の非限
定的な例の以下の詳細説明からより明らかになる。

本発明の好ましい実施形態による、希少なケースを分類するように深層ニューラルネットワークの学習能力を強化する方法を表す図である。 本発明の好ましい実施形態による段階Ａを表す図である。 本発明の好ましい実施形態による段階Ｂを表す図である。 本発明の好ましい実施形態による段階Ｃを表す図である。 本発明の好ましい実施形態による段階Ｄを表す図である。 本発明の好ましい実施形態による段階Ｅを表す図である。 本発明の好ましい実施形態による段階Ｆを表す図である。 本発明の好ましい実施形態による段階Ｇを表す図である。 本発明による方法を実施するために必要なユニットを備えた車両を表す図である。

全体的な要約
図１は、本発明の好ましい実施形態による、希少なケースを分類する能力を学習する、畳み込みニューラルネットワークなどの深層ニューラルネットワーク（ＤＮＮ）を強化する方法を表す。

ＤＮＮの訓練プロセス全体は、大きい強化ループ（段階Ｉ）を形成するいくつかの段階Ａ〜Ｇを備える。大きい補強ループの中で、段階Ｅ−Ｇは小さい補強ループ（段階Ｈ）を形成する。

ＤＮＮ全体に対応する大きい補強ループの入力（段階Ａ）には、画像／ビデオデータなどの元データサンプル（Ｄａｔａ−Ａ）、および元データサンプルを分類するために指定されたタグまたはラベル（Ｌａｂｅｌ−Ａ）がある。小さい補強ループの入力（段階Ｅ）には、広範囲のカテゴリのラベル付けされていないデータサンプル（Ｄａｔａ−Ｃ）が供給される。任意の画像／ビデオソースから取ることができるラベル付けされていないデータの量は、通常、元データよりもはるかに（１００倍以上）高い。ペナルティ行列も段階ＦおよびＧで小さい補強ループに供給される。

簡単に述べると、ＤＮＮ全体の主な目標は、以下のアルゴリズムを使用してＤＮＮの訓練を強化することである。段階Ａの間、アルゴリズムは、Ｄａｔａ−ＡおよびＬａｂｅｌ−Ａを使用して最先端のＤＮＮ−Ａを訓練する。段階Ｂ〜Ｄ（大きい補強ループ）の間、アルゴリズムはＤＮＮの隠れレイヤに接続し、汎用特徴として信号活性化を再解釈し、次いで、希少なケースを適切にホスト／分類できる結合特徴／決定空間（１次空間）を作成し、その後に小さい補強ループが続く。

段階Ｅ〜Ｇ（小さい補強ループ）の間、アルゴリズムは１次空間を２次特徴／決定空間にマッピングし、それらをラベル付けされていないデータで満たす。そのような２次空間は、一般的なケースと同様に希少なケースを学ぶために十分なデータサンプルおよびレイヤを有する。ペナルティ行列は、どのように特徴空間が構築されるべきかについてのプライアを与える。プライアは、事実、仮説、または結果に関してエージェント（すなわち、プログラマ）が保持する信念を一般的に指す。一度訓練されると、２次特徴／決定空間は、最先端のＤＮＮ−Ａの入力および出力に一致するように歪められる。この段階の間、マッピングの品質を直接評価することはできないが、少なくとも２つの間接的な方法を使用することができる。第１に、ＤＮＮ−Ｃの正確な評価は、地上検証データが利用可能なその訓練データを訓練／試験バッチにさらに分割することによって行うことができる。第２
に、最終的なパフォーマンスは、以下に起因してマッピングの精度と相関させることができる。より良いマッピングは、より視覚的に類似するラベル付けされていない画像をアンチクラスごとに一緒にグループ化されるようにするはずであり、したがって、より反応が早い特徴／決定は段階Ｅ〜Ｇで学習されるべきであり、一般的なケースと希少なケースの両方を認識する際の最終的な精度が高くなる。

ところで、使用され得るラベル付けされていないデータは、品質要件に対処する必要がない。実際、任意の種類の画像は、さらに合成またはランダムに生成されたラベル付けされていないデータとして使用される可能性がある。今日、写真／オーディオをホストするプラットフォームにアクセスすると、誰でも何十億もの画像を取得して、ラベル付けされていないデータを取得することができる。ラベル付けされていない画像のドメインがターゲットドメインに近ければ近いほど、ラベル付けされた／ラベル付けされていないデータの新しく学習された特徴／決定空間の間の重なりが高くなるはずである。特に、自動車用途では、任意の自然／合成の屋外または屋内の画像を使用することができる。最後に、画像の質または解像度は、ほとんどの視覚的特徴が画像の中で反復可能なので、何百万もの画像サンプルを使用する場合に重要な要素ではない。

ＤＮＮ全体の達成目標は、（一般的な知識に基づいて）ペナルティ行列として定義された誤分類の危険にさらされるプライアに応じて、希少／ユニークなケースの分類精度を向上させるように、ＤＮＮの学習能力を強化することである。
使用できるＤＮＮの一例はｌｎｃｅｐｔｉｏｎ−Ｖ３であり、さらなる詳細は、ｈｔｔｐ：／／ａｒｘｉｖ．ｏｒｑ／ｐｄｆ／１５１２．００５６７ｖ３．ｐｄｆに与えられている。

段階Ａ
図２は、第１の深層ニューラルネットワーク（ＤＮＮ−Ａ）の訓練の段階Ａを表す。
供給されるデータは、画像（Ｄａｔａ−Ａ）およびタグ（Ｌａｂｅｌ−Ａ）であり、ｘ^＊ｙの画像は１：Ｎクラスのインスタンスとしてタグ付けされる。
アルゴリズムはＤＮＮ−Ａを訓練し、そこで、畳み込みレイヤに関連する特徴空間（Ｃｏｎｖ−Ａ）と完全に接続されたレイヤに関連する決定空間（ＦＣ−Ａ）の両方が、タグ付き画像のミニバッチからの順方向信号を与えられた損失関数（Ｌｏｓｓ−Ａ）によって生成されるフィードバックの後方伝播を介して構築される。

段階Ａの出力は決定（ＦＣ−Ａ）空間および特徴（Ｃｏｎｖ−Ａ）空間を含み、それらは、Ｄａｔａ−Ａのような画像インスタンスをＬａｂｅｌ−Ａ指定タグに自動的に分類するためにＤＮＮ−Ａによって使用される。
段階Ａの目標は、訓練された特徴／決定空間が、Ｄａｔａ−Ａ内の非識別情報をフィルタリングすることであり、それは、次のステップで最も識別可能な情報を見つける事前フィルタとして機能する。

段階Ｂ
図３は、「プラグイン」画像およびタグの段階Ｂ、ならびに段階Ａの「再解釈」出力を表す。
供給されるデータは、段階Ａと同じ、すなわち画像（Ｄａｔａ−Ａ）およびタグ（Ｌａｂｅｌ−Ａ）であり、そこで、ｘ^＊ｙの画像が１：Ｎクラスのインスタンスとしてタグ付けされ、段階Ｂ向けの入力として強力な活性化のみを維持しながら、画像（ｄａｔａ−Ａ）が畳み込みレイヤを通過する。
アルゴリズムは、
−ＤＮＮ−Ａの畳み込みレイヤを介して処理された画像信号の活性化レベルが高いパッチ（Ｅｘｔ−Ｂ）のランダム抽出、
−同じクラスのすべてのパッチの中からそれらの統計的人気度によってランダムに抽出されたパッチ（Ｅｘｔ−Ｂ）のランク付け（Ｒａｎｋ−Ｂ）、
−高いランクのパッチ（Ｒａｎｋ−Ｂ）を使用する（ビジュアル）ワード特徴（ＢＯＷ−Ｂ）の袋詰め、
−（ビジュアル）ワード特徴（ＢＯＷ−Ｂ）変換されたデータの袋のランダムフォレストツリー（ＲＦＴ−Ｂ）分類、
−ランダムフォレストツリー（ＲＦＴ−Ｂ）分類結果を使用して、最も識別可能なパッチを見つけ、それらの相対的重要度を推定する変数重要度（ＩＭＰ−Ｂ）測定、
−最も識別可能なパッチ（ＩＭＰ−Ｂ）の局所化（ＨＥＡＴ−Ｂ）および新しい空間確率ラベル（Ｌａｂｅｌ−Ｂ；ヒートマップｘ^＊ｙ）としての元データに対するマッピング
により、クラス固有高度識別特徴の位置を見つける。

段階Ｂの出力は、元の画像データとリンクされた、最も識別可能なクラス固有特徴のヒートマップを含む。
段階Ｂの目標は、ヒートマップが元の画像に関連付けられたラベル付け情報の新しい寸法を加えること（空間確率＋指定クラス対指定クラス）である。この情報は、クラス固有情報を削除することにより、汎用特徴空間を作成するために次の段階で使用される。
より具体的には、ランダム抽出パッチは、（たとえば、Ｃｏｎｖ−ＡのレイヤＮのような）深層ニューラルネットワークの畳み込みレイヤの活性化マップから行うことができる。活性化マップについての説明は、たとえば、ｈｔｔｐ：／／ｃｓ２３１ｎ．ｑｉｔｈｕｂ．ｉｏ／ｕｎｄｅｒｓｔａｎｄｉｎｑｃｎｎ／から取得することができる。

各畳み込みレイヤは、ランダムパッチの抽出に別々に使用されるはずなので、レイヤ１、レイヤ２、…についてのパッチランク付けを行い、その後、融合を行うために最良の結果を選択することができる。また、各フィルタは別々に処理され、構成レイヤｎ＝１：Ｎのフィルタｍ＝１：Ｍのそのような活性化マップは、パッチランク付けを行うために使用され、ｍ、ｎは、パッチランク付けを繰り返すために必要な合計Ｍ^＊Ｎ回を有する。
通常、第１の畳み込みレイヤには６４〜９６個のフィルタがあり、その結果、パッチランク付けプロセスは６４〜９６回計算され、より深層の畳み込みレイヤには１２８〜５１２個のフィルタがある、などであり、畳み込みレイヤの数は５〜１００である。

畳み込みレイヤの活性化マップは疎であり、たとえば、９６個のフィルタ−９６個の活性化マップがあるので、各フィルタが特定の信号にのみ応答するように調整された場合、高レベルの活性化は、何らかのしきい値を上回る入力信号（すなわち、第１のレイヤ向けの元の画像、または前の隠れレイヤの出力）に対するフィルタの応答レベルに対応する。通常、正規化された活性化マップ、および、対応する正規化された活性化マップにおいて少なくとも活性化レベルが最大値の１０％よりも高いピクセルの少なくとも５％を有するものとして、さらなる処理に対して考えられるべきランダムパッチ向けの考えられ得る高い活性化レベルを使用することができる。

（ビジュアル）ワードの袋に関しては、たとえば、最も高いランクのパッチの上位５％をビジュアルワードとして考えることができるので、同じクラス向けのすべてのパッチが畳み込みレイヤおよびフィルタごとに別々にランク付けされると、パッチの上位５％を取り、各パッチをビジュアルワードとみなす。そのような場合、レイヤ／フィルタのペアごとに、クラス当たり約２００，０００個のパッチを収集し、２つのパッチ間の視覚的類似性しきい値を定義する人気度によってそれらをランク付けし、その結果、合計５，０００個のビジュアルワードが定義される。言い換えれば、各ビジュアルワードはクラスタの重心とみなすことができるので、それは、２００，０００個のパッチを５，０００個のクラスタにクラスタリングすることに、どことなく類似する。次いで、たとえば、サンプルの密度が最も高い（パッチの上位ランク）、２５６個のビジュアルワード（すなわちクラス
タ）のみを取ることができる。実際には、ビジュアルワードの５％がサンプルの総数の８０％以上に相当する。したがって、全サンプルの２０％未満に相当する、ビジュアルワードの残り９５％を無視することができる。

ランダムフォレストツリーの実装形態に関しては、たとえば、ｏｐｅｎｃｖ ｖ２．４からの実装形態を使用することができる。さらなる詳細は、ｈｔｔｐ：／／ｄｏｃｓ．ｏｐｅｎｃｖ．Ｏｒｇ／２．４／ｍｏｄｕｌｅｓ／ｍｌ／ｄｏｃ／ｒａｎｄｏｍ ｔｒｅｅｓ．ｈｔｍｌに与えられる。
変数重要度に関しては、ｈｔｔｐ：／／ｗｗｗ．ｉｎｓｉｄｅ−ｒ．ｏｒｇ／ｐａｃｋａｑｅｓ／ｃｒａｎ／ｒａｎｄｏｍｆｏｒｅｓｔ／ｄｏｃｓ／ｉｍｐｏｒｔａｎｃｅで定義を見つけることができる。
変数重要度を計算するために、様々なフィルタからの特徴ベクトルを一緒に積み重ねることができ、その結果、どのビジュアルワードがそれ自体のフィルタ内で重要であるかだけでなく、すべてのフィルタの中で重要であるかも測定することができる。

最も識別可能なパッチの局所化に関しては、本ケース内の一例は以下の通りである。特徴ベクトルとしてＢＯＷ概念を使用することにより、対象のクラスと他のすべてのクラスとの間を識別するためにフォレストツリー分類器を訓練する。各ビジュアルワードは、ランダムフォレストツリー分類記を学習する間の変数とみなされ、変数重要度は、（カバーされるパッチの総数の〜８０％の非常に識別可能なパッチのみを保持するので）総ビジュアルワードの５％を使用するフォレストツリー分類器の分類パフォーマンスがこのビジュアルワードの寄与にどれだけ依存するかを推定するために計算される。したがって、（前の段階で保持された５％から）どのビジュアルワードが、ランダムツリー分類器にとって多かれ少なかれ重要であるかを知ることができる。したがって、ビジュアルワードの５％のいずれも、パッチランク付けに応じて多かれ少なかれ人気があり得るが、それらの人気度はそれ自体のクラスサンプル内でのみ測定されるので、上位ランクのパッチの５％を取ることによって全サンプルの８０％をカバーすることが保証される。次いで、変数重要度を計算することにより、２つのクラスの間を識別するために、ランダムフォレストツリー分類器がこれらのサンプルのうちのどれに依存しているかが理解される。実際、パッチが多くのクラスに人気がある場合、変数重要度は低くなり、ランダムフォレスト分類器がそれらに依存するので、他のクラスでは人気がなく、それら自体のクラスで人気があるパッチのみが高い重要度を有するはずである。

さらに、ヒートマップは、空間確率ラベルであるいくつかのあらかじめ定義された着色領域（たとえば、赤色）内のマップ上の最も識別可能なパッチ位置を示す。したがって、Ｌａｂｅｌ−Ａに従ってラベル付けされた初期画像に対して、そのようなヒートマップが計算される。フィルタごとのランダムに抽出されたパッチは、それらの空間的性質（位置＝パッチの中心）によって局所化されるので、ヒートマップを生成することができる。高いランクのパッチの上位５％に視覚的に類似するパッチのみを考慮しなければならず（しきい値を超える活性化を有するすべてのパッチの８０％が考慮されるはずである）、次いで確率的性質は、変数重要度測定値を重みとして使用して、個々のパッチの最終的なヒートマップへの寄与を推定することによって与えられる。変数重要度はすべてのフィルタに対して一緒に計算されるので、パッチの位置^＊パッチの重み（変数重要度）を使用することにより、特定の畳み込みレイヤごとにすべてのフィルタ向けの結合ヒートマップを生成することができる。最後に、各ヒートマップは、最小値／最大値の間で０：２５６の範囲に収まるように正規化される。そのようなヒートマップは、対応する画像のためのＬａｂｅｌ−Ｂサンプルである。

段階Ｃ
図４は、第２の深層ニューラルネットワーク（ＤＮＮ−Ｃ）のトポロジーマッピングの
段階Ｃを表す。
供給されるデータは、画像（Ｄａｔａ−Ａ）および新しい空間確率タグ（Ｌａｂｅｌ−Ｂ、ヒートマップｘ^＊ｙ）である。
アルゴリズムは、
−Ｌａｂｅｌ−ＢからＭクラスへのｘ^＊ｙヒートマップをサイズ変更することであって、１／ｓｑｒｔ（Ｍ）が空間確率ラベル（Ｌａｂｅｌ−Ｂ）の解像度である、サイズ変更することと、
−Ｌａｂｅｌ−Ｂからの対応するサイズ変更されたラベルを有するＤａｔａ−Ａのミニバッチを作成して、画像クラスに依存しない方法で最も識別可能な特徴（ＨＥＡＴ−Ｂ）の位置を推定するようにＤＮＮ−Ｃに促す損失関数（Ｌｏｓｓ−Ｃ）によって生成されたフィードバックの後方伝搬を介して、汎用（非クラス固有）特徴（Ｃｏｎｖ−Ｃ）および決定（ＦＣ−Ｃ）空間を学習することと
によって、ＤＮＮ−Ｃを訓練する。

段階Ｃの出力は、汎用特徴空間に基づいてＤａｔａ−Ａのような画像インスタンスをサイズ変更された空間確率ラベル（Ｌａｂｅｌ−Ｂ^＊；ヒートマップ１：Ｍ）に自動的にマッピングするためにＤＮＮ−Ｃによって使用される、決定（ＦＣ−Ｃ）および特徴空間（Ｃｏｎｖ−Ｃ）を含む。
段階Ｃの目標は、汎用特徴空間が（段階Ａで取得された）クラス固有特徴空間と補間的であることであり、その結果、２つの空間の後の融合がＤＮＮの学習能力を向上させるに違いない。

空間確率ラベル（Ｌａｂｅｌ−Ｂ）の解像度に関して、最大解像度はパッチが計算される畳み込みレイヤの活性化マップの寸法によって定義される。たとえば、５６×５６の第１の畳み込みレイヤの活性化マップを使用することができ、したがって、Ｍは５６×５６より小さいか等しい。第２の考慮点は収集できるサンプルの数であり、それはｍ＝１：Ｍクラスの各々に対応する。たとえば、１：Ｍクラス当たり１，０００個のサンプルがＤＮＮを後の段階に訓練するのに十分であると考えることができる。したがって、５６×５６クラス（すなわち、３，１３６）を選択する場合、訓練のために最小３，１３６．０００サンプルを収集する必要があるはずである。実際には、１：Ｍの中のすべてのクラスがサンプルの等しく分布を有するとは限らないので、以前推定された３，１３６．０００と比較して必要とされる１０〜１００倍の現実的な推定値を与える、少なくとも１，０００サンプルを１：Ｍクラスの各々が有することを確認する必要がある。したがって、クラスＭの数は５６×５６未満であるが、画像Ｄａｔａ−Ａの総数を１，０００で割った値よりも多いと判断される。本ケースでは、データ拡張を使用して、Ｍの間の希少なクラスのサンプル数を１０〜１００倍に増やすことができる。たとえば、Ｄａｔａ−Ａ内の画像の総数が１，０００，０００である場合、Ｍを３２×３２＝１，０２４と定義する。

空間確率ラベルの解像度に関しては、空間部分はヒートマップの解像度にリンクされ、クラスの数Ｍを定義し、確率部分は、訓練段階中の１：Ｍクラスの各々のサンプルの分布を定義し、その結果、より高い確率を有するＬａｂｅｌ−Ｂからのラベルを有するサンプルは、より低い確率のサンプルと比較して、訓練中に過剰表示されるはずである。
ミニバッチの作成に関しては、ＤＮＮの訓練段階は一連のより小さい段階に分割され、各々のより小さい段階において、データの小さいランダムに選ばれた部分（すなわちミニバッチ）のみが、損失を計算し後方伝搬を行うために使用される。これは、計算の複雑さを大幅に減らし、局所的な最小値を回避することに役立つ。たとえば、各ミニバッチは、１，０００，０００個以上のうちの２００個のランダムに選択されたサンプルから構成することができる。

汎用特徴に関しては、それらは特定のクラスにリンクされていない特徴であり、様々な
クラスの様々なオブジェクトの間で共有することができる。段階Ｃの間、物体の識別部分を局所化し、それらの確率（たとえば、それがどれほど識別可能か）を推定することをＤＮＮ−Ｃに学習させる。この情報がクラス固有であった段階Ｂと比較して、それは、Ｌａｂｅｌ−Ｂに従って同じクラスＭを有するＬａｂｅｌ−Ａからのすべてのクラスのサンプルを（段階Ｃにおいて）同じカテゴリに混合することにより、汎用的な情報に変換される。ＤＮＮ−Ｃの出力はクラスに依存しない（汎用的）ようになるので、訓練中にそのようなＤＮＮ−Ｃによって学習された特徴も汎用的である。

段階Ｄ
図５は、１次結合深層ニューラルネットワーク（ＤＮＮ−Ｄ）における１次結合特徴／決定空間の段階Ｄを表す。
供給されるデータは、画像（Ｄａｔａ−Ａ）およびタグ（Ｌａｂｅｌ−Ａ；１：Ｎクラス）およびサイズ変更された空間確率タグ（Ｌａｂｅｌ−Ｂ^＊；１：Ｍクラス）である。
アルゴリズムは、
−初期特徴空間を別のものに歪め、任意に新しいレイヤ（Ｃｏｎｖ−Ｄ）を追加して結合特徴（Ｃｏｎｖ−Ｃ→Ａ→Ｄ）を学習するように、ＡレイヤおよびＣレイヤ向けの異なる学習率で事前訓練を使用して、Ｃｏｎｖ−ＣおよびＣｏｎｖ−Ａを統合特徴空間（Ｃｏｎｖ−Ｃ→Ａ）に結合することと、
−結合決定（ＦＣ−Ｃ→Ａ→Ｄ）を学習するために決定空間用の前のステップを繰り返すことと、
−Ｌｏｓｓ−ＣおよびＬｏｓｓ−Ａの結合損失関数を使用して、Ｍ^＊Ｎのうちのクラスの１つに属する画像信号ごとにフィードバックを提供することと
によって、ＤＮＮ−Ｄを訓練する。

段階Ｄの出力は決定（ＦＣ−Ｃ→Ａ→Ｄ）空間および特徴（Ｃｏｎｖ−Ｃ→Ａ→Ｄ）空間を含み、それらは、Ｄａｔａ−Ａのような画像インスタンスを結合汎用／クラス固有特徴空間（「１次」と呼ばれるＬａｂｅｌ−Ａ＋Ｂ）に自動的にマッピングするためにＤＮＮ−Ｄによって使用される。
段階Ｄの目標は、すべての希少なケースが自動的にクラスタリングされ得るように、汎用特徴空間とクラス固有特徴空間の両方を結合することである。ＤＮＮ−Ａによる同じクラス固有クラス（１：Ｎ）を有する多くの希少なケースは、ＤＮＮ−Ｄによって汎用／クラス固有サブクラス（１：Ｍ^＊Ｎ）に繰り返し細分される。さらに、希少なケースが同じクラス特有特徴を提示する場合でも、それらは、希少なケースとは異なるはずのそれらの汎用特徴によって別のケースと識別することができ、次いで、これらの希少なケースでより良く訓練され、したがって精度を高め、誤警報を減らすことに役立つ。

ＤＮＮ−Ｄでは、ＤＮＮ−ＡおよびＤＮＮ−Ｃからの転送学習が使用される。したがって、たとえば、汎用特徴は、以前のレイヤではほとんど使用されているが、より深層のレイヤではクラス固有特徴が使用されているとみなすことができる。段階Ｄにおいて、次いで、ＤＮＮ−Ｄは、ＤＮＮ−Ａの場合の１：ＮまたはＤＮＮ−Ｃの場合の１：Ｍの代わりに出力数Ｍ^＊Ｎを有するはずなので、最終的に完全に接続されたレイヤを除いてＤＮＮ−Ｄの同じ構成を考慮することができる。たとえば、ＤＮＮ−Ａ、ＤＮＮ−Ｃ、およびＤＮＮ−Ｄが、最終的に完全に接続されたレイヤを除いてすべてのレイヤに対して同じ構成を有するように定義することができる。次いで、重みの初期化を介して転送学習を有するように、ＤＮＮ−Ｃから完全に接続されたレイヤを有する最終的なレイヤを除いてすべてのレイヤを初期化することにより、ラベルＭ^＊ＮでＤＮＮ−Ｄの訓練を開始することができる。したがって、完全に接続されたレイヤはより高い学習率で再訓練されるようになるので、それらを積み重ねることができる。

学習率に関しては、それは、レイヤごとのＤＮＮに対する各後方伝搬段階における変化
がどれほど重要であるかを定義する。たとえば、高い学習率の場合、後方伝搬は、各訓練反復においてＤＮＮ接続をかなり修正するはずである。現在のケースでは、たとえば、第１の隠れレイヤは主にＤＮＮ−Ｃに関連し、より深層の隠れレイヤは主にＤＮＮ−Ａに関連すると考えることができる。最初の隠れレイヤ向けの学習率を小さくした場合、それらは、ネットワークの他の部分よりも大幅に少なく修正されるはずなので、汎用特徴のほとんどが保持されるはずであると考えることができる。しかし、学習率はゼロではないので、これらの汎用特徴が飽和からの後方伝搬を防ぐためにわずかに適合されることが可能になる。次いで、より深層のレイヤおよび完全に接続されたレイヤ向けのかなり高い学習率を使用した場合、ＤＮＮ−Ｃにおいて訓練された重みをほとんど忘れ、新しいラベルＭ^＊Ｎにより良く対応するようにそれらを適合させる。この場合、ラベルはＭ^＊Ｎであるはずなので、ラベルを介して転送学習を有するはずである。

結合損失関数（Ｌｏｓｓ−Ｄ）に関しては、たとえば、ＤＮＮ−Ｃは入力画像を１：Ｍクラスに分類するように訓練され、ＤＮＮ−Ａは入力画像を１：Ｎクラスに分類するように訓練される。段階Ｄの間、入力画像ごとに、それに対してＬａｂｅｌ−Ａからラベルｎ＝１：Ｎをすでに有しているので、ラベルｍ＝１：Ｍを推定するためにそれをＤＮＮ−Ｃに通すことができる。後で、結合ラベルｍｎ＝ｎ^＊Ｍ＋ｍを構築することができる。そのようにして、段階Ｄ向けの可能なラベルの総数はＭ^＊Ｎである。ＤＮＮ−ＤはＤＮＮ−Ｃで事前訓練されているので、ラベル１：Ｍを予測するために必要な特徴をすでに有しているはずであり、この知識が転送されたことを知っている。次いで、ＤＮＮ−Ｄがラベルｍｎ＝１：Ｍ^＊Ｎで訓練され、その結果、損失関数は結合損失関数（Ｌｏｓｓ−ＣおよびＬｏｓｓ−Ａ）に類似するはずである。損失関数に関しては、ＤＮＮ−Ｄは、入力画像ごとに、Ｍ^＊Ｎ個のカテゴリのうちのそのカテゴリｍｎを分類するべきなので、誤分類のコストは、分類が正しい場合は０であり、分類が正しくない場合は１である。したがって、ＤＮＮ−Ｄは、認識できないオブジェクトのクラス１：Ｎに対して罰せられ、同時にこのオブジェクトについての最も識別可能な特徴の位置を推定しないはずである。

段階Ｅ
図６は、ラベル付けされていないデータを２次クラスにマッピングする段階Ｅを表す。
供給されるデータは、画像（Ｄａｔａ−Ａ）よりもはるかに高いスケールのラベル付けされていない画像（Ｄａｔａ−Ｃ）である。
アルゴリズムは、
−ＤＮＮ−Ｄを使用して、Ｄａｔａ−Ｃの各ラベル付けされていないデータサンプルに１：Ｍ^＊Ｎ汎用／クラス固有タグ（「１次」と呼ばれるＬａｂｅｌ−Ａ＋Ｂ）のうちの１つを割り当てることと、
−「１次」カテゴリ（Ｌａｂｅｌ−Ａ＋Ｂ）から、（ＤＮＮ−Ｄによって分類された）同様に見えるすべてのオブジェクトに対してオブジェクトの「１次」カテゴリに割り当てられるべきであるが、実際はこのカテゴリに属していない、以前存在しなかった種類のオブジェクトの「２次」カテゴリにマッピングすることと
によって、Ｄａｔａ−Ｃからラベル付けされていないデータサンプルを分類する。したがって、実際の「１次」カテゴリは、仮想２次カテゴリ（１：Ｍ^＊Ｎ）にマッピングされる。

段階Ｅの出力は、１次空間に関連する１：Ｍ^＊Ｎクラスの２次空間（Ｌａｂｅｌ−Ｃ；１：Ｍ^＊Ｎクラス）内の割り当てられたタグを含む。これらの割り当てられたタグ（Ｌａｂｅｌ−Ｃ）は、２次結合指定および空間確率誤分類ラベルとも呼ばれる。
段階Ｅの目標は、ＤＮＮ−Ｄが実際の希少なケース対希少なケースの誤警報を正確に分類するように適切に訓練され得るように、ラベル付けされていないデータ（Ｄａｔａ−Ｃ）の十分に大きいソースを使用することにより、希少なケースの各「２次」バージョンに関連する十分なデータサンプルを常に見つけることである。

ラベル付けされていない画像データ（Ｄａｔａ−Ｃ）に関しては、このデータは、元データ（Ｄａｔａ−Ａ）と比較してはるかに大きいデータコーパスに関連する。好ましくは、Ｄａｔａ−Ｃは、Ｄａｔａ−Ａ内のサンプルと少なくともいくつかの視覚的に類似するサンプルを有することが必要である。通常、Ｄａｔａ−ＣはＤａｔａ−Ａの１００倍以上であり、その結果、特定のクラスに対応するラベル付けされていないデータの部分のみを使用する可能性は極めて小さく、したがって無視することができる。

以前は存在しなかった種類のオブジェクトの「２次」カテゴリに関しては、それは、ラベル付けされていないデータを使用するＤＮＮ−Ｄの誤分類エラーにのみ対応する。段階ＤでＤＮＮ−Ｄを訓練することから開始して、画像をＭ^＊Ｎクラス、言い換えれば、実際のオブジェクトに関連する「１次」カテゴリに分類する。その上、段階Ｅにおいて、Ｍ^＊Ｎ個のカテゴリの各々に入る誤分類エラーが互いにどのように異なっているかという疑問を尋ねる。「１次」はオブジェクト分類に関連し、「２次」はエラー分類に関連する。多くの様々な誤分類エラーは、様々な実際のオブジェクト、これまでラベル付けされていないオブジェクトおよびラベル付けされたオブジェクトに関連するので、それはＤＮＮ−Ｄによって同じカテゴリ１：Ｍ^＊Ｎに分類される可能性がある。この新しい「２次」カテゴリは、これまで存在しなかった種類のオブジェクトと呼ばれる。

段階Ｆ
図７は、２次結合深層ニューラルネットワーク（ＤＮＮ−Ｆ）における２次結合特徴／決定空間の段階Ｆを表す。
供給されるデータは、段階Ｅで自動的にラベル付けされたデータおよびペナルティ行列から構成される、ラベル付けされていない画像（Ｄａｔａ−Ｃ）および割り当てられたタグ（Ｌａｂｅｌ−Ｃ）である。
アルゴリズムは、
−事前訓練されたＤＮＮ−Ｄから開始し、より多くのレイヤを追加することによって特徴空間および決定空間をさらに拡張することと、
−ペナルティ行列で提供されたデータを使用して、誤分類に対するより高いペナルティを有する希少なケースに対してより多くのサンプルを使用することにより、ミニバッチの損失関数または組成を修正することと
によって、ＤＮＮ−Ｆを訓練する。
段階Ｆの出力は、オフラインで定義されたペナルティ行列に従って、高いペナルティを有する希少なケースサンプルのために構築された２次結合特徴／決定空間である。
段階Ｆの目標は、事前知識、すなわちペナルティ行列に従って、誤警報のリスクレベルが高い頻繁なケースと希少なケースの両方を最も良くホストする特徴／決定空間を作成することである。

修正された損失関数ステップに関しては、一例は以下の通りであり得る：ＤＮＮ−Ｆは、入力画像ごとに、Ｍ^＊Ｎ個のカテゴリからそのカテゴリｍｎを分類するべきなので、誤分類のコストは、分類が正しい場合は０になり、分類が正しくない場合は１^＊（ペナルティ）になるはずである。したがって、ＤＮＮ−Ｆは、認識できないオブジェクトのクラス１：Ｎに対して罰せられ、同時にこのオブジェクトについての最も識別可能な特徴の位置を推定しないはずである。

ペナルティは、（Ｍとは無関係の）Ｎ^＊Ｎクラスのペアごとに訓練より前に定義される。たとえば、クラス１対クラス２を除くクラスのすべてのペアに対してそのようなペナルティが１である場合、損失関数は、クラスＭ^＊Ｎ（Ｎ＝１）からのサンプルがＭ^＊Ｎ（Ｎ＝２）として誤分類される場合を除くすべてのケースについて、ＤＮＮ−Ｄにあるように同様であるはずであり、ここでＭは任意であり得る。次いで、ペナルティは１０と定義す
ることができ、したがって、誤分類エラーは、他のケースと比較して、このケースの場合１０倍のコストがかかり、その結果、後方伝搬段階において、それは任意の他のサンプルよりもニューラルネットワークの重みの更新にかなり大きい影響を及ぼすはずである。別の修正形態は、任意の他のペアのクラスと比較して、クラス１対２の誤分類に関連する希少なケースの場合、１０倍のサンプルの使用に関連する可能性がある。このように、特定のクラスのより多くのサンプルを人為的に使用することにより、ＤＮＮは、それらを識別するために必要とされる特徴をより良く学習するように強制されるはずである。これにより、この知識が転送されるので、段階Ｇにおける最終深層ニューラルネットワークによるこれらのエラーのより良い認識がもたらされる。
ペナルティ行列に関しては、それは、たとえばＮ^＊Ｎ行列であり得るし、ここで、ＮはＬａｂｅｌ−Ａからのクラスである。そのような行列は、外部のアプリケーション知識を使用して、システムエンジニアによって定義される。各値は、行と列で定義されたクラスの特定のペア間の誤分類に関連付けられた正規化されたアプリケーションリスクを表す。

段階Ｇ
図８は、深層畳み込みニューラルネットワーク（ＤＮＮ−Ｇ）においてホストされる「元の」特徴／決定空間を訓練する段階Ｇを表す。
供給されるデータは、画像（Ｄａｔａ−Ａ）およびタグ（Ｌａｂｅｌ−Ａ）およびペナルティ行列である。
アルゴリズムは、
−事前訓練されたＤＮＮ−Ｆから開始し、より多くのレイヤを追加することによって特徴空間および決定空間をさらに拡張することと、
−ペナルティ行列で提供されたデータを使用して、誤分類に対するより高いペナルティを有する、希少なケースに対してより多くのサンプルを使用することにより、ミニバッチの損失関数または組成を修正することと
によって、ＤＮＮ−Ｇを訓練する。

段階Ｇの出力は、オフラインで定義されたペナルティ行列に従って、高いペナルティを有する希少なケースサンプルのために構築された、かなり大きい容量Ｍ^＊Ｎを有する事前訓練された２次空間から歪められた、１次結合特徴／決定空間である。
段階Ｇの目標は段階Ｆと同じであり、入力および出力は、補強ループを閉じるためにＤＮＮ−Ａの元のデータフローと互換性がある。
段階Ｇに関しては、ペナルティ行列で定義されたプライアに従って段階Ｆで希少なケースを分類する能力においてもたらされた知識転送のシーケンスを行ったので、このレイヤがＤＮＮ−Ｆの分類結果１：Ｍ^＊Ｎを１：Ｎの初期クラス空間に再ルーティングするように、ＤＮＮ−Ｆの最後に１つの完全に接続されたレイヤを積み重ねることが望ましい。

より一般的には、ＤＮＮ全体に関して、以前の知識に基づいてＤＮＮが訓練される各段階において、新しい知識が獲得され、チェーンに沿ってさらに転送される。そのような手順で、希少なケースに近く、以前に学習されたサンプルから遠く離れた多くのサンプルを収集することにより、特徴空間および決定空間が改善されている。このプロセスは、希少／ユニークなケースなどの、統計的に過小評価されているサンプルを分類する際の不確実性を低減する。段階Ｇにおいて、ラベル付けされたサンプルＬａｂｅｌ−Ａのまわりで最初に訓練された特徴／決定空間は、この段階において大部分の誤分類ケースの近くの汎用的な特徴およびサンプルによって増強される。したがって、これらのサンプルのいずれも正確に分類することができた。

図９は、本発明のための１つの可能な用途を表す。
車両１００は、車両が運転されているときに、少なくとも運転者の視点から見える辿った経路の部分を取り込み、一連のデジタルファイルに変換するように配置された経路取込
みユニット（２００；２１０）を備えている。そのような経路取込みユニットは、移動中に道路の前方を指してビデオまたは連続する一連の画像を撮影する、カメラ２００および／またはレーザ光走査ユニット（ＬＩＤＡＲ）などの３６０°走査ユニット２１０である。

車両１００はまた、
−本発明の画像処理方法に従って、一連のデジタルファイルに基づいて一般的なケースと希少なケースの両方を分類するように配置された、深層ニューラルネットワークをホストする処理ユニットと、
−分類された一般的なケースおよび希少なケースに関する情報を表示するように配置された表示ユニットと、
−車両を制御するように配置された自動運転ユニットと、
−分類された希少なケースに応じて、表示ユニットおよび自動運転ユニットのうちの少なくとも１つを作動させるように配置された決定ユニットと
を備える。

添付の特許請求の範囲によって規定される本発明の範囲から逸脱することなく、本明細書に記載された本発明の様々な実施形態に、当業者には明らかな様々な修正および／または改善をもたらすことができることが理解されよう。

Claims (10)

1. 画像データを元データ（Ｄａｔａ−Ａ）として取り込むステップと、
   元データ（Ｄａｔａ−Ａ）よりも多量な、ラベル付けされていないデータ（Ｄａｔａ−Ｃ）としてラベル付けされていない画像を供給するステップと、
   取り込まれた画像データの間で希少なケースを分類するように深層ニューラルネットワーク学習能力を強化するステップであって、
   一般的なケースおよび希少なケースを含む前記元データ（Ｄａｔａ−Ａ）および指定されたラベル（Ｌａｂｅｌ−Ａ）を供給すること、ならびに
   前記元データの一般的なケースを前記指定されたラベルに分類するために使用される少なくとも１つのクラス固有特徴空間（Ｃｏｎｖ−Ａ）および少なくとも１つのクラス固有決定空間（ＦＣ−Ａ）を出力すること
   によって、第１の深層ニューラルネットワーク（ＤＮＮ−Ａ）を訓練するサブステップと、
   前記第１の深層ニューラルネットワーク（ＤＮＮ−Ａ）の前記少なくとも１つのクラス固有特徴空間（Ｃｏｎｖ−Ａ）を介して処理された元データ内の識別クラス固有特徴（ＨＥＡＴ−Ｂ）を局所化し、前記識別クラス固有特徴を空間確率ラベル（Ｌａｂｅｌ−Ｂ）として前記元データにマッピングするサブステップと、
   元データ（Ｄａｔａ−Ａ）および前記空間確率ラベル（Ｌａｂｅｌ−Ｂ）を供給すること、ならびに
   前記元データ（Ｄａｔａ−Ａ）の希少なケースを空間確率ラベル（Ｌａｂｅｌ−Ｂ^＊）に分類するために使用される少なくとも１つのクラス汎用特徴（Ｃｏｎｖ−Ｃ）空間および少なくとも１つの汎用決定空間（ＦＣ−Ｃ）を出力すること
   によって、第２の深層ニューラルネットワーク（ＤＮＮ−Ｃ）を訓練するサブステップと、
   前記元データ（Ｄａｔａ−Ａ）、前記指定されたラベル（Ｌａｂｅｌ−Ａ）、および前記空間確率ラベル（Ｌａｂｅｌ−Ｂ^＊）を供給すること、ならびに
   前記元データ（Ｄａｔａ−Ａ）の一般的なケースと希少なケースの両方を１次結合指定および空間確率ラベル（Ｌａｂｅｌ−Ａ＋Ｂ^＊）に分類するために使用される１次結合クラス固有および汎用特徴（Ｃｏｎｖ−Ｃ→Ａ→Ｄ）および決定（ＦＣ−Ｃ→Ａ→Ｄ）空間を出力すること
   によって、第１の結合深層ニューラルネットワーク（ＤＮＮ−Ｄ）を訓練するサブステップと
   ラベル付けされていないデータ（Ｄａｔａ−Ｃ）を供給することと、
   前記ラベル付けされていないデータを前記１次結合指定および空間確率ラベル（Ｌａｂｅｌ−Ａ＋Ｂ^＊）に分類することと、
   前記１次結合指定および空間確率ラベル（Ｌａｂｅｌ−Ａ＋Ｂ^＊）を２次結合指定および空間確率誤分類ラベル（Ｌａｂｅｌ−Ｃ）にマッピングすることと
   によって、前記第１の結合深層ニューラルネットワーク（ＤＮＮ−Ｄ）をさらに訓練するサブステップと、
   前記ラベル付けされていないデータ（Ｄａｔａ−Ｃ）、前記２次結合指定および空間確率誤分類ラベル（Ｌａｂｅｌ−Ｃ）、およびペナルティ行列を供給すること、ならびに
   前記ペナルティ行列に従って、前記ラベル付けされていないデータ（Ｄａｔａ−Ｃ）の一般的なケースと希少なケースの両方を前記２次結合指定および空間確率誤分類ラベル（Ｌａｂｅｌ−Ｃ）に分類するために使用される２次結合決定および特徴（ＦＣ−Ｃ→Ａ→Ｄ→Ｆ；Ｃｏｎｖ−Ｃ→Ａ→Ｄ→Ｆ）空間を出力すること
   によって、第２の結合深層ニューラルネットワーク（ＤＮＮ−Ｆ）を訓練するサブステップと
   を備えるステップと、
   前記取り込まれたれた画像に基づいて一般的なケースおよび希少なケースを分類するステップと
   を備える、画像処理方法。
2. 前記第１の深層ニューラルネットワーク（ＤＮＮ−Ａ）、前記第２の深層ニューラルネットワーク（ＤＮＮ−Ｃ）、前記第１の結合深層ニューラルネットワーク（ＤＮＮ−Ｄ）、および前記第２の結合深層ニューラルネットワーク（ＤＮＮ−Ｆ）が畳み込みニューラルネットワークである、請求項１に記載の画像処理方法。
3. 識別クラス固有特徴（ＨＥＡＴ−Ｂ）の前記局所化ステップが、
   前記少なくとも１つのクラス固有特徴空間（Ｃｏｎｖ−Ａ）を介して処理された元データのパッチ（Ｅｘｔ−Ｂ）をランダムに抽出するステップと、
   同じ指定されたラベル（Ｌａｂｅｌ−Ａ）のすべてのパッチの中から、それらの統計的な人気度によってランダムに抽出されたパッチ（Ｒａｎｋ−Ｂ）をランク付けするステップと、
   上位ランクのパッチから始まるビジュアルワード（ＢＯＷ−Ｂ）の特徴を袋詰めするステップと、
   ビジュアルワード特徴の袋をランダムフォレストツリー（ＲＦＴ−Ｂ）分類するステップと、
   識別クラス固有特徴を局所化し、それらの相対的な重要度（ＨＥＡＴ−Ｂ）を推定するために、前記ランダムフォレストツリー分類を使用して変数重要度測定値（ＩＭＰ−Ｂ）を抽出するステップと
   から構成される、請求項１または２に記載の画像処理方法。
4. 前記第２の深層ニューラルネットワーク（ＤＮＮ−Ｃ）の前記訓練ステップが、
   空間確率ラベル（Ｌａｂｅｌ−Ｂ）をサイズ変更するステップと、
   汎用損失関数（Ｌｏｓｓ−Ｃ）によって生成されたフィードバックの後方伝播を介して汎用特徴（Ｃｏｎｖ−Ｃ）および決定（ＦＣ−Ｃ）空間を学習するために、対応するサイズ変更された空間確率ラベルを有する元データのバッチを作成するステップと、
   指定されたラベル（Ｌａｂｅｌ−Ａ）とは関係なく、前記識別クラス固有特徴の局所化および確率を推定するステップと、
   前記元データ（Ｄａｔａ−Ａ）の希少なケースをサイズ変更された空間確率ラベル（Ｌａｂｅｌ−Ｂ^＊）に分類するステップと
   をさらに含む、請求項１から３のいずれか一項に記載の画像処理方法。
5. 前記第１の結合深層ニューラルネットワーク（ＤＮＮ−Ｄ）の前記訓練ステップが、
   少なくとも１つの汎用特徴空間（Ｃｏｎｖ−Ｃ）および少なくとも１つのクラス固有特徴空間（Ｃｏｎｖ−Ａ）を、異なる学習率を有する前記１次結合クラス固有および汎用特徴空間（Ｃｏｎｖ−Ｃ→Ａ→Ｄ）を形成する少なくとも１つの統合特徴空間（Ｃｏｎｖ−Ｄ）に結合するステップと、
   少なくとも１つの汎用決定空間（ＦＣ−Ｃ）および少なくとも１つのクラス固有決定空間（ＦＣ−Ａ）を、前記１次結合クラス固有および汎用決定空間（ＦＣ−Ｃ→Ａ→Ｄ）を形成する少なくとも１つの統合決定空間（ＦＣ−Ｄ）に結合するステップと、
   前記第２の深層ニューラルネットワーク（ＤＮＮ−Ｃ）の前記汎用損失関数（Ｌｏｓｓ−Ｃ）および前記第１の深層ニューラルネットワーク（ＤＮＮ−Ａ）のクラス固有損失関数（Ｌｏｓｓ−Ａ）の結合損失関数を使用して、前記１次結合指定および空間確率ラベル（Ｌａｂｅｌ−Ａ＋Ｂ^＊）から任意のラベルに属する元データに対するフィードバックを提供するステップと
   をさらに含む、請求項４に記載の画像処理方法。
6. 前記汎用特徴空間（Ｃｏｎｖ−Ｃ）の前記学習率が、前記クラス固有特徴空間（Ｃｏｎｖ−Ａ）の前記学習率よりも小さい、請求項５に記載の画像処理方法。
7. 前記第２の結合深層ニューラルネットワーク（ＤＮＮ−Ｆ）の前記訓練ステップが、
   訓練された前記第１の結合深層ニューラルネットワーク（ＤＮＮ−Ｄ）から開始するステップと
   ネットワークの能力を向上させて新たに学習された特徴および決定をホストする目的で、隠れレイヤを追加することによって特徴空間および決定空間（ＦＣ−Ｃ→Ａ→Ｄ→Ｆ；Ｃｏｎｖ−Ｃ→Ａ→Ｄ→Ｆ）を拡張するステップと、
   前記ペナルティ行列に基づいて誤分類に対するより高いペナルティを有する、前記希少なケースに対してより多くのデータサンプルを使用することにより、前記第２の結合深層ニューラルネットワーク（ＤＮＮ−Ｆ）の損失関数（Ｌｏｓｓ−Ｃ→Ａ→Ｆ）またはラベル付けされていないデータのバッチを修正するステップと
   をさらに含む、請求項１から６のいずれか一項に記載の画像処理方法。
8. 一般的なケースと希少なケース、指定されたラベル（Ｌａｂｅｌ−Ａ）、および前記ペナルティ行列を含む元データ（Ｄａｔａ−Ａ）を供給すること、ならびに
   前記ペナルティ行列に従って、前記元データ（Ｄａｔａ−Ａ）の一般的なケースと希少なケースの両方を前記指定されたラベル（Ｌａｂｅｌ−Ａ）に分類するために使用される１次結合決定および特徴空間（ＦＣ−Ｃ→Ａ→Ｄ→Ｆ→Ａ；Ｃｏｎｖ−Ｃ→Ａ→Ｄ→Ｆ→Ａ）を出力すること
   によって、第３の結合深層ニューラルネットワーク（ＤＮＮ−Ｇ）を訓練するステップ
   をさらに備える、請求項７に記載の画像処理方法。
9. 前記第３の結合深層ニューラルネットワーク（ＤＮＮ−Ｇ）の前記訓練ステップが、
   前記ラベル付けされていないデータ（Ｄａｔａ−Ｃ）および前記２次結合指定および空間確率誤分類ラベル（Ｌａｂｅｌ−Ｃ）に対して訓練された第２の結合深層ニューラルネットワーク（ＤＮＮ−Ｆ）から開始するステップと、
   隠れレイヤを追加することによって特徴空間および決定空間（ＦＣ−Ｃ→Ａ→Ｄ→Ｆ→Ａ；Ｃｏｎｖ−Ｃ→Ａ→Ｄ→Ｆ→Ａ）を拡張するステップと、
   前記ペナルティ行列に基づいて誤分類に対するより高いペナルティを有する、前記希少なケースに対してより多くのデータサンプルを使用することにより、前記第３の結合深層ニューラルネットワーク（ＤＮＮ−Ｇ）の損失関数（Ｌｏｓｓ−Ａ）またはラベル付けされていないデータのバッチを修正するステップと
   をさらに含む、請求項８に記載の画像処理方法。
10. 車両（１００）であって、
    前記車両が運転されているときに、少なくとも運転者の視点から見える辿った経路の部分を取り込み、一連のデジタルファイルに変換するように配置された経路取込みユニット（２００；２１０）と、
    請求項１〜９のいずれか一項に記載の前記画像処理方法に従って、前記一連のデジタルファイルを処理し、前記一連のデジタルファイルに基づいて一般的なケースおよび希少なケースを分類するように配置された処理ユニットと、
    前記分類された一般的なケースおよび希少なケースに関する情報を表示するように配置された表示ユニットと、
    前記車両を制御するように配置された自動運転ユニットと、
    前記分類された希少なケースに応じて、前記表示ユニットおよび前記自動運転ユニット
    のうちの少なくとも１つを作動させるように配置された決定ユニットと
    を備える、車両（１００）。

Images