JP6935939B2 - マルチフィーディングを適用した学習方法及び学習装置並びにそれを利用したテスト方法及びテスト装置 - Google Patents

Description

本発明は、マルチフィーディングを適用した学習方法及び学習装置並びにそれを利用したテスト方法及びテスト装置に関する。具体的には、マルチフィーディングレイヤを使用して、少なくとも一つのトレーニングイメージをエンコードすることができるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の学習方法において、前記ＣＮＮは、前記トレーニングイメージについて少なくとも一回以上のコンボリューション演算を適用して第１乃至第ｎメイン特徴マップをそれぞれ生成する第１乃至第ｎコンボリューションレイヤを含み、前記ｎ個のコンボリューションレイヤのうちｈ個のコンボリューションレイヤそれぞれに対応する第１乃至第ｈフィーディングレイヤを含み、前記ｈは１乃至（ｎ−１）の整数であることを特徴とし、（ａ）学習装置が、前記トレーニングイメージを取得する段階；及び（ｂ）前記学習装置が、前記それぞれのコンボリューションレイヤをもって、前記トレーニングイメージ、または以前のコンボリューションレイヤで取得されたメイン特徴マップに前記コンボリューション演算を適用して、前記第１乃至第ｎメイン特徴マップそれぞれを生成するものの、前記学習装置が、前記第１乃至第ｈフィーディングレイヤにそれぞれ対応する前記ｈ個のコンボリューションレイヤ（前記ｈ個のコンボリューションレイヤは前記第２乃至第ｎコンボリューションレイヤで選ばれる）のうちの一つである第ｋコンボリューションレイヤをもって、（ｉ）第（ｋ−１）コンボリューションレイヤから取得された第（ｋ−１）メイン特徴マップ及び前記第ｋコンボリューションレイヤに対応する第ｍフィーディングレイヤから前記トレーニングイメージが前記第（ｋ−１）メイン特徴マップの大きさに合わせてリサイズされた第ｍサブ特徴マップを取得し、（ｉｉ）前記第ｍサブ特徴マップ及び前記第（ｋ−１）メイン特徴マップを統合して第（ｋ−１）統合特徴マップを生成し、（ｉｉｉ）前記第（ｋ−１）統合特徴マップに前記コンボリューション演算を適用して第ｋメイン特徴マップを生成する段階；を含む学習方法及び学習装置並びにこれに基づいたテスト方法及びテスト装置に関する。

ディープラーニングは、物やデータを群集化・分類するのに用いられる技術である。例えば、コンピュータは写真だけで犬と猫を区別することができない。しかし、人はとても簡単に区別できる。このため「機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）」という方法が考案された。多くのデータをコンピュータに入力し、類似したもの同士を分類するようにする技術である。格納されている犬の写真と似たような写真が入力されると、これを犬の写真であるとコンピュータが分類するようにしたのである。

データをどのように分類するかをめぐり、すでに多くの機械学習アルゴリズムが登場した。「意思決定木」や「ベイジアンネットワーク」「サポートベクターマシン（ＳＶＭ）」「人工神経網」などが代表的である。このうち、ディープラーニングは人工神経網の後裔である。

ディープ・コンボリューション・ニューラル・ネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ；ＤｅｅｐＣＮＮ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは、文字の認識問題を解決するために９０年代にすでに使われたが、現在のように広く使われるようになったのは最近の研究結果の賜物である。このようなディープＣＮＮは２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そして、コンボリューションニューラルネットワークは機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）分野で非常に有用なツールとなった。

図１は、ＣＮＮを使用して入力イメージの一般的なフィーディングを簡略的に示した図面である。

図１を参照すると、従来のＣＮＮ演算の過程でＣＮＮは、入力イメージ（１０１）が一度入力される。例えば、ＣＮＮは、入力イメージが入力されて、複数個のコンボリューションレイヤで数回のコンボリューション演算とＲｅＬＵなどの非線形演算を遂行して特徴マップ（１０２、１０３及び１０４）を順次に生成する。そして、最終特徴マップ（１０４）または特徴マップのうち少なくとも一部は物体の検出に利用されたり、セグメンテーションの結果を得るのに利用される。

このような従来のＣＮＮの演算過程は、入力イメージが一度フィーディングされると、多数のコンボリューションレイヤを介して特徴マップが生成されながら入力イメージの細部情報の多くが消えるという問題があった。

本発明は、前述した問題点を全て解決することを目的とする。

本発明の他の目的は、ＣＮＮ装置において連続したコンボリューション演算が適用されるとしても、入力イメージの詳細情報を格納できる方法を提供することを目的とする。

本発明の一態様によると、マルチフィーディングレイヤを使用して少なくとも一つのトレーニングイメージをエンコードすることができるＣＮＮの学習方法において、前記ＣＮＮは、前記トレーニングイメージについて少なくとも一回以上のコンボリューション演算を適用して第１乃至第ｎメイン特徴マップをそれぞれ生成する第１乃至第ｎコンボリューションレイヤを含み、前記ｎ個のコンボリューションレイヤのうちｈ個のコンボリューションレイヤそれぞれに対応する第１乃至第ｈフィーディングレイヤを含み、前記ｈは１乃至（ｎ−１）の整数であることを特徴とし、（ａ）学習装置が、前記トレーニングイメージを取得する段階；及び（ｂ）前記学習装置が、前記それぞれのコンボリューションレイヤをもって、前記トレーニングイメージ、または以前のコンボリューションレイヤで取得されたメイン特徴マップに前記コンボリューション演算を適用して前記第１乃至第ｎメイン特徴マップそれぞれを生成するものの、前記学習装置が、前記第１乃至第ｈフィーディングレイヤにそれぞれ対応する前記ｈ個のコンボリューションレイヤ（前記ｈ個のコンボリューションレイヤは前記第２乃至第ｎコンボリューションレイヤで選ばれる）のうちの一つである第ｋコンボリューションレイヤをもって、（ｉ）第（ｋ−１）コンボリューションレイヤから取得された第（ｋ−１）メイン特徴マップ及び前記第ｋコンボリューションレイヤに対応する第ｍフィーディングレイヤから前記トレーニングイメージが前記第（ｋ−１）メイン特徴マップの大きさに合わせてリサイズされた第ｍサブ特徴マップを取得し、（ｉｉ）前記第ｍサブ特徴マップ及び前記第（ｋ−１）メイン特徴マップを統合して第（ｋ−１）統合特徴マップを生成し、（ｉｉｉ）前記第（ｋ−１）統合特徴マップに前記コンボリューション演算を適用して第ｋメイン特徴マップを生成する段階；を含むことを特徴とする方法が提供される。

一実施例において、前記（ｂ）段階で、（ｂ−１）前記学習装置が、前記第ｍフィーディングレイヤをもって、前記第（ｋ−１）メイン特徴マップの前記大きさに合うように前記トレーニングイメージをリサイジングしてリサイズされた第ｍトレーニングイメージを生成するようにする段階；（ｂ−２）前記学習装置が、前記第ｍフィーディングレイヤをもって、前記リサイズされた第ｍトレーニングイメージに前記コンボリューション演算を適用して前記第ｍサブ特徴マップを生成するようにする段階；（ｂ−３）前記学習装置が、前記第ｋコンボリューションレイヤをもって、前記第（ｋ−１）メイン特徴マップ及び前記第ｍサブ特徴マップを統合して前記第（ｋ−１）統合特徴マップを生成するようにする段階；及び （ｂ−４）前記学習装置が、前記第ｋコンボリューションレイヤをもって、前記第（ｋ−１）統合特徴マップに前記コンボリューション演算を適用して、前記第ｋメイン特徴マップを生成するようにする段階；を含むことを特徴とする方法が提供される。
一実施例において、前記（ｂ−３）段階で、前記第（ｋ−１）メイン特徴マップ及び前記第ｍサブ特徴マップをピクセルごとに加え、前記第（ｋ−１）統合特徴マップを生成することを特徴とする方法が提供される。
一実施例において、前記（ｂ−３）段階で、前記第（ｋ−１）メイン特徴マップ及び前記第ｍサブ特徴マップをコンカチネートして前記第（ｋ−１）統合特徴マップを生成することを特徴とする方法が提供される。

一実施例において、前記（ｂ−２）段階で、前記第ｍサブ特徴マップのチャンネル数が前記第（ｋ−１）メイン特徴マップのチャンネル数に対応するように、前記リサイズされた第ｍトレーニングイメージに前記コンボリューション演算を適用して、前記第ｍサブ特徴マップを生成することを特徴とする方法が提供される。

一実施例において、前記（ｂ）段階で、（ｂ−１）前記学習装置が、前記第ｍフィーディングレイヤをもって、前記リサイズされた第ｍトレーニングイメージに前記コンボリューション演算を適用して、前記第ｍサブ特徴マップを前記第（ｋ−１）メイン特徴マップの大きさに対応する大きさを有するように生成させるプロセス；（ｂ−２）前記学習装置が、前記第ｋコンボリューションレイヤをもって、前記第（ｋ−１）メイン特徴マップ及び前記第ｍサブ特徴マップを統合して前記第（ｋ−１）統合特徴マップを生成するようにする段階；及び（ｂ−３）前記学習装置が、前記第ｋコンボリューションレイヤをもって、前記第（ｋ−１）統合特徴マップに前記コンボリューション演算を適用して、前記第ｋメイン特徴マップを生成させる段階；を含むことを特徴とする方法が提供される。

一実施例において、前記（ｂ−１）段階で、前記第ｍサブ特徴マップのサイズ及びチャンネルの数が前記第（ｋ−１）メイン特徴マップの前記サイズ及び前記チャンネルの数に対応するように前記第ｍサブ特徴マップを生成することを特徴とする方法が提供される。

一実施例において、（ｃ）前記学習装置が、少なくとも一つのＦＣ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ）レイヤをもって、前記第ｎメイン特徴マップに少なくとも一つのＦＣ演算を適用して、前記トレーニングイメージ内の少なくとも一つの物体に対するディテクション結果を生成する段階；及び（ｄ）前記学習装置が、前記ディテクション結果及びそれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）を参照して、一つ以上のロス値を出力し、前記ロス値をバックプロパゲーションして前記ＣＮＮの一つ以上のパラメータを学習する段階；をさらに含むことを特徴とする方法が提供される。

一実施例において、（ｃ）前記学習装置が、デコードレイヤをもって前記第ｎメイン特徴マップを前記デコードレイヤに入力してセグメンテーション結果を生成する段階；及び（ｄ）前記学習装置が、前記セグメンテーション結果及びそれに対応する原本正解を参照して一つ以上のロス値を出力し、前記ロス値をバックプロパゲーションして前記ＣＮＮの一つ以上のパラメータを学習する段階；をさらに含むことを特徴とする方法が提供される。

本発明の他の態様によると、マルチフィーディングレイヤを使用して少なくとも一つのテストイメージをエンコードすることができるＣＮＮのテスト方法において、前記ＣＮＮは前記テストイメージについて少なくとも一回以上のコンボリューション演算を適用して、テスト用第１乃至第ｎメイン特徴マップをそれぞれ生成する第１乃至第ｎコンボリューションレイヤを含み、前記ｎ個のコンボリューションレイヤのうちｈ個のコンボリューションレイヤそれぞれに対応する第１乃至第ｈフィーディングレイヤを含み、前記ｈは１乃至（ｎ−１）の整数であることを特徴とし、（ａ）学習装置が、（１）前記それぞれのコンボリューションレイヤをもって、少なくとも一つのトレーニングイメージ、または以前のコンボリューションレイヤで取得された学習用メイン特徴マップに前記コンボリューション演算を適用して前記学習用第１乃至第ｎメイン特徴マップそれぞれを生成するものの、前記学習装置が、前記第１乃至第ｈフィーディングレイヤにそれぞれ対応する前記ｈ個のコンボリューションレイヤ（前記ｈ個のコンボリューションレイヤは前記第２乃至第ｎコンボリューションレイヤで選択される（のうちの一つである第ｋコンボリューションレイヤをもって、（ｉ）第（ｋ−１）コンボリューションレイヤから取得された学習用第（ｋ−１）メイン特徴マップ及び前記第ｋコンボリューションレイヤに対応する第ｍフィーディングレイヤから前記トレーニングイメージが前記学習用第（ｋ−１）メイン特徴マップの大きさに合わせてリサイズされた学習用第ｍサブ特徴マップを取得し、（ｉｉ）前記第ｍサブ特徴マップ及び前記学習用第（ｋ−１）メイン特徴マップを統合して学習用第（ｋ−１）統合特徴マップを生成し、（ｉｉｉ）前記学習用第（ｋ−１）統合特徴マップに前記コンボリューション演算を適用して学習用第ｋメイン特徴マップを生成するプロセス；及び（２）前記ＣＮＮの一つ以上のパラメータを学習するプロセス；を遂行した状態で、テスト装置が前記テストイメージを取得する段階；（ｂ）前記テスト装置が、前記それぞれのコンボリューションレイヤをもって、前記テストイメージ、または以前のコンボリューションレイヤで取得されたテスト用メイン特徴マップに前記コンボリューション演算を適用して前記テスト用第１乃至第ｎメイン特徴マップを生成するものの、前記テスト装置が、前記第１乃至第ｈフィーディングレイヤにそれぞれ対応する前記ｈ個のコンボリューションレイヤ（前記ｈ個のコンボリューションレイヤは前記第２乃至第ｎコンボリューションレイヤで選択される）のうちの一つである第ｋコンボリューションレイヤをもって、（ｉ）第（ｋ−１）コンボリューションレイヤから取得されたテスト用第（ｋ−１）メイン特徴マップ及び前記第ｋコンボリューションレイヤに対応する第ｍフィーディングレイヤから前記テストイメージが前記テスト用第（ｋ−１）メイン特徴マップの大きさに合わせてリサイズされたテスト用第ｍサブ特徴マップを取得し、（ｉｉ）前記第ｍサブ特徴マップ及び前記テスト用第（ｋ−１）メイン特徴マップを統合してテスト用第（ｋ−１）統合特徴マップを生成し、（ｉｉｉ）前記テスト用第（ｋ−１）統合特徴マップに前記コンボリューション演算を適用してテスト用第ｋメイン特徴マップを生成する段階；を含むことを特徴とする方法が提供される。

一実施例において、前記（ｂ）段階で、（ｂ−１）前記テスト装置が、前記第ｍフィーディングレイヤをもって、前記テスト用第（ｋ−１）メイン特徴マップの前記大きさに合うように前記テストイメージをリサイジングしてリサイズされた第ｍテストイメージを生成するようにする段階；（ｂ−２）前記テスト装置が、前記第ｍフィーディングレイヤをもって、前記リサイズされた第ｍテストイメージに前記コンボリューション演算を適用して前記テスト用第ｍサブ特徴マップを生成するようにする段階；（ｂ−３）前記テスト装置が、前記第ｋコンボリューションレイヤをもって、前記テスト用第（ｋ−１）メイン特徴マップ及び前記テスト用第ｍサブ特徴マップを統合して前記テスト用第（ｋ−１）統合特徴マップを生成するようにする段階；及び（ｂ−４）前記テスト装置が、前記第ｋコンボリューションレイヤをもって、前記テスト用第（ｋ−１）統合特徴マップに前記コンボリューション演算を適用して前記テスト用第ｋメイン特徴マップを生成するようにする段階；を含むことを特徴とする方法が提供される。

一実施例において、前記（ｂ−３）段階で、前記テスト用第（ｋ−１）メイン特徴マップ及び前記テスト用第ｍサブ特徴マップをピクセルごとに加えて前記テスト用第（ｋ−１）統合特徴マップを生成することを特徴とする方法が提供される。

一実施例において、前記（ｂ−３）段階で、前記テスト用第（ｋ−１）メイン特徴マップ及び前記テスト用第ｍサブ特徴マップをコンカチネートして前記テスト用第（ｋ−１）統合特徴マップを生成することを特徴とする方法が提供される。

一実施例において、前記（ｂ）段階で、（ｂ−１）前記テスト装置が、前記第ｍフィーディングレイヤをもって、前記リサイズされた第ｍテストイメージに前記コンボリューション演算を適用して前記テスト用第ｍサブ特徴マップを前記テスト用第（ｋ−１）メイン特徴マップの大きさに対応する大きさを有するように生成させるプロセス；（ｂ−２）前記テスト装置が、前記第ｋコンボリューションレイヤをもって、前記テスト用第（ｋ−１）メイン特徴マップ及び前記テスト用第ｍサブ特徴マップを統合して前記テスト用第（ｋ−１）統合特徴マップを生成するようにする段階；及び（ｂ−３）前記テスト装置が、前記第ｋコンボリューションレイヤをもって、前記テスト用第（ｋ−１）統合特徴マップに前記コンボリューション演算を適用して、前記テスト用第ｋメイン特徴マップを生成するようにする段階；を含むことを特徴とする方法が提供される。

一実施例において、前記（ｂ−１）段階で、前記第ｍサブ特徴マップのサイズ及びチャンネルの数が前記テスト用第（ｋ−１）メイン特徴マップの前記サイズ及び前記チャンネルの数に対応するように前記テスト用第ｍサブ特徴マップを生成することを特徴とする方法が提供される。

本発明のまた別の態様によると、マルチフィーディングレイヤを使用して、少なくとも一つのトレーニングイメージをエンコードすることができるＣＮＮの学習装置において、前記ＣＮＮは、前記トレーニングイメージについて少なくとも一回以上のコンボリューション演算を適用して第１乃至第ｎメイン特徴マップをそれぞれ生成する第１乃至第ｎコンボリューションレイヤを含み、前記ｎ個のコンボリューションレイヤのうちｈ個のコンボリューションレイヤそれぞれに対応する第１乃至第ｈフィーディングレイヤを含み、前記ｈは１乃至（ｎ−１）の整数であることを特徴とし、前記トレーニングイメージを取得する通信部；及び（Ｉ）前記それぞれのコンボリューションレイヤをもって、前記トレーニングイメージ、または以前のコンボリューションレイヤで取得されたメイン特徴マップに前記コンボリューション演算を適用して、前記第１乃至第ｎメイン特徴マップそれぞれを生成するものの、前記第１乃至第ｈフィーディングレイヤにそれぞれ対応する前記ｈ個のコンボリューションレイヤ（前記ｈ個のコンボリューションレイヤは前記第２乃至第ｎコンボリューションレイヤで選択される）のうちの一つである第ｋコンボリューションレイヤをもって、（ｉ）第（ｋ−１）コンボリューションレイヤから取得された第（ｋ−１）メイン特徴マップ及び前記第ｋコンボリューションレイヤに対応する第ｍフィーディングレイヤから前記トレーニングイメージが前記第（ｋ−１）メイン特徴マップの大きさに合わせてリサイズされた第ｍサブ特徴マップを取得し、（ｉｉ）第ｍサブ特徴マップ及び前記第（ｋ−１）メイン特徴マップを統合して第（ｋ−１）統合特徴マップを生成し、（ｉｉｉ）前記第（ｋ−１）統合特徴マップに前記コンボリューション演算を適用して第ｋメイン特徴マップを生成するプロセスを遂行するプロセッサ；を含むことを特徴とする装置が提供される。

一実施例において、前記（Ｉ）プロセスにおいて、前記プロセッサは、（Ｉ−１）前記第ｍフィーディングレイヤをもって、前記第（ｋ−１）メイン特徴マップの前記大きさに合うように前記トレーニングイメージをリサイジングしてリサイズされた第ｍトレーニングイメージを生成するようにするプロセス；（Ｉ−２）前記第ｍフィーディングレイヤをもって、前記リサイズされた第ｍトレーニングイメージに前記コンボリューション演算を適用して、前記第ｍサブ特徴マップを生成するようにするプロセス；（Ｉ−３）前記第ｋコンボリューションレイヤをもって、前記第（ｋ−１）メイン特徴マップ及び前記第ｍサブ特徴マップを統合して、前記第（ｋ−１）統合特徴マップを生成するようにするプロセス；及び（Ｉ−４）前記第ｋコンボリューションレイヤをもって、前記第（ｋ−１）統合特徴マップに前記コンボリューション演算を適用して、前記第ｋメイン特徴マップを生成するようにするプロセス；を遂行することを特徴とする装置が提供される。

一実施例において、前記（Ｉ−３）プロセスにおいて、前記第（ｋ−１）メイン特徴マップ及び前記第ｍサブ特徴マップをピクセルごとに加え、前記第（ｋ−１）統合特徴マップを生成することを特徴とする装置が提供される。

一実施例において、前記（Ｉ−３）プロセスにおいて、前記第（ｋ−１）メイン特徴マップ及び前記第ｍサブ特徴マップをコンカチネートして第（ｋ−１）統合特徴マップを生成することを特徴とする装置が提供される。

一実施例において、前記（Ｉ−２）プロセスにおいて、前記第ｍサブ特徴マップのチャンネル数が前記第（ｋ−１）メイン特徴マップのチャンネル数に対応するように、前記リサイズされた第ｍトレーニングイメージに前記コンボリューション演算を適用して、前記第ｍサブ特徴マップを生成することを特徴とする装置が提供される。

一実施例において、前記（Ｉ）プロセスにおいて、前記プロセッサは、（Ｉ−１）前記第ｍフィーディングレイヤをもって、前記リサイズされた第ｍトレーニングイメージに前記コンボリューション演算を適用して、前記第ｍサブ特徴マップを前記第（ｋ−１）メイン特徴マップの大きさに対応する大きさを有するように生成させるプロセス；（Ｉ−２）前記第ｋコンボリューションレイヤをもって、前記第（ｋ−１）メイン特徴マップ及び前記第ｍサブ特徴マップを統合して前記第（ｋ−１）統合特徴マップを生成するようにするプロセス；及び（Ｉ−３）前記第ｋコンボリューションレイヤをもって、前記第（ｋ−１）統合特徴マップに前記コンボリューション演算を適用して、前記第ｋメイン特徴マップを生成するようにするプロセス；を含むことを特徴とする装置が提供される。

一実施例において、前記（Ｉ−１）プロセスにおいて、前記第ｍサブ特徴マップのサイズ及びチャンネルの数が前記第（ｋ−１）メイン特徴マップの前記サイズ及び前記チャンネルの数に対応するように前記第ｍサブ特徴マップを生成することを特徴とする装置が提供される。

一実施例において、前記プロセッサは、（ＩＩ）少なくとも一つのＦＣレイヤをもって、前記第ｎメイン特徴マップに少なくとも一つのＦＣ演算を適用して、前記トレーニングイメージ内の少なくとも一つの物体に対するディテクション結果を生成するプロセス；及び（ＩＩＩ）前記ディテクション結果及びそれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）を参照して一つ以上のロス値を出力し、前記ロス値をバックプロパゲーションして前記ＣＮＮの一つ以上のパラメータを学習するプロセス；をさらに遂行することを特徴とする装置が提供される。

一実施例において、前記プロセッサは、（ＩＩ）デコードレイヤをもって、前記第ｎメイン特徴マップを前記デコードレイヤに入力してセグメンテーション結果を生成するプロセス；及び（ＩＩＩ）前記セグメンテーション結果及びそれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）を参照して一つ以上のロス値を出力し、前記ロス値をバックプロパゲーションして、前記ＣＮＮの一つ以上のパラメータを学習するプロセス；をさらに遂行することを特徴とする装置が提供される。

一実施例において、前記プロセッサは、（ＩＩ）デコードレイヤをもって、前記第ｎメイン特徴マップを前記デコードレイヤに入力してセグメンテーション結果を生成するプロセス；及び（ＩＩＩ）前記セグメンテーション結果及びそれに対応する原本正解を参照して一つ以上のロス値を出力し、前記ロス値をバックプロパゲーションして前記ＣＮＮの一つ以上のパラメータを学習するプロセス；をさらに遂行することを特徴とする装置が提供される。

本発明のまた別の態様によると、マルチフィーディングレイヤを使用して、少なくとも一つのテストイメージをエンコードすることができるＣＮＮのテスト装置において、前記ＣＮＮは前記テストイメージについて少なくとも一回以上のコンボリューション演算を適用して、テスト用第１乃至第ｎメイン特徴マップをそれぞれ生成する第１乃至第ｎコンボリューションレイヤを含み、前記ｎ個のコンボリューションレイヤのうちｈのコンボリューションレイヤそれぞれに対応する第１乃至第ｈフィーディングレイヤを含み、前記ｈは１乃至（ｎ−１）の整数であることを特徴とし、学習装置が（１）前記それぞれのコンボリューションレイヤをもって、少なくとも一つのトレーニングイメージ、または以前のコンボリューションレイヤで取得された学習用メイン特徴マップに前記コンボリューション演算を適用して、前記学習用第１乃至第ｎメイン特徴マップそれぞれを生成するものの、前記学習装置が、前記第１乃至第ｈフィーディングレイヤにそれぞれ対応する前記ｈ個のコンボリューションレイヤ（前記ｈ個のコンボリューションレイヤは前記第２乃至第ｎコンボリューションレイヤで選択される）のうちの一つである第ｋコンボリューションレイヤをもって、（ｉ）第（ｋ−１）コンボリューションレイヤから取得された学習用第（ｋ−１）メイン特徴マップ及び前記第ｋコンボリューションレイヤに対応する第ｍフィーディングレイヤから前記トレーニングイメージが前記学習用第（ｋ−１）メイン特徴マップの大きさに合わせてリサイズされた学習用第ｍサブ特徴マップを取得し、（ｉｉ）前記第ｍサブ特徴マップ及び前記学習用第（ｋ−１）メイン特徴マップを統合して学習用第（ｋ−１）統合特徴マップを生成し、（ｉｉｉ）前記学習用第の（ｋ−１）統合特徴マップに前記コンボリューション演算を適用して学習用第ｋメイン特徴マップを生成するプロセス；及び（２）前記ＣＮＮの一つ以上のパラメータを学習するプロセス；を遂行した状態で、前記テストイメージを取得する通信部；及び（Ｉ）前記それぞれのコンボリューションレイヤをもって、前記テストイメージ、または以前のコンボリューションレイヤで取得されたテスト用メイン特徴マップに前記コンボリューション演算を適用して前記テスト用第１乃至第ｎメイン特徴マップを生成するものの、前記第１乃至第ｈフィーディングレイヤにそれぞれ対応する前記ｈ個のコンボリューションレイヤ（前記ｈ個のコンボリューションレイヤは前記第２乃至第ｎコンボリューションレイヤで選択される）のうちの一つである第ｋコンボリューションレイヤをもって、（ｉ）第（ｋ−１）コンボリューションレイヤから取得されたテスト用第（ｋ−１）メイン特徴マップ及び前記第ｋコンボリューションレイヤに対応する第ｍフィーディングレイヤから前記テストイメージが前記テスト用第（ｋ−１）メイン特徴マップの大きさに合わせてリサイズされたテスト用第ｍサブ特徴マップを取得し、（ｉｉ）前記第ｍサブ特徴マップ及び前記テスト用第（ｋ−１）メイン特徴マップを統合してテスト用第（ｋ−１）統合特徴マップを生成し、（ｉｉｉ）前記テスト用第（ｋ−１）統合特徴マップに前記コンボリューション演算を適用してテスト用第ｋメイン特徴マップを生成するプロセス；を遂行するプロセッサを含むことを特徴とする装置が提供される。

一実施例において、前記プロセッサは、（Ｉ−１）前記第ｍフィーディングレイヤをもって、前記テスト用第（ｋ−１）メイン特徴マップの前記大きさに合うように前記テストイメージをリサイジングしてリサイズされた第ｍテストイメージを生成するようにするプロセス；（Ｉ−２）前記第ｍフィーディングレイヤをもって、前記リサイズされた第ｍテストイメージに前記コンボリューション演算を適用して前記テスト用第ｍサブ特徴マップを生成するようにするプロセス；（Ｉ−３）前記第ｋコンボリューションレイヤをもって、前記テスト用第（ｋ−１）メイン特徴マップ及び前記テスト用第ｍサブ特徴マップを統合して前記テスト用第（ｋ−１）統合特徴マップを生成するようにするプロセス；及び（Ｉ−４）前記第ｋコンボリューションレイヤをもって、前記テスト用第（ｋ−１）統合特徴マップに前記コンボリューション演算を適用して前記テスト用第ｋメイン特徴マップを生成するようにするプロセス；を遂行することを特徴とする装置が提供される。

一実施例において、前記（Ｉ−３）プロセスで、前記テスト用第（ｋ−１）メイン特徴マップ及び前記テスト用第ｍサブ特徴マップをピクセルごとに加えて前記テスト用第（ｋ−１）統合特徴マップを生成することを特徴とする装置が提供される。

一実施例において、前記（Ｉ−３）プロセスで、前記テスト用第（ｋ−１）メイン特徴マップ及び前記テスト用第ｍサブ特徴マップをコンカチネートして前記テスト用第（ｋ−１）統合特徴マップを生成することを特徴とする装置が提供される。

一実施例において、前記プロセッサは、（Ｉ−１）前記第ｍフィーディングレイヤをもって、前記リサイズされた前記第ｍテストイメージに前記コンボリューション演算を適用して前記テスト用第ｍサブ特徴マップを前記テスト用第（ｋ−１）メイン特徴マップの大きさに対応する大きさを有するように生成させるプロセス；（Ｉ−２）前記第ｋコンボリューションレイヤをもって、前記テスト用第（ｋ−１）メイン特徴マップ及び前記テスト用第ｍサブ特徴マップを統合して前記テスト用第（ｋ−１）統合特徴マップを生成するようにするプロセス；及び（Ｉ−３）前記第ｋコンボリューションレイヤをもって、前記テスト用第（ｋ−１）統合特徴マップに前記コンボリューション演算を適用して前記テスト用第ｋメイン特徴マップを生成するようにするプロセス；を遂行することを特徴とする装置が提供される。

一実施例において、前記プロセッサは、（Ｉ−１）プロセスにおいて、前記第ｍサブ特徴マップのサイズ及びチャンネルの数が前記テスト用第（ｋ−１）メイン特徴マップの前記サイズ及び前記チャンネルの数に対応するように前記テスト用第ｍサブ特徴マップを生成することを特徴とする装置が提供される。

本発明によると、ＣＮＮの第一のコンボリューションレイヤだけでなく、ＣＮＮの他のコンボリューションレイヤでも入力イメージの情報をそのまま利用することができるので、ＣＮＮを通じた連続的なコンボリューション演算によっても入力イメージの詳細情報をより効率的に格納することができる。

本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業が行われずにこの図面に基づいて他の図面が得られ得る。
従来の一般的なＣＮＮを利用して入力イメージのフィーディング過程を簡略的に示す図面である。 本発明によるＣＮＮのマルチフィーディング構成を簡略的に示す図面である。 本発明による入力イメージにマルチフィーディングを適用して、特徴マップを生成する過程を例示的に示す図面である。

後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。本発明の様々な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。

本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。

また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又はプロセスを除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は、実例として提供され、本発明を限定することを意図したものではない。

以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面に基づいて詳細に説明する。

図２は、本発明によるＣＮＮのマルチフィーディングの構成を簡略的に示す図面である。

図２を参照すると、本発明によるＣＮＮは多数のコンボリューションレイヤからメイン特徴マップ（２０１、２０２、２０３）が順次生成されるとき、コンボリューションレイヤをもって、少なくとも一つの入力イメージ（１０１）のリサイズされた情報を利用する構成を有する。

つまり、図２に示されているように、学習装置で使用されるＣＮＮまたはテスト装置で使用されるＣＮＮは、入力イメージ（１０１）を取得して第１コンボリューションレイヤをもって第１メイン特徴マップ（２０１）を生成することができる。また、ＣＮＮは、第２コンボリューションレイヤをもって第２メイン特徴マップ（２０２）を生成するようにするものの、入力イメージ（１０１）を参照して生成された第１サブ特徴マップ（２１１）及び第１メイン特徴マップを統合した第１統合特徴マップを第２コンボリューションレイヤに入力して第２メイン特徴マップ（２０２）を生成することができる。この際、第１サブ特徴マップ（２１１）は、入力イメージ（１０１）を第１メイン特徴マップ（２０１）の大きさに調節してリサイズされた第１入力イメージ（１１１）を生成した後、リサイズされた第１入力イメージ（１１１）に一つ以上のコンボリューション演算を適用して生成することができる。また、ＣＮＮは、第３コンボリューションレイヤをもって第３メイン特徴マップ（２０３）を生成するようにするが、入力イメージ（１０１）を参照して生成された第２サブ特徴マップ（２１２）及び第２メイン特徴マップを統合した第２統合特徴マップを第３コンボリューションレイヤに入力して第３メイン特徴マップ（２０３）を生成することができる。この際、第２サブ特徴マップ（２１２）は、入力イメージ（１０１）を第２メイン特徴マップ（２０２）の大きさに調節してリサイズされた第２入力イメージ（１１２）を生成した後、リサイズされた第２入力イメージ（１１２）にコンボリューション演算を適用して生成することができる。
一方、特定のメイン特徴マップと特定のサブ特徴マップを統合する際、２つの特徴マップをピクセルごとに加えて生成することができる。この場合、特定のサブ特徴マップは、特定のメイン特徴マップ（２０１）とチャンネル数が同一でなければならないために、リサイズされた特定の入力イメージにコンボリューション演算を適用するとき、チャンネル数を特定のメイン特徴マップのチャンネル数に合わせるように１×１コンボリューション演算を適用することができる。他の例において、特定のメイン特徴マップと特定のサブ特徴マップを統合する際に２つの特徴マップをコンカチネートして生成することもできる。この場合は、特定のメイン特徴マップと特定のサブ特徴マップのチャンネル数が同一である必要はないであろう。

本発明によるＣＮＮは、各コンボリューションレイヤにおいて特徴マップを生成する際に、それぞれ入力イメージをリサイジングして、全てのコンボリューションレイヤにフィーディングすることもできるが、コンボリューションレイヤのうち一部のコンボリューションレイヤにのみ入力イメージをフィーディングする構成を使用することもできるであろう。

図３は、本発明による入力イメージにマルチフィーディングを適用して特徴マップを生成する過程を例示的に示す図面である。

本発明によるＣＮＮ（例えば、ＣＮＮ学習装置）は、第１乃至第ｎコンボリューションレイヤを含んで、少なくとも一つのトレーニングイメージについてコンボリューション演算を適用して第１乃至第ｎメイン特徴マップをそれぞれ生成することができる。一方、本発明によるＣＮＮは、ｎ個のコンボリューションレイヤのうちｈ（ｈは１乃至（ｎ−１）の任意の整数）個のコンボリューションレイヤと連動する第１乃至第ｈフィーディングレイヤをさらに含むことができる。もちろん、第１コンボリューションレイヤ（第１コンボリューションレイヤは、トレーニングイメージが直ちにフィーディングされることに連動するフィーディングレイヤがない）を除いた残り（ｎ−１）個のコンボリューションレイヤに全て連動するように、（ｎ−１）個のフィーディングレイヤを含むこともあるが、演算量を減らすために、（ｎ−１）個、すなわち第２乃至第ｎコンボリューションレイヤのうち一部のコンボリューションレイヤに連動するように、ｈ個のコンボリューションレイヤそれぞれにのみ連動するｈ個のフィーディングレーターのみを含むこともできるであろう。

図３を参照すると、ＣＮＮのｎ個のコンボリューションレイヤは、入力されるトレーニングイメージ、または以前のコンボリューションレイヤで取得されたメイン特徴マップに少なくとも一つのコンボリューション演算を適用して、それぞれ第１乃至第ｎメイン特徴マップを生成するが、この際、第２乃至第ｎコンボリューションレイヤのうち第１乃至第ｈフィーディングレイヤに対応するｈ個のコンボリューションレイヤは、以下のような特徴マップ生成過程を遂行する。

ｈ個のコンボリューションレイヤのうち任意の特定コンボリューションレイヤがｎ個のコンボリューションレイヤのうちｋ番目のコンボリューションレイヤと仮定すると、ｋコンボリューションレイヤ（３２０）はｋコンボリューションレイヤ（３２０）の以前の第（ｋ−１）コンボリューションレイヤ（３１０）から取得された第（ｋ−１）メイン特徴マップ（３１２）及び第ｋコンボリューションレイヤ（３２０）に対応する第ｍフィーディングレイヤ（４１０）からトレーニングイメージ（１０１）が第（ｋ−１）メイン特徴マップ（３１２）の大きさに合わせてリサイズされた第ｍサブ特徴マップ（４１２）を取得することができる。そして、第ｋコンボリューションレイヤ（３２０）は、取得した第ｍサブ特徴マップ（４１２）を第（ｋ−１）メイン特徴マップ（３１２）に統合して、第（ｋ−１）統合特徴マップ（３２１）を生成し、第（ｋ−１）統合特徴マップ（３２１）に少なくとも一つのコンボリューション演算を適用して第ｋメイン特徴マップ（３２２）を生成することができる。

この過程を図３を参照して具体的に説明すると次のとおりである。

まず、第ｋコンボリューションレイヤ（３２０）に対応する第ｍフィーディングレイヤ（４１０）が第（ｋ−１）コンボリューションレイヤ（３１０）で生成された第（ｋ−１）メイン特徴マップ（３１２）の大きさに合うようにトレーニングイメージ（１００）の大きさを調節したリサイズされた第ｍトレーニングイメージ（４１１）を生成し、リサイズされた第ｍトレーニングイメージ（４１１）にコンボリューション演算を適用して第ｍサブ特徴マップ（４１２）を生成することができる。第（ｋ−１）メイン特徴マップ（３１２）との統合のためにリサイズされた第ｍトレーニングイメージ（４１１）にコンボリューション演算を適用して、第ｍサブ特徴マップを生成することができる。併せて、ピクセルごとに加えて統合するためにはコンボリューション演算を適用して第ｍサブ特徴マップ（４１２）のチャンネル数を第（ｋ−１）メイン特徴マップ（３１２）のチャンネル数と同じようにすることができる。その後、第ｋコンボリューションレイヤ（３２０）は、第（ｋ−１）メイン特徴マップ（３１２）と第ｍサブ特徴マップ（４１２）を統合して第（ｋ−１）統合特徴マップ（３２１）を生成することができる。そして、第ｋコンボリューションレイヤ（３２０）は、第（ｋ−１）統合特徴マップ（３２１）についてコンボリューション演算を適用して第ｋメイン特徴マップ（３２２）を生成することができる。上述したように、第ｋコンボリューションレイヤ（３２０）は、第（ｋ−１）メイン特徴マップ（３１２）と第ｍサブ特徴マップ（４１２）をピクセルごとに加えて第（ｋ−１）統合特徴マップ（３２１）を生成することもでき、第（ｋ−１）メイン特徴マップ（３１２）と第ｍサブ特徴マップ（４１２）をコンカチネートして第（ｋ−１）統合特徴マップ（３２１）を生成することもできる。

同様に、第（ｋ＋１）コンボリューションレイヤ（３３０）に対応する第（ｍ＋１）フィーディングレイヤ（４２０）が第ｋコンボリューションレイヤ（３２０）で生成された第ｋメイン特徴マップ（３２２）の大きさに合うようにトレーニングイメージ（１０１）の大きさを調節したリサイズされた第（ｍ＋１）トレーニングイメージ（４２１）を生成することができ、リサイズされた第（ｍ＋１）トレーニングイメージ（４２１）にコンボリューション演算を適用して、第（ｍ＋１）サブ特徴マップ（４２２）を生成することができる。その後、第（ｋ＋１）コンボリューションレイヤ（３３０）は第ｋメイン特徴マップ（３２２）と第（ｍ＋１）サブ特徴マップ（４２２）を統合して第ｋ統合特徴マップ（３３１）を生成することができる。そして、第（ｋ＋１）コンボリューションレイヤ（３３０）は第ｋ統合特徴マップ（３３１）にコンボリューション演算を適用して、第（ｋ＋１）メイン特徴マップ（３３２）を生成することができる。

一方、図３に示されなかったが、本発明の他の実施例では、トレーニングイメージ（１０１）のリサイズの過程なしにコンボリューション演算を適用してトレーニングイメージ（１０１）の大きさとチャンネル数を変更してそれぞれのサブ特徴マップを生成することもできる。この場合、第ｍフィーディングレイヤ（４１０）は、第（ｋ−１）コンボリューションレイヤ（３１０）から出力された第（ｋ−１）メイン特徴マップ（３１２）の大きさに合うようにトレーニングイメージ（１０１）にコンボリューション演算を適用して第ｍサブ特徴マップ（４１２）を生成し、第ｋコンボリューションレイヤ（３２０）は、第（ｋ−１）メイン特徴マップ（３１２）と第ｍサブ特徴マップ（４１２）を統合して第（ｋ−１）統合特徴マップ（３２１）を生成することができる。同様に、第（ｍ＋１）フィーディングレイヤ（４２０）は第ｋコンボリューションレイヤ（３２０）から出力された第ｋメイン特徴マップ（３２２）の大きさに合うようにトレーニングイメージ（１０１）にコンボリューション演算を適用して、第（ｍ＋１）サブ特徴マップ（４２２）を生成し、第（ｋ＋１）コンボリューションレイヤ（３３０）は第ｋメイン特徴マップ（３２２）と第（ｍ＋１）サブ特徴マップ（４２２）を統合して第ｋ統合特徴マップ（３３１）を生成することができる。

このような過程を通じて第ｎメイン特徴マップが生成されると、ＣＮＮはＣＮＮの目的に合うさらなる演算を行うこともできる。たとえば、もしＣＮＮが少なくとも一つの特定物体の検出学習のための学習装置であるならば、第ｎメイン特徴マップに少なくとも一つのＦＣ演算を遂行してトレーニングイメージ（１０１）内の特定の物体に対するディテクション結果を取得し、ディテクション結果と原本正解値を利用してロスを算出した後、ロスをバックプロパゲーションしてＣＮＮの少なくとも一つのパラメータを学習する。もし、ＣＮＮがセグメンテーション結果を学習するための学習装置であるならば、学習装置はデコードレイヤをもって第ｎメイン特徴マップをデコードレイヤに入力してセグメンテーション結果を取得し、セグメンテーション結果と原本正解値を利用してロスを算出した後、ロスをバックプロパゲーションしてＣＮＮのパラメータを学習する。

ＣＮＮがテスト装置である場合にも、上記で説明された過程がテスト方法に適用して、少なくとも一つのテスト用ＣＮＮ出力を得る。

この場合、学習装置を通じて前記ような過程を経てＣＮＮのパラメータを学習した状態で、テスト装置は少なくとも一つのテストイメージをテストするためにＣＮＮ出力を生成することもできる。つまり、テスト装置がそれぞれのコンボリューションレイヤをもって、テストイメージ、または以前のコンボリューションレイヤで取得されたテスト用メイン特徴マップにコンボリューション演算を適用して、テスト用第１乃至第ｎメイン特徴マップを生成するものの、第２乃至第ｎコンボリューションレイヤのうち第１乃至第ｈフィーディングレイヤに対応するｈ個のコンボリューションレイヤのうち、少なくとも第ｋコンボリューションレイヤ（ここでｋは２乃至ｎの間の自然数であり、ｈ個のコンボリューションレイヤの一つ）によって、第ｋコンボリューションレイヤの以前の第（ｋ−１）コンボリューションレイヤから取得されたテスト用第（ｋ−１）メイン特徴マップ及びｋコンボリューションレイヤに対応する第ｍフィーディングレイヤからテストイメージがテスト用第（ｋ−１）メイン特徴マップの大きさに合わせてリサイズされたテスト用第ｍサブ特徴マップを取得し、第ｍサブ特徴マップ及びテスト用第（ｋ−１）メイン特徴マップを統合してテスト用第（ｋ−１）統合特徴マップを生成し、テスト用第（ｋ−１）統合特徴マップにコンボリューション演算を適用してテスト用第ｋメイン特徴マップを生成するようになる。その後、第ｎメイン特徴マップにＦＣ演算を適用して、テストイメージ内の少なくとも一つの特定の物体に対するディテクション結果を取得したり、テスト用第ｎメイン特徴マップをデコードレイヤに入力してテスト用セグメンテーション結果を取得する。

このような本発明による入力イメージにマルチフィーディングレイヤを適用したＣＮＮは、第一のコンボリューションレイヤだけでなく、第二以上のコンボリューションレイヤにも入力イメージの詳細情報をそのまま提供することができるため、多数のコンボリューションの演算で消えた入力イメージの詳細情報を維持させることができる。

本発明の技術分野における通常の技術者に理解され得るところであって、前記で説明されたイメージ、例えばトレーニングイメージ、テストイメージのようなイメージデータの送受信が学習装置及びテスト装置の通信部によって行われ得るのであり、特徴マップと演算を遂行するためのデータが学習装置及びテスト装置のプロセッサ（及び／又はメモリー）によって保有／維持され得、コンボリューション演算、デコンボリューション演算、ロス値の演算過程が主に学習装置及びテスト装置のプロセッサによって遂行され得るが、本発明がこれに限定されはしないであろう。

以上にて説明された本発明による実施例は、多様なコンピュータの構成要素を介して遂行することができるプログラム命令語の形態で具現されて、コンピュータ判読可能な記録媒体に記録され得る。前記コンピュータ判読可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ判読可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ判読可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカル・ディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光メディア（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリーなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行される高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。

以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、係る記載から多様な修正及び変形が行われ得る。

従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims (26)

1. マルチフィーディングレイヤを使用して、少なくとも一つのトレーニングイメージをエンコードすることができるＣＮＮの学習方法において、前記ＣＮＮは、前記トレーニングイメージについて少なくとも一回以上のコンボリューション演算を適用して第１乃至第ｎメイン特徴マップをそれぞれ生成する第１乃至第ｎコンボリューションレイヤを含み、前記ｎ個のコンボリューションレイヤのうちｈ個のコンボリューションレイヤそれぞれに対応する第１乃至第ｈフィーディングレイヤを含み、前記ｈは１乃至（ｎ−１）の整数であることを特徴とし、
   （ａ）学習装置が、前記トレーニングイメージを取得する段階；及び
   （ｂ）前記学習装置が、前記それぞれのコンボリューションレイヤをもって、前記トレーニングイメージ、または以前のコンボリューションレイヤで取得されたメイン特徴マップに前記コンボリューション演算を適用して、前記第１乃至第ｎメイン特徴マップそれぞれを生成するものの、前記学習装置が、前記第１乃至第ｈフィーディングレイヤにそれぞれ対応する前記ｈ個のコンボリューションレイヤ（前記ｈ個のコンボリューションレイヤは前記第２乃至第ｎコンボリューションレイヤで選ばれる）のうちの一つである第ｋコンボリューションレイヤをもって、（ｉ）第（ｋ−１）コンボリューションレイヤから取得された第（ｋ−１）メイン特徴マップ及び前記第ｋコンボリューションレイヤに対応する第ｍフィーディングレイヤから前記トレーニングイメージが前記第（ｋ−１）メイン特徴マップの大きさに合わせてリサイズされた第ｍサブ特徴マップを取得し、（ｉｉ）前記第ｍサブ特徴マップ及び前記第（ｋ−１）メイン特徴マップを統合して第（ｋ−１）統合特徴マップを生成し、（ｉｉｉ）前記第（ｋ−１）統合特徴マップに前記コンボリューション演算を適用して第ｋメイン特徴マップを生成する段階；
   を含み、前記（ｂ）段階で、
   （ｂ−１）前記学習装置が、前記第ｍフィーディングレイヤをもって、前記第（ｋ−１）メイン特徴マップの前記大きさに合うように前記トレーニングイメージをリサイジングしてリサイズされた第ｍトレーニングイメージを生成するようにする段階；
   （ｂ−２）前記学習装置が、前記第ｍフィーディングレイヤをもって、前記リサイズされた第ｍトレーニングイメージに前記コンボリューション演算を適用して前記第ｍサブ特徴マップを生成するようにする段階；
   （ｂ−３）前記学習装置が、前記第ｋコンボリューションレイヤをもって、前記第（ｋ−１）メイン特徴マップ及び前記第ｍサブ特徴マップを統合して前記第（ｋ−１）統合特徴マップを生成するようにする段階；及び
   （ｂ−４）前記学習装置が、前記第ｋコンボリューションレイヤをもって、前記第（ｋ−１）統合特徴マップに前記コンボリューション演算を適用して、前記第ｋメイン特徴マップを生成するようにする段階；
   を含むことを特徴とする方法。
2. 前記（ｂ−３）段階で、前記第（ｋ−１）メイン特徴マップ及び前記第ｍサブ特徴マップをピクセルごとに加えて、前記第（ｋ−１）統合特徴マップを生成することを特徴とする請求項１に記載の方法。
3. 前記（ｂ−３）段階で、前記第（ｋ−１）メイン特徴マップ及び前記第ｍサブ特徴マップをコンカチネートして前記第（ｋ−１）統合特徴マップを生成することを特徴とする請求項１に記載の方法。
4. 前記（ｂ−２）段階で、前記第ｍサブ特徴マップのチャンネル数が前記第（ｋ−１）メイン特徴マップのチャンネル数に対応するように、前記リサイズされた第ｍトレーニングイメージに前記コンボリューション演算を適用して、前記第ｍサブ特徴マップを生成することを特徴とする請求項１に記載の方法。
5. （ｃ）前記学習装置が、少なくとも一つのＦＣレイヤをもって、前記第ｎメイン特徴マップに少なくとも一つのＦＣ演算を適用して、前記トレーニングイメージ内の少なくとも一つの物体に対するディテクション結果を生成する段階；及び
   （ｄ）前記学習装置が、前記ディテクション結果及びそれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）を参照して一つ以上のロス値を出力し、前記ロス値をバックプロパゲーションして、前記ＣＮＮの一つ以上のパラメータを学習する段階；
   をさらに含むことを特徴とする請求項１に記載の方法。
6. （ｃ）前記学習装置が、デコードレイヤをもって、前記第ｎメイン特徴マップを前記デコードレイヤに入力してセグメンテーション結果を生成する段階；及び、
   （ｄ）前記学習装置が、前記セグメンテーション結果及びそれに対応する原本正解を参照して一つ以上のロス値を出力し、前記ロス値をバックプロパゲーションして前記ＣＮＮの一つ以上のパラメータを学習する段階；
   をさらに含むことを特徴とする請求項１に記載の方法。
7. マルチフィーディングレイヤを使用して、少なくとも一つのトレーニングイメージをエンコードすることができるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の学習方法において、前記ＣＮＮは、前記トレーニングイメージについて少なくとも一回以上のコンボリューション演算を適用して第１乃至第ｎメイン特徴マップをそれぞれ生成する第１乃至第ｎコンボリューションレイヤを含み、前記ｎ個のコンボリューションレイヤのうちｈ個のコンボリューションレイヤそれぞれに対応する第１乃至第ｈフィーディングレイヤを含み、前記ｈは１乃至（ｎ−１）の整数であることを特徴とし、
   （ａ）学習装置が、前記トレーニングイメージを取得する段階；及び
   （ｂ）前記学習装置が、前記それぞれのコンボリューションレイヤをもって、前記トレーニングイメージ、または以前のコンボリューションレイヤで取得されたメイン特徴マップに前記コンボリューション演算を適用して、前記第１乃至第ｎメイン特徴マップそれぞれを生成するものの、前記学習装置が、前記第１乃至第ｈフィーディングレイヤにそれぞれ対応する前記ｈ個のコンボリューションレイヤ（前記ｈ個のコンボリューションレイヤは前記第２乃至第ｎコンボリューションレイヤで選ばれる）のうちの一つである第ｋコンボリューションレイヤをもって、（ｉ）第（ｋ−１）コンボリューションレイヤから取得された第（ｋ−１）メイン特徴マップ及び前記第ｋコンボリューションレイヤに対応する第ｍフィーディングレイヤから前記トレーニングイメージが前記第（ｋ−１）メイン特徴マップの大きさに合わせてリサイズされた第ｍサブ特徴マップを取得し、（ｉｉ）前記第ｍサブ特徴マップ及び前記第（ｋ−１）メイン特徴マップを統合して第（ｋ−１）統合特徴マップを生成し、（ｉｉｉ）前記第（ｋ−１）統合特徴マップに前記コンボリューション演算を適用して第ｋメイン特徴マップを生成する段階；
   を含み、前記（ｂ）段階で、
   （ｂ−１）前記学習装置が、前記第ｍフィーディングレイヤをもって、
   前記トレーニングイメージをリサイズして取得されたリサイズされた第ｍトレーニングイメージに前記コンボリューション演算を適用して、前記第ｍサブ特徴マップを前記第（ｋ−１）メイン特徴マップの大きさに対応する大きさを有するように生成させる段階；
   （ｂ−２）前記学習装置が、前記第ｋコンボリューションレイヤをもって、前記第（ｋ−１）メイン特徴マップ及び前記第ｍサブ特徴マップを統合して、前記第（ｋ−１）統合特徴マップを生成するようにする段階；及び
   （ｂ−３）前記学習装置が、前記第ｋコンボリューションレイヤをもって、前記第（ｋ−１）統合特徴マップに前記コンボリューション演算を適用して、前記第ｋメイン特徴マップを生成するようにする段階；
   を含むことを特徴とする方法。
8. 前記（ｂ−１）段階で、前記第ｍサブ特徴マップのサイズ及びチャンネルの数が前記第（ｋ−１）メイン特徴マップの前記サイズ及び前記チャンネルの数に対応するように前記第ｍサブ特徴マップを生成することを特徴とする請求項７に記載の方法。
9. マルチフィーディングレイヤを使用して、少なくとも一つのテストイメージをエンコードすることができるＣＮＮのテスト方法において、前記ＣＮＮは前記テストイメージについて少なくとも一回以上のコンボリューション演算を適用して、テスト用第１乃至第ｎメイン特徴マップをそれぞれ生成する第１乃至第ｎコンボリューションレイヤを含み、前記ｎ個のコンボリューションレイヤのうちｈ個のコンボリューションレイヤそれぞれに対応する第１乃至第ｈフィーディングレイヤを含み、前記ｈは１乃至（ｎ−１）の整数であることを特徴とし、
   （ａ）学習装置が、（１）前記それぞれのコンボリューションレイヤをもって、少なくとも一つのトレーニングイメージ、または以前のコンボリューションレイヤで取得された学習用メイン特徴マップに前記コンボリューション演算を適用して、前記学習用第１乃至第ｎメイン特徴マップそれぞれを生成するものの、前記学習装置が、前記第１乃至第ｈフィーディングレイヤにそれぞれ対応する前記ｈ個のコンボリューションレイヤ（前記ｈ個のコンボリューションレイヤは前記第２乃至第ｎコンボリューションレイヤで選択される）のうちの一つである第ｋコンボリューションレイヤをもって、（ｉ）第（ｋ−１）コンボリューションレイヤから取得された学習用第（ｋ−１）メイン特徴マップ及び前記第ｋコンボリューションレイヤに対応する第ｍフィーディングレイヤから前記トレーニングイメージが前記学習用第（ｋ−１）メイン特徴マップの大きさに合わせてリサイズされた学習用第ｍサブ特徴マップを取得し、（ｉｉ）前記第ｍサブ特徴マップ及び前記学習用第（ｋ−１）メイン特徴マップを統合して学習用第（ｋ−１）統合特徴マップを生成し、（ｉｉｉ）前記学習用第（ｋ−１）統合特徴マップに前記コンボリューション演算を適用して学習用第ｋメイン特徴マップを生成するプロセス；及び（２）前記ＣＮＮの一つ以上のパラメータを学習するプロセス；を遂行した状態で、テスト装置が前記テストイメージを取得する段階；
   （ｂ）前記テスト装置が、前記それぞれのコンボリューションレイヤをもって、前記テストイメージ、または以前のコンボリューションレイヤから取得されたテスト用メイン特徴マップに前記コンボリューション演算を適用して前記テスト用第１乃至第ｎメイン特徴マップを生成するものの、前記テスト装置が、前記第１乃至第ｈフィーディングレイヤにそれぞれ対応する前記ｈ個のコンボリューションレイヤ（前記ｈ個のコンボリューションレイヤは前記第２乃至第ｎコンボリューションレイヤで選択される）のうちの一つである第ｋコンボリューションレイヤをもって、（ｉ）第（ｋ−１）コンボリューションレイヤから取得されたテスト用第（ｋ−１）メイン特徴マップ及び前記第ｋコンボリューションレイヤに対応する第ｍフィーディングレイヤから前記テストイメージが前記テスト用第（ｋ−１）メイン特徴マップの大きさに合わせてリサイズされたテスト用第ｍサブ特徴マップを取得し、（ｉｉ）前記第ｍサブ特徴マップ及び前記テスト用第（ｋ−１）メイン特徴マップを統合してテスト用第（ｋ−１）統合特徴マップを生成し、（ｉｉｉ）前記テスト用第（ｋ−１）統合特徴マップに前記コンボリューション演算を適用して、テスト用第ｋメイン特徴マップを生成する段階；
   を含み、前記（ｂ）段階で、
   （ｂ−１）前記テスト装置が、前記第ｍフィーディングレイヤをもって、前記テスト用第（ｋ−１）メイン特徴マップの前記大きさに合うように前記テストイメージをリサイジングしてリサイズされた第ｍテストイメージを生成するようにする段階；
   （ｂ−２）前記テスト装置が、前記第ｍフィーディングレイヤをもって、前記リサイズされた第ｍテストイメージに前記コンボリューション演算を適用して前記テスト用第ｍサブ特徴マップを生成するようにする段階；
   （ｂ−３）前記テスト装置が、前記第ｋコンボリューションレイヤをもって、前記テスト用第（ｋ−１）メイン特徴マップ及び前記テスト用第ｍサブ特徴マップを統合して前記テスト用第（ｋ−１）統合特徴マップを生成するようにする段階；及び
   （ｂ−４）前記テスト装置が、前記第ｋコンボリューションレイヤをもって、前記テスト用第（ｋ−１）統合特徴マップに前記コンボリューション演算を適用して前記テスト用第ｋメイン特徴マップを生成するようにする段階；
   を含むことを特徴とする方法。
10. 前記（ｂ−３）段階で、前記テスト用第（ｋ−１）メイン特徴マップ及び前記テスト用第ｍサブ特徴マップをピクセルごとに加えて前記テスト用第（ｋ−１）統合特徴マップを生成することを特徴とする請求項９に記載の方法。
11. 前記（ｂ−３）段階で、前記テスト用第（ｋ−１）メイン特徴マップ及び前記テスト用第ｍサブ特徴マップをコンカチネートして前記テスト用第（ｋ−１）統合特徴マップを生成することを特徴とする請求項９に記載の方法。
12. マルチフィーディングレイヤを使用して、少なくとも一つのテストイメージをエンコードすることができるＣＮＮのテスト方法において、前記ＣＮＮは前記テストイメージについて少なくとも一回以上のコンボリューション演算を適用して、テスト用第１乃至第ｎメイン特徴マップをそれぞれ生成する第１乃至第ｎコンボリューションレイヤを含み、前記ｎ個のコンボリューションレイヤのうちｈ個のコンボリューションレイヤそれぞれに対応する第１乃至第ｈフィーディングレイヤを含み、前記ｈは１乃至（ｎ−１）の整数であることを特徴とし、
    （ａ）学習装置が、（１）前記それぞれのコンボリューションレイヤをもって、少なくとも一つのトレーニングイメージ、または以前のコンボリューションレイヤで取得された学習用メイン特徴マップに前記コンボリューション演算を適用して、前記学習用第１乃至第ｎメイン特徴マップそれぞれを生成するものの、前記学習装置が、前記第１乃至第ｈフィーディングレイヤにそれぞれ対応する前記ｈ個のコンボリューションレイヤ（前記ｈ個のコンボリューションレイヤは前記第２乃至第ｎコンボリューションレイヤで選択される）のうちの一つである第ｋコンボリューションレイヤをもって、（ｉ）第（ｋ−１）コンボリューションレイヤから取得された学習用第（ｋ−１）メイン特徴マップ及び前記第ｋコンボリューションレイヤに対応する第ｍフィーディングレイヤから前記トレーニングイメージが前記学習用第（ｋ−１）メイン特徴マップの大きさに合わせてリサイズされた学習用第ｍサブ特徴マップを取得し、（ｉｉ）前記第ｍサブ特徴マップ及び前記学習用第（ｋ−１）メイン特徴マップを統合して学習用第（ｋ−１）統合特徴マップを生成し、（ｉｉｉ）前記学習用第（ｋ−１）統合特徴マップに前記コンボリューション演算を適用して学習用第ｋメイン特徴マップを生成するプロセス；及び（２）前記ＣＮＮの一つ以上のパラメータを学習するプロセス；を遂行した状態で、テスト装置が前記テストイメージを取得する段階；
    （ｂ）前記テスト装置が、前記それぞれのコンボリューションレイヤをもって、前記テストイメージ、または以前のコンボリューションレイヤから取得されたテスト用メイン特徴マップに前記コンボリューション演算を適用して前記テスト用第１乃至第ｎメイン特徴マップを生成するものの、前記テスト装置が、前記第１乃至第ｈフィーディングレイヤにそれぞれ対応する前記ｈ個のコンボリューションレイヤ（前記ｈ個のコンボリューションレイヤは前記第２乃至第ｎコンボリューションレイヤで選択される）のうちの一つである第ｋコンボリューションレイヤをもって、（ｉ）第（ｋ−１）コンボリューションレイヤから取得されたテスト用第（ｋ−１）メイン特徴マップ及び前記第ｋコンボリューションレイヤに対応する第ｍフィーディングレイヤから前記テストイメージが前記テスト用第（ｋ−１）メイン特徴マップの大きさに合わせてリサイズされたテスト用第ｍサブ特徴マップを取得し、（ｉｉ）前記第ｍサブ特徴マップ及び前記テスト用第（ｋ−１）メイン特徴マップを統合してテスト用第（ｋ−１）統合特徴マップを生成し、（ｉｉｉ）前記テスト用第（ｋ−１）統合特徴マップに前記コンボリューション演算を適用して、テスト用第ｋメイン特徴マップを生成する段階；
    を含み、前記（ｂ）段階において、
    （ｂ−１）前記テスト装置が、前記第ｍフィーディングレイヤをもって、前記テストイメージをリサイズして取得されたリサイズされた第ｍテストイメージに前記コンボリューション演算を適用して、前記テスト用第ｍサブ特徴マップを前記テスト用第（ｋ−１）メイン特徴マップの大きさに対応する大きさを有するように生成させる段階；
    （ｂ−２）前記テスト装置が、前記第ｋコンボリューションレイヤをもって、前記テスト用第（ｋ−１）メイン特徴マップ及び前記テスト用第ｍサブ特徴マップを統合して前記テスト用第（ｋ−１）統合特徴マップを生成するようにする段階；及び
    （ｂ−３）前記テスト装置が、前記第ｋコンボリューションレイヤをもって、前記テスト用第（ｋ−１）統合特徴マップに前記コンボリューション演算を適用して前記テスト用第ｋメイン特徴マップを生成するようにする段階；
    を含むことを特徴とする請求項９に記載の方法。
13. 前記（ｂ−１）段階で、前記第ｍサブ特徴マップのサイズ及びチャンネルの数が前記テスト用第（ｋ−１）メイン特徴マップの前記サイズ及び前記チャンネルの数に対応するように前記テスト用第ｍサブ特徴マップを生成することを特徴とする請求項１２に記載の方法。
14. マルチフィーディングレイヤを使用して、少なくとも一つのトレーニングイメージをエンコードすることができるＣＮＮの学習装置において、前記ＣＮＮは、前記トレーニングイメージについて少なくとも一回以上のコンボリューション演算を適用して第１乃至第ｎメイン特徴マップをそれぞれ生成する第１乃至第ｎコンボリューションレイヤを含み、前記ｎ個のコンボリューションレイヤのうちｈ個のコンボリューションレイヤそれぞれに対応する第１乃至第ｈフィーディングレイヤを含み、前記ｈは１乃至（ｎ−１）の整数であることを特徴とし、
    前記トレーニングイメージを取得する通信部；及び
    （Ｉ）前記それぞれのコンボリューションレイヤをもって、前記トレーニングイメージ、または以前のコンボリューションレイヤで取得されたメイン特徴マップに前記コンボリューション演算を適用して、前記第１乃至第ｎメイン特徴マップそれぞれを生成するものの、前記第１乃至第ｈフィーディングレイヤにそれぞれ対応する前記ｈ個のコンボリューションレイヤ（前記ｈ個のコンボリューションレイヤは前記第２乃至第ｎコンボリューションレイヤで選択される）のうちの一つである第ｋコンボリューションレイヤをもって、（ｉ）第（ｋ−１）コンボリューションレイヤから取得された第（ｋ−１）メイン特徴マップ及び前記第ｋコンボリューションレイヤに対応する第ｍフィーディングレイヤから前記トレーニングイメージが前記第（ｋ−１）メイン特徴マップの大きさに合わせてリサイズされた第ｍサブ特徴マップを取得し、（ｉｉ）第ｍサブ特徴マップ及び前記第（ｋ−１）メイン特徴マップを統合して第（ｋ−１）統合特徴マップを生成し、（ｉｉｉ）前記第（ｋ−１）統合特徴マップに前記コンボリューション演算を適用して第ｋメイン特徴マップを生成するプロセスを遂行するプロセッサ；
    を含み、前記（Ｉ）プロセスにおいて前記プロセッサは、
    （Ｉ−１）前記第ｍフィーディングレイヤをもって、前記第（ｋ−１）メイン特徴マップの前記大きさに合うように前記トレーニングイメージをリサイジングしてリサイズされた第ｍトレーニングイメージを生成するようにするプロセス；
    （Ｉ−２）前記第ｍフィーディングレイヤをもって、前記リサイズされた第ｍトレーニングイメージに前記コンボリューション演算を適用して、前記第ｍサブ特徴マップを生成するようにするプロセス；
    （Ｉ−３）前記第ｋコンボリューションレイヤをもって、前記第（ｋ−１）メイン特徴マップ及び前記第ｍサブ特徴マップを統合して、前記第（ｋ−１）統合特徴マップを生成するようにするプロセス；及び
    （Ｉ−４）前記第ｋコンボリューションレイヤをもって、前記第（ｋ−１）統合特徴マップに前記コンボリューション演算を適用して、前記第ｋメイン特徴マップを生成するようにするプロセス；
    を遂行することを特徴とする装置。
15. 前記（Ｉ−３）プロセスにおいて、前記第（ｋ−１）メイン特徴マップ及び前記第ｍサブ特徴マップをピクセルごとに加え、前記第（ｋ−１）統合特徴マップを生成することを特徴とする請求項１４に記載の装置。
16. 前記（Ｉ−３）プロセスにおいて、前記第（ｋ−１）メイン特徴マップ及び前記第ｍサブ特徴マップをコンカチネートして第（ｋ−１）統合特徴マップを生成することを特徴とする請求項１４に記載の装置。
17. 前記（Ｉ−２）プロセスにおいて、前記第ｍサブ特徴マップのチャンネル数が前記第（ｋ−１）メイン特徴マップのチャンネル数に対応するように、前記リサイズされた第ｍトレーニングイメージに前記コンボリューション演算を適用して、前記第ｍサブ特徴マップを生成することを特徴とする請求項１４に記載の装置。
18. 前記プロセッサは、
    （ＩＩ）少なくとも一つのＦＣレイヤをもって、前記第ｎメイン特徴マップに少なくとも一つのＦＣ演算を適用して、前記トレーニングイメージ内の少なくとも一つの物体に対するディテクション結果を生成するプロセス；及び、
    （ＩＩＩ）前記ディテクション結果及びそれに対応する原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）を参照して一つ以上のロス値を出力し、前記ロス値をバックプロパゲーションして、前記ＣＮＮの一つ以上のパラメータを学習するプロセス；
    をさらに遂行することを特徴とする請求項１４に記載の装置。
19. 前記プロセッサは、
    （ＩＩ）デコードレイヤをもって、前記第ｎメイン特徴マップを前記デコードレイヤに入力してセグメンテーション結果を生成するプロセス；及び
    （ＩＩＩ）前記セグメンテーション結果及びそれに対応する原本正解を参照して一つ以上のロス値を出力し、前記ロス値をバックプロパゲーションして、前記ＣＮＮの一つ以上のパラメータを学習するプロセス；
    をさらに遂行することを特徴とする請求項１４に記載の装置。
20. マルチフィーディングレイヤを使用して、少なくとも一つのトレーニングイメージをエンコードすることができるＣＮＮの学習装置において、前記ＣＮＮは、前記トレーニングイメージについて少なくとも一回以上のコンボリューション演算を適用して第１乃至第ｎメイン特徴マップをそれぞれ生成する第１乃至第ｎコンボリューションレイヤを含み、前記ｎ個のコンボリューションレイヤのうちｈ個のコンボリューションレイヤそれぞれに対応する第１乃至第ｈフィーディングレイヤを含み、前記ｈは１乃至（ｎ−１）の整数であることを特徴とし、
    前記トレーニングイメージを取得する通信部；及び
    （Ｉ）前記それぞれのコンボリューションレイヤをもって、前記トレーニングイメージ、または以前のコンボリューションレイヤで取得されたメイン特徴マップに前記コンボリューション演算を適用して、前記第１乃至第ｎメイン特徴マップそれぞれを生成するものの、前記第１乃至第ｈフィーディングレイヤにそれぞれ対応する前記ｈ個のコンボリューションレイヤ（前記ｈ個のコンボリューションレイヤは前記第２乃至第ｎコンボリューションレイヤで選択される）のうちの一つである第ｋコンボリューションレイヤをもって、（ｉ）第（ｋ−１）コンボリューションレイヤから取得された第（ｋ−１）メイン特徴マップ及び前記第ｋコンボリューションレイヤに対応する第ｍフィーディングレイヤから前記トレーニングイメージが前記第（ｋ−１）メイン特徴マップの大きさに合わせてリサイズされた第ｍサブ特徴マップを取得し、（ｉｉ）第ｍサブ特徴マップ及び前記第（ｋ−１）メイン特徴マップを統合して第（ｋ−１）統合特徴マップを生成し、（ｉｉｉ）前記第（ｋ−１）統合特徴マップに前記コンボリューション演算を適用して第ｋメイン特徴マップを生成するプロセスを遂行するプロセッサ；
    を含み、前記（Ｉ）プロセスにおいて前記プロセッサは、
    （Ｉ−１）前記第ｍフィーディングレイヤをもって、前記トレーニングイメージをリサイズして取得されたリサイズされた第ｍトレーニングイメージに前記コンボリューション演算を適用して、前記第ｍサブ特徴マップを前記第（ｋ−１）メイン特徴マップの大きさに対応する大きさを有するように生成させるプロセス；
    （Ｉ−２）前記第ｋコンボリューションレイヤをもって、前記第（ｋ−１）メイン特徴マップ及び前記第ｍサブ特徴マップを統合して、前記第（ｋ−１）統合特徴マップを生成するようにするプロセス；及び
    （Ｉ−３）前記第ｋコンボリューションレイヤをもって、前記第（ｋ−１）統合特徴マップに前記コンボリューション演算を適用して、前記第ｋメイン特徴マップを生成するようにするプロセス；
    を含むことを特徴とする装置。
21. 前記（Ｉ−１）プロセスにおいて、前記第ｍサブ特徴マップのサイズ及びチャンネルの数が前記第（ｋ−１）メイン特徴マップの前記サイズ及び前記チャンネルの数に対応するように前記第ｍサブ特徴マップを生成することを特徴とする請求項２０に記載の装置。
22. マルチフィーディングレイヤを使用して、少なくとも一つのテストイメージをエンコードすることができるＣＮＮのテスト装置において、前記ＣＮＮは前記テストイメージについて少なくとも一回以上のコンボリューション演算を適用して、テスト用第１乃至第ｎメイン特徴マップをそれぞれ生成する第１乃至第ｎコンボリューションレイヤを含み、前記ｎ個のコンボリューションレイヤのうちｈ個のコンボリューションレイヤそれぞれに対応する第１乃至第ｈフィーディングレイヤを含み、前記ｈは１乃至（ｎ−１）の整数であることを特徴とし、
    学習装置が（１）前記それぞれのコンボリューションレイヤをもって、少なくとも一つのトレーニングイメージ、または以前のコンボリューションレイヤで取得された学習用メイン特徴マップに前記コンボリューション演算を適用して、前記学習用第１乃至第ｎメイン特徴マップそれぞれを生成するものの、前記学習装置が、前記第１乃至第ｈフィーディングレイヤにそれぞれ対応する前記ｈ個のコンボリューションレイヤ（前記ｈ個のコンボリューションレイヤは前記第２乃至第ｎコンボリューションレイヤで選択される）のうちの一つである第ｋコンボリューションレイヤをもって、（ｉ）第（ｋ−１）コンボリューションレイヤから取得された学習用第（ｋ−１）メイン特徴マップ及び前記第ｋコンボリューションレイヤに対応する第ｍフィーディングレイヤから前記トレーニングイメージが前記学習用第（ｋ−１）メイン特徴マップの大きさに合わせてリサイズされた学習用第ｍサブ特徴マップを取得し、（ｉｉ）前記第ｍサブ特徴マップ及び前記学習用第（ｋ−１）メイン特徴マップを統合して学習用第（ｋ−１）統合特徴マップを生成し、（ｉｉｉ）前記学習用第（ｋ−１）統合特徴マップに前記コンボリューション演算を適用して学習用第ｋメイン特徴マップを生成するプロセス；及び（２）前記ＣＮＮの一つ以上のパラメータを学習するプロセス；を遂行した状態で、前記テストイメージを取得する通信部；及び
    （Ｉ）前記それぞれのコンボリューションレイヤをもって、前記テストイメージ、または以前のコンボリューションレイヤで取得されたテスト用メイン特徴マップに前記コンボリューション演算を適用して前記テスト用第１乃至第ｎメイン特徴マップを生成するものの、前記第１乃至第ｈフィーディングレイヤにそれぞれ対応する前記ｈ個のコンボリューションレイヤ（前記ｈ個のコンボリューションレイヤは前記第２乃至第ｎコンボリューションレイヤで選択される）のうちの一つである第ｋコンボリューションレイヤをもって、（ｉ）第（ｋ−１）コンボリューションレイヤから取得されたテスト用第（ｋ−１）メイン特徴マップ及び前記第ｋコンボリューションレイヤに対応する第ｍフィーディングレイヤから前記テストイメージが前記テスト用第（ｋ−１）メイン特徴マップの大きさに合わせてリサイズされたテスト用第ｍサブ特徴マップを取得し、（ｉｉ）前記第ｍサブ特徴マップ及び前記テスト用第（ｋ−１）メイン特徴マップを統合してテスト用第（ｋ−１）統合特徴マップを生成し、（ｉｉｉ）前記テスト用第（ｋ−１）統合特徴マップに前記コンボリューション演算を適用して、テスト用第ｋメイン特徴マップを生成するプロセス；を遂行するプロセッサ
    を含み、前記プロセッサは、
    （Ｉ−１）前記第ｍフィーディングレイヤをもって、前記テスト用第（ｋ−１）メイン特徴マップの前記大きさに合うように前記テストイメージをリサイジングしてリサイズされた第ｍテストイメージを生成するようにするプロセス；
    （Ｉ−２）前記第ｍフィーディングレイヤをもって、前記リサイズされた第ｍテストイメージに前記コンボリューション演算を適用して前記テスト用第ｍサブ特徴マップを生成するようにするプロセス；
    （Ｉ−３）前記第ｋコンボリューションレイヤをもって、前記テスト用第（ｋ−１）メイン特徴マップ及び前記テスト用第ｍサブ特徴マップを統合して前記テスト用第（ｋ−１）統合特徴マップを生成するようにするプロセス；及び
    （Ｉ−４）前記第ｋコンボリューションレイヤをもって、前記テスト用第（ｋ−１）統合特徴マップに前記コンボリューション演算を適用して前記テスト用第ｋメイン特徴マップを生成するようにするプロセス；
    を遂行することを特徴とする装置。
23. 前記（Ｉ−３）プロセスにおいて、前記テスト用第（ｋ−１）メイン特徴マップ及び前記テスト用第ｍサブ特徴マップをピクセルごとに加えて前記テスト用第（ｋ−１）統合特徴マップを生成することを特徴とする請求項２２に記載の装置。
24. 前記（Ｉ−３）プロセスにおいて、前記テスト用第（ｋ−１）メイン特徴マップ及び前記テスト用第ｍサブ特徴マップをコンカチネートして前記テスト用第（ｋ−１）統合特徴マップを生成することを特徴とする請求項２２に記載の装置。
25. マルチフィーディングレイヤを使用して、少なくとも一つのテストイメージをエンコードすることができるＣＮＮのテスト装置において、前記ＣＮＮは前記テストイメージについて少なくとも一回以上のコンボリューション演算を適用して、テスト用第１乃至第ｎメイン特徴マップをそれぞれ生成する第１乃至第ｎコンボリューションレイヤを含み、前記ｎ個のコンボリューションレイヤのうちｈ個のコンボリューションレイヤそれぞれに対応する第１乃至第ｈフィーディングレイヤを含み、前記ｈは１乃至（ｎ−１）の整数であることを特徴とし、
    学習装置が（１）前記それぞれのコンボリューションレイヤをもって、少なくとも一つのトレーニングイメージ、または以前のコンボリューションレイヤで取得された学習用メイン特徴マップに前記コンボリューション演算を適用して、前記学習用第１乃至第ｎメイン特徴マップそれぞれを生成するものの、前記学習装置が、前記第１乃至第ｈフィーディングレイヤにそれぞれ対応する前記ｈ個のコンボリューションレイヤ（前記ｈ個のコンボリューションレイヤは前記第２乃至第ｎコンボリューションレイヤで選択される）のうちの一つである第ｋコンボリューションレイヤをもって、（ｉ）第（ｋ−１）コンボリューションレイヤから取得された学習用第（ｋ−１）メイン特徴マップ及び前記第ｋコンボリューションレイヤに対応する第ｍフィーディングレイヤから前記トレーニングイメージが前記学習用第（ｋ−１）メイン特徴マップの大きさに合わせてリサイズされた学習用第ｍサブ特徴マップを取得し、（ｉｉ）前記第ｍサブ特徴マップ及び前記学習用第（ｋ−１）メイン特徴マップを統合して学習用第（ｋ−１）統合特徴マップを生成し、（ｉｉｉ）前記学習用第（ｋ−１）統合特徴マップに前記コンボリューション演算を適用して学習用第ｋメイン特徴マップを生成するプロセス；及び（２）前記ＣＮＮの一つ以上のパラメータを学習するプロセス；を遂行した状態で、前記テストイメージを取得する通信部；及び
    （Ｉ）前記それぞれのコンボリューションレイヤをもって、前記テストイメージ、または以前のコンボリューションレイヤで取得されたテスト用メイン特徴マップに前記コンボリューション演算を適用して前記テスト用第１乃至第ｎメイン特徴マップを生成するものの、前記第１乃至第ｈフィーディングレイヤにそれぞれ対応する前記ｈ個のコンボリューションレイヤ（前記ｈ個のコンボリューションレイヤは前記第２乃至第ｎコンボリューションレイヤで選択される）のうちの一つである第ｋコンボリューションレイヤをもって、（ｉ）第（ｋ−１）コンボリューションレイヤから取得されたテスト用第（ｋ−１）メイン特徴マップ及び前記第ｋコンボリューションレイヤに対応する第ｍフィーディングレイヤから前記テストイメージが前記テスト用第（ｋ−１）メイン特徴マップの大きさに合わせてリサイズされたテスト用第ｍサブ特徴マップを取得し、（ｉｉ）前記第ｍサブ特徴マップ及び前記テスト用第（ｋ−１）メイン特徴マップを統合してテスト用第（ｋ−１）統合特徴マップを生成し、（ｉｉｉ）前記テスト用第（ｋ−１）統合特徴マップに前記コンボリューション演算を適用して、テスト用第ｋメイン特徴マップを生成するプロセス；を遂行するプロセッサ
    を含み、前記プロセッサは、
    （Ｉ−１）前記第ｍフィーディングレイヤをもって、前記テストイメージをリサイズして取得されたリサイズされた第ｍテストイメージに前記コンボリューション演算を適用して前記テスト用第ｍサブ特徴マップを前記テスト用第（ｋ−１）メイン特徴マップの大きさに対応する大きさを有するように生成させるプロセス；
    （Ｉ−２）前記第ｋコンボリューションレイヤをもって、前記テスト用第（ｋ−１）メイン特徴マップ及び前記テスト用第ｍサブ特徴マップを統合して前記テスト用第（ｋ−１）統合特徴マップを生成するようにするプロセス；及び
    （Ｉ−３）前記第ｋコンボリューションレイヤをもって、前記テスト用第（ｋ−１）統合特徴マップに前記コンボリューション演算を適用して前記テスト用第ｋメイン特徴マップを生成するようにするプロセス；
    を遂行することを特徴とする装置。
26. 前記プロセッサは、
    （Ｉ−１）プロセスにおいて、前記第ｍサブ特徴マップのサイズ及びチャンネルの数が前記テスト用第（ｋ−１）メイン特徴マップの前記サイズ及び前記チャンネルの数に対応するように前記テスト用第ｍサブ特徴マップを生成することを特徴とする請求項２５に記載の装置。

Images