JPWO2021176566A5 - 注意機構、画像認識システム、特徴変換方法およびプログラム - Google Patents

Claims (9)

1. 画像の特徴を示す特徴マップを取得する中間取得部と、
   取得した前記特徴マップに対してブロックベースの特徴埋込演算を行い、スケールが縮小変換された埋込特徴マップを生成する埋込部と、
   注意機構アルゴリズムを用いて、前記埋込特徴マップに基づく情報から前記画像の位置に対応する前記特徴の注意重みを予測し、前記注意重みを用いて前記特徴マップに対応する重み付け特徴マップを生成する重み付け部と、
   を備える、注意機構。
2. 前記ブロックベースの特徴埋込演算は、カーネルの第１方向の画素数と同数の間隔で前記カーネルを適用させて、前記特徴マップに含まれる複数の画素値を畳み込む演算を含み、
   前記カーネルの第１方向の画素数は、１より大きい
   請求項１に記載の注意機構。
3. 前記埋込部は、
   ブロックベースの第１特徴埋込演算を用いて取得した前記特徴マップをダウンサンプリングして、第１埋込特徴マップを生成する第１埋込部と、
   第２特徴埋込演算を用いて、前記第１埋込特徴マップに基づいて前記注意機構アルゴリズムの入力行列となる第２埋込特徴マップを生成する第２埋込部と
   を有する
   請求項１または２に記載の注意機構。
4. 逆畳み込み演算を用いて、前記重み付け特徴マップのスケールを逆変換する逆畳み込み部をさらに備える
   請求項１から３のいずれか一項に記載の注意機構。
5. 逆変換された前記重み付け特徴マップと取得した前記特徴マップとの間の差分を取る残差処理部をさらに備える
   請求項４に記載の注意機構。
6. 画像の特徴を示す特徴マップを取得する中間取得部と、取得した前記特徴マップに基づいて、ブロックベースの特徴埋込演算を用いて、スケールが縮小変換された埋込特徴マップを生成する埋込部と、注意機構アルゴリズムを用いて、前記埋込特徴マップに基づく情報から前記画像の位置に対応する前記特徴の注意重みを予測し、前記注意重みを用いて前記特徴マップに対応する重み付け特徴マップを生成する重み付け部と、を有する注意機構と、
   前記重み付け特徴マップに基づく情報を用いて、前記画像に含まれる被写体を認識する認識装置と
   を備える画像認識システム。
7. 機械学習により、前記ブロックベースの特徴埋込演算のパラメータを最適化する学習装置をさらに備える
   請求項６に記載の画像認識システム。
8. 画像の特徴を示す特徴マップを取得する段階と、
   取得した前記特徴マップに対してブロックベースの特徴埋込演算を行い、スケールが縮小変換された埋込特徴マップを生成する段階と、
   注意機構アルゴリズムを用いて、前記埋込特徴マップに基づく情報から前記画像の位置に対応する前記特徴の注意重みを予測し、前記注意重みを用いて前記特徴マップに対応する重み付け特徴マップを生成する段階と、
   を備える、特徴変換方法。
9. 画像の特徴を示す特徴マップを取得する中間取得機能と、
   取得した前記特徴マップに対してブロックベースの特徴埋込演算を行い、スケールが縮小変換された埋込特徴マップを生成する埋込機能と、
   注意機構アルゴリズムを用いて、前記埋込特徴マップに基づく情報から前記画像の位置に対応する前記特徴の注意重みを予測し、前記注意重みを用いて前記特徴マップに対応する重み付け特徴マップを生成する重み付け機能と、
   をコンピュータに実現させるプログラム。