JP6676722B2 - アクティベーション演算とコンボリューション演算を同時に遂行するための方法及び装置、そしてこのための学習方法及び学習装置 - Google Patents

アクティベーション演算とコンボリューション演算を同時に遂行するための方法及び装置、そしてこのための学習方法及び学習装置 Download PDF

Info

Publication number
JP6676722B2
JP6676722B2 JP2018193025A JP2018193025A JP6676722B2 JP 6676722 B2 JP6676722 B2 JP 6676722B2 JP 2018193025 A JP2018193025 A JP 2018193025A JP 2018193025 A JP2018193025 A JP 2018193025A JP 6676722 B2 JP6676722 B2 JP 6676722B2
Authority
JP
Japan
Prior art keywords
layer
value
activation
layers
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018193025A
Other languages
English (en)
Other versions
JP2019075115A (ja
Inventor
キム、ヨンジョン
ナム、ウンユン
ボ、シュクフン
シュン、ミュンチュル
エオ、ドンフン
リュウ、ウージュ
ジャン、タエウォン
ジョン、キュンジョン
ジェ、ホンモ
チョ、ホジン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2019075115A publication Critical patent/JP2019075115A/ja
Application granted granted Critical
Publication of JP6676722B2 publication Critical patent/JP6676722B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G06F17/12—Simultaneous equations, e.g. systems of linear equations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Neurology (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Complex Calculations (AREA)

Description

本発明はアクティベーション演算とコンボリューション演算を同時に遂行できる演算方法及び演算装置、そしてこれを具現するための学習方法及び学習装置に関する。より詳細には、（ｉ）多数の要素バイアスレイヤ、スケールレイヤ及び多数の要素アクティベーションレイヤを含むアクティベーションモジュールのアクティベーション演算と（ｉｉ）コンボリューションレイヤのコンボリューション演算を遂行する、学習装置でＣＮＮのパラメータを学習する方法において、（ａ）前記学習装置が、入力イメージに対応される入力値が各々の多数の要素バイアスレイヤに各々伝達されるようにし、前記各々の多数の要素バイアスレイヤをもって各々の対応する要素バイアスパラメータ（ｑi）を前記入力値に適用するようにするプロセスを遂行する段階；（ｂ）前記学習装置が、前記多数の要素バイアスレイヤのうち特定要素バイアスレイヤに連結された前記スケールレイヤをもって前記特定要素バイアスレイヤの出力値に所定のスケール値を掛けるようにするプロセスを遂行する段階；（ｃ）前記学習装置が、（ｉ）前記スケールレイヤに連結された特定要素アクティベーションレイヤをもって前記スケールレイヤの出力値に非線形アクティベーション関数を適用するようにするプロセス及び（ｉｉ）前記各々の要素バイアスレイヤに連結された残りの要素アクティベーションレイヤをもって前記各々の要素バイアスレイヤの出力値に各々の非線形関数を適用するようにするプロセスを遂行する段階；（ｄ）前記学習装置が、コンカチネーションレイヤをもって前記特定要素アクティベーションレイヤ及び前記残りの要素アクティベーションレイヤの出力値を一つにコンカチネートするようにし、前記コンカチネートされた出力値を獲得するようにするプロセスを遂行する段階；（ｅ）前記学習装置が、前記コンボリューションレイヤをもって前記コンボリューションレイヤの各々の要素ウェイトパラメータ（ｐi）及び前記コンボリューションレイヤの各々の要素バイアスパラメータ（ｄ）を利用して、前記コンカチネートされた出力値に前記コンボリューション演算を遂行するようにする段階；及び（ｆ）前記（ｅ）段階の出力を、前記コンボリューション演算の結果を使用して前記ＣＮＮの用途に応じた結果値を獲得するアプリケーションブロックに入力して前記アプリケーションブロックによって前記結果値が出力されると、前記学習装置が、ロスレイヤをもって前記アプリケーションブロックから出力された前記結果値及び前記結果値に対応されるＧＴ（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）値間を参照して計算されたロスを獲得するようにし、バックプロパゲーションプロセスを遂行して、前記各々の要素バイアスレイヤの各々の要素バイアスパラメータ（ｑi）、前記要素ウェイトパラメータ（ｐi）及び前記要素バイアスパラメータ（ｄ）のうち少なくとも一部のパラメータを調整する段階；を含むことを特徴とする方法及び装置、そしてこのための学習方法及び学習装置に関する。
ディープコンボリューションニューラルネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ；ディープＣＮＮ）はディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは文字認識問題を解くために９０年代に既に使用されていたが、現在のように広く使用されるようになったのは最近の研究結果のおかげである。このようなディープＣＮＮは２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そうして、コンボリューションニューラルネットワークはＭａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ分野で非常に有用なツールとなった。
図１はＣＲｅＬＵ演算とコンボリューション演算を遂行できる既存のＣＮＮ学習装置の構成を示す。
図１を参照すれば、既存のＣＮＮ学習装置１００はコンボリューションレイヤ１１０、１３０、ＣＲｅＬＵ（Ｃｏｎｃａｔｅｎａｔｅｄ Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）１２０及び他のＣＲｅＬＵ（未図示）を含んでおり、演算が交互に複数回反復される形態を有している。
この時、ＣＲｅＬＵ１２０は２個のＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）１２２を含み、ＲｅＬＵ１２２で遂行する演算は下のような数式で遂行される。
Figure 0006676722
前記ＣＲｅＬＵは既存のＣＮＮモデルのコンボリューションフィルタを学習する時、陰の相関関係が強いフィルタがペアで学習される現象に着眼して下の数式のような既存ＲｅＬＵのポジティブアクティベーションだけでなく、ネガティブアクティベーションも追加で作り出すアクティベーションスキームである。
Figure 0006676722
図１のように、コンボリューション演算とＣＲｅＬＵ（またはＲｅＬＵ）演算が交互に反復される構造で、ＣＲｅＬＵはＲｅＬＵと比較した時にコンボリューション演算量が増加することなく２倍の個数の結果値を出力するか、または同じ個数の結果値を出力する時に前のコンボリューション演算量を１／２に減らすことができる長所がある。従って、ＣＲｅＬＵ導入により検出速度を維持しながら、検出正確度を高めることができるか、検出正確度を維持しながら、検出速度を速めることができるようになる。
図１でＣＲｅＬＵユニット１２０は一つのスケールレイヤ１２１、２個のＲｅＬＵレイヤ１２２及びコンカチネーションレイヤ１２３を含む。スケールレイヤ１２１は以前のコンボリューションレイヤ１１０からの値に−１を掛けて出力し、ＲｅＬＵレイヤ１２２のうち一つは以前のコンボリューションレイヤ１１０から値を入力され、他の一つはスケールレイヤ１２１からスケーリングされた値を入力されて、ＲｅＬＵ演算を遂行する。図１でＲｅＬＵレイヤ１２２とコンカチネーションレイヤ１２３はその順序が変わってもよい。万一コンカチネーションレイヤ１２３以後にＲｅＬＵレイヤ１２２が連結されれば、ＲｅＬＵレイヤは１個だけ存在する。
図１を参照すれば、以前のコンボリューションレイヤ１１０からの出力値として
Figure 0006676722
（例えば、この値は（ｘ＝０，ｙ＝０，チャネルｃｈ＝０）である位置の画素値が１、（ｘ＝１，ｙ＝０，チャネルｃｈ＝１）である位置の画素値が２、（ｘ＝０，ｙ＝１，チャネルｃｈ＝１）である位置の画素値が３、（ｘ＝１，ｙ＝１，チャネルｃｈ＝０）である位置の画素値が４であり、残りはすべて０である特徴マップを示す）がＣＲｅＬＵ１２０に入力されると、スケールレイヤ１２１は各値に−１をかけて生成した値である
Figure 0006676722
を二番目のＲｅＬＵレイヤに伝達し、
Figure 0006676722
値を直接伝達された一番目ＲｅＬＵレイヤ及びスケールレイヤ１２１から
Figure 0006676722
値を伝達された二番目のＲｅＬＵレイヤは各々ポジティブアクティベーション演算を遂行して
Figure 0006676722
と
Figure 0006676722
を生成してこれをコンカチネーションレイヤ１２３に伝達する。それから、コンカチネーションレイヤ１２３はこれらの値を一つにコンカチネートして
Figure 0006676722
を生成してこれを次の隣り合ったコンボリューションレイヤ１３０に伝達する。コンボリューションレイヤ１３０はこれらの値にコンボリューション演算を遂行する。
一方、図１のように、ＣＲｅＬＵレイヤの演算とコンボリューションレイヤの演算を別途遂行するようになると、各々の独立的な演算プロセスが遂行されて演算量が多い問題がある。
従って、本発明ではＣＲｅＬＵが用いられたＣＮＮモデルでコンボリューション演算量を減らすための新たな方法を提供しようとする。
本発明はＣＲｅＬＵユニットが用いられたＣＮＮでコンボリューションレイヤの演算量を減らす方法を提供することを目的とする。
また、本発明はコンボリューション演算量やメモリが大きく増加することなくＣＮＮモデルの複雑度を高めて検出正確度を高めることができる方法を提供することを目的とする。
本発明の一態様によれば、（ｉ）多数の要素バイアスレイヤ、スケールレイヤ及び多数の要素アクティベーションレイヤを含むアクティベーションモジュールのアクティベーション演算と（ｉｉ）コンボリューションレイヤのコンボリューション演算を遂行する学習装置でＣＮＮのパラメータを学習する方法において、（ａ）前記学習装置が、入力イメージに対応される入力値が各々の多数の要素バイアスレイヤに各々伝達されるようにし、前記各々の多数の要素バイアスレイヤをもって各々の対応する要素バイアスパラメータ（ｑi）を前記入力値に適用するようにするプロセスを遂行する段階；（ｂ）前記学習装置が、前記多数の要素バイアスレイヤのうち特定要素バイアスレイヤに連結された前記スケールレイヤをもって前記特定要素バイアスレイヤの出力値に所定のスケール値を掛けるようにするプロセスを遂行する段階；（ｃ）前記学習装置が、（ｉ）前記スケールレイヤに連結された特定要素アクティベーションレイヤをもって前記スケールレイヤの出力値に非線形アクティベーション関数を適用するようにするプロセス及び（ｉｉ）前記各々の要素バイアスレイヤに連結された残りの要素アクティベーションレイヤをもって前記各々の要素バイアスレイヤの出力値に各々の非線形関数を適用するようにするプロセスを遂行する段階；（ｄ）前記学習装置が、コンカチネーションレイヤをもって前記特定要素アクティベーションレイヤ及び前記残りの要素アクティベーションレイヤの出力値を一つにコンカチネートするようにし、前記コンカチネートされた出力値を獲得するようにするプロセスを遂行する段階；（ｅ）前記学習装置が、前記コンボリューションレイヤをもって前記コンボリューションレイヤの各々の要素ウェイトパラメータ（ｐi）及び前記コンボリューションレイヤの各々の要素バイアスパラメータ（ｄ）を利用して、前記コンカチネートされた出力値にコンボリューション演算を遂行するようにする段階；及び（ｆ）前記（ｅ）段階の出力を所定のアプリケーションブロックに入力して前記アプリケーションブロックによって所定の結果値が出力されると、前記学習装置が、ロスレイヤをもって前記アプリケーションブロックから出力された結果値及び前記結果値に対応されるＧＴ値間を参照して計算されたロスを獲得するようにし、バックプロパゲーションプロセスを遂行して、前記各々の要素バイアスレイヤの各々の要素バイアスパラメータ（ｑi）、前記要素ウェイトパラメータ（ｐi）及び前記要素バイアスパラメータ（ｄ）のうち少なくとも一部のパラメータを調整する段階；を含むことを特徴とする方法が提供される。
一例として、前記スケール値は負数であることを特徴とする学習方法が提供される。
一例として、前記アクティベーションモジュールはＮ−ｗａｙ ＣＲｅＬＵ（Ｎ−ｗａｙ Ｃｏｎｃａｔｅｎａｔｅｄ Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ）を含み、前記要素アクティベーションレイヤはＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ）レイヤであることを特徴とする学習方法が提供される。
一例として、前記（ｃ）段階でｎ個の要素アクティベーションレイヤを用いる場合、前記（ａ）段階で用いられる前記要素バイアスレイヤの個数はｎ−１個であることを特徴とする学習方法が提供される。
本発明の他の態様によれば、（ｉ）多数の要素バイアスレイヤ、スケールレイヤ及び多数の要素アクティベーションレイヤを含むアクティベーションモジュールのアクティベーション演算と（ｉｉ）コンボリューションレイヤのコンボリューション演算を遂行する学習装置でＣＮＮのパラメータを学習する方法において、（ａ）前記学習装置が、入力イメージに対応される入力値が各々の多数の要素バイアスレイヤに各々伝達されるようにし、前記各々の多数の要素バイアスレイヤをもって各々の対応する要素バイアスパラメータ（ｑi）を前記入力値に適用するようにするプロセスを遂行する段階；（ｂ）前記学習装置が、前記多数の要素バイアスレイヤのうち特定要素バイアスレイヤに連結された前記スケールレイヤをもって前記特定要素バイアスレイヤの出力値に所定のスケール値を掛けるようにするプロセスを遂行する段階；（ｃ）前記学習装置が、前記スケールレイヤ及び前記各々の要素バイアスレイヤに連結されたコンカチネーションレイヤをもって前記スケールレイヤの出力値及び前記各々の要素バイアスレイヤの出力値をコンカチネートするようにし、前記コンカチネートされた出力値を獲得するようにするプロセスを遂行する段階；（ｄ）前記学習装置が、前記コンカチネーションレイヤに連結されたアクティベーションレイヤをもって前記コンカチネートされた出力値に非線形アクティベーション関数を適用するようにするプロセスを遂行する段階；（ｅ）前記学習装置が、前記コンボリューションレイヤをもって前記コンボリューションレイヤの各々の要素ウェイトパラメータ（ｐi）及び前記コンボリューションレイヤの各々の要素バイアスパラメータ（ｄ）を利用して、前記アクティベーションレイヤの出力値にコンボリューション演算を遂行するようにする段階；及び（ｆ）前記（ｅ）段階の出力を所定のアプリケーションブロックに入力して前記アプリケーションブロックによって所定の結果値が出力されると、前記学習装置が、ロスレイヤをもって前記アプリケーションブロックから出力された結果値及び前記結果値に対応されるＧＴ値間を参照して計算されたロスを獲得するようにし、バックプロパゲーションプロセスを遂行して、前記各々の要素バイアスレイヤの各々の要素バイアスパラメータ（ｑi）、前記要素ウェイトパラメータ（ｐi）及び前記要素バイアスパラメータ（ｄ）のうち少なくとも一部のパラメータを調整する段階；を含むことを特徴とする方法が提供される。
一例として、前記スケール値は負数であることを特徴とする学習方法が提供される。
一例として、前記アクティベーションモジュールはＮ−ｗａｙ ＣＲｅＬＵ（Ｎ−ｗａｙ Ｃｏｎｃａｔｅｎａｔｅｄ Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ）を含み、前記アクティベーションレイヤはＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ）レイヤであることを特徴とする学習方法が提供される。
一例として、前記単一の（ａ）段階で用いられる前記要素バイアスレイヤの個数はｎ−１個であることを特徴とする学習方法が提供される。
本発明のまた他の態様によれば、（ｉ）多数の要素バイアスレイヤ、スケールレイヤ及び多数の要素アクティベーションレイヤを含むアクティベーションモジュールのアクティベーション演算と（ｉｉ）コンボリューションレイヤのコンボリューション演算を遂行するＣＮＮのパラメータを学習する装置において、前記入力イメージを受信する通信部；及び（ｉ）入力イメージに対応される入力値が各々の多数の要素バイアスレイヤに各々伝達されるようにし、前記各々の多数の要素バイアスレイヤをもって各々の対応する要素バイアスパラメータ（ｑi）を前記入力値に適用するようにするプロセス；（ｉｉ）前記多数の要素バイアスレイヤのうち特定要素バイアスレイヤに連結された前記スケールレイヤをもって前記特定要素バイアスレイヤの出力値に所定のスケール値を掛けるようにするプロセス；（ｉｉｉ）前記スケールレイヤに連結された特定要素アクティベーションレイヤをもって前記スケールレイヤの出力値に非線形アクティベーション関数を適用するようにするプロセス；（ｉｖ）前記各々の要素バイアスレイヤに連結された残りの要素アクティベーションレイヤをもって前記各々の要素バイアスレイヤの出力値に各々の非線形関数を適用するようにするプロセス；（ｖ）コンカチネーションレイヤをもって前記特定要素アクティベーションレイヤ及び前記残りの要素アクティベーションレイヤの出力値を一つにコンカチネートするようにし、前記コンカチネートされた出力値を獲得するようにするプロセス；及び（ｖｉ）前記コンボリューションレイヤをもって前記コンボリューションレイヤ各々の要素ウェイトパラメータ（ｐi）及び前記コンボリューションレイヤの各々の要素バイアスパラメータ（ｄ）を利用して、前記コンカチネートされた出力値に対するコンボリューション演算を遂行するようにするプロセス；及び（ｖｉｉ）所定のアプリケーションブロックによって所定の結果値が出力されると、ロスレイヤをもって前記アプリケーションブロックから出力された結果値及び前記結果値に対応されるＧＴ値間を参照して計算されたロスを獲得するようにし、バックプロパゲーションプロセスを遂行して、前記各々の要素バイアスレイヤの各々の要素バイアスパラメータ（ｑi）、前記要素ウェイトパラメータ（ｐi）及び前記要素バイアスパラメータ（ｄ）のうち少なくとも一部のパラメータを調整するプロセス；を遂行するプロセッサを含むことを特徴とする学習装置が提供される。
一例として、前記スケール値は負数であることを特徴とする学習装置が提供される。
一例として、前記アクティベーションモジュールはＮ−ｗａｙ ＣＲｅＬＵ（Ｎ−ｗａｙ Ｃｏｎｃａｔｅｎａｔｅｄ Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ）を含み、前記要素アクティベーションレイヤはＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ）レイヤであることを特徴 とする学習装置が提供される。
一例として、前記プロセッサでｎ個の要素アクティベーションレイヤを用いる場合、前記要素バイアスレイヤの個数はｎ−１個であることを特徴とする学習装置が提供される。
本発明のまた他の態様によれば、（ｉ）多数の要素バイアスレイヤ、スケールレイヤ及び多数の要素アクティベーションレイヤを含むアクティベーションモジュールのアクティベーション演算と（ｉｉ）コンボリューションレイヤのコンボリューション演算を遂行するＣＮＮのパラメータを学習する装置において、前記入力イメージを受信する通信部；及び（ｉ）入力イメージに対応される入力値が各々の多数の要素バイアスレイヤに各々伝達されるようにし、前記各々の多数の要素バイアスレイヤをもって各々の対応する要素バイアスパラメータ（ｑi）を前記入力値に適用するようにするプロセス；（ｉｉ）前記多数の要素バイアスレイヤのうち特定要素バイアスレイヤに連結された前記スケールレイヤをもって前記特定要素バイアスレイヤの出力値に所定のスケール値を掛けるようにするプロセス；（ｉｉｉ）前記スケールレイヤ及び前記各々の要素バイアスレイヤに連結されたコンカチネーションレイヤをもって前記スケールレイヤの出力値及び前記各々の要素バイアスレイヤの出力値をコンカチネートするようにし、前記コンカチネートされた出力値を獲得するようにするプロセス；（ｉｖ）前記コンカチネーションレイヤに連結されたアクティベーションレイヤをもって前記コンカチネートされた出力値に非線形アクティベーション関数を適用するようにするプロセス；（ｖ）前記コンボリューションレイヤをもって前記コンボリューションレイヤの各々の要素ウェイトパラメータ（ｐi）及び前記コンボリューションレイヤの各々の要素バイアスパラメータ（ｄ）を利用して、前記アクティベーションレイヤの出力値にコンボリューション演算を遂行するようにするプロセス；及び（ｖｉ）所定のアプリケーションブロックによって所定の結果値が出力されると、ロスレイヤをもって前記アプリケーションブロックから出力された結果値及び前記結果値に対応されるＧＴ値間を参照して計算されたロスを獲得するようにし、バックプロパゲーションプロセスを遂行して、前記各々の要素バイアスレイヤの各々の要素バイアスパラメータ（ｑi）、前記要素ウェイトパラメータ（ｐi）及び前記要素バイアスパラメータ（ｄ）のうち少なくとも一部のパラメータを調整するプロセス；を遂行するプロセッサを含むことを特徴とする学習装置が提供される。
一例として、前記スケール値は負数であることを特徴とする学習装置が提供される。
一例として、前記アクティベーションモジュールはＮ−ｗａｙ ＣＲｅＬＵ（Ｎ−ｗａｙ Ｃｏｎｃａｔｅｎａｔｅｄ Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ）を含み、前記要素アクティベーションレイヤはＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ）レイヤであることを特徴とする学習装置が提供される。
一例として、前記プロセッサで用いられる前記要素バイアスレイヤの個数はｎ−１個であることを特徴とする学習装置が提供される。
本発明によれば、より少ない演算量を要求する新たな演算ユニットを通じて、ＣＲｅＬＵ演算とコンボリューション演算を同時に遂行するようにすることができる。
また、本発明によれば、Ｎ−ｗａｙ ＣｒｅＬＵを具現することで、コンボリューションレイヤでの演算量を減らしながら、他のレイヤでの演算量やメモリが大きく増加することなく検出正確度を高めることができる効果がある。
図１は、ＣＲｅＬＵ演算とコンボリューション演算を遂行できる既存のＣＮＮ学習装置の構成を示す。 図２は、本発明の一実施例にかかるＣＲｅＬＵ演算とコンボリューション演算を統合するためのＣＮＮ学習装置の演算方法を示す。 図３Ａは、図２の例示的な演算過程を示す。 図３Ｂは、図２の例示的な演算過程を示す。 図４Ａは、ＣＲｅＬＵ＿Ｃｏｎｖ演算の例を示す。 図４Ｂは、ＣＲｅＬＵ＿Ｃｏｎｖ演算の例を示す。 図４Ｃは、ＮＣＲｅＬＵ＿Ｃｏｎｖ演算の例を示して、ここで、Ｎは３である。 図５は、本発明の他の実施例にかかるＣＮＮのＮＣＲｅＬＵ＿Ｃｏｎｖ演算方法を示す。 図６Ａは、図５の例示的な演算過程を示す。 図６Ｂは、図５の例示的な演算過程を示す。 図７は、本発明のまた他の実施例により図６のＮＣＲｅＬＵ＿Ｃｏｎｖ演算を具現するためのＣＮＮ学習装置を示す。 図８は、図７の例示的な演算過程を示す。
後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は当業者が本発明を実施することができるように充分詳細に説明される。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一実施例にかかる本発明の精神及び範囲を逸脱せずに他の実施例で具現され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されると、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面を参照して詳細に説明することとする。
図２は本発明の一実施例にかかるＣＲｅＬＵ演算とコンボリューション演算を統合するためのＣＮＮ学習装置の演算方法を示す。
図２を参照すれば、本発明にかかるＣＲｅＬＵ演算とコンボリューション演算を統合するためのＣＮＮ演算装置２００は比較器２０１、選択器２０２及び乗算器２０３を含む。本発明にかかるＣＮＮ演算装置２００は所定の入力（例えば、以前のコンボリューションレイヤ（未図示）から伝達された特徴マップ）を受信するための通信部（未図示）と前記比較器２０１、選択器２０２及び乗算器２０３で遂行するプロセスを遂行するプロセッサ（未図示）から構成され得る。即ち、前記比較器２０１、選択器２０２及び乗算器２０３の機能はＣＮＮ演算装置２００内のプロセッサ（未図示）で遂行される各プロセスで具現され得る。
再び図１を参照すれば、図１のＣＲｅＬＵ１２０の演算は一つの入力に対して二つの出力を作り出すのに下のような数式で表現され得る。
Figure 0006676722
上の数式３のように、ＣＲｅＬＵは入力値の範囲に応じて一番目または二番目の出力値だけ０ではない値を有するようにする。
万一ＣＮＮのコンボリューションレイヤ１３０がコンボリューションフィルタの要素パラメータ値として
Figure 0006676722
を有する場合、ＣＮＮでＣＲｅＬＵ１２０の演算結果を入力でコンボリューションレイヤ１３０による演算をすることは、下のような数式で簡略に表現され得る。
Figure 0006676722
上の数式４のように、ＣＲｅＬＵ演算とコンボリューション演算を合わせて考えると、ＣＲｅＬＵの入力値の範囲に応じてコンボリューションレイヤのパラメータ値を定める形態に変えて次のような数式で表現し得る。
Figure 0006676722
ここで、ＣＲｅＬＵ＿ＣｏｎｖはＣＲｅＬＵユニットの出力にコンボリューションフィルタを適用した演算結果を示して、ｘは入力値、前記ｗ1、ｗ2はコンボリューションレイヤのパラメータ、ａ、ｂは前記ｗ1、ｗ2を獲得するための学習されたコンボリューションレイヤの要素パラメータである。
図２は前記数式５を具現するためのＣＮＮ演算装置２００の演算方法を示す。
従来技術によりＣＲｅＬＵ演算の次にコンボリューション演算を適用すると、ＣＲｅＬＵの出力値に０を掛ける演算のような不要な演算が多く生じざるを得ない。しかし、本発明にかかるＣＮＮ演算装置２００を利用したＣＮＮ演算構成方法は、ＣＲｅＬＵでの演算とコンボリューション演算を一つに合わせて、ＣＲｅＬＵの入力値（ｘ）の範囲に応じてコンボリューションレイヤのパラメータ値（ｗ1、ｗ2）を選択して掛ける形態の効率的な演算過程を利用する。
具体的に図２を参照すれば、本発明にかかるＣＮＮ演算装置２００がテストイメージとしての入力イメージを入力されると、演算装置２００内の比較器２０１で入力されたイメージの各画素値に対応する入力値（ｘ）を所定の基準値と比較してその比較結果に対する比較結果値を出力する。前記入力イメージはＣＮＮ装置に入力されるテストイメージだけでなく以前のＣＮＮ演算装置、以前のコンボリューションレイヤまたは以前のアクティベーションレイヤなどから出力されて入力されたイメージまたは特徴マップなどのうち少なくとも一部を含む概念である。そして、前記所定の基準値は０であり得るが、これに限定されるものではない。
また、前記選択器２０２は前記比較結果を参照して前記パラメータ（ｗ1、ｗ2）のうち選択された特定パラメータを出力して乗算器２０３に伝達する。
そして、前記乗算器２０３は前記入力値（ｘ）と前記選択された特定パラメータを掛けて、掛けた値を求めて出力する。
例えば、前記数式５のように、入力値（ｘ）が０よりも小さい場合、前記演算装置２００は前記入力値にコンボリューションレイヤの第２要素パラメータ（ｂ）の負値である第１パラメータ（ｗ1）を掛けて出力し、入力値（ｘ）が０よりも大きいか同じ場合、前記演算装置２００はコンボリューションレイヤの第１要素パラメータ（ａ）値である第２パラメータ（ｗ2）を掛けて出力する。
図３Ａ及び図３Ｂは図２の例示的な演算過程を示す。
図３Ａを参照すれば、入力値（ｘ）が３である場合、前記比較器２０１では３が所定の基準値である０よりも大きいという比較結果値として２を出力し、前記選択器２０２では２個のフィルタパラメータ（ｗ1＝０．２，ｗ2＝０．８）のうち比較結果値である２に対応するｗ2（０．８）を乗算器２０３に出力する。それから、前記乗算器２０３は入力値（ｘ）にｗ2（０．８）を掛けた値である０．２４を生成した後にこれを出力する。
図３Ｂを参照すれば、入力値（ｘ）が−１である場合、前記比較器２０１では−１が所定の基準値の０よりも小さいという比較結果値として１を出力し、前記選択器２０２では２個のフィルタパラメータ（ｗ1＝０．２，ｗ2＝０．８）のうち比較結果値である１に対応するｗ1（０．２）を乗算器２０３に出力する。それから、前記乗算器２０３は入力値（ｘ）にｗ1（０．２）を掛けた値である−０．２を生成した後にこれを出力する。
図４Ａ及び図４ＢはＣＲｅＬＵ＿Ｃｏｎｖ演算の例を示して、図４ＣはＮＣＲｅＬＵ＿Ｃｏｎｖ演算の例を示して、ここで、Ｎは３である。
図４Ａ及び図４Ｂは図２、図３Ａ、及び図３Ｂを通じて説明したＣＲｅＬＵ＿Ｃｏｎｖ（ＣＲｅＬＵ演算とコンボリューション演算の統合演算）の入力（ｘ）と出力（ｙ＝ＣＲｅＬＵ＿Ｃｏｎｖ（ｘ））の関係を示すグラフである。前記図４Ａ及び図４Ｂのグラフの形はｗ1及びｗ2の値の符号によって異なり得る。
一方、図４Ｃは線分セグメント個数を３個に拡張し、前記グラフが（０，０）を必ず通過しなければならない制限条件を除去したグラフである。
図４Ｃに示されたとおり、線分セグメント個数は２個からｎ個に拡張し得て、比較値（以下、区間区分の基準値）も拡張され得る。ここで、各々の区間は入力値と比較される各々の範囲に対する情報が含まれ得る。前記演算装置の前記比較器は前記入力値がどの区間に属するかに対する情報を参照にして決定された比較結果を出力し得る。
前記線分セグメント個数は図４Ａ及び４Ｂのように２個から図４Ｃのようにｎ個（ｎ＝＞３、例えば、３）まで増加し得て、前記比較値は図４Ａ及び４Ｂのように、１から図４Ｃのようにｎ−１（例えば、２）まで増加し得る。このようになれば、ｐｉｅｃｅｗｉｓｅ ｌｉｎｅａｒ ｃｏｎｔｉｎｕｏｕｓ ｆｕｎｃｔｉｏｎ形態のＮＣＲｅＬＵ＿Ｃｏｎｖ演算器を具現し得るようになる。
かかるＮＣＲｅＬＵ＿Ｃｏｎｖ演算器は下のような数式で定義され得る。
Figure 0006676722
ここで、ＮＣＲｅＬＵ＿ＣｏｎｖはＮ個のアクティベーションユニット（以下、Ｎ−ｗａｙ ＣＲｅＬＵ（Ｎ−ｗａｙ Ｃｏｎｃａｔｅｎａｔｅｄ Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ）またはＮＣＲｅＬＵという）から構成されるＣＲｅＬＵの出力にコンボリューションレイヤを適用した演算結果を示して、ｘは入力値、ｗiはコンボリューションレイヤの統合ウェイトパラメータ、ｂiはコンボリューションレイヤの修正バイアスパラメータ、ｖiは各々の区間区分の基準値である。
一方、前記数式６でｂi+1に対する条件式はＮＣＲｅＬＵ＿Ｃｏｎｖが連続関数（Ｃｏｎｔｉｎｕｏｕｓ Ｆｕｎｃｔｉｏｎ）になるために必要で、ｂ1を除いたバイアス値は付与されたｂ1１、ｗi、ｖi値によって決定される。
図５は本発明の他の実施例にかかるＣＮＮのＮＣＲｅＬＵ＿Ｃｏｎｖ演算方法を示す。
図５に示された本発明の一実施例にかかるＮＣＲｅＬＵ＿Ｃｏｎｖ演算を遂行するＣＮＮ演算装置５００は、図２に示された前記演算装置２００の改善されたバージョンである。前記演算装置２００は２個の比較区間を用いるが、前記演算装置５００はｐｉｅｃｅｗｉｓｅ ｌｉｎｅａｒ ｃｏｎｔｉｎｕｏｕｓ ｆｕｎｃｔｉｏｎを適用して比較区間を２個からｎ個に拡張した装置である。
図５を参照すれば、本発明にかかるＣＮＮ演算装置５００はＮＣＲｅＬＵ演算とコンボリューション演算を同時に遂行し得て、比較器５０１、第１選択器５０２、第２選択器５０３、乗算器５０４及び加算器５０５を含む。
本発明にかかるＣＮＮ演算装置５００は入力値（例えば、以前の演算部から伝達された特徴マップ）を受信して演算された値を出力するための通信部（未図示）と前記比較器５０１、第１選択器５０２、第２選択器５０３、乗算器５０４及び加算器５０５で遂行するプロセスを遂行するプロセッサから構成され得る。即ち、前記比較器５０１、第１選択器５０２、第２選択器５０３、乗算器５０４及び加算器５０５の機能はＣＮＮ演算装置５００内のプロセッサ（未図示）で遂行される各プロセスで具現され得る。
具体的に図５を参照して、ＣＮＮ演算装置５００がテストイメージとしての入力イメージを入力されると、比較器５０１は入力されたイメージの各画素値に対応する入力値（ｘ）を所定の基準区間区分の値と比較してその比較結果に対する比較結果値を出力する。即ち、入力値（ｘ）が前記所定の区間区分の基準値のうちどの値の間の区間に該当するかに対する比較結果値を出力する。
例えば、図４Ｃに示された例では、ｘ値がｖ1よりも小さい場合、比較結果値として１を、ｘ値がｖ1とｖ2の間である場合、比較結果値として２を、ｘ値がｖ2よりも大きい場合、比較結果値として３を出力する。ここで、入力イメージは入力されたイメージ自体だけでなく、以前のコンボリューションレイヤから受信した特徴マップのうち少なくとも一つを含む概念であり得る。
前記第１選択器５０２は比較結果を参照にして、コンボリューションレイヤの多数の統合ウェイトパラメータ（ｗ1，…，ｗn）のうち選択された特定統合ウェイトパラメータを出力し、前記第２選択器５０３は比較結果を参照にして、コンボリューションレイヤの多数の修正バイアスパラメータ（ｂ1，…，ｂn）のうち選択された特定修正バイアスパラメータを出力する。一方、ＣＮＮ演算装置５００のプロセッサは第１選択器５０２のプロセスと第２選択器５０３のプロセスを同時に遂行し得る。
前記乗算器５０４は第１選択器５０２で選択された特定統合ウェイトパラメータを入力値（ｘ）と掛けて出力し、加算器５０５は乗算器５０４の出力に第２選択器５０３で選択された特定修正バイアスパラメータを足して出力する。即ち、このように出力された値はＮＣＲｅＬＵユニットの出力にコンボリューションレイヤの演算を適用して得た結果値としてみなされ得る。
一方、数式６での統合ウェイトパラメータ（ｗi）、修正バイアスパラメータ（ｂi）、区間区分の基準値（ｖi）は次の数式７で算出される。
Figure 0006676722
ここで、ｑi（ｑ1ないしｑn-1）は各バイアスレイヤの各々の要素バイアスパラメータで、ｐi（ｐ1ないしｐn）は前記コンボリューションレイヤの各々の要素ウェイトパラメータで、ｄは前記コンボリューションレイヤの要素バイアスパラメータであり、ｒａｎｋ（ｑi）は｛ｑ1，…．．ｑn-1｝のうちｑiが何番目に大きい数かを示して、ｒａｎｋ-1（ｉ）は｛ｑ1，…ｑn-1｝のうちｉ番目に大きい数のインデックス（Ｉｎｄｅｘ）を示す。
図５に示されたＮ−ｗａｙ ＣＲｅＬＵ＿Ｃｏｎｖ（ＮＣＲｅＬＵ＿Ｃｏｎｖ）演算装置はすべての可能なｎ個のセグメントから構成されたｐｉｅｃｅｗｉｓｅ ｌｉｎｅａｒ ｃｏｎｔｉｎｕｏｕｓ ｆｕｎｃｔｉｏｎを表現し得る。また、すべての充分にソフトな関数はｘの特定範囲内でｐｉｅｃｅｗｉｓｅ ｌｉｎｅａｒ ｃｏｎｔｉｎｕｏｕｓ ｆｕｎｃｔｉｏｎに近似することができるので、Ｎ−ｗａｙ ＣＲｅＬＵ＿Ｃｏｎｖ演算装置がそのような関数を学習し出すことができるためである。
これに比べて、図１のように、既存のバイアスがないＣＲｅＬＵユニットは２個のセグメントだけから構成されて、“ｆ（ｘ）＝０ ｗｈｅｎ ｘ＝０”条件を満たすｐｉｅｃｅｗｉｓｅ ｌｉｎｅａｒ ｃｏｎｔｉｎｕｏｕｓ ｆｕｎｃｔｉｏｎだけを表現し得る短所がある。これは図２に示された２個のセグメントから構成されるＣＲｅＬＵ＿Ｃｏｎｖ演算装置でも同様である。
図５のＮＣＲｅＬＵ＿Ｃｏｎｖ演算装置５００でＮＣＲｅＬＵ＿Ｃｏｎｖのｎが２である場合には下記のように表現し得て、これは図２のＣＲｅＬＵ＿Ｃｏｎｖ演算装置の演算内容と同一になる。
Figure 0006676722
図６Ａ及び図６Ｂは図５の例示的な演算過程を示す。
図６Ａを参照すれば、入力値（ｘ）が−１．５である場合、比較器５０１では２個の区間区分の値（ｖ1，ｖ2）と入力値（ｘ）を比較し、入力値（ｘ＝−１．５）が第１区間区分の値（ｖ1）である−１よりも小さいので、比較結果値として１を出力して第１選択器５０２と第２選択器５０３に伝達する。前記第１選択器５０２では３個の統合ウェイトパラメータ（ｗ1，ｗ2，ｗ3）のうち比較結果値（１）に対応される特定統合ウェイトパラメータ（ｗ1）値である−１を選択して乗算器５０４に伝達し、前記第２選択器５０３では３個の修正バイアスパラメータ（ｂ1，ｂ2，ｂ3）のうち比較結果値（１）に対応される特定修正バイアスパラメータ（ｂ1）値である−１を選択して加算器５０５に伝達する。それから、乗算器５０４は入力値（ｘ＝−１．５）に第１選択器５０２の出力である選択された特定統合ウェイトパラメータ（ｗ1＝−１）を掛けた１．５を生成してこれを加算器５０５に伝達し、加算器５０５は乗算器５０４の出力値（１．５）に第２選択器５０３の出力である選択された特定修正バイアスパラメータ（ｂ1＝−１）を足した値である０．５を生成した後にこれを出力する。
図６Ｂを参照すれば、入力値（ｘ）が０．５である場合、比較器５０１では２個の区間区分の値（ｖ1，ｖ2）と入力値（ｘ）を比較し、入力値（ｘ＝０．５）が第１区間区分の値（ｖ1）である−１と第２区間区分の値（ｖ2）である１の間であるため比較結果値として２を出力して第１選択器５０２と第２選択器５０３に伝達する。前記第１選択器５０２では３個の統合ウェイトパラメータ（ｗ1，ｗ2，ｗ3）のうち比較結果値（２）に対応される特定統合ウェイトパラメータ（ｗ2）値である０．５を選択して乗算器５０４に伝達し、前記第２選択器５０３では３個の修正バイアスパラメータ（ｂ1，ｂ2，ｂ3）のうち比較結果値（２）に対応される特定修正バイアスパラメータ（ｂ2）値である０．５を選択して加算器５０５に伝達する。それから、乗算器５０４は入力値（ｘ＝０．５）に第１選択器５０２の出力である選択された特定統合ウェイトパラメータ（ｗ2＝０．５）を掛けた０．２５を生成してこれを加算器５０５に伝達し、加算器５０５は乗算器５０４の出力値（０．２５）に第２選択器５０３の出力である選択された特定修正バイアスパラメータ（ｂ2＝０．５）を足した値である０．７５を生成した後にこれを出力する。
一方、数式６での統合ウェイトパラメータ（ｗi）、修正バイアスパラメータ（ｂi）及び区間区分の基準値（ｖi）を求めるためには数式７を利用しなければならず、数式７を利用するためには各バイアスレイヤの要素バイアスパラメータ（ｑi（ｉ＝１ないしｎ−１））、各コンボリューションレイヤの要素ウェイトパラメータ（ｐi（ｉ＝１ないしｎ））及びコンボリューションレイヤの要素バイアスパラメータ（ｄ）を学習装置を通じて求めなければならない。
図７は本発明のまた他の実施例により図６のＮＣＲｅＬＵ＿Ｃｏｎｖ演算を具現するためのＣＮＮ学習装置を示す。
本発明にかかるＣＮＮ学習装置７００は図１に示された一つのアクティベーションモジュールあたりの一つのＣＲｅＬＵを利用するＣＮＮ学習装置１００とは異なり、一つのアクティベーションモジュールでＮＣＲｅＬＵを利用し、前記ＮＣＲｅＬＵ（Ｎ−ｗａｙ ＣＲｅＬＵ）ではｎ−１個のバイアスレイヤを有して、ｎが増加するほどバイアスレイヤと要素アクティベーションレイヤ（ＲｅＬＵ）のペアが増える。一方、下で説明するが、要素アクティベーションレイヤとコンカチネーションレイヤの順序が変われば、バイアスレイヤの数だけ増えて、要素アクティベーションレイヤは１個だけでもよい。
図７を参照すれば、ＣＮＮ学習装置７００はコンボリューションレイヤ７１０、７３０、ＮＣＲｅＬＵ７２０及び他のＮＣＲｅＬＵ（未図示）のような多くのＮＣＲｅＬＵが交互に配置される構成を有する。
前記アクティベーションモジュール（ＮＣＲｅＬＵ）７２０はｎ−１個のバイアスレイヤ７２１を含み、各々のバイアスレイヤは各々の要素バイアスパラメータ（ｑ1ないしｑn-1）を有する。好ましくは、第１バイアスレイヤの要素バイアスパラメータ（ｑ1）を除いた第２ないし第ｎ−１バイアスレイヤの要素バイアスパラメータ（ｑ2，…，ｑn-1）の順序はｑ2＞…＞ｑn-1に設定し得る。
また、アクティベーションモジュール７２０は一つのスケールレイヤ７２２を含み、ｎ個の要素アクティベーションレイヤ７２３を含む。一実施例で前記要素アクティベーションレイヤはＲｅＬＵレイヤである。前記スケールレイヤ７２２はｎ−１個のバイアスレイヤ７２１のうち特定バイアスレイヤ（例えば、第１バイアスレイヤ）と連結されて、前記特定バイアスレイヤの出力値に所定のスケール値を掛けるプロセスを遂行し、前記特定要素アクティベーションレイヤ（特定ＲｅＬＵレイヤ）に伝送する過程を遂行する。
そして、学習装置は、（ｉ）前記スケールレイヤ７２２に連結された特定要素アクティベーションレイヤをもって前記スケールレイヤ７２２の出力値に非線形アクティベーション関数を適用するようにし、（ｉｉ）前記各々の要素バイアスレイヤ７２１に連結された残りの要素アクティベーションレイヤをもって前記各々の要素バイアスレイヤの出力値に各々の非線形関数を適用するようにする。前記非線形アクティベーション関数はＲｅＬＵ演算で、前記スケールレイヤのスケール値は−１であり得るが、これに限定されるものではない。
そして、学習装置は、コンカチネーションレイヤ７２４をもって前記特定要素アクティベーションレイヤ及び前記残りの要素アクティベーションレイヤの出力値を一つにコンカチネートするようにし、前記コンカチネートされた出力値を獲得するようにする過程を遂行する。
他の例として、前記要素アクティベーションレイヤ７２３とコンカチネーションレイヤ７２４の順序は変わっても関係ない。万一要素アクティベーションレイヤ７２３がコンカチネーションレイヤ７２２の後にくる場合は、要素アクティベーションレイヤ７２３はｎ個ではなく１個だけでもよい。
再び図７を参照すれば、アクティベーションモジュール７２０の出力（即ち、コンカチネーションレイヤ７２４の出力）が次のコンボリューションレイヤ７３０に伝達されると、学習装置は、次のコンボリューションレイヤ７３０の各々の要素ウェイトパラメータ（ｐi）及び各々の要素バイアスパラメータ（ｄ）を用いてコンカチネートされた出力値にコンボリューション演算を適用するようにする。
そして、多数の反復されたコンボリューションレイヤ７１０、７３０、多数のＮＣＲｅＬＵ７２０及び他のＮＣＲｅＬＵ（未図示）は交互に配置され、獲得された出力はアプリケーションブロック７４０を通じて所望の結果値（例えば、ラベルイメージなど）を算出し、算出された結果値とこれに対応されるＧＴ値間を比較してロスをロスレイヤ７５０で獲得して、算出されたロスを利用してバックプロパゲーションを遂行して、前記各々の要素バイアスレイヤの各々の要素バイアスパラメータ（ｑi）、要素ウェイトパラメータ（ｐi）及び前記要素バイアスパラメータ（ｄ）のうち少なくとも一部のパラメータを調節する。
図７のようにＮ−ｗａｙ ＣｒｅＬＵを有するＣＮＮ学習装置７００を通じてＣＮＮ学習が完了すると、（ｉ）前記ｎ−１個のバイアスレイヤが学習したバイアス値ｑ1、…，ｑn-1と（ｉｉ）前記コンボリューションレイヤ７３０の要素ウェイトパラメータｐ1、…，ｐnと（ｉｉｉ）要素バイアスパラメータｄが獲得される。そして、上述したように、この値が数式６及び数式７を通じてＮＣＲｅＬＵ＿Ｃｏｎｖ演算装置で利用される。
一方、図７のＣＮＮ学習装置７００は以前のレイヤやユニットで生成した値を受信し、当該ユニットで生成した値を伝達するための通信部（未図示）と各ユニットとレイヤで遂行する演算プロセスを遂行するプロセッサ（未図示）から構成され得る。
図７のＣＮＮ学習装置で各パラメータに対する学習が完了するとロスレイヤ７５０を除去し、ロスレイヤ７５０がないテスト装置（未図示）によってテスト過程を遂行するようになる。即ち、テストイメージはコンボリューションレイヤ７１０、７３０、ＮＣＲｅＬＵ７２０及び他のＮＣＲｅＬＵ（未図示）を交互に配置した後、多数のコンボリューションレイヤ及び多数のＮＣＲｅＬＵを通過して獲得された出力がアプリケーションブロック７４０に入力されるようにし、アプリケーションブロック７４０から出力された結果値が獲得され得る。例えば、アプリケーションブロック７４０はＣＮＮモデルの用途に応じて、例えば客体感知ブロックや、セマンティックセグメンテーションブロックなどであり得るが、これに限定されるものではない。
図８は図７の例示的な演算過程を示す。
図８を参照すれば、図７の学習装置７００で求めたコンボリューションレイヤの要素ウェイトパラメータ（ｐ1，…，ｐn）と要素バイアスパラメータ（ｄ）、バイアスレイヤの要素バイアスパラメータ（ｑ1，…，ｑn-1）を数式６の代わりに図７の学習装置７００と同一のＣＮＮモデルを利用して入力値を演算した例を示す。
図６Ｂのように、入力値（ｘ）として０．５が以前のコンボリューションレイヤ７１０でアクティベーションモジュール７２０に伝達されると、アクティベーションモジュール７２０の第１バイアスレイヤは第１バイアスパラメータ（ｑ1＝−１）を適用して−０．５をスケールレイヤと第２ＲｅＬＵレイヤに伝達し、第２バイアスレイヤは第２バイアスパラメータ（ｑ2＝１）を適用して１．５を第３ＲｅＬＵレイヤに伝達する。
一方、スケールレイヤ７２２は−０．５値を伝達されて−１を掛けて生成した０．５を第１ＲｅＬＵレイヤに伝達する。結果的に、第１ないし第３ＲｅＬＵレイヤは各々０．５、−０．５、１．５を入力されてＲｅＬＵ演算して各々０．５、０、１．５を生成して出力する。そして、前記コンカチネーションレイヤ７２４は前記第１ないし第３ＲｅＬＵレイヤの出力をコンカチネーションし、コンカチネートされた値を後にくるコンボリューションレイヤに伝達する。
前記コンボリューションレイヤは入力された値に要素ウェイトパラメータ（１，−０．５，１．５）と要素バイアスパラメータ（−２）を利用して、出力値（ｙ＝０．５＊１＋０＊（−０．５）＋１．５＊１．５＋（−２））で０．７５を生成して出力する。このように図７の学習装置または前記学習装置と類似する形態を有するＣＮＮモデルを通じて、前記ＣＮＮモデルのコンボリューションレイヤ７３０から出力した値である０．７５は図６Ｂの演算装置を通じた生成値と同一であることを確認することができる。
本発明の技術分野の通常の技術者に理解され得ることとして、上で説明されたイメージ、例えばｉｎｐｕｔ ｉｍａｇｅ、ｔｒａｉｎｉｎｇ ｉｍａｇｅ、ｔｅｓｔ ｉｍａｇｅのようなイメージデータの送受信が学習装置及びテスト装置の通信部によってなされ得て、特徴マップと演算を遂行するためのデータが学習装置及びテスト装置のプロセッサ（及び／または、メモリ）によって保有／維持され得て、コンボリューション演算、デコンボリューション演算、エラー値演算過程が主に学習装置、演算装置及びテスト装置のプロセッサによって遂行され得るが、本発明がこれに限定されるものではない。
以上で説明された本発明にかかる実施例は多様なコンピュータ構成要素を通じて遂行され得るプログラム命令語の形態で具現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独または組み合わせて含まれ得る。前記コンピュータで判読可能な記録媒体に記録されるプログラム命令語は本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を保存して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるものような機械語コードだけではなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は本発明にかかる処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成されることがあり、その逆も同様である。
以上、本発明が具体的な構成要素などのような特定の事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限定されるものではなく、本発明が属する技術分野において通常の知識を有する者であればかかる記載から多様な修正及び変形が行なわれ得る。
従って、本発明の思想は前記説明された実施例に極限されて定められてはならず、後述する特許請求の範囲だけではなく、本特許請求の範囲と均等または等価的に変形されたすべてのものは本発明の思想の範疇に属するといえる。

Claims (16)

  1. （ｉ）多数の要素バイアスレイヤ、スケールレイヤ及び多数の要素アクティベーションレイヤを含むアクティベーションモジュールのアクティベーション演算と（ｉｉ）コンボリューションレイヤのコンボリューション演算を遂行する学習装置でＣＮＮのパラメータを学習する方法において、
    （ａ）前記学習装置が、入力イメージに対応される入力値が各々の多数の要素バイアスレイヤに各々伝達されるようにし、前記各々の多数の要素バイアスレイヤをもって各々の対応する要素バイアスパラメータ（ｑi）を前記入力値に適用するようにするプロセスを遂行する段階；
    （ｂ）前記学習装置が、前記多数の要素バイアスレイヤのうち特定要素バイアスレイヤに連結された前記スケールレイヤをもって前記特定要素バイアスレイヤの出力値に所定のスケール値を掛けるようにするプロセスを遂行する段階；
    （ｃ）前記学習装置が、（ｉ）前記スケールレイヤに連結された特定要素アクティベーションレイヤをもって前記スケールレイヤの出力値に非線形アクティベーション関数を適用するようにするプロセス及び（ｉｉ）前記各々の要素バイアスレイヤに連結された残りの要素アクティベーションレイヤをもって前記各々の要素バイアスレイヤの出力値に各々の非線形関数を適用するようにするプロセスを遂行する段階；
    （ｄ）前記学習装置が、コンカチネーションレイヤをもって前記特定要素アクティベーションレイヤ及び前記残りの要素アクティベーションレイヤの出力値を一つにコンカチネートするようにし、前記コンカチネートされた出力値を獲得するようにするプロセスを遂行する段階；
    （ｅ）前記学習装置が、前記コンボリューションレイヤをもって前記コンボリューションレイヤの各々の要素ウェイトパラメータ（ｐi）及び前記コンボリューションレイヤの各々の要素バイアスパラメータ（ｄ）を利用して、前記コンカチネートされた出力値に前記コンボリューション演算を遂行するようにする段階；及び
    （ｆ）前記（ｅ）段階の出力を、前記コンボリューション演算の結果を使用して前記ＣＮＮの用途に応じた結果値を獲得するアプリケーションブロックに入力して前記アプリケーションブロックによって前記結果値が出力されると、前記学習装置が、ロスレイヤをもって前記アプリケーションブロックから出力された前記結果値及び前記結果値に対応されるＧＴ（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）値間を参照して計算されたロスを獲得するようにし、バックプロパゲーションプロセスを遂行して、前記各々の要素バイアスレイヤの各々の要素バイアスパラメータ（ｑi）、前記要素ウェイトパラメータ（ｐi）及び前記要素バイアスパラメータ（ｄ）のうち少なくとも一部のパラメータを調整する段階；
    を含むことを特徴とする方法。
  2. 前記スケール値は負数であることを特徴とする請求項１に記載の学習方法。
  3. 前記アクティベーションモジュールはＮ−ｗａｙ ＣＲｅＬＵ（Ｎ−ｗａｙ Ｃｏｎｃａｔｅｎａｔｅｄ Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ）を含み、
    前記要素アクティベーションレイヤはＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ）レイヤであることを特徴とする請求項１に記載の学習方法。
  4. 前記（ｃ）段階でｎ個の要素アクティベーションレイヤを用いる場合、前記（ａ）段階で用いられる前記要素バイアスレイヤの個数はｎ−１個であることを特徴とする請求項１に記載の学習方法。
  5. （ｉ）多数の要素バイアスレイヤ、スケールレイヤ及び多数の要素アクティベーションレイヤを含むアクティベーションモジュールのアクティベーション演算と（ｉｉ）コンボリューションレイヤのコンボリューション演算を遂行する学習装置でＣＮＮのパラメータを学習する方法において、
    （ａ）前記学習装置が、入力イメージに対応される入力値が各々の多数の要素バイアスレイヤに各々伝達されるようにし、前記各々の多数の要素バイアスレイヤをもって各々の対応する要素バイアスパラメータ（ｑi）を前記入力値に適用するようにするプロセスを遂行する段階；
    （ｂ）前記学習装置が、前記多数の要素バイアスレイヤのうち特定要素バイアスレイヤに連結された前記スケールレイヤをもって前記特定要素バイアスレイヤの出力値に所定のスケール値を掛けるようにするプロセスを遂行する段階；
    （ｃ）前記学習装置が、前記スケールレイヤ及び前記各々の要素バイアスレイヤに連結されたコンカチネーションレイヤをもって前記スケールレイヤの出力値及び前記各々の要素バイアスレイヤの出力値をコンカチネートするようにし、前記コンカチネートされた出力値を獲得するようにするプロセスを遂行する段階；
    （ｄ）前記学習装置が、前記コンカチネーションレイヤに連結されたアクティベーションレイヤをもって前記コンカチネートされた出力値に非線形アクティベーション関数を適用するようにするプロセスを遂行する段階；
    （ｅ）前記学習装置が、前記コンボリューションレイヤをもって前記コンボリューションレイヤの各々の要素ウェイトパラメータ（ｐi）及び前記コンボリューションレイヤの各々の要素バイアスパラメータ（ｄ）を利用して、前記アクティベーションレイヤの出力値に前記コンボリューション演算を遂行するようにする段階；及び
    （ｆ）前記（ｅ）段階の出力を、前記コンボリューション演算の結果を使用して前記ＣＮＮの用途に応じた結果値を獲得するアプリケーションブロックに入力して前記アプリケーションブロックによって前記結果値が出力されると、前記学習装置が、ロスレイヤをもって前記アプリケーションブロックから出力された前記結果値及び前記結果値に対応されるＧＴ（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）値間を参照して計算されたロスを獲得するようにし、バックプロパゲーションプロセスを遂行して、前記各々の要素バイアスレイヤの各々の要素バイアスパラメータ（ｑi）、前記要素ウェイトパラメータ（ｐi）及び前記要素バイアスパラメータ（ｄ）のうち少なくとも一部のパラメータを調整する段階；
    を含むことを特徴とする方法。
  6. 前記スケール値は負数であることを特徴とする請求項５に記載の学習方法。
  7. 前記アクティベーションモジュールはＮ−ｗａｙ ＣＲｅＬＵ（Ｎ−ｗａｙ Ｃｏｎｃａｔｅｎａｔｅｄ Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ）を含み、
    前記アクティベーションレイヤはＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ）レイヤであることを特徴とする請求項５に記載の学習方法。
  8. 前記（ａ）段階で用いられる前記要素バイアスレイヤの個数はｎ−１個であることを特徴とする請求項５に記載の学習方法。
  9. （ｉ）多数の要素バイアスレイヤ、スケールレイヤ及び多数の要素アクティベーションレイヤを含むアクティベーションモジュールのアクティベーション演算と（ｉｉ）コンボリューションレイヤのコンボリューション演算を遂行するＣＮＮのパラメータを学習する装置において、
    前記入力イメージを受信する通信部；及び
    （ｉ）入力イメージに対応される入力値が各々の多数の要素バイアスレイヤに各々伝達されるようにし、前記各々の多数の要素バイアスレイヤをもって各々の対応する要素バイアスパラメータ（ｑi）を前記入力値に適用するようにするプロセス；（ｉｉ）前記多数の要素バイアスレイヤのうち特定要素バイアスレイヤに連結された前記スケールレイヤをもって前記特定要素バイアスレイヤの出力値に所定のスケール値を掛けるようにするプロセス；（ｉｉｉ）前記スケールレイヤに連結された特定要素アクティベーションレイヤをもって前記スケールレイヤの出力値に非線形アクティベーション関数を適用するようにするプロセス；（ｉｖ）前記各々の要素バイアスレイヤに連結された残りの要素アクティベーションレイヤをもって前記各々の要素バイアスレイヤの出力値に各々の非線形関数を適用するようにするプロセス；（ｖ）コンカチネーションレイヤをもって前記特定要素アクティベーションレイヤ及び前記残りの要素アクティベーションレイヤの出力値を一つにコンカチネートするようにし、前記コンカチネートされた出力値を獲得するようにするプロセス；及び（ｖｉ）前記コンボリューションレイヤをもって前記コンボリューションレイヤ各々の要素ウェイトパラメータ（ｐi）及び前記コンボリューションレイヤの各々の要素バイアスパラメータ（ｄ）を利用して、前記コンカチネートされた出力値に対する前記コンボリューション演算を遂行するようにするプロセス；及び（ｖｉｉ）前記コンボリューション演算の結果を使用して前記ＣＮＮの用途に応じた結果値を獲得するアプリケーションブロックによって前記結果値が出力されると、ロスレイヤをもって前記アプリケーションブロックから出力された前記結果値及び前記結果値に対応されるＧＴ（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）値間を参照して計算されたロスを獲得するようにし、バックプロパゲーションプロセスを遂行して、前記各々の要素バイアスレイヤの各々の要素バイアスパラメータ（ｑi）、前記要素ウェイトパラメータ（ｐi）及び前記要素バイアスパラメータ（ｄ）のうち少なくとも一部のパラメータを調整するプロセス；を遂行するプロセッサを含むことを特徴とする学習装置。
  10. 前記スケール値は負数であることを特徴とする請求項９に記載の学習装置。
  11. 前記アクティベーションモジュールはＮ−ｗａｙ ＣＲｅＬＵ（Ｎ−ｗａｙ Ｃｏｎｃａｔｅｎａｔｅｄ Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ）を含み、
    前記要素アクティベーションレイヤはＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ）レイヤであることを特徴とする請求項９に記載の学習装置。
  12. 前記プロセッサでｎ個の要素アクティベーションレイヤを用いる場合、前記要素バイアスレイヤの個数はｎ−１個であることを特徴とする請求項９に記載の学習装置。
  13. （ｉ）多数の要素バイアスレイヤ、スケールレイヤ及び多数の要素アクティベーションレイヤを含むアクティベーションモジュールのアクティベーション演算と（ｉｉ）コンボリューションレイヤのコンボリューション演算を遂行するＣＮＮのパラメータを学習する装置において、
    前記入力イメージを受信する通信部；及び
    （ｉ）入力イメージに対応される入力値が各々の多数の要素バイアスレイヤに各々伝達されるようにし、前記各々の多数の要素バイアスレイヤをもって各々の対応する要素バイアスパラメータ（ｑi）を前記入力値に適用するようにするプロセス；（ｉｉ）前記多数の要素バイアスレイヤのうち特定要素バイアスレイヤに連結された前記スケールレイヤをもって前記特定要素バイアスレイヤの出力値に所定のスケール値を掛けるようにするプロセス；（ｉｉｉ）前記スケールレイヤ及び前記各々の要素バイアスレイヤに連結されたコンカチネーションレイヤをもって前記スケールレイヤの出力値及び前記各々の要素バイアスレイヤの出力値をコンカチネートするようにし、前記コンカチネートされた出力値を獲得するようにするプロセス；（ｉｖ）前記コンカチネーションレイヤに連結されたアクティベーションレイヤをもって前記コンカチネートされた出力値に非線形アクティベーション関数を適用するようにするプロセス；（ｖ）前記コンボリューションレイヤをもって前記コンボリューションレイヤの各々の要素ウェイトパラメータ（ｐi）及び前記コンボリューションレイヤの各々の要素バイアスパラメータ（ｄ）を利用して、前記アクティベーションレイヤの出力値に前記コンボリューション演算を遂行するようにするプロセス；及び（ｖｉ）前記コンボリューション演算の結果を使用して前記ＣＮＮの用途に応じた結果値を獲得するアプリケーションブロックによって前記結果値が出力されると、ロスレイヤをもって前記アプリケーションブロックから出力された前記結果値及び前記結果値に対応されるＧＴ（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）値間を参照して計算されたロスを獲得するようにし、バックプロパゲーションプロセスを遂行して、前記各々の要素バイアスレイヤの各々の要素バイアスパラメータ（ｑi）、前記要素ウェイトパラメータ（ｐi）及び前記要素バイアスパラメータ（ｄ）のうち少なくとも一部のパラメータを調整するプロセス；を遂行するプロセッサを含むことを特徴とする学習装置。
  14. 前記スケール値は負数であることを特徴とする請求項１３に記載の学習装置。
  15. 前記アクティベーションモジュールはＮ−ｗａｙ ＣＲｅＬＵ（Ｎ−ｗａｙ Ｃｏｎｃａｔｅｎａｔｅｄ Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ）を含み、
    前記要素アクティベーションレイヤはＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ）レイヤであることを特徴とする請求項１３に記載の学習装置。
  16. 前記プロセッサで用いられる前記要素バイアスレイヤの個数はｎ−１個であることを特徴とする請求項１３に記載の学習装置。
JP2018193025A 2017-10-13 2018-10-12 アクティベーション演算とコンボリューション演算を同時に遂行するための方法及び装置、そしてこのための学習方法及び学習装置 Active JP6676722B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/783,367 US10049323B1 (en) 2017-10-13 2017-10-13 Method and device for performing activation and convolution operation at the same time and learning method and learning device for the same
US15/783,367 2017-10-13

Publications (2)

Publication Number Publication Date
JP2019075115A JP2019075115A (ja) 2019-05-16
JP6676722B2 true JP6676722B2 (ja) 2020-04-08

Family

ID=63078872

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018193025A Active JP6676722B2 (ja) 2017-10-13 2018-10-12 アクティベーション演算とコンボリューション演算を同時に遂行するための方法及び装置、そしてこのための学習方法及び学習装置

Country Status (5)

Country Link
US (1) US10049323B1 (ja)
EP (1) EP3471025A1 (ja)
JP (1) JP6676722B2 (ja)
KR (1) KR102112997B1 (ja)
CN (1) CN109670575B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020093654A1 (en) * 2018-11-06 2020-05-14 Genesys Logic, Inc. Multichip system and data processing method adapted to the same for implementing neural network application
US10803594B2 (en) 2018-12-31 2020-10-13 Beijing Didi Infinity Technology And Development Co., Ltd. Method and system of annotation densification for semantic segmentation
US10467500B1 (en) 2018-12-31 2019-11-05 Didi Research America, Llc Method and system for semantic segmentation involving multi-task convolutional neural network
US11461653B2 (en) * 2019-01-23 2022-10-04 StradVision, Inc. Learning method and learning device for CNN using 1xK or Kx1 convolution to be used for hardware optimization, and testing method and testing device using the same
US10410120B1 (en) * 2019-01-25 2019-09-10 StradVision, Inc. Learning method and testing method of object detector to be used for surveillance based on R-CNN capable of converting modes according to aspect ratios or scales of objects, and learning device and testing device using the same
US10890916B2 (en) * 2019-01-30 2021-01-12 StradVision, Inc. Location-specific algorithm selection for optimized autonomous driving
US11615303B2 (en) * 2019-02-25 2023-03-28 Samsung Electronics Co., Ltd. Electronic device for classifying classes, electronic device for providing classification model for classifying classes, and method for operating the same
KR20210017185A (ko) 2019-08-07 2021-02-17 한국전자통신연구원 심층 신경망을 기반으로 영상의 압축 포아송 잡음을 제거하는 방법 및 장치
CN110689081B (zh) * 2019-09-30 2020-08-21 中国科学院大学 一种基于分歧学习的弱监督目标分类和定位方法
US20210150306A1 (en) * 2019-11-14 2021-05-20 Qualcomm Incorporated Phase selective convolution with dynamic weight selection
US11449758B2 (en) 2020-03-11 2022-09-20 Qualcomm Incorproated Quantization and inferencing for low-bitwidth neural networks

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9836839B2 (en) 2015-05-28 2017-12-05 Tokitae Llc Image analysis systems and related methods
CN104992167B (zh) * 2015-07-28 2018-09-11 中国科学院自动化研究所 一种基于卷积神经网络的人脸检测方法及装置
CN108140141B (zh) 2015-08-15 2019-09-06 易享信息技术有限公司 在深度神经网络中对表征输入放射体的三维3d数据进行分类的计算机实现的方法及系统
US9767381B2 (en) * 2015-09-22 2017-09-19 Xerox Corporation Similarity-based detection of prominent objects using deep CNN pooling layers as features
US10002313B2 (en) * 2015-12-15 2018-06-19 Sighthound, Inc. Deeply learned convolutional neural networks (CNNS) for object localization and classification
JP6658033B2 (ja) 2016-02-05 2020-03-04 富士通株式会社 演算処理回路、および情報処理装置
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
CN106204468B (zh) * 2016-06-27 2019-04-26 深圳市未来媒体技术研究院 一种基于ReLU卷积神经网络的图像去噪方法
IL281321B (en) 2016-10-04 2022-07-01 Magic Leap Inc Efficient data layouts for convolutional neural networks
KR102631381B1 (ko) 2016-11-07 2024-01-31 삼성전자주식회사 컨볼루션 신경망 처리 방법 및 장치
KR20180073118A (ko) * 2016-12-22 2018-07-02 삼성전자주식회사 컨볼루션 신경망 처리 방법 및 장치
CN107229942B (zh) * 2017-04-16 2021-03-30 北京工业大学 一种基于多个分类器的卷积神经网络分类方法

Also Published As

Publication number Publication date
KR102112997B1 (ko) 2020-06-02
US10049323B1 (en) 2018-08-14
EP3471025A1 (en) 2019-04-17
CN109670575A (zh) 2019-04-23
JP2019075115A (ja) 2019-05-16
CN109670575B (zh) 2023-07-21
KR20190041922A (ko) 2019-04-23

Similar Documents

Publication Publication Date Title
JP6676722B2 (ja) アクティベーション演算とコンボリューション演算を同時に遂行するための方法及び装置、そしてこのための学習方法及び学習装置
JP6676721B2 (ja) アクティベーション演算とコンボリューション演算を同時に遂行するための方法及び装置、そしてこのための学習方法及び学習装置
KR102192850B1 (ko) Fun을 사용하여 특징 맵을 생성하기 위한 방법 및 장치
KR102229342B1 (ko) Fun을 사용하여 cnn의 성능을 향상시키기 위한 학습 방법 및 학습 장치, 그리고 이를 이용한, 테스트 방법 및 테스트 장치
US11462035B2 (en) Processing images using deep neural networks
JP6682595B2 (ja) イメージセグメンテーションのための学習方法及び学習装置、そしてこれを利用したイメージセグメンテーション方法及びイメージセグメンテーション装置
US11462034B2 (en) Generating images using neural networks
US10282864B1 (en) Method and device for encoding image and testing method and testing device using the same
US10311337B1 (en) Method and device for providing integrated feature map using ensemble of multiple outputs from convolutional neural network
CN105631519A (zh) 一种基于预决策的卷积神经网络加速方法及系统
JP2020119518A (ja) ハードウェア最適化を通じてモバイル装置または高精度の小型ネットワークに使用されるｃｎｎパラメータ量子化を最適化するためにｃｎｎレイヤを変換する方法及び装置
JP7252120B2 (ja) 核心性能指数を満たすことができるハードウェア最適化が行われるように、ｃｎｎで複数のブロック内の入力イメージから特徴を抽出する学習方法及び学習装置、それを利用したテスト方法及びテスト装置
US20220067888A1 (en) Image processing method and apparatus, storage medium, and electronic device
KR20190098402A (ko) 심층 신경망 시스템
CN118094296A (zh) 情感识别方法、装置、设备、介质及程序产品
CN117273098A (zh) 自注意力运算方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200312

R150 Certificate of patent or registration of utility model

Ref document number: 6676722

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250