JP7159276B2 - 行動認識のための時空間の平滑化フィーチャを正規化する方法およびシステム - Google Patents
行動認識のための時空間の平滑化フィーチャを正規化する方法およびシステム Download PDFInfo
- Publication number
- JP7159276B2 JP7159276B2 JP2020213564A JP2020213564A JP7159276B2 JP 7159276 B2 JP7159276 B2 JP 7159276B2 JP 2020213564 A JP2020213564 A JP 2020213564A JP 2020213564 A JP2020213564 A JP 2020213564A JP 7159276 B2 JP7159276 B2 JP 7159276B2
- Authority
- JP
- Japan
- Prior art keywords
- low frequency
- computer system
- random
- processor
- frequency components
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 32
- 230000009471 action Effects 0.000 title description 14
- 238000010606 normalization Methods 0.000 claims description 67
- 238000011176 pooling Methods 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims 2
- 238000013527 convolutional neural network Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 240000008005 Crotalaria incana Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002498 deadly effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Description
以下の説明は、行動認識（ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ）のためのフィーチャ正規化技術に関する。
知能型ビデオ監視システムのような保安関連分野、人間との相互交流実行能力を備える知能型ロボット、知能型家電製品などのような多くの分野において、人間の行動認識技術が適用されている。
例えば、特許文献１（登録日２０１５年１０月２０日）には、キネクトを利用して行動認識に必要なデータを抽出した後、このデータを階層化して特徴を学習することにより、映像から行動を認識する技術が開示されている。
３Ｄ畳み込みニューラルネットワーク（３Ｄ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）は、行動認識分野で広く使用されている。３Ｄ畳み込みニューラルネットワークは、時空間ストリームを処理するために追加の次元がある２Ｄ畳み込みニューラルネットワーク（２Ｄ Ｃｏｎｖ Ｎｅｔ）で拡張されたものであり、大規模イメージ認識データセットに対して訓練された２Ｄカーネルを膨らませて画像ドメインで学習された知識を活用する。
３Ｄ畳み込みニューラルネットワーク（３Ｄ Ｃｏｎｖ Ｎｅｔ）の過剰適合（ｏｖｅｒ ｆｉｔｔｉｎｇ）の問題を解決するために、簡単かつ効率的な正規化方法を提供することができる。
フィーチャの低周波成分（ｌｏｗ－ｆｒｅｑｕｅｎｃｙ ｃｏｍｐｏｎｅｎｔ）の大きさ（ｍａｇｎｉｔｕｄｅ）をランダムに変化させて内部表現（ｉｎｔｅｒｎａｌ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を正規化するランダム平均スケーリング（ＲＭＳ：ｒａｎｄｏｍ ｍｅａｎ ｓｃａｌｉｎｇ）を適用することができる。
コンピュータシステムが実行するフィーチャ正規化（ｆｅａｔｕｒｅ ｒｅｇｕｌａｒｉｚａｔｉｏｎ）方法であって、前記コンピュータシステムは、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記フィーチャ正規化方法は、前記少なくとも１つのプロセッサにより、入力フィーチャから低周波成分を求める段階、前記少なくとも１つのプロセッサにより、前記入力フィーチャと前記低周波成分との残差（ｒｅｓｉｄｕａｌ）を利用して高周波成分を求める段階、および前記少なくとも１つのプロセッサにより、前記低周波成分にノイズを追加する段階を含むフィーチャ正規化方法を提供する。
一側面によると、前記低周波成分を求める段階は、ローパスフィルタを利用して前記入力フィーチャから前記低周波成分を分離してよい。
他の側面によると、前記低周波成分を求める段階は、平均プーリング（ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ）またはガウシアンフィルタ（Ｇａｕｓｓｉａｎ ｆｉｌｔｅｒ）を利用して前記入力フィーチャから前記低周波成分を分離してよい。
また他の側面によると、前記ノイズを追加する段階は、前記入力フィーチャの局所的平均にランダムスケーリング（ｒａｎｄｏｍ ｓｃａｌｉｎｇ）を適用して前記ノイズを追加する段階を含んでよい。
また他の側面によると、前記ノイズを追加する段階は、与えられた確率分布でサンプリングされたスカラーを乗じる演算により、前記低周波成分の大きさをランダムに変調する段階を含んでよい
また他の側面によると、前記低周波成分に前記ノイズを追加するランダム平均スケーリングは、ネットワークモデルの残差分岐（ｒｅｓｉｄｕａｌ ｂｒａｎｃｈ）内に適用されてよい。
また他の側面によると、前記ランダム平均スケーリングは、前記ネットワークモデルの畳み込み層（ｃｏｎｖｏｌｕｔｉｏｎ ｌａｙｅｒ）、バッチ正規化層（ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ ｌａｙｅｒ）、非線形活性化層（ｎｏｎｌｉｎｅａｒ ａｃｔｉｖａｔｉｏｎ ｌａｙｅｒ）のうちの少なくとも１つの層の前に適用されてよい。
また他の側面によると、前記ネットワークモデルがベーシックブロック（ｂａｓｉｃｂｌｏｃｋ）構造のネットワークの場合、前記ランダム平均スケーリングは、前記ネットワークモデルの一部のステージに含まれたすべてのバッチ正規化層の前にそれぞれ適用されてよい。
さらに他の側面によると、前記ネットワークモデルがボトルネックブロック（ｂｏｔｔｌｅｎｅｃｋ ｂｌｏｃｋ）構造のネットワークの場合、前記ランダム平均スケーリングは、前記ネットワークモデルの一部のステージに含まれたバッチ正規化層のうちの最後のバッチ正規化層の前に適用されてよい。
前記フィーチャ正規化方法を前記コンピュータシステムに実行させるために非一時なコンピュータ読み取り可能な記録媒体に記録される、コンピュータプログラムを提供する。
前記フィーチャ正規化方法をコンピュータに実行させるためのプログラムが記録されている、非一時なコンピュータ読み取り可能な記録媒体を提供する。
コンピュータシステムであって、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、入力フィーチャから低周波成分を求め、前記入力フィーチャと前記低周波成分との残差を利用して高周波成分を求め、前記低周波成分にノイズを追加することを特徴とする、コンピュータシステムを提供する。
本発明の実施形態によると、３Ｄ畳み込みニューラルネットワークの過剰適合の問題を解決するために、簡単かつ効率的な正規化方法を提供することができる。
本発明の実施形態によると、フィーチャの低周波成分の大きさをランダムに変化させて内部表現を正規化するランダム平均スケーリング（ＲＭＳ）により、３Ｄ残差ネットワーク（ｒｅｓｉｄｕａｌ ｎｅｔｗｏｒｋ）の過剰適合の問題を効果的に解決することができる。
本発明の実施形態によると、低周波成分に対する摂動（ｐｅｒｔｕｒｂａｔｉｏｎ）を適用することにより、フィーチャ全体や高周波成分に適用するよりも、３Ｄ畳み込みニューラルネットワークの正確度と正規化効果を向上させることができる。
以下、本発明の実施形態について、添付の図面を参照しながら詳しく説明する。
本発明の実施形態は、行動認識のためのフィーチャ正規化技術に関する。
本明細書で具体的に開示される事項を含む実施形態は、フィーチャの低周波成分をランダムに変化させて内部表現を正規化するランダム平均スケーリング（ＲＭＳ：Ｒａｎｄｏｍ Ｍｅａｎ Ｓｃａｌｉｎｇ）によって簡単かつ効率的な正規化方法を提供することができ、これによって行動認識の正確度と正規化性能を向上させることができる。
図１は、本発明の一実施形態における、コンピュータシステムの例を示したブロック図である。例えば、本発明の実施形態に係るフィーチャ正規化システムは、図１に示したコンピュータシステム１００によって実現されてよい。
図１に示すように、コンピュータシステム１００は、本発明の実施形態に係るフィーチャ正規化方法を実行するための構成要素として、メモリ１１０、プロセッサ１２０、通信インタフェース１３０、および入力／出力インタフェース１４０を含んでよい。
メモリ１１０は、コンピュータ読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびディスクドライブのような永続的大容量記録装置を含んでよい。ここで、ＲＯＭやディスクドライブのような永続的大容量記録装置は、メモリ１１０とは区分される別の永続的記録装置としてコンピュータシステム１００に含まれてもよい。また、メモリ１１０には、オペレーティングシステムと、少なくとも１つのプログラムコードが記録されてよい。このようなソフトウェア構成要素は、メモリ１１０とは別のコンピュータ読み取り可能な記録媒体からメモリ１１０にロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信インタフェース１３０を通じてメモリ１１０にロードされてもよい。例えば、ソフトウェア構成要素は、ネットワーク１６０を介して受信されるファイルによってインストールされるコンピュータプログラムに基づいてコンピュータシステム１００のメモリ１１０にロードされてよい。
プロセッサ１２０は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ１１０または通信インタフェース１３０によって、プロセッサ１２０に提供されてよい。例えば、プロセッサ１２０は、メモリ１１０のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。
通信インタフェース１３０は、ネットワーク１６０を介してコンピュータシステム１００が他の装置と互いに通信するための機能を提供してよい。一例として、コンピュータシステム１００のプロセッサ１２０がメモリ１１０のような記録装置に記録されたプログラムコードにしたがって生成した要求や命令、データ、ファイルなどが、通信インタフェース１３０の制御にしたがってネットワーク１６０を介して他の装置に伝達されてよい。これとは逆に、他の装置からの信号や命令、データ、ファイルなどが、ネットワーク１６０を経てコンピュータシステム１００の通信インタフェース１３０を通じてコンピュータシステム１００に受信されてよい。通信インタフェース１３０を通じて受信された信号や命令、データなどは、プロセッサ１２０やメモリ１１０に伝達されてよく、ファイルなどは、コンピュータシステム１００がさらに含むことのできる記録媒体（上述した永続的記録装置）に記録されてよい。
通信方式が限定されることはなく、ネットワーク１６０が含むことのできる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網）を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク１６０は、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。さらに、ネットワーク１６０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター－バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の１つ以上を含んでもよいが、これらに限定されることはない。
入力／出力インタフェース１４０は、入力／出力装置１５０とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボード、カメラ、またはマウスなどの装置を、出力装置は、ディスプレイやスピーカのような装置を含んでよい。他の例として、入力／出力インタフェース１４０は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置１５０は、コンピュータシステム１００と１つの装置で構成されてもよい。
また、他の実施形態において、コンピュータシステム１００は、図１の構成要素よりも少ない又は多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、コンピュータシステム１００は、上述した入力／出力装置１５０のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。
ビデオ行動認識分野において、深層ニューラルネットワーク（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ，ＤＮＮ）は、３Ｄ畳み込みフィルタ（ｃｏｎｖｏｌｕｔｉｏｎ ｆｉｌｔｅｒ）を必要とする場合が多く、多数のパラメータによって過剰適合が発生する場合が多い。
ＤＮＮが直面している問題の１つである過剰適合は、３Ｄ畳み込みニューラルネットワーク（３Ｄ Ｃｏｎｖ Ｎｅｔ）が時空間表現（ｓｐａｔｉｏ－ｔｅｍｐｏｒａｌ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）をエンコードするのに選好されるアプローチであるビデオ行動認識分野においては、特に致命的である。
３Ｄ畳み込みニューラルネットワークがビデオストリームを処理する能力を備えているにもかかわらず、多数のパラメータによってたびたび過度な問題に直面する。
入力空間（ｉｎｐｕｔ ｓｐａｃｅ）とフィーチャ空間（ｆｅａｔｕｒｅ ｓｐａｃｅ）における正規化は、過剰適合の問題を緩和するための広く知られたアプローチであるが、過去の研究ではフィーチャに及ぼす影響がどこから始まるのかを動ずる方向（摂動方向，ｄｉｒｅｃｔｉｏｎ ｔｏ ｐｅｒｔｕｒｂ）を見逃している。
このような方向が正規化には極めて重要な要素であると仮定するため、どのような情報が行動認識の課題に重要となるかを分析する必要がある。
図２は、フィーチャの低周波と高周波成分の大きさを変調する多様なスケーリング因子に対して３Ｄ畳み込みニューラルネットワークの正確度の変化を示した図である。図２によると、行動認識性能は、低周波よりも高周波成分により敏感であることが分かる。
フィーチャに対する選択的摂動（ｐｅｒｔｕｒｂａｔｉｏｎ）がネットワークを正規化する効果的な方法になるという点に基づき、本発明の実施形態では、ランダム平均スケーリング（ＲＭＳ）を正規化方法として適用する。
本発明の実施形態に係るランダム平均スケーリング（ＲＭＳ）方法は、ランダムスカラーを時空間平滑化フィーチャに乗じて選択的に摂動を追加するものである。低周波情報を分離するために、イメージ処理で最も簡単なローパスフィルタ（ｌｏｗ－ｐａｓｓ ｆｉｌｔｅｒ）である３Ｄ平均フィルタ（殆どのディープラーニングで３Ｄ平均プーリング演算）を使用してよい。他の正規化方法と同じように、ランダム平均スケーリング（ＲＭＳ）方法も、訓練（ｔｒａｉｎｉｎｇ）中に限って必要であり、推論（ｉｎｆｅｒｅｎｃｅ）中には追加作業は必要ない。
先ず、行動認識と正規化について説明する。
行動認識
３Ｄ畳み込みニューラルネットワークは、時空間ストリームを処理するために追加の次元がある２Ｄ畳み込みニューラルネットワーク（２Ｄ ＣｏｎｖＮｅｔ）で拡張されたものであり、行動認識分野において広く利用されている。３Ｄ畳み込みニューラルネットワークは、大規模イメージ認識データセットに対して訓練された２Ｄカーネルを膨らませて画像ドメインで学習された知識を活用してよい。
３Ｄ畳み込みニューラルネットワークは、時空間ストリームを処理するために追加の次元がある２Ｄ畳み込みニューラルネットワーク（２Ｄ ＣｏｎｖＮｅｔ）で拡張されたものであり、行動認識分野において広く利用されている。３Ｄ畳み込みニューラルネットワークは、大規模イメージ認識データセットに対して訓練された２Ｄカーネルを膨らませて画像ドメインで学習された知識を活用してよい。
しかし、３Ｄ畳み込みニューラルネットワークは、多数のパラメータを短所としている。このような問題を克服するために、３Ｄカーネルを２Ｄカーネルと１Ｄカーネルからなる階段式に分解してよい。一例として、３ＤフィルタをＨ－Ｗ、Ｔ－Ｈ、Ｔ－Ｗによって同時に適用することのできる２Ｄフィルタに分解し、次の段階に３Ｄ畳み込みフィルタだけを使用してよい。
一方、一部の研究では多段階モデルを提案しており、周波数に応じて情報を個別に使用する。例えば、静的空間フィーチャの遅い分岐（ｓｌｏｗ ｂｒａｎｃｈ）と動的モーションフィーチャのための早い分岐（ｆａｓｔ ｂｒａｎｃｈ）で構成された２つのストリームモデルを利用してよい。また、単一ストリームモデルで多重周波数信号を処理するために、オクターブ畳み込み（Ｏｃｔａｖｅ ｃｏｎｖｏｌｕｔｉｏｎ）を利用してよい。
グローバルへの依存性（ｇｌｏｂａｌ ｄｅｐｅｎｄｅｎｃｙ）を捉えることは、行動認識モデルの改善のための他のアプローチであると言える。例えば、３Ｄ畳み込みニューラルネットワークの演算を減らすための方法として、非局所的モジュール（ｎｏｎ－ｌｏｃａｌ ｍｏｄｕｌｅ）を追加してよい。
正規化
正規化は、モデルの過剰適合を解消するのに効果的ではあるが、ビデオドメインでは画像ドメインに比べて研究が活発でなかった。画像ドメインでは主に、データ拡張（ｄａｔａ ａｕｇｍｅｎｔａｔｉｏｎ）、重み減衰（ｗｅｉｇｈｔ ｄｅｃａｙ）、ドロップアウト（ｄｒｏｐｏｕｔ）、ラベル平滑化（ｌａｂｅｌ ｓｍｏｏｔｈｉｎｇ）、およびバッチ正規化（ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ）などの正規化技法が使用されている。
正規化は、モデルの過剰適合を解消するのに効果的ではあるが、ビデオドメインでは画像ドメインに比べて研究が活発でなかった。画像ドメインでは主に、データ拡張（ｄａｔａ ａｕｇｍｅｎｔａｔｉｏｎ）、重み減衰（ｗｅｉｇｈｔ ｄｅｃａｙ）、ドロップアウト（ｄｒｏｐｏｕｔ）、ラベル平滑化（ｌａｂｅｌ ｓｍｏｏｔｈｉｎｇ）、およびバッチ正規化（ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ）などの正規化技法が使用されている。
最近の研究では、ランダムオクルージョン（ｒａｎｄｏｍ ｏｃｃｌｕｓｉｏｎ）、画像補間（ｉｎｔｅｒｐｏｌａｔｉｎｇ ｔｗｏ ｉｍａｇｅｓ）または画像パッチ移植（ｔｒａｎｓｐｌａｎｔｉｎｇ ａｎ ｉｍａｇｅ ｐａｔｃｈ ｏｎｔｏ ａｎｏｔｈｅｒ ｉｍａｇｅ）などの方法により、入力データ空間に対するデータ拡張を可能にする。
また、内部表現は、最近の研究では正規化とは別の対象となっている。Ｓｈａｋｅ－Ｓｈａｋｅ正規化技術は、２－分岐ＲｅｓＮｅｔには適用することができない前方および後方演算にランダムにスケーリングされた分岐を追加することで、多重分岐ＲｅｓＮｅｔを正規化する。また、確率論的深さ（ｓｔｏｃｈａｓｔｉｃ ｄｅｐｔｈ）（言い換えれば、ＲａｎｄｏｍＤｒｏｐ）技術は、メイン分岐（ｍａｉｎ ｂｒａｎｃｈ）と連結する残差分岐とをランダムに切り換える。このような２つの技術を融合したＳｈａｋｅｄｒｏｐは、Ｓｈａｋｅ－Ｓｈａｋｅとしてのランダムドロップ転換メカニズムを採択し、２－分岐ＲｅｓＮｅｔとの互換も可能である。
以下では、本発明の実施形態における、時空間平滑化フィーチャに対するランダムスケーリング方法について説明する。
ランダム平均スケーリング（ＲＭＳ）
ランダムスケーリング（ｒａｎｄｏｍ ｓｃａｌｉｎｇ）は、畳み込みニューラルネットワークのいかなる階層にも適用可能な、簡単な正規化方法である。
ランダムスケーリング（ｒａｎｄｏｍ ｓｃａｌｉｎｇ）は、畳み込みニューラルネットワークのいかなる階層にも適用可能な、簡単な正規化方法である。
ランダムスケーリングは、与えられた確率分布（例えば、Ｇａｕｓｓｉａｎ）でサンプリングしたスカラーαを乗じてフィーチャの大きさをランダムに変調する方式である。
本実施形態では、ランダムスケーリングをフィーチャに直接適用するのではなく、フィーチャの局所的平均（ｌｏｃａｌ ｍｅａｎ）に適用する（ランダム平均スケーリング）。特に、ランダム平均スケーリング方法は、過剰適合を減らすために入力を周波数特徴（高周波成分と低周波成分）に分離し、低周波成分にノイズをランダムに追加する。
一般的に、画像において、高周波成分はエッジ（ｅｄｇｅ）情報を含んでいるが、これは分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）に重要な情報であると言える。したがって、分類に重要となる高周波成分は変化させずに、低周波成分だけをランダムにスケーリングすることにより、正規化効果を向上させることができる。
入力から低周波成分を分離するためにローパスフィルタを使用してよく、一例として、平均プーリングまたはボックスフィルタ（ｂｏｘ ｆｉｌｔｅｒ）やガウシアンフィルタなどが使用されてよい。
局所的平均は、数式（１）のように計算されてよい。
ここで、ｘは入力フィーチャを意味し、Ｗｉは現在のインデックスｉ周囲の３Ｄ局所的ウィンドウ（ｌｏｃａｌ ｗｉｎｄｏｗ）を意味する。
入力フィーチャｘは、数式（２）のように、平均ｘ－と残差ｒに分離される。
ランダム平均スケーリングによる変調出力ｙは、数式（３）のように定義されてよい。
摂動は、訓練中に限って適用されてよい。αの確率分布の平均が１であれば、推論中はｙ＝ｘとなる。
上述したランダム平均スケーリング方法は、畳み込み、バッチ正規化（ＢＮ：ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ）、非線形活性化（ｎｏｎｌｉｎｅａｒ ａｃｔｉｖａｔｉｏｎ）などのような階層のいかなるレベルにも適用可能である。
ネットワーク性能を向上させるためのランダム平均スケーリングの位置を決定してよい。また、局所的平均にランダムスケーリングを適用すれば、残差または入力全体にランダムスケーリングを適用するよりも性能を向上させることができる。局所的平均は入力の低周波成分として解説される反面、残差は残りの高周波成分を示す。
図２を参照しながら説明したように、高周波変調が性能を著しく低下させるため、ランダム平均スケーリングは、低周波に比べて高周波成分をより活用するようにモデルを生成するものと推定される。
図３は、本発明の一実施形態における、ランダム平均スケーリングモジュール３００を示した図である。ランダム平均スケーリングは、図３に示すように、いくつかの基本的演算を実行するネットワークモジュールによって実現されてよい。
図３において、ｘは入力、ｘ－は入力平均（ｍｅａｎ）、ｒは残差、ｙは出力を示し、
は要素ごとの和（ｅｌｅｍｅｎｔ－ｗｉｓｅ ｓｕｍ）の演算を示し、
は要素ごとの積（ｅｌｅｍｅｎｔ－ｗｉｓｅ ｍｕｌｔｉｐｌｉｃａｔｉｏｎ）の演算を示す。
は要素ごとの和（ｅｌｅｍｅｎｔ－ｗｉｓｅ ｓｕｍ）の演算を示し、
は要素ごとの積（ｅｌｅｍｅｎｔ－ｗｉｓｅ ｍｕｌｔｉｐｌｉｃａｔｉｏｎ）の演算を示す。
図３では、説明の便宜のために、入力平均ｘ－と残差ｒとが分離された構造のランダム平均スケーリングモジュール３００を示した。数式（１）の局所的平均は、殆どのディープラーニングフレームワークで提供する３Ｄ平均プーリングによって求めることができ、数式（３）は図３のように示される。
実際の実現のためには、数式（２）を利用しながら数式（３）をより単純な形態に修正してよい（数式（４））。
ここで、α’＝α－１である。
図４には、ランダム平均スケーリングモジュールを実現するための単純化された形態を示しており、数式（４）に該当するランダム平均スケーリングモジュール３００を示すブロック図を示している。
ランダム平均スケーリングモジュール３００は、上述したように、平均プーリングとスカラーとの乗算のように簡単な演算だけを必要とするため、パラメータがなく、訓練中には少量の追加演算だけを必要とし、さらに推論中に追加の演算を必要としない。
ランダム平均スケーリングによって効果が向上するネットワークの一例として、３Ｄ ＲｅｓＮｅｔ系列がある。例えば、ＳｌｏｗＯｎｌｙ、ＣＳＮ（ｃｈａｎｎｅｌ－ｓｅｐａｒａｔｅｄ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）などがこれに該当するが、ＳｌｏｗＯｎｌｙには、一般的な２Ｄ ＲｅｓＮｅｔを３Ｄに確張した形態で３Ｄ畳み込みをｒｅｓ４とｒｅｓ５段階だけで使用するため時間軸による次元縮小がないという特徴があり、ＣＳＮは、ｌｉｇｈｔ－ｗｅｉｇｈｔ（パラメータが少ない）３Ｄ ＲｅｓＮｅｔであると言える。
ランダム平均スケーリングモジュール３００は、残差分岐内のどの位置にも適用可能であり、例えば、畳み込み層やＲｅＬｕ層の前に位置してよい。
一例として、図５は、ベーシックブロック構造のネットワークの例を示している。ベーシックブロック構造の場合、ｒｅｓ４とｒｅｓ５段階に含まれたすべてのＢＮ（バッチ正規化）層の前に、ランダム平均スケーリングモジュール３００がそれぞれ追加されてよい。
他の例として、図６には、ボトルネックブロック構造のネットワークの例を示している。ボトルネックブロックの場合、ｒｅｓ４とｒｅｓ５段階に含まれたＢＮ（バッチ正規化）層のうちの最後のＢＮ（バッチ正規化）層の前にランダム平均スケーリングモジュール３００が追加されてよい。
ランダム平均スケーリングモジュール３００は、各畳み込み層の前、各ＢＮ（バッチ正規化）層の前、各ＲｅＬＵ層の前のように、いかなるレベルにも適用可能である。最後のＲｅＬＵ層の前のランダム平均スケーリングモジュール３００は、メイン分岐と残差分岐の合算の前に位置してよい。
ランダム平均スケーリングモジュール３００の各位置の正規化効果の実験結果は、図７に示すとおりである。
図７で、ＳｌｏｗＯｎｌｙ－３４に対してすべての可能な位置にランダム平均スケーリングモジュール３００を追加した結果を詳察すると、ランダム平均スケーリングモジュール３００が追加された位置による正規化効果の差は大きくないが、単一のランダム平均スケーリングモジュール３００を使用する場合のうちで１番目のＢＮ前のランダム平均スケーリングモジュール３００が最も高い正確度を示すことが分かる。
さらに、ボトルネックブロック構造のＳｌｏｗＯｎｌｙ－５０の場合、すべての場合においてランダム平均スケーリングモジュール３００がネットワークの性能を向上させ、特に、最後のＢＮ前のランダム平均スケーリングモジュール３００が最も高い正確度を示した。１番目のＢＮ前のランダム平均スケーリングモジュール３００も大きな性能の差がないため効率的な選択にはなるが、演算効率のためには、ボトルネックブロック構造では、複数のランダム平均スケーリングモジュール３００を使用しないように選択してよい。
したがって、ランダム平均スケーリングモジュール３００は、ベーシックブロック構造はもちろん、ボトルネックブロック構造でも、過去のモデルよりも高い性能を示すことが分かった。
図８は、本発明の一実施形態における、コンピュータシステムのプロセッサが含むことのできる構成要素の例を示した図であり、図９は、本発明の一実施形態における、コンピュータシステムが実行することのできるフィーチャ正規化方法の例を示したフローチャートである。
図８に示すように、プロセッサ１２０は、周波数分離部８０１および正規化部８０２を含んでよい。このようなプロセッサ１２０の構成要素は、少なくとも１つのプログラムコードによって提供される制御命令にしたがってプロセッサ１２０によって実行される、互いに異なる機能（ｄｉｆｆｅｒｅｎｔ ｆｕｎｃｔｉｏｎｓ）の表現であってよい。例えば、プロセッサ１２０が入力を周波数特性に分離するようにコンピュータシステム１００を制御するために動作する機能的表現として、周波数分離部８０１が使用されてよい。
プロセッサ１２０およびプロセッサ１２０の構成要素は、図９のフィーチャ正規化方法が含む段階９１０～９２０を実行してよい。例えば、プロセッサ１２０およびプロセッサ１２０の構成要素は、メモリ１１０が含むオペレーティングシステムのコードと、上述した少なくとも１つのプログラムコードとによる命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。ここで、少なくとも１つのプログラムコードは、フィーチャ正規化方法を処理するために実現されたプログラムのコードに対応してよい。
フィーチャ正規化方法は、図に示された順に発生しないこともあり、方法の段階のうちの一部が省略されることもあるし、あるいは追加の過程がさらに含まれることもある。
プロセッサ１２０は、フィーチャ正規化方法のためのプログラムファイルに記録されたプログラムコードをメモリ１１０にロードしてよい。例えば、フィーチャ正規化方法のためのプログラムファイルは、メモリ１１０とは区別される永続的記録装置に記録されていてよく、プロセッサ１２０は、バスを介して永続的記録装置に記録されたプログラムファイルからプログラムコードがメモリ１１０にロードされるようにコンピュータシステム１００を制御してよい。このとき、プロセッサ１２０およびプロセッサ１２０が含む周波数分離部８０１および正規化部８０２それぞれは、メモリ１１０にロードされたプログラムコードのうちの対応する部分の命令を実行して以下の段階９１０～９２０を実行するためのプロセッサ１２０の互いに異なる機能的表現であってよい。段階９１０～９２０の実行のために、プロセッサ１２０およびプロセッサ１２０の構成要素は、制御命令による演算を直接処理するか、またはコンピュータシステム１００を制御してよい。
プロセッサ１２０は、図３と図４を参照しながら説明したランダム平均スケーリングモジュール３００を含んでよい。
本発明に係るフィーチャ正規化方法は、次の２つの段階を含んでよい。
段階９１０で、周波数分離部８０１は、入力フィーチャを周波数特性に分離してよい。周波数分離部８０１は、ローパスフィルタを利用して入力フィーチャから低周波成分を求め、入力フィーチャと低周波成分との残差を利用して高周波成分を求めてよい。一例として、周波数分離部８０１は、フィーチャマップに対して平均プーリングを利用して高周波成分（残差）と低周波成分（局所的平均）とに分離してよい。
段階９２０で、正規化部８０２は、入力フィーチャから分離された低周波成分にノイズをランダムに追加して入力フィーチャを正規化してよい。正規化部８０２は、３Ｄ残差ネットワークの過剰適合の問題を解消するためにランダム平均スケーリング（ＲＭＳ）を適用することにより、入力フィーチャから分離された高周波成分と低周波成分のうちで、高周波成分は維持し、低周波成分はランダムにスケーリングしてよい。例えば、正規化部８０２は、一様分布（ｕｎｉｆｏｒｍ ｄｉｓｔｒｉｂｕｔｉｏｎ）、正規分布（ｎｏｒｍａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ）などを利用してフィーチャの低周波部分をランダムに変化させてよい。
したがって、プロセッサ１２０は、フィーチャマップで低周波成分を分離し、該当の低周波成分をランダムに変化させて内部表現を正規化することでにより、過剰適合の問題を簡単かつ効率的に解決することができる。最終的に、平滑化されたフィーチャに対する正規化は、選択的に低周波成分と高周波成分を明確に取り扱うことによって性能向上を招来することができる。
このように、本発明の実施形態によると、フィーチャの低周波成分の大きさをランダムに変化させて内部表現を正規化するランダム平均スケーリング（ＲＭＳ）により、３Ｄ残差ネットワークの過剰適合の問題を効果的に解決することができる。また、本発明の実施形態によると、低周波成分に対する摂動を適用することにより、フィーチャ全体や高周波成分に適用するよりも、３Ｄ畳み込みニューラルネットワークの正確度と正規化効果を向上させることができる。
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。ここで、媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
１２０：プロセッサ
８０１：周波数分離部
８０２：正規化部
８０１：周波数分離部
８０２：正規化部
Claims (20)
- コンピュータシステムが実行するフィーチャ正規化方法であって、
前記コンピュータシステムは、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、
前記フィーチャ正規化方法は、
前記少なくとも１つのプロセッサにより、入力フィーチャから低周波成分を求める段階、
前記少なくとも１つのプロセッサにより、前記入力フィーチャと前記低周波成分との残差を利用して高周波成分を求める段階、
前記少なくとも１つのプロセッサにより、前記低周波成分にノイズを追加する段階
を含む、フィーチャ正規化方法。 - 前記低周波成分を求める段階は、
ローパスフィルタを利用して前記入力フィーチャから前記低周波成分を分離すること
を特徴とする、請求項１に記載のフィーチャ正規化方法。 - 前記低周波成分を求める段階は、
平均プーリングまたはガウシアンフィルタを利用して前記入力フィーチャから前記低周波成分を分離すること
を特徴とする、請求項１に記載のフィーチャ正規化方法。 - 前記ノイズを追加する段階は、
前記入力フィーチャの局所的平均にランダムスケーリングを適用して前記ノイズを追加する段階
を含む、請求項１に記載のフィーチャ正規化方法。 - 前記ノイズを追加する段階は、
与えられた確率分布でサンプリングされたスカラーを乗じる演算により、前記低周波成分の大きさをランダムに変調する段階
を含む、請求項１に記載のフィーチャ正規化方法。 - 前記低周波成分に前記ノイズを追加するランダム平均スケーリングは、ニューラルネットワークのネットワークモデルの残差分岐内に適用されること
を特徴とする、請求項１に記載のフィーチャ正規化方法。 - 前記ランダム平均スケーリングは、前記ネットワークモデルの畳み込み層、バッチ正規化層、非線形活性化層のうちの少なくとも１つの階層の前に適用されることを
特徴とする、請求項６に記載のフィーチャ正規化方法。 - 前記ネットワークモデルがベーシックブロック構造のネットワークの場合、前記ランダム平均スケーリングは、前記ネットワークモデルの一部のステージに含まれたすべてのバッチ正規化層の前にそれぞれ適用されること
を特徴とする、請求項６に記載のフィーチャ正規化方法。 - 前記ネットワークモデルがボトルネックブロック構造のネットワークの場合、前記ランダム平均スケーリングは、前記ネットワークモデルの一部のステージに含まれたバッチ正規化層のうちの最後のバッチ正規化層の前に適用されること
を特徴とする、請求項６に記載のフィーチャ正規化方法。 - 請求項１～９のうちのいずれか一項に記載のフィーチャ正規化方法を前記コンピュータシステムに実行させる、コンピュータプログラム。
- 請求項１～９のうちのいずれか一項に記載のフィーチャ正規化方法をコンピュータに実行させるためのプログラムが記録されている、非一時なコンピュータ読み取り可能な記録媒体。
- コンピュータシステムであって、
メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサ
を含み、
前記少なくとも１つのプロセッサは、
入力フィーチャから低周波成分を求め、
前記入力フィーチャと前記低周波成分との残差を利用して高周波成分を求め、
前記低周波成分にノイズを追加すること
を特徴とする、コンピュータシステム。 - 前記少なくとも１つのプロセッサは、
ローパスフィルタを利用して前記入力フィーチャから前記低周波成分を分離すること
を特徴とする、請求項１２に記載のコンピュータシステム。 - 前記少なくとも１つのプロセッサは、
平均プーリングまたはガウシアンフィルタを利用して前記入力フィーチャから前記低周波成分を分離すること
を特徴とする、請求項１２に記載のコンピュータシステム。 - 前記少なくとも１つのプロセッサは、
前記入力フィーチャの局所的平均にランダムスケーリングを適用して前記ノイズを追加すること
を特徴とする、請求項１２に記載のコンピュータシステム。 - 前記少なくとも１つのプロセッサは、
与えられた確率分布でサンプリングされたスカラーを乗じる演算により、前記低周波成分の大きさをランダムに変調すること
を特徴とする、請求項１２に記載のコンピュータシステム。 - 前記少なくとも１つのプロセッサは、
前記低周波成分に前記ノイズを追加するランダム平均スケーリングモジュールを含み、
前記ランダム平均スケーリングモジュールは、ニューラルネットワークのネットワークモデルの残差分岐内に位置すること
を特徴とする、請求項１２に記載のコンピュータシステム。 - 前記ランダム平均スケーリングモジュールは、畳み込み層、バッチ正規化層、非線形活性化層のうちの少なくとも１つの階層の前に位置すること
を特徴とする、請求項１７に記載のコンピュータシステム。 - 前記ネットワークモデルがベーシックブロック構造のネットワークの場合、前記ランダム平均スケーリングモジュールは、前記ネットワークモデルの一部のステージに含まれたすべてのバッチ正規化層の前にそれぞれ位置すること
を特徴とする、請求項１７に記載のコンピュータシステム。 - 前記ネットワークモデルがボトルネックブロック構造のネットワークの場合、前記ランダム平均スケーリングモジュールは、前記ネットワークモデルの一部のステージに含まれたバッチ正規化層のうちの最後のバッチ正規化層の前に位置すること
を特徴とする、請求項１７に記載のコンピュータシステム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190174262A KR102235784B1 (ko) | 2019-12-24 | 2019-12-24 | 행동 인식을 위한 시공간의 평활화 피처를 정규화하는 방법 및 시스템 |
| KR10-2019-0174262 | 2019-12-24 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021103519A JP2021103519A (ja) | 2021-07-15 |
| JP7159276B2 true JP7159276B2 (ja) | 2022-10-24 |
Family
ID=75466411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020213564A Active JP7159276B2 (ja) | 2019-12-24 | 2020-12-23 | 行動認識のための時空間の平滑化フィーチャを正規化する方法およびシステム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7159276B2 (ja) |
| KR (1) | KR102235784B1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117115641B (zh) * | 2023-07-20 | 2024-03-22 | 中国科学院空天信息创新研究院 | 建筑物信息提取方法、装置、电子设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004511866A (ja) | 2000-10-13 | 2004-04-15 | フラウンホーファー−ゲゼルシャフト・ツア・フォルデルング・デア・アンゲヴァンテン・フォルシュング・エー・ファウ | リカレント人工ニューラルネットワークの教師あり教示方法 |
| KR101563297B1 (ko) | 2014-04-23 | 2015-10-26 | 한양대학교 산학협력단 | 영상에서 행동을 인식하는 방법 및 장치 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102683757B1 (ko) * | 2018-02-20 | 2024-07-10 | 삼성전자주식회사 | 심층 신경망의 학습을 수행시키는 방법 및 그에 대한 장치 |
-
2019
- 2019-12-24 KR KR1020190174262A patent/KR102235784B1/ko active IP Right Grant
-
2020
- 2020-12-23 JP JP2020213564A patent/JP7159276B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004511866A (ja) | 2000-10-13 | 2004-04-15 | フラウンホーファー−ゲゼルシャフト・ツア・フォルデルング・デア・アンゲヴァンテン・フォルシュング・エー・ファウ | リカレント人工ニューラルネットワークの教師あり教示方法 |
| KR101563297B1 (ko) | 2014-04-23 | 2015-10-26 | 한양대학교 산학협력단 | 영상에서 행동을 인식하는 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102235784B1 (ko) | 2021-04-02 |
| JP2021103519A (ja) | 2021-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Su et al. | Pixel-adaptive convolutional neural networks | |
| CN108351984B (zh) | 硬件高效的深度卷积神经网络 | |
| US10902302B2 (en) | Stacked neural network framework in the internet of things | |
| EP3933707A1 (en) | Highly efficient convolutional neural networks | |
| US11334671B2 (en) | Adding adversarial robustness to trained machine learning models | |
| KR102192211B1 (ko) | 이미지 변환을 위한 깊이별 분리가능한 컨볼루션과 채널 어텐션을 이용한 효율적인 적대적 생성 신경망 | |
| WO2019136077A1 (en) | Frame-recurrent video super-resolution | |
| WO2016036664A1 (en) | Event-driven spatio-temporal short-time fourier transform processing for asynchronous pulse-modulated sampled signals | |
| KR102420104B1 (ko) | 영상 처리 장치 및 그 동작방법 | |
| US20160300134A1 (en) | Corrected Mean-Covariance RBMs and General High-Order Semi-RBMs for Large-Scale Collaborative Filtering and Prediction | |
| JP7239116B2 (ja) | 映像復元方法及び装置 | |
| KR20200116763A (ko) | 키-밸류 커플링을 이용한 유사성 처리 방법 및 장치 | |
| JP7159276B2 (ja) | 行動認識のための時空間の平滑化フィーチャを正規化する方法およびシステム | |
| CA3143928C (en) | Dynamic image resolution assessment | |
| JP2021034038A (ja) | 不明のダウンスケーリングカーネルで生成された画像をアップスケールするための手法 | |
| WO2020044015A1 (en) | System, method and apparatus for computationally efficient data manipulation | |
| Eilar et al. | Distributed video analysis for the advancing out of school learning in mathematics and engineering project | |
| GB2599180A (en) | Method for improved binarized neural networks | |
| WO2021258084A1 (en) | Spatio-temporal pseudo three-dimensional (stp-3d) network for performing video action recognition | |
| KR102486795B1 (ko) | 딥러닝 성능향상을 위한 주파수 도메인에서의 데이터 증강 방법 및 장치 | |
| WO2022154943A1 (en) | Improved processing of sequential data via machine learning models featuring temporal residual connections | |
| KR102701708B1 (ko) | 인공지능 모델의 국부 압축 방법 및 시스템 | |
| TWI829208B (zh) | 用於判定用於處理串流輸入資料之硬體架構之設計參數值之方法及系統及電腦可讀儲存媒體 | |
| Mal et al. | Dynamically Reconfigurable Perception using Dataflow Parameterization of Channel Attention | |
| EP4276699A1 (en) | Image processing device and operating method therefor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201223 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20210414 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20210412 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220222 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220511 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220927 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221012 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7159276 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |