JP7255753B2 - 転移学習装置、転移学習システム、転移学習の方法、およびプログラム - Google Patents
転移学習装置、転移学習システム、転移学習の方法、およびプログラム Download PDFInfo
- Publication number
- JP7255753B2 JP7255753B2 JP2022522084A JP2022522084A JP7255753B2 JP 7255753 B2 JP7255753 B2 JP 7255753B2 JP 2022522084 A JP2022522084 A JP 2022522084A JP 2022522084 A JP2022522084 A JP 2022522084A JP 7255753 B2 JP7255753 B2 JP 7255753B2
- Authority
- JP
- Japan
- Prior art keywords
- inference
- model parameter
- data
- model
- time series
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Description
(第1の例示的な実施形態)
第1の例示的な実施形態の構造および動作を説明する前に、いくつかの用語が定義され、いくつかの仮定が提供される。
g(y,z’|z,θ)=P(Yt=y,Zt=z’|Zt-1=z,θ)
は、時系列モデルパラメータθの下で、時刻t-1における時系列状態がzであると仮定すると、時刻tにおける推論yおよび状態z’への状態遷移を観測する同時確率を表す。
g(y,z’|z,θ)=P(Yt=y|Zt=z’,θ)・P(Zt=z’|Zt-1=z,θ)
時系列モデルとしてランダム有限集合状態空間モデルを使用する監視カメラの実施形態では、状態zは追跡された物体の位置および速度を表し、z={(x1,v1),...,(xN,vN)}であり、推論観測値yは検出された物体の位置y={y1,...,yM}を表す。関数gは、物体が異なる位置および異なる速度z’={(x’1,v’1),...,(x’N’,v’N’)}に移動し、位置y={y1,...,yM}を検出するモデル化された機会を表す。特に、gは、動きノイズ、物体の出現または消失、ならびに検出ノイズおよび誤検出/検出漏れの確率をモデル化することができる。
L(y│p,θ)=-log(∫∫g(y,z’|z,θ)p(z)dz’dz)
本実施形態では、この損失関数Lは、(a)現在の時間フレームにおけるビデオ画像から画像推論モデルによって推論された物体の位置と、(b)前の時間フレームにおける物体の位置および速度の推定確率分布に基づいて時系列モデルによって推論された物体の位置との間の差を表す。言い換えれば、損失は、前の時間フレームにおける位置および速度の推定分布pが与えられた場合に位置yを検出する可能性のなさを表す。
y={(y1,c1),...,(yM,cM)}、
ここで、yiおよびci、は、それぞれ、i番目の検出された物体の検出された位置および(人、車両などの)クラスを意味する。
ステップS207において、タイムスライスtに対する処理が終了し、タイムスライスt+1について他の時系列データスライス100 d=dt+1が受信されるまで、実行が停止する。
以下のように修正された第1の例示的な実施形態からの装置に対応する、図2からの装置。
この第3の例示的な実施形態では、図6~図8を参照して、以下の追加および修正と共に、第1および第2の例示的な実施形態のいずれかに従って説明が提供される。第1および第2の例示的な実施形態において前に記載された構成要素の重複する説明は省略される。
図7に示されたように、例示的な実施形態は、中央処理装置(CPU)を含んでよく、メモリとして、ランダムアクセスメモリ(RAM)が使用されてよい。ストレージデバイスとしては、ハードディスクドライブ(HDD)、ソリッドステートドライブ(SSD)などが使用されてよい。
本発明の好ましい例示的な実施形態が上述されているが、本発明は上記の例示的な実施形態に限定されるものではなく、本発明の基本的な技術概念から逸脱することなく、更なる修正、置換、および調整が加えられてよいことが理解されるべきである。
101 推論部
102 推論モデルパラメータメモリ
103 推論結果ベクトル
104 時系列モデル更新部
105 時系列モデルメモリ
106 勾配計算部
107 勾配ベクトル
108 マグニチュードメトリック計算部
109 マグニチュードメトリック値
110 マグニチュードメトリックしきい値
111 推論モデルパラメータ更新部
112 追跡データ生成部
150 物体検出部
151 物体追跡部
300 エッジデバイス
301 通信I/F
302 コントローラ
303 ストレージ
304 センサI/F
305 センサ
310 クラウドコンピューティング環境
Claims (7)
- 推論モデルに関連付けられたモデルパラメータデータを格納する推論モデルパラメータメモリと、
時系列モデルに関連付けられたモデルパラメータデータ、および状態確率分布を格納する時系列モデルメモリと、
タイムスライスデータを受け取るように構成され、前記タイムスライスデータおよび前記推論モデルパラメータメモリに格納されたモデルパラメータデータから推論結果ベクトルを計算するように構成された推論部と、
前記推論部から前記推論結果ベクトルを受け取るように構成され、前記時系列モデルメモリに格納されたモデルパラメータデータおよび前記状態確率分布を更新するように構成された時系列モデル更新部と、
前記推論部からの前記推論結果ベクトルおよび前記時系列モデルメモリからのモデルパラメータデータを受け取り、当該推論結果ベクトルおよびモデルパラメータデータに基づいて勾配ベクトルを計算するように構成された勾配計算部と、
前記勾配ベクトルを受け取り、マグニチュードメトリック値を計算するように構成されたマグニチュードメトリック計算部と、
前記マグニチュードメトリック値がマグニチュードメトリックしきい値よりも高い場合、前記勾配ベクトルおよび前記タイムスライスデータに基づいて前記推論モデルパラメータメモリに格納されたモデルパラメータデータを更新するように構成された推論モデルパラメータ更新部と
を備える転移学習装置。 - 前記時系列モデル更新部が、前記時系列モデルメモリに格納されたモデルパラメータデータと前記推論結果ベクトルとから損失値を計算するようにさらに構成され、
前記マグニチュードメトリック計算部が、前記損失値と前記勾配ベクトルとの両方に基づいて、前記マグニチュードメトリック値を計算する
請求項1に記載の転移学習装置。 - 前記マグニチュードメトリック値が前記マグニチュードメトリックしきい値よりも高いか否かを前記推論モデルパラメータ更新部が判定する前の時間に、前記時系列モデル更新部が、前記推論結果ベクトルから前記時系列モデルメモリに格納された前記状態確率分布を更新する
請求項1または請求項2に記載の転移学習装置。 - 前記推論モデルパラメータ更新部が、前記マグニチュードメトリック値が前記マグニチュードメトリックしきい値よりも高いと判定して前記勾配ベクトルと前記タイムスライスデータとに基づいて前記推論モデルパラメータメモリに格納されたモデルパラメータデータを更新する場合、前記推論部が前記推論結果ベクトルを再計算し、また、前記時系列モデル更新部が前記状態確率分布を更新し、
前記推論モデルパラメータ更新部が、前記マグニチュードメトリック値が前記マグニチュードメトリックしきい値以下であると判定した場合、前記時系列モデル更新部が前記状態確率分布を更新する
請求項1または請求項2に記載の転移学習装置。 - 通信ネットワークと、
推論モデルに関連付けられたモデルパラメータデータを格納する推論モデルパラメータメモリと、
時系列モデルに関連付けられたモデルパラメータデータ、および状態確率分布を格納する時系列モデルメモリと、
タイムスライスデータを受け取るように構成され、前記タイムスライスデータおよび前記推論モデルパラメータメモリに格納されたモデルパラメータデータから推論結果ベクトルを計算するように構成された推論部と、
前記推論部から前記推論結果ベクトルを受け取るように構成され、前記時系列モデルメモリに格納されたモデルパラメータデータおよび前記状態確率分布を更新するように構成された時系列モデル更新部と、
前記推論部からの前記推論結果ベクトルおよび前記時系列モデルメモリからのパラメータデータを受け取り、当該推論結果ベクトルおよびモデルパラメータデータに基づいて勾配ベクトルを計算するように構成された勾配計算部と、
前記勾配ベクトルを受け取り、マグニチュードメトリック値を計算するように構成されたマグニチュードメトリック計算部と、
前記マグニチュードメトリック値がマグニチュードメトリックしきい値よりも高い場合、前記勾配ベクトルおよび前記タイムスライスデータに基づいて前記推論モデルパラメータメモリに格納されたモデルパラメータデータを更新するように構成された推論モデルパラメータ更新部と、
前記通信ネットワークを介してタイムスライスデータを提供するように構成され、前記タイムスライスデータとしてセンサからの情報を復号するエッジデバイスと
を備える転移学習システム。 - タイムスライスデータおよび推論モデルパラメータデータから推論結果ベクトルを計算することと、
前記推論結果ベクトルから時系列モデルパラメータデータを更新することと、
前記推論結果ベクトルから状態確率分布を更新することと、
前記時系列モデルパラメータデータおよび前記推論結果ベクトルから勾配ベクトルを計算することと、
前記勾配ベクトルからマグニチュードメトリックを計算することと、
前記マグニチュードメトリックの値がマグニチュードメトリックしきい値よりも高い場合、前記勾配ベクトルおよび前記タイムスライスデータから前記推論モデルパラメータデータを更新することと
を順に含む転移学習の方法。 - タイムスライスデータおよび推論モデルパラメータデータから推論結果ベクトルを計算することと、
前記推論結果ベクトルから時系列モデルパラメータデータを更新することと、
前記推論結果ベクトルから状態確率分布を更新することと、
前記時系列モデルパラメータデータおよび前記推論結果ベクトルから勾配ベクトルを計算することと、
前記勾配ベクトルからマグニチュードメトリックを計算することと、
前記マグニチュードメトリックの値がマグニチュードメトリックしきい値よりも高い場合、前記勾配ベクトルおよび前記タイムスライスデータから前記推論モデルパラメータデータを更新することと
をコンピュータに実行させるためのプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/024618 WO2020250451A1 (en) | 2019-06-14 | 2019-06-14 | Transfer learning apparatus, transfer learning system, method of transfer learning, and storage medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022536561A JP2022536561A (ja) | 2022-08-17 |
JP7255753B2 true JP7255753B2 (ja) | 2023-04-11 |
Family
ID=67226322
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022522084A Active JP7255753B2 (ja) | 2019-06-14 | 2019-06-14 | 転移学習装置、転移学習システム、転移学習の方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7255753B2 (ja) |
WO (1) | WO2020250451A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114723064A (zh) * | 2020-12-22 | 2022-07-08 | 株式会社理光 | 预训练语言模型的微调方法、装置及计算机可读存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017091278A (ja) | 2015-11-11 | 2017-05-25 | 国立研究開発法人情報通信研究機構 | 学習装置、予測装置、学習方法、予測方法、およびプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6633462B2 (ja) | 2016-06-29 | 2020-01-22 | 株式会社東芝 | 情報処理装置および情報処理方法 |
US10373332B2 (en) * | 2017-12-08 | 2019-08-06 | Nvidia Corporation | Systems and methods for dynamic facial analysis using a recurrent neural network |
-
2019
- 2019-06-14 JP JP2022522084A patent/JP7255753B2/ja active Active
- 2019-06-14 WO PCT/JP2019/024618 patent/WO2020250451A1/en active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017091278A (ja) | 2015-11-11 | 2017-05-25 | 国立研究開発法人情報通信研究機構 | 学習装置、予測装置、学習方法、予測方法、およびプログラム |
Non-Patent Citations (1)
Title |
---|
土屋 成光 Masamitsu TSUCHIYA,ハイブリッド型転移学習による物体検出における学習の効率化 Hybrid Transfer Learning for Efficient Learning in Object Detection,情報処理学会研究報告 2012(平成24)年度▲5▼ [CD-ROM] ,日本,一般社団法人情報処理学会 |
Also Published As
Publication number | Publication date |
---|---|
WO2020250451A1 (en) | 2020-12-17 |
JP2022536561A (ja) | 2022-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3509011B1 (en) | Apparatuses and methods for recognizing a facial expression robust against change in facial expression | |
Wang et al. | Hidden‐Markov‐models‐based dynamic hand gesture recognition | |
Galata et al. | Learning variable-length Markov models of behavior | |
US11574164B2 (en) | Neural network cooperation | |
CN110998594A (zh) | 检测动作的方法和系统 | |
Xia et al. | Robust unsupervised factory activity recognition with body-worn accelerometer using temporal structure of multiple sensor data motifs | |
US20230316720A1 (en) | Anomaly detection apparatus, anomaly detection method, and program | |
Gupta et al. | A digital personal assistant using bangla voice command recognition and face detection | |
Dang et al. | Dynamic multi-rater gaussian mixture regression incorporating temporal dependencies of emotion uncertainty using kalman filters | |
JP7255753B2 (ja) | 転移学習装置、転移学習システム、転移学習の方法、およびプログラム | |
US11908053B2 (en) | Method, non-transitory computer-readable storage medium, and apparatus for searching an image database | |
JPWO2019215904A1 (ja) | 予測モデル作成装置、予測モデル作成方法、および予測モデル作成プログラム | |
Wang et al. | Detection of abnormal human behavior using a matrix approximation-based approach | |
Behera et al. | Estimation of linear motion in dense crowd videos using Langevin model | |
JP2008046864A (ja) | 顔画像認識装置及び顔画像認識プログラム | |
EP4258184A1 (en) | Action sequence determination device, action sequence determination method, and action sequence determination program | |
Kalirajan et al. | Deep learning for moving object detection and tracking | |
US20220101101A1 (en) | Domain adaptation | |
Natarajan et al. | Multi-view Face Expression Recognition—A Hybrid Method | |
US11451694B1 (en) | Mitigation of obstacles while capturing media content | |
Chan et al. | A combination of background modeler and encoder-decoder CNN for background/foreground segregation in image sequence | |
EP4258183A1 (en) | Partial action interval estimation model construction device, partial action interval estimation model construction method, and partial action interval estimation model construction program | |
WO2023032016A1 (ja) | 推定方法、推定装置および推定プログラム | |
Das et al. | A survey on current trends in human action recognition | |
Devadethan et al. | An ICA based head movement classification system using video signals |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211213 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221223 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230228 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230313 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7255753 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |