JP7315929B2 - 学習装置、学習済みモデルの生成方法および学習プログラム - Google Patents
学習装置、学習済みモデルの生成方法および学習プログラム Download PDFInfo
- Publication number
- JP7315929B2 JP7315929B2 JP2020117942A JP2020117942A JP7315929B2 JP 7315929 B2 JP7315929 B2 JP 7315929B2 JP 2020117942 A JP2020117942 A JP 2020117942A JP 2020117942 A JP2020117942 A JP 2020117942A JP 7315929 B2 JP7315929 B2 JP 7315929B2
- Authority
- JP
- Japan
- Prior art keywords
- difference
- loss
- displacement
- machine learning
- time series
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
非特許文献2に記載の手法は、ノイズが激しい環境においてもモーションの再現性を高めるために、機械学習技術を用いてノイズを除去するものである。しかしながら、非特許文献2に記載の手法に係る機械学習モデルの出力は被写体の関節ごとの回転角であるため、正解データとの誤差を平均損失として最小化するよう学習すると、学習に膨大な時間を要することとなる。
《学習済みモデルを用いたマーカーレスモーションキャプチャについて》
以下、図面を参照しながら実施形態について詳しく説明する。
第1の実施形態に係る学習装置10は、マーカーレスモーションキャプチャに用いられる学習済みモデルを生成する。本実施形態において学習済みモデルとは、ニューラルネットワークなどのモデル構造に適用されるパラメータであって、学習用データセットを用いた訓練によって更新されたものである。
マーカーレスモーションキャプチャを実現するモーションキャプチャシステム50について説明する。モーションキャプチャシステム50は、複数の時間同期カメラ51と、演算装置52と、学習装置10とを備える。複数の時間同期カメラ51は、それぞれ異なる方向から対象物Oを撮影するように設置される。複数の時間同期カメラ51は、互いに内部時計の時刻が同期されている。
このノイズ除去の演算において、学習装置10によって学習された学習済みモデルが用いられる。
図2は、第1の実施形態に係る学習装置10の構成を示す概略ブロック図である。
学習装置10は、構造記憶部101、パラメータ記憶部102、学習用データセット記憶部103、初期値生成部104、サンプル抽出部105、推論実行部106、第1差分算出部107、第2差分算出部108、損失算出部109、損失記憶部110、更新部111、出力部112を備える。
パラメータ記憶部102は、機械学習モデルに適用するパラメータを記憶する。パラメータの例としては、ニューロンの重み、活性化関数の係数などが挙げられる。
また、他の実施形態においては、学習用データセット記憶部103は実際の各関節の回転角の時系列のみを記憶し、学習装置10がこれにノイズを重畳させることでノイズを含む各関節の回転角の時系列を生成してもよい。
第2差分算出部108は、推論実行部106が得た推定値を1階以上微分した値とサンプル抽出部105が抽出した出力サンプルを1階以上微分した値との差分である第2差分を算出する。例えば、第2差分算出部108は、回転角の1階微分である回転角速度の差分、回転角の2階微分である回転角加速度の差分、回転角の3階微分である回転角躍度の差分などを算出する。
損失記憶部110は、損失算出部109が算出した平均損失の履歴を記憶する。
出力部112は、パラメータ記憶部102が記憶する機械学習モデルのパラメータを学習済みモデルとして演算装置52に出力する。学習済みモデルの出力は、通信によってなされてもよいし、記録媒体を介してなされてもよい。
図3は、第1の実施形態に係る学習装置の動作を示すフローチャートである。
まず、初期値生成部104は、構造記憶部101が記憶する機械学習モデルの構造データに基づいて、当該機械学習モデルのパラメータの初期値を生成する(ステップS1)。初期値生成部104は、生成した初期値をパラメータ記憶部102に記録する。
損失算出部109は、算出した平均損失を損失記憶部110に記録する(ステップS9)。
このように、第1の実施形態に係る学習装置10は、機械学習モデルによって算出された推定値を1階以上微分した値と出力サンプルを1階以上微分した値との差分である第2差分を用いて平均損失を算出し、当該平均損失に基づいて、機械学習モデルのパラメータを更新する。これにより、学習装置10は、ランダムノイズやスパイクノイズなど、時間的に変化するノイズを、時間的な変化を伴わないオフセットノイズと比較して優先的に除去するように学習することができる。
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。すなわち、他の実施形態においては、上述の処理の順序が適宜変更されてもよい。また、一部の処理が並列に実行されてもよい。
上述した実施形態に係る学習装置10は、単独のコンピュータによって構成されるものであってもよいし、学習装置10の構成を複数のコンピュータに分けて配置し、複数のコンピュータが互いに協働することで学習装置10として機能するものであってもよい。また、学習装置10と演算装置52とが同一のコンピュータによって実現されるものであってもよい。
図4は、学習装置10のハードウェア構成を示す概略ブロック図である。
学習装置10は、バスで接続されたプロセッサ11、メモリ12、ストレージ13、インタフェース14などを備え、学習プログラムを実行することによって、初期値生成部104、サンプル抽出部105、推論実行部106、第1差分算出部107、第2差分算出部108、損失算出部109、損失記憶部110、更新部111、出力部112を備える装置として機能する。すなわち、学習プログラムを実行するプロセッサ11は、初期値生成部104、サンプル抽出部105、推論実行部106、第1差分算出部107、第2差分算出部108、損失算出部109、損失記憶部110、更新部111、出力部112として機能する。そして、学習プログラムを実行するプロセッサ11は、ストレージ13を、構造記憶部101、パラメータ記憶部102、および学習用データセット記憶部103として機能させる。学習装置10は、インタフェース14を介して演算装置52、外部記憶媒体、ネットワークに接続される。
学習プログラムは、ストレージ13などのコンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えば磁気ディスク、光磁気ディスク、光ディスク、半導体メモリ等の記憶装置である。学習プログラムは、電気通信回線を介して送信されてもよい。
なお、学習装置10の各機能の全て又は一部は、ASIC(Application Specific Integrated Circuit)やPLD(Programmable Logic Device)等のカスタムLSI(Large Scale Integrated Circuit)を用いて実現されてもよい。PLDの例としては、PAL(Programmable Array Logic)、GAL(Generic Array Logic)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array)が挙げられる。このような集積回路も、プロセッサ11の一例に含まれる。
101 構造記憶部
102 パラメータ記憶部
103 学習用データセット記憶部
104 初期値生成部
105 サンプル抽出部
106推論実行部
107 第1差分算出部
108 第2差分算出部
109 損失算出部
110 損失記憶部
111 更新部
112 出力部
50 モーションキャプチャシステム
51 時間同期カメラ
52 演算装置
O 対象物
Claims (7)
- 所定の時間幅における対象物の変位に係る量の時系列を入力し、前記時間幅の少なくとも一部の時刻における前記対象物の変位に係る量を出力する機械学習モデルを用いて、対象物の変位に係る量の時系列を示す入力サンプルから、前記対象物の変位に係る量の推定値を算出する推論実行部と、
前記推定値を1階以上微分した値と前記入力サンプルに対応する出力サンプルを1階以上微分した値との差分である第2差分を算出する第2差分算出部と、
前記第2差分に対して出力が単調増加する損失関数を用いて、損失値を算出する損失算出部と、
前記損失値に基づいて、前記機械学習モデルのパラメータを更新する更新部と
を備える学習装置。 - 前記推定値と前記出力サンプルとの差分である第1差分を算出する第1差分算出部を備え、
前記損失算出部は、前記第1差分および前記第2差分に対して出力が単調増加する損失関数を用いて、損失値を算出する、
請求項1に記載の学習装置。 - 前記機械学習モデルは、入力された前記時系列と同じ時間幅に係る変位に係る量の時系列を出力する
請求項1または請求項2に記載の学習装置。 - 前記入力サンプルは、前記出力サンプルにランダムノイズまたはスパイクノイズを加えたものである
請求項1から請求項3の何れか1項に記載の学習装置。 - 前記対象物の変位に係る量は、前記対象物が有する関節の直交する三軸の回転角である
請求項1から請求項4のいずれか1項に記載の学習装置。 - 所定の時間幅における対象物の変位に係る量の時系列を入力し、前記時間幅の少なくとも一部の時刻における前記対象物の変位に係る量を出力する機械学習モデルを用いて、対象物の変位に係る量の時系列を示す入力サンプルから、前記対象物の変位に係る量の推定値を算出するステップと、
前記推定値を1階以上微分した値と前記入力サンプルに対応する出力サンプルを1階以上微分した値との差分である第2差分を算出するステップと、
前記第2差分に対して出力が単調増加する損失関数を用いて、損失値を算出するステップと、
前記損失値に基づいて、前記機械学習モデルのパラメータを更新するステップと、
前記パラメータが更新された前記機械学習モデルを学習済みモデルとして出力するステップと
を有する学習済みモデルの生成方法。 - コンピュータを、請求項1から請求項5の何れか1項に記載の学習装置として機能させるための学習プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020117942A JP7315929B2 (ja) | 2020-07-08 | 2020-07-08 | 学習装置、学習済みモデルの生成方法および学習プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020117942A JP7315929B2 (ja) | 2020-07-08 | 2020-07-08 | 学習装置、学習済みモデルの生成方法および学習プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022015236A JP2022015236A (ja) | 2022-01-21 |
JP7315929B2 true JP7315929B2 (ja) | 2023-07-27 |
Family
ID=80121336
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020117942A Active JP7315929B2 (ja) | 2020-07-08 | 2020-07-08 | 学習装置、学習済みモデルの生成方法および学習プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7315929B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5341826B2 (ja) | 2010-06-18 | 2013-11-13 | セイコーインスツル株式会社 | 双安定液晶表示パネルの駆動方法及び駆動デバイス |
JP2015085437A (ja) | 2013-10-30 | 2015-05-07 | 富士通株式会社 | 判定装置、判定方法、および判定プログラム |
JP2019003615A (ja) | 2017-04-27 | 2019-01-10 | ダッソー システムズDassault Systemes | オートエンコーダの学習 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05341826A (ja) * | 1992-06-12 | 1993-12-24 | Nippon Telegr & Teleph Corp <Ntt> | 接触状態変化検出方法およびロボット制御装置 |
-
2020
- 2020-07-08 JP JP2020117942A patent/JP7315929B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5341826B2 (ja) | 2010-06-18 | 2013-11-13 | セイコーインスツル株式会社 | 双安定液晶表示パネルの駆動方法及び駆動デバイス |
JP2015085437A (ja) | 2013-10-30 | 2015-05-07 | 富士通株式会社 | 判定装置、判定方法、および判定プログラム |
JP2019003615A (ja) | 2017-04-27 | 2019-01-10 | ダッソー システムズDassault Systemes | オートエンコーダの学習 |
Also Published As
Publication number | Publication date |
---|---|
JP2022015236A (ja) | 2022-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107516326B (zh) | 融合单目视觉和编码器信息的机器人定位方法和系统 | |
Rehder et al. | Global pose estimation with limited GPS and long range visual odometry | |
Warren et al. | Online calibration of stereo rigs for long-term autonomy | |
KR101616926B1 (ko) | 영상 처리 장치 및 방법 | |
CN112304307A (zh) | 一种基于多传感器融合的定位方法、装置和存储介质 | |
CN110517324B (zh) | 基于变分贝叶斯自适应算法的双目vio实现方法 | |
CN113706699B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
Anderson et al. | Towards relative continuous-time SLAM | |
Chen et al. | Direct lidar-inertial odometry: Lightweight lio with continuous-time motion correction | |
JP2021518622A (ja) | 自己位置推定、マッピング、およびネットワークトレーニング | |
WO2019191288A1 (en) | Direct sparse visual-inertial odometry using dynamic marginalization | |
TWI795885B (zh) | 視覺定位方法、設備和電腦可讀儲存介質 | |
CN111998862B (zh) | 一种基于bnn的稠密双目slam方法 | |
CN112085849A (zh) | 基于航拍视频流的实时迭代三维建模方法、系统及可读介质 | |
Liu et al. | Online temporal calibration based on modified projection model for visual-inertial odometry | |
Letouzey et al. | Progressive shape models | |
JP7315929B2 (ja) | 学習装置、学習済みモデルの生成方法および学習プログラム | |
CN113240597A (zh) | 基于视觉惯性信息融合的三维软件稳像方法 | |
CN111531546A (zh) | 一种机器人位姿估计方法、装置、设备及存储介质 | |
Wang et al. | Online spatial and temporal initialization for a monocular visual-inertial-LiDAR system | |
CN116563497A (zh) | 一种虚拟人驱动方法、装置、设备及可读存储介质 | |
Xu et al. | Optical flow-based video completion in spherical image sequences | |
JP2007034964A (ja) | カメラ視点運動並びに3次元情報の復元及びレンズ歪パラメータの推定方法、装置、カメラ視点運動並びに3次元情報の復元及びレンズ歪パラメータの推定プログラム | |
Fathian et al. | A new approach for solving the five-point relative pose problem for vision-based estimation and control | |
KR102660740B1 (ko) | 도메인 전이학습을 통한 적외선 카메라 기반의 손 자세 추정 방법 및 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200709 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220808 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230607 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230704 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230706 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7315929 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |