JP7297182B2 - 推論装置、学習装置、推論方法、学習方法、推論プログラム及び学習プログラム - Google Patents
推論装置、学習装置、推論方法、学習方法、推論プログラム及び学習プログラム Download PDFInfo
- Publication number
- JP7297182B2 JP7297182B2 JP2023514228A JP2023514228A JP7297182B2 JP 7297182 B2 JP7297182 B2 JP 7297182B2 JP 2023514228 A JP2023514228 A JP 2023514228A JP 2023514228 A JP2023514228 A JP 2023514228A JP 7297182 B2 JP7297182 B2 JP 7297182B2
- Authority
- JP
- Japan
- Prior art keywords
- curve
- trajectory
- learned
- trajectory curve
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 50
- 230000033001 locomotion Effects 0.000 claims description 313
- 238000009826 distribution Methods 0.000 claims description 106
- 238000004364 calculation method Methods 0.000 claims description 100
- 238000012545 processing Methods 0.000 claims description 35
- 238000004891 communication Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 16
- 238000004458 analytical method Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 238000010191 image analysis Methods 0.000 description 9
- 230000008602 contraction Effects 0.000 description 7
- 238000010606 normalization Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/206—Drawing of charts or graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Description
このような画像解析技術では、撮影画像を解析して物体の移動軌跡を表す移動軌跡曲線を抽出する。そして、抽出した移動軌跡曲線を、予め用意されている複数の学習済みの移動軌跡曲線の各々と比較する。学習済みの移動軌跡曲線の各々にはラベルが設定されている。ラベルは、移動の種類を示す。比較の結果、抽出した移動軌跡曲線に最も類似する学習済みの移動軌跡曲線が選択される。そして、選択された学習済みの移動軌跡曲線のラベルに従って、当該物体の移動の種類が認識される。
特許文献1では、このような画像解析技術が応用された技術、特に工場作業者の体各部位の移動軌跡曲線から、作業者の動作内容を認識する技術が開示されている。
しかし、移動軌跡曲線の形状の比較が行われるため、相互に形状が類似する学習済みの移動軌跡曲線が2つ以上存在する場合には、移動の種類を正確に認識することができないという課題がある。
学習により得られた移動軌跡曲線である学習移動軌跡曲線と、観測により得られた移動軌跡曲線である観測移動軌跡曲線との間で形状の類似度を形状類似度として算出する形状類似度算出部と、
前記学習移動軌跡曲線と前記観測移動軌跡曲線とを同一の座標空間に配置した場合の前記学習移動軌跡曲線と前記観測移動軌跡曲線との間の位置の類似度を位置類似度として算出する位置類似度算出部と、
前記形状類似度と前記位置類似度とを用いて、前記学習移動軌跡曲線と前記観測移動軌跡曲線との間の適合度を算出する適合度算出部とを有する。
***課題の説明***
本実施の形態では、相互に形状が類似する学習済みの移動軌跡曲線が2つ以上存在する場合でも、正確に移動の種類を認識することができる構成を説明する。
先ず、相互に形状が類似する学習済みの移動軌跡曲線が2つ以上存在する場合に、従来の画像解析技術では、正確に移動の種類を認識することができない例を説明する。
図18の例では、作業者800の手が移動する物体に相当する。
通常は、図18の(a)の段階では、部品A又は部品Bのいずれを取る場合でも、作業者800の手の伸ばし方に大差がない。
図19の(a)は、学習により得られた、2つの移動軌跡曲線を示す。図19の(a)の2つの移動軌跡曲線は学習済みの移動軌跡曲線としてラベルが設定されている。曲線Αは、作業者800が部品Αを手に取ったときの作業者800の手の移動軌跡を表す移動軌跡曲線である。つまり、曲線Αには、例えば「部品Α取得動作」といったラベルが設定されている。一方、曲線Βは、作業者800が部品Βを手に取ったときの作業者800の手の移動軌跡を表す移動軌跡曲線である。つまり、曲線Βには、例えば「部品Β取得動作」といったラベルが設定されている。
なお、図19では、説明の便宜上、y-tの2次元の座標空間における移動軌跡曲線を示す。しかしながら、実際には、x-y-tの座標空間又はx-y-z-tの座標空間に移動軌跡曲線が設定される。
以下、図19以外の図面でも、移動軌跡曲線がy-tの2次元の座標空間に配置される例を示すが、実際には、x-y-tの座標空間又はx-y-z-tの座標空間に移動軌跡曲線が設定されるものとする。
なお、上記のx、y及びzは、図18のx軸、y軸及びz軸を表す。また、tは時刻を表す。
従来の画像解析技術では、移動軌跡曲線の形状のみで比較処理が行われる。このため、曲線Aと曲線Bは形状が類似しているため、曲線Cが曲線Aと曲線Bのいずれに分類されるかを正確に認識することが難しい。
このため、曲線Cに表される作業者800の動作を誤認識してしまう可能性がある。
図1は、本実施の形態に係る解析システム1000の構成例を示す。
本実施の形態に係る解析システム1000は、学習装置100と推論装置200で構成される。
なお、以上では、学習装置100と推論装置200は異なるコンピュータで実現されることを前提としているが、学習装置100と推論装置200が同一のコンピュータで実現されてもよい。
移動軌跡曲線は、複数の曲線構成要素に細分される。曲線構成要素は、例えば、移動軌跡曲線内の各時刻に対応する点、すなわち、プロット点である。
移動軌跡曲線の形状の比較及び移動軌跡曲線の位置の比較は、曲線構成要素ごとに行われる。本実施の形態では、プロット点が曲線構成要素であるものとする。
図6の(a)は、図19の(a)と同じである。図6の(b)は、図19の(b)と同じである。
図6の(c)は、推論装置200が、曲線Aと曲線Cとの位置の比較を行う例を示す。
本実施の形態では、推論装置200は、曲線Aと曲線Cを同一の座標空間に配置した場合の曲線Aと曲線Cとの間の位置の類似度を算出して、曲線Aと曲線Cの位置の比較を行う。具体的には、推論装置200は、曲線Aのプロット点と曲線Cの対応するプロット点との間のy軸方向の距離を算出する。推論装置200は、プロット点間のy軸方向の距離の算出を全てのプロット点のペアに対して行い、算出結果を統合することで、曲線Aと曲線Cとの間の位置における類似度を算出する。
同様に、図6の(d)は、推論装置200が、曲線Bと曲線Cとの位置の比較を行っている例である。推論装置200は、曲線Bと曲線Cを同一の座標空間に配置した場合の曲線Bと曲線Cの位置を比較し、類似度を算出する。
なお、形状の比較は、図19の(c)に示す。形状の比較では、移動軌跡曲線の形状の類似度を算出する。
図19の(c)に示したように、形状の比較では、曲線Aも曲線Bも曲線Cに類似するため、曲線Cが曲線A及び曲線Bのいずれに分類されるかを判定するのが難しい。本実施の形態では、推論装置200は、位置の比較も行う。図6の(c)及び(d)に示すように、曲線Cは、位置において曲線Bよりも曲線Aに類似するため、推論装置200は、曲線Cを曲線Aに分類することができる。
具体的には、学習装置100及び推論装置200は、曲線構成要素ごとの属性として、曲線構成要素ごとの移動速度と、曲線構成要素ごとの基礎移動軌跡曲線の分布を利用した解析を行う。ここで基礎移動軌跡曲線とは学習フェーズの入力である複数の画像データ400から生成された一連の動作を示す移動軌跡曲線の1つである。
以下にて、曲線構成要素ごとの移動速度を利用した解析と、曲線構成要素ごとの基礎移動軌跡曲線の分布を利用した解析を説明する。
図18に示した作業者800が部品A又は部品Bを取る動作を例にして説明を行う。
図18の(a)の段階では、作業者800は、部品Aのボックス及び部品Bのボックスの方向に大まかに狙いをつけて手を伸ばす。このため、図18の(a)の段階では、一般的に、作業者800の手の移動速度は速い。一方で、図18の(b)又は(c)の段階では、作業者800は、部品Aのボックスの位置又は部品Bのボックスの位置に手の位置を合わせる必要がある。このため、図18の(b)又は(c)の段階では、一般的に、作業者800の手の移動速度は遅い。
作業者800が手を伸ばし始めから伸ばしている最中の段階に相当する曲線構成要素(プロット点)では重要でない動作が行われているため、手の移動速度が速い。一方、作業者800が部品を取る段階に相当する曲線構成要素(プロット点)では、部品の位置に手の位置を調整するという重要な動作が行われるため、手の移動速度が遅くなる。
本実施の形態では、学習装置100及び推論装置200は、移動速度が遅い曲線構成要素では重要な動作が行われているとの推測のもと、移動速度が遅い曲線構成要素を重要な曲線構成要素であると評価する。具体的には、学習装置100は、移動速度が遅い曲線構成要素ほど高い速度係数値cdを設定する。また、推論装置200は、移動速度が遅い曲線構成要素ほど高い速度重要度ceを設定する。推論装置200は、各曲線構成要素に対する速度重要度ceをつなげ、速度重要曲線を生成する。
速度係数値cd及び速度重要度ceの詳細は後述する。
図8に示す手順の詳細は後述する。
この点に着目して、学習装置100は、複数の基礎移動軌跡曲線を時間に関して正規化した移動軌跡曲線の確率分布pを求める。そして、学習装置100は、確率分布pから得られる尤度に応じて分布係数値pdを設定する。学習装置100は、尤度が高い曲線構成要素ほど高い分布係数値pdを設定する。図9に示すように、ばらつきが大きい曲線構成要素では尤度が低いため、学習装置100は低い分布係数値pdを設定する。一方で、ばらつきが小さい曲線構成要素では尤度が高いため、学習装置100は高い分布係数値pdを設定する。学習装置100は、各曲線構成要素に対する分布係数値pdをつなげ、分布係数曲線を生成する。
なお、ここでは、確率分布pの形状は、どのようなものでもよい。つまり、確率分布pの形状は、正規分布であってもよいし、ノンパラメトリック(数理モデルではないもの)であってもよい。また、確率分布pは分布形状をとらず単一の数値であっても構わない。
分布係数値pd及び分布重要度peの詳細は後述する。
以上の説明をもとに、学習装置100及び推論装置200の構成の詳細を説明する。
また、図3は、学習装置100のハードウェア構成例を示す。
先ず、図3を参照して、学習装置100のハードウェア構成例を説明する。
学習装置100は、ハードウェアとして、プロセッサ911、主記憶装置912、補助記憶装置913及び通信装置914を備える。
また、学習装置100は、図2に示すように、機能構成として、学習移動軌跡曲線生成部101及び係数値設定部102を備える。
補助記憶装置913には、学習移動軌跡曲線生成部101及び係数値設定部102の機能を実現するプログラムが記憶されている。
これらプログラムは、補助記憶装置913から主記憶装置912にロードされる。そして、プロセッサ911がこれらプログラムを実行して、後述する学習移動軌跡曲線生成部101及び係数値設定部102の動作を行う。
図3では、プロセッサ911が学習移動軌跡曲線生成部101及び係数値設定部102の機能を実現するプログラムを実行している状態を模式的に表している。
画像データ400は、例えば、図18に示す作業者800が部品Aを手にする動作を撮影した画像データである。また、画像データ400は、例えば、図18に示す作業者800が部品Bを手にする動作を撮影した画像データである。
学習移動軌跡曲線150は、物体の移動の移動軌跡が表される移動軌跡曲線である。学習移動軌跡曲線150は、複数の曲線構成要素(プロット点)に細分される。
係数値設定部102は、速度係数値設定部1021、分布係数値設定部1022及び学習軌跡データ生成部1023で構成される。
係数値設定部102により行われる処理は、係数値設定処理に相当する。
速度係数値設定部1021は、物体の移動速度が遅い曲線構成要素ほど高い速度係数値cdを設定する。
分布係数値設定部1022は、複数の基礎移動軌跡曲線140の確率分布pから得られる尤度が高い曲線構成要素ほど高い分布係数値pdを設定する。
具体的には、学習軌跡データ生成部1023は、学習移動軌跡曲線150と、ラベル情報500に示されるラベル160と、速度係数値170(速度係数値cd)と、分布係数値180(分布係数値pd)とを含む学習軌跡データ300を生成する。
学習軌跡データ生成部1023は、移動の種類ごとに学習軌跡データ300を生成する。具体的には例えば、学習軌跡データ生成部1023は、「部品A取得動作」についての学習軌跡データ300と「部品B取得動作」についての学習軌跡データ300とをそれぞれ生成する。
各学習軌跡データ300は、例えば、通信装置914により推論装置200に送信される。
また、図5は、推論装置200のハードウェア構成例を示す。
先ず、図5を参照して、推論装置200のハードウェア構成例を説明する。
推論装置200は、ハードウェアとして、プロセッサ921、主記憶装置922、補助記憶装置923及び通信装置924を備える。
また、推論装置200は、図4に示すように、機能構成として、観測移動軌跡曲線生成部201、類似度算出部202及び適合度算出部203を備える。
補助記憶装置923には、観測移動軌跡曲線生成部201、類似度算出部202及び適合度算出部203の機能を実現するプログラムが記憶されている。
これらプログラムは、補助記憶装置923から主記憶装置922にロードされる。そして、プロセッサ921がこれらプログラムを実行して、後述する観測移動軌跡曲線生成部201、類似度算出部202及び適合度算出部203の動作を行う。
図5では、プロセッサ921が観測移動軌跡曲線生成部201、類似度算出部202及び適合度算出部203の機能を実現するプログラムを実行している状態を模式的に表している。
複数の画像データ600は、例えば、図18に示す作業者800が部品Aを取得する動作を撮影した一連の画像データである。観測移動軌跡曲線250は、物体の移動の移動軌跡が表される移動軌跡曲線である。観測移動軌跡曲線250は、学習移動軌跡曲線150の複数の曲線構成要素(プロット点)に対応する複数の曲線構成要素(プロット点)に細分される。
そして、類似度算出部202は、学習移動軌跡曲線150と観測移動軌跡曲線250との間の類似度を算出する。
学習装置100が「部品A取得動作」についての学習軌跡データ300と「部品B取得動作」についての学習軌跡データ300とを生成している場合は、類似度算出部202は、「部品A取得動作」についての学習軌跡データ300と「部品B取得動作」についての学習軌跡データ300とを取得する。
そして、類似度算出部202は、「部品A取得動作」についての学習移動軌跡曲線150と観測移動軌跡曲線250との間の類似度を算出する。また同様に、類似度算出部202は、「部品B取得動作」についての学習移動軌跡曲線150と観測移動軌跡曲線250との間の類似度を算出する。
類似度算出部202は、形状類似度算出部2021と位置類似度算出部2022で構成される。
形状類似度算出部2021は、学習移動軌跡曲線150と観測移動軌跡曲線250との間で相互に対応する曲線構成要素ごとに形状類似度を算出する。
形状類似度算出部2021により行われる処理は、形状類似度算出処理に相当する。
位置類似度算出部2022は、学習移動軌跡曲線150と観測移動軌跡曲線250との間で相互に対応する曲線構成要素ごとに位置類似度を算出する。
位置類似度算出部2022により行われる処理は、位置類似度算出処理に相当する。
図10の(a)は、学習軌跡データ300の例を示す。図10の(b)は、観測移動軌跡曲線250の例を示す。
図10の(c)は、位置類似度の計算イメージを示す。図10の(d)は、図10の(c)の計算から得られる位置類似度のイメージを示す。図10の(d)中の「f」は位置類似度を表す。
図10の(e)は、形状類似度の計算イメージを示す。図10の(f)は、図10の(e)の計算から得られる形状類似度のイメージを示す。図10の(f)中の「g」は形状類似度を表す。
学習装置100が「部品A取得動作」についての学習軌跡データ300と「部品B取得動作」についての学習軌跡データ300とを生成している場合は、適合度算出部203は、「部品A取得動作」についての学習移動軌跡曲線150と観測移動軌跡曲線250との間の適合度を算出する。また同様に、適合度算出部203は、「部品B取得動作」についての学習移動軌跡曲線150と観測移動軌跡曲線250との間の適合度を算出する。
そして、適合度算出部203は、適合度が高い移動の種類のラベル160を出力する。
適合度算出部203により行われる処理は、適合度算出処理に相当する。
適合度算出部203は、重要度設定部2031とラベル出力部2032で構成される。
具体的には、学習軌跡データ300のうち、速度係数値170と分布係数値180から、それぞれ速度重要度と分布重要度を算出する。
具体的には、ラベル出力部2032は、曲線構成要素ごとに、形状類似度及び位置類似度の少なくともいずれかを、同じ曲線構成要素の統合重要度を用いて補正する。そして、ラベル出力部2032は、曲線構成要素ごとの非補正の/補正後の形状類似度及び非補正の/補正後の位置類似度とを用いて、学習移動軌跡曲線150と観測移動軌跡曲線250との間の適合度を算出する。
そして、ラベル出力部2032は、複数の学習移動軌跡曲線150の中から、最も適合度が高い学習移動軌跡曲線150を選択し、選択した学習移動軌跡曲線150に対応する学習軌跡データ300を選択し、選択した学習軌跡データ300のラベル160を出力する。
次に、本実施の形態に係る学習装置100と推論装置200の動作例を示す。
先ず、図11を参照して、学習装置100の動作例を説明する。
例えば、学習移動軌跡曲線生成部101は、図18の作業者800が部品Aを取る動作の複数の一連の画像データ400を学習して、作業者800が部品Aを取る動作に対応する複数の基礎移動軌跡曲線を生成する。
実際には、学習移動軌跡曲線生成部101は、作業者800の体の各部位の座標について移動軌跡曲線を生成する。本明細書では、説明の簡明化のために、学習移動軌跡曲線生成部101が生成する移動軌跡曲線のうち、作業者800の手の移動軌跡曲線に限って説明を行う。また、観測移動軌跡曲線生成部201が生成する移動軌跡曲線についても、作業者800の手の移動軌跡曲線に限って説明を行う。
前述の例では、学習移動軌跡曲線生成部101は、例えば、複数の基礎移動軌跡曲線140に「部品Α取得動作」というラベルを設定する。
未処理の画像データ400がある場合は、処理がステップS101に戻る。一方、未処理の画像データ400がない場合は、処理がステップS104に進む。
次に、学習移動軌跡曲線生成部101は、図8の(b)に示すように、複数の基礎移動軌跡曲線140を時間に関して正規化する。具体的には、学習移動軌跡曲線生成部101は、時刻合わせと時間伸縮を行う。つまり、学習移動軌跡曲線生成部101は、複数の基礎移動軌跡曲線140の始点時刻と終点時刻が一致するように各基礎移動軌跡曲線140の時間伸縮を行う。学習移動軌跡曲線生成部101は、各基礎移動軌跡曲線140の全区間を一定割合で伸縮してもよい。また、学習移動軌跡曲線生成部101は、DTW(Dynamic Time Warping)等の手法を用いて時刻ごとに最適な伸縮割合を決定してもよい。
次に、学習移動軌跡曲線生成部101は、図8の(c)に示すように、正規化後の複数の基礎移動軌跡曲線140を統合して1つの学習移動軌跡曲線を生成する。例えば、学習移動軌跡曲線生成部101は、正規化後の複数の基礎移動軌跡曲線140の平均の移動軌跡曲線を学習移動軌跡曲線150として扱う。図8の(c)の実線は、学習移動軌跡曲線150を示す。図8の(c)では、学習移動軌跡曲線150は、正規化後の基礎移動軌跡曲線140を平均した移動軌跡曲線である。また、図8の8(c)の破線は、正規化後の基礎移動軌跡曲線140のばらつきを示す。
学習移動軌跡曲線生成部101は、複数の基礎移動軌跡曲線140に設定されていたラベルを、学習移動軌跡曲線150のラベル160に設定する。
速度係数値設定部1021は、学習移動軌跡曲線150を学習移動軌跡曲線生成部101から取得し、学習移動軌跡曲線生成部101を解析して速度係数値を算出し、算出した速度係数値を学習移動軌跡曲線150に設定する。
具体的には、速度係数値設定部1021は、学習移動軌跡曲線150のプロット点ごとに、1つ前のプロット点からの距離を単位時間(プロット点間の時間)で除算して移動速度を算出する。そして、速度係数値設定部1021は、プロット点ごとの移動速度を係数化してプロット点ごとに速度係数値cdを得る。更に、速度係数値設定部1021は、各プロット点に速度係数値cdを対応付ける。
分布係数値設定部1022は、学習移動軌跡曲線150と複数の基礎移動軌跡曲線140を取得し、学習移動軌跡曲線150と複数の基礎移動軌跡曲線140を同一座標空間に重畳した場合の基礎移動軌跡曲線140の確率分布pを算出する。そして、分布係数値設定部1022は、学習移動軌跡曲線150のプロット点ごとに、基礎移動軌跡曲線140の確率分布pから尤度を算出し、尤度を係数化して分布係数値pdを得る。更に、分布係数値設定部1022は、各プロット点に分布係数値pdを対応付ける。
学習軌跡データ生成部1023は、学習移動軌跡曲線150と、学習移動軌跡曲線150のラベル160と、速度係数値170(曲線構成要素ごとの速度係数値cd)と、分布係数値180(曲線構成要素ごとの分布係数値pd)とを統合して学習軌跡データ300を生成する。
学習軌跡データ生成部1023により生成された学習軌跡データ300は通信装置914により推論装置200に送信されてもよいし、他の方法により推論装置200に出力されてもよい。また、学習軌跡データ300が格納された可搬記録媒体を郵送等により送付してもよい。
例えば、観測移動軌跡曲線生成部201は、図18の作業者800が部品Aを取る一連の動作を撮影した複数の画像データ600を解析して、作業者800が部品Aを取る動作に対応する観測移動軌跡曲線250を生成する。
そして、形状類似度算出部2021は、図8の(b)と同様にして、観測移動軌跡曲線250と学習移動軌跡曲線150を時間に関して正規化する。具体的には、形状類似度算出部2021は、観測移動軌跡曲線250と学習移動軌跡曲線150の時刻合わせと時間伸縮を行う。つまり、形状類似度算出部2021は、観測移動軌跡曲線250と学習移動軌跡曲線150の始点時刻と終点時刻が一致するように観測移動軌跡曲線250及び学習移動軌跡曲線150の時間伸縮を行う。
次に、形状類似度算出部2021は、時間に関して正規化を行った観測移動軌跡曲線250と学習移動軌跡曲線150に対し、今度は位置に関する正規化を行う。位置に関する正規化の方法は限定しない。例えば、曲線の始点の座標を一致させるだけでもよいし、曲線の始点と終点を一致させ、中間部分に関してはすべて同一の割合で伸縮させてもよい。曲線要素ごとに最適な伸縮割合を算出したうえで、伸縮させてもよい。
更に、形状類似度算出部2021は、時間と位置に対して正規化を施した観測移動軌跡曲線250と学習移動軌跡曲線150に関して対応するプロット点のペアごとに、y軸方向の距離の差を求める。形状類似度算出部2021は、y軸方向の距離の差の算出を全てのプロット点のペアに対して行い、観測移動軌跡曲線250と学習移動軌跡曲線150との間の曲線構成要素ごとの形状類似度を算出する。
そして、位置類似度算出部2022は、観測移動軌跡曲線250のプロット点と学習移動軌跡曲線150の対応するプロット点との間のy軸方向の距離を算出する。推論装置200は、プロット点間のy軸方向の距離の算出を全てのプロット点のペアに対して行い、観測移動軌跡曲線250と学習移動軌跡曲線150との間の曲線構成要素ごとの位置類似度を算出する。
重要度設定部2031は、学習軌跡データ300に含まれる速度係数値170(速度係数値cd)をそのまま速度重要度ceとして用いてもよい。また、重要度設定部2031は、速度係数値170(速度係数値cd)に演算を行って、演算により得られた値を速度重要度ceとして用いてもよい。
ここでは、説明の簡明化のために、重要度設定部2031は、速度係数値170(速度係数値cd)をそのまま速度重要度ceとして用いるものとする。
重要度設定部2031は、学習軌跡データ300に含まれる分布係数値180(分布係数値pd)をそのまま分布重要度peとして用いてもよい。また、重要度設定部2031は、分布係数値180(分布係数値pd)に演算を行って、演算により得られた値を分布重要度peとして用いてもよい。
ここでは、説明の簡明化のために、重要度設定部2031は、分布係数値180(分布係数値pd)をそのまま分布重要度peとして用いるものとする。
ステップS207の詳細を図13及び図14を用いて説明する。
図13の(a)は、学習移動軌跡曲線150の確率分布pと速度重要度ceの例を示す。
ここでは、曲線構成要素の1つであるプロット点(yn,tn)での統合重要度wnを算出する例を説明する。
確率分布pから求められるプロット点(yn,tn)での尤度は0.6であるとする。つまり、プロット点(yn,tn)での分布重要度peは0.6である。一方、プロット点(yn,tn)での速度重要度ceは、1であるものとする。
ラベル出力部2032は、プロット点(yn,tn)での分布重要度peである0.6とプロット点(yn,tn)での速度重要度ceである1を乗算して、プロット点(yn,tn)での統合重要度wnを0.6と算出する。
ラベル出力部2032は、以上のようにして、全てのプロット点について統合重要度wを算出する。
ここでは、ラベル出力部2032は分布重要度peと速度重要度ceを乗算しているが、ラベル出力部2032は、他の種類の演算により統合重要度wを求めてもよい。
また、ラベル出力部2032は、統合重要度wを求めず、分布重要度pe及び速度重要度ceのいずれか一方のみを用いるようにしてもよい。
つまり、ラベル出力部2032は、プロット点ごとに、当該プロット点の位置類似度に当該プロット点の統合重要度wを乗算し、当該プロット点の形状類似度に1から当該プロット点の統合重要度wを減算して得られる値を乗算する。そして、2つの乗算値を和算する。ラベル出力部2032は、当該計算を全てのプロット点に行い、得られた値を総和して、学習移動軌跡曲線150と観測移動軌跡曲線250との間の適合度Pを算出する。
未選択の学習移動軌跡曲線150がある場合は、処理がステップS202に戻る。
一方、全ての学習移動軌跡曲線150を選択済みの場合は、処理がステップS209に進む。
このように、本実施の形態によれば、推論装置200は、複数の画像データ600で表されている移動の種類を正確に認識することができる。このため、本実施の形態によれば、相互に形状が類似する学習移動軌跡曲線が2つ以上存在する場合でも、推論装置200は、移動の種類を正確に認識することができる。
例えば、これに代えて、分布重要度peと位置重要度ceを算出しないようにしてもよい。また、この場合は、ラベル出力部2032は、位置重要度と形状重要度との和算のみで適合度Pを算出する。つまり、ラベル出力部2032は、図14の式からw(y,t)と(1-w(y,t))とを省略して、適合度Pを算出する。
または、位置類似度算出部2022は、観測移動軌跡曲線250の曲線構成要素(プロット点)と対応する確率分布pを直接比較し、位置類似度を算出してもよい。この場合は図14の式からw(y,t)と(1-w(y,t))とを省略してもよいし、省略しなくてもよい。
これに代えて、重要度設定部2031が速度係数値170に基づかずに速度重要度ceを設定し、分布係数値180に基づかずに分布重要度peを設定するようにしてもよい。
この場合は、学習軌跡データ生成部1023が、学習移動軌跡曲線150の生成に用いられた複数の基礎移動軌跡曲線140を学習軌跡データ300に含ませる。なお、この場合では、速度係数値設定部1021及び分布係数値設定部1022は不要である。また、速度係数値170及び分布係数値180は学習軌跡データ300に含まれない。そして、重要度設定部2031は、学習移動軌跡曲線150から物体の移動速度を導出して、速度係数値設定部1021の速度係数値cdの算出手順と同様の手順にて速度重要度ceを算出する。また、重要度設定部2031は、学習軌跡データ300に含まれる複数の基礎移動軌跡曲線140の確率分布pを解析し、分布係数値設定部1022の分布係数値pdの算出手順と同様の手順にて分布重要度peを算出する。
本実施の形態では、主に実施の形態1との差異を説明する。
なお、以下で説明していない事項は、実施の形態1と同様である。
図15の(a)のように、1つの動作に2つの異なる移動軌跡が含まれ得る場合に、図15の(b)に例示する多峰性の確率分布pを用いることが有用である。
また、本実施の形態では、推論装置200のラベル出力部2032が、学習移動軌跡曲線150のいずれかの曲線構成要素(プロット点)で、当該曲線構成要素の多峰性の確率分布に基づき分布重要度peを設定する。
本実施の形態では、主に実施の形態1との差異を説明する。
なお、以下で説明していない事項は、実施の形態1と同様である。
例えば、図16の(a)に示すように、プロット点(yn,tn)から離れている区間では、観測移動軌跡曲線251は学習移動軌跡曲線150及び他の基礎移動軌跡曲線140から大きく離れている。しかし、プロット点(yn,tn)では、観測移動軌跡曲線251は学習移動軌跡曲線150と交わっている。プロット点(yn,tn)では、観測移動軌跡曲線251を含むすべての基礎移動軌跡曲線140のばらつきが小さくなっている。このため、プロット点(yn,tn)では類似度が高くなる。しかし、全体的には、学習移動軌跡曲線251は、他の基礎移動軌跡曲線140と曲線形状が大きく異なっているため、プロット点(yn,tn)での観測移動軌跡曲線251の位置の類似度の影響を下げることが望ましい。
このため、本実施の形態では、重要度設定部2031は、プロット点(yn,tn)では、プロット点(yn,tn)の学習移動軌跡曲線150と観測移動軌跡曲線251の進行方向とに基づき、分布重要度peを補正する。
このように、本実施の形態では、重要度設定部2031が、観測移動軌跡曲線251の進行方向を分布重要度peの補正に利用することにより、部分的に学習移動軌跡曲線150と位置が一致した観測移動軌跡曲線251の位置類似度の影響を下げることができるため、誤認識されにくくなる。
重要度設定部2031は、例えば、図16の(b)に示すように、プロット点(yn,tn)での分布重要度peを以下にて算出する。
p(yn,tn)cosθ
図16の(b)の例では学習移動軌跡曲線150と観測移動軌跡曲線251のなす角が90°であるため、分布重要度peは、以下のように0となる。
p(yn,tn)cos90°=p(yn,tn)×0=0
なお、重要度設定部2031の分布重要度peの算出方法は上記に限らない。
また、観測移動軌跡曲線251の進行方向は、観測移動軌跡曲線251の接線方向の進行方向でもよいし、一定区間の平均的な進行方向でもよい。
また、分布係数値設定部1022が分布係数値pdを算出しない場合、すなわち、重要度設定部2031が、分布係数値pdに基づかずに、複数の基礎移動軌跡曲線140の確率分布pを解析して分布重要度peを算出する場合も、重要度設定部2031は、上記の分布係数値pdの算出手順と同様の手順にてプロット点(yn,tn)での分布重要度peを算出することができる。
本実施の形態では、主に実施の形態1との差異を説明する。
なお、以下で説明していない事項は、実施の形態1と同様である。
より具体的には、本実施の形態では、推論装置200が、観測移動軌跡曲線250との比較の対象となる2つ以上の学習移動軌跡曲線150の間の形状類似度を算出する。そして、2つ以上の学習移動軌跡曲線150の間の形状類似度が閾値以上であれば、推論装置200は、位置類似度と形状類似度を算出する。一方、2つ以上の学習移動軌跡曲線150の間の形状類似度が閾値未満であれば、推論装置200は、形状類似度のみを算出する。
なお、以下では、説明の簡明のために、観測移動軌跡曲線250との比較の対象となる学習移動軌跡曲線150が2つである場合を説明する。
ステップS211の形状類似度の算出手順は、実施の形態1で説明したステップS203の算出手順と同様である。ステップS203では、形状類似度算出部2021が学習移動軌跡曲線150と観測移動軌跡曲線250との間の形状類似度を算出するが、ステップS211では、形状類似度算出部2021は2つの学習移動軌跡曲線150の間の形状類似度を算出する。
一方、2つの学習移動軌跡曲線150の間の形状類似度が閾値未満である場合(ステップS212でNO)は、ステップS202、S203、S205~S208が行われる。つまり、2つの学習移動軌跡曲線150の間の形状類似度が閾値未満である場合は、観測移動軌跡曲線250と学習移動軌跡曲線150との間の形状類似度は算出されるが、位置類似度は算出されない。
なお、ステップS209は、実施の形態1で示したものと同じであるため、説明を省略する。
1つ以上の学習移動軌跡曲線150のペアにおいて形状類似度が閾値以上であれば、図12に示すステップS202~S208が行われる。
一方、全ての学習移動軌跡曲線150のペアにおいて形状類似度が閾値未満であれば、ステップS202、S203、S205~S208が行われる。
このため、本実施の形態によれば、位置類似度を算出する必要がない場合に位置類似度を算出することによって生じる認識精度の低下を回避することができる。
なお、ステップS211の形状類似度の算出処理は、学習装置100内で実施しても構わない。具体的には、図11のステップS103の後でS211の処理を実施し、形状が類似した移動軌跡のラベルを保持しておき、推論時にステップS211の代わりに保持しておいた形状が類似した移動軌跡のラベルの情報を利用してもよい。
本実施の形態では、主に実施の形態1との差異を説明する。
なお、以下で説明していない事項は、実施の形態1と同様である。
追加データは、形状度類似度、位置類似度及び統合重要度に追加するデータであれば、どのようなデータでもよい。例えば、適合度算出部203は、画像データ600と、基礎移動軌跡曲線140の生成に用いられた画像データ400とを、追加データとして取得してもよい。
この場合に、ラベル出力部2032は、画像データ600と画像データ400とを比較する。そして、画像データ600と画像データ400が類似している場合は、ラベル出力部2032は、統合重要度に既定の数値を加算する。一方、画像データ600と画像データ400が類似していない場合は、重要度設定部2031は、統合重要度から既定の数値を減算する。
例えば、画像データ600が電動ドライバーを移動させている動作の画像データであり、画像データ400がスパナを移動させている動作の画像データである場合は、2つの画像データは類似しない。この場合には、重要度設定部2031は、統合重要度から既定の数値を減算する。なお、画像データ600と画像データ400との類似性の判定基準は推論装置200のユーザが任意に決定することができる。
追加データは、画像データ600及び画像データ400に限らない。追加データは、物体の移動を観測したセンサデータ等であってもよいし、他の種類のデータであってもよい。
あるいは、これらの実施の形態のうち、1つを部分的に実施しても構わない。
あるいは、これらの実施の形態のうち、2つ以上を部分的に組み合わせて実施しても構わない。
また、これらの実施の形態に記載された構成及び手順を必要に応じて変更してもよい。
最後に、学習装置100及び推論装置200のハードウェア構成の補足説明を行う。
プロセッサ911は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)等である。
図3に示す主記憶装置912は、RAM(Random Access Memory)である。
図3に示す補助記憶装置913は、ROM(Read Only Memory)、フラッシュメモリ、HDD(Hard Disk Drive)等である。
図3に示す通信装置914は、データの通信処理を実行する電子回路である。
通信装置914は、例えば、通信チップ又はNIC(Network Interface Card)である。
そして、OSの少なくとも一部がプロセッサ911により実行される。
プロセッサ911はOSの少なくとも一部を実行しながら、学習移動軌跡曲線生成部101及び係数値設定部102の機能を実現するプログラムを実行する。
プロセッサ911がOSを実行することで、タスク管理、メモリ管理、ファイル管理、通信制御等が行われる。
また、学習移動軌跡曲線生成部101及び係数値設定部102の処理の結果を示す情報、データ、信号値及び変数値の少なくともいずれかが、主記憶装置912、補助記憶装置913、プロセッサ911内のレジスタ及びキャッシュメモリの少なくともいずれかに記憶される。
また、学習移動軌跡曲線生成部101及び係数値設定部102の機能を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVD等の可搬記録媒体に格納されていてもよい。そして、学習移動軌跡曲線生成部101及び係数値設定部102の機能を実現するプログラムが格納された可搬記録媒体を流通させてもよい。
また、学習装置100は、処理回路により実現されてもよい。処理回路は、例えば、ロジックIC(Integrated Circuit)、GA(Gate Array)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)である。
この場合は、学習移動軌跡曲線生成部101及び係数値設定部102は、それぞれ処理回路の一部として実現される。
プロセッサ921は、CPU、DSP等である。
図5に示す主記憶装置922は、RAMである。
図5に示す補助記憶装置923は、ROM、フラッシュメモリ、HDD等である。
図5に示す通信装置924は、データの通信処理を実行する電子回路である。
通信装置924は、例えば、通信チップ又はNICである。
そして、OSの少なくとも一部がプロセッサ921により実行される。
プロセッサ921はOSの少なくとも一部を実行しながら、観測移動軌跡曲線生成部201、類似度算出部202及び適合度算出部203の機能を実現するプログラムを実行する。
プロセッサ921がOSを実行することで、タスク管理、メモリ管理、ファイル管理、通信制御等が行われる。
また、観測移動軌跡曲線生成部201、類似度算出部202及び適合度算出部203の処理の結果を示す情報、データ、信号値及び変数値の少なくともいずれかが、主記憶装置922、補助記憶装置923、プロセッサ921内のレジスタ及びキャッシュメモリの少なくともいずれかに記憶される。
また、観測移動軌跡曲線生成部201、類似度算出部202及び適合度算出部203の機能を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVD等の可搬記録媒体に格納されていてもよい。そして、観測移動軌跡曲線生成部201、類似度算出部202及び適合度算出部203の機能を実現するプログラムが格納された可搬記録媒体を流通させてもよい。
また、推論装置200は、処理回路により実現されてもよい。処理回路は、例えば、ロジックIC、GA、ASIC、FPGAである。
この場合は、観測移動軌跡曲線生成部201、類似度算出部202及び適合度算出部203は、それぞれ処理回路の一部として実現される。
つまり、プロセッサと処理回路とは、それぞれ「プロセッシングサーキットリー」の具体例である。
Claims (20)
- 学習により得られた移動軌跡曲線である学習移動軌跡曲線と、観測により得られた移動軌跡曲線である観測移動軌跡曲線との間で形状の類似度を形状類似度として算出する形状類似度算出部と、
前記学習移動軌跡曲線と前記観測移動軌跡曲線とを同一の座標空間に配置した場合の前記学習移動軌跡曲線と前記観測移動軌跡曲線との間の位置の類似度を位置類似度として算出する位置類似度算出部と、
前記形状類似度と前記位置類似度とを用いて、前記学習移動軌跡曲線と前記観測移動軌跡曲線との間の適合度を算出する適合度算出部とを有し、
前記学習移動軌跡曲線は、前記学習移動軌跡曲線を構成する複数の曲線構成要素に細分され、
前記観測移動軌跡曲線は、前記学習移動軌跡曲線の前記複数の曲線構成要素に対応する複数の曲線構成要素に細分され、
前記形状類似度算出部は、
前記学習移動軌跡曲線と前記観測移動軌跡曲線との間で相互に対応する曲線構成要素ごとに前記形状類似度を算出し、
前記位置類似度算出部は、
前記学習移動軌跡曲線と前記観測移動軌跡曲線との間で相互に対応する曲線構成要素ごとに前記位置類似度を算出し、
前記適合度算出部は、
前記学習移動軌跡曲線の曲線構成要素ごとに、曲線構成要素ごとの属性に基づき、重要度を設定し、
曲線構成要素ごとの前記形状類似度と前記位置類似度と前記重要度とを用いて、前記適合度を算出する推論装置。 - 前記学習移動軌跡曲線は、移動する物体の移動軌跡が表される移動軌跡曲線であり、
前記適合度算出部は、
前記学習移動軌跡曲線の曲線構成要素ごとの属性である、曲線構成要素ごとの前記物体の移動速度に基づき、曲線構成要素ごとに前記重要度を設定する請求項1に記載の推論装置。 - 前記適合度算出部は、
前記物体の移動速度が遅い曲線構成要素ほど高い重要度を設定する請求項2に記載の推論装置。 - 前記学習移動軌跡曲線は、複数の基礎移動軌跡曲線を統合して生成された移動軌跡曲線であり、
前記適合度算出部は、
前記学習移動軌跡曲線の曲線構成要素ごとの属性である、同一の座標空間に前記学習移動軌跡曲線と前記複数の基礎移動軌跡曲線とを重畳させた場合の曲線構成要素ごとの前記複数の基礎移動軌跡曲線の分布に基づき、曲線構成要素ごとに前記重要度を設定する請求項1又は2に記載の推論装置。 - 前記適合度算出部は、
前記複数の基礎移動軌跡曲線の分布から得られる尤度が高い曲線構成要素ほど高い重要度を設定する請求項4に記載の推論装置。 - 前記適合度算出部は、
曲線構成要素ごとに、前記形状類似度及び前記位置類似度の少なくともいずれかを、同じ曲線構成要素の前記重要度を用いて補正し、
曲線構成要素ごとに前記重要度を用いた補正を行った後に、曲線構成要素ごとの前記形状類似度と前記位置類似度とを用いて、前記学習移動軌跡曲線と前記観測移動軌跡曲線との間の適合度を算出する請求項1に記載の推論装置。 - 前記形状類似度算出部は、
複数の学習移動軌跡曲線の各々と前記観測移動軌跡曲線との間で前記形状類似度を算出し、
前記位置類似度算出部は、
前記複数の学習移動軌跡曲線の各々と前記観測移動軌跡曲線との間で前記位置類似度を算出し、
前記適合度算出部は、
前記複数の学習移動軌跡曲線の各々と前記観測移動軌跡曲線との間で算出された前記形状類似度と前記位置類似度とを用いて、前記複数の学習移動軌跡曲線の各々と前記観測移動軌跡曲線との間の適合度を算出し、前記適合度の算出結果に基づき、前記複数の学習移動軌跡曲線の中からいずれかの学習移動軌跡曲線を選択する請求項1に記載の推論装置。 - 前記適合度算出部は、
前記学習移動軌跡曲線のいずれかの曲線構成要素で、当該曲線構成要素の前記複数の基礎移動軌跡曲線の多峰性の分布に基づき前記重要度を設定する請求項4に記載の推論装置。 - 前記適合度算出部は、
前記学習移動軌跡曲線のいずれかの曲線構成要素で、当該曲線構成要素の前記複数の基礎移動軌跡曲線の分布と、当該曲線構成要素の前記複数の基礎移動軌跡曲線のうちの少なくともいずれかの基礎移動軌跡曲線の進行方向とに基づき前記重要度を設定する請求項4に記載の推論装置。 - 前記形状類似度算出部は、
前記複数の学習移動軌跡曲線の間で前記形状類似度を算出し、
前記位置類似度算出部は、
前記複数の学習移動軌跡曲線の間の前記形状類似度が閾値以上である場合に、前記複数の学習移動軌跡曲線の各々と前記観測移動軌跡曲線との間で前記位置類似度を算出する請求項7に記載の推論装置。 - 前記適合度算出部は、
前記形状類似度と前記位置類似度とに追加して前記学習移動軌跡曲線と前記観測移動軌跡曲線との間の適合度の算出に用いることができる追加データを取得し、
前記追加データを用いて、前記学習移動軌跡曲線と前記観測移動軌跡曲線との間の適合度を算出する請求項1に記載の推論装置。 - 学習により、複数の曲線構成要素に細分される移動軌跡曲線である学習移動軌跡曲線を生成する学習移動軌跡曲線生成部と、
前記学習移動軌跡曲線の曲線構成要素ごとに、曲線構成要素ごとの属性に基づき、係数値を設定する係数値設定部とを有し、
前記学習移動軌跡曲線生成部は、
複数の基礎移動軌跡曲線を統合して前記学習移動軌跡曲線を生成し、
前記係数値設定部は、
前記学習移動軌跡曲線の曲線構成要素ごとの属性である、同一の座標空間に前記学習移動軌跡曲線と前記複数の基礎移動軌跡曲線とを重畳させた場合の曲線構成要素ごとの前記複数の基礎移動軌跡曲線の分布に基づき、曲線構成要素ごとに前記係数値を設定する学習装置。 - 学習移動軌跡曲線生成部は、
移動する物体の移動軌跡が表される移動軌跡曲線を前記学習移動軌跡曲線として生成し、
前記係数値設定部は、
前記学習移動軌跡曲線の曲線構成要素ごとの属性である、曲線構成要素ごとの前記物体の移動速度に基づき、曲線構成要素ごとに前記係数値を設定する請求項12に記載の学習装置。 - 前記係数値設定部は、
前記物体の移動速度が遅い曲線構成要素ほど高い係数値を設定する請求項13に記載の学習装置。 - 前記係数値設定部は、
前記複数の基礎移動軌跡曲線の分布から得られる尤度が高い曲線構成要素ほど高い係数値を設定する請求項14に記載の学習装置。 - 前記係数値設定部は、
前記学習移動軌跡曲線のいずれかの曲線構成要素で、当該曲線構成要素の前記複数の基礎移動軌跡曲線の多峰性の分布に基づき前記係数値を設定する請求項14に記載の学習装置。 - コンピュータが、学習により得られた移動軌跡曲線である学習移動軌跡曲線と、観測により得られた移動軌跡曲線である観測移動軌跡曲線との間で形状の類似度を形状類似度として算出し、
前記コンピュータが、前記学習移動軌跡曲線と前記観測移動軌跡曲線とを同一の座標空間に配置した場合の前記学習移動軌跡曲線と前記観測移動軌跡曲線との間の位置の類似度を位置類似度として算出し、
前記コンピュータが、前記形状類似度と前記位置類似度とを用いて、前記学習移動軌跡曲線と前記観測移動軌跡曲線との間の適合度を算出する推論方法であって、
前記学習移動軌跡曲線は、前記学習移動軌跡曲線を構成する複数の曲線構成要素に細分され、
前記観測移動軌跡曲線は、前記学習移動軌跡曲線の前記複数の曲線構成要素に対応する複数の曲線構成要素に細分され、
前記コンピュータは、前記形状類似度の算出において、
前記学習移動軌跡曲線と前記観測移動軌跡曲線との間で相互に対応する曲線構成要素ごとに前記形状類似度を算出し、
前記コンピュータは、前記位置類似度の算出において、
前記学習移動軌跡曲線と前記観測移動軌跡曲線との間で相互に対応する曲線構成要素ごとに前記位置類似度を算出し、
前記コンピュータは、前記適合度の算出において、
前記学習移動軌跡曲線の曲線構成要素ごとに、曲線構成要素ごとの属性に基づき、重要度を設定し、
曲線構成要素ごとの前記形状類似度と前記位置類似度と前記重要度とを用いて、前記適合度を算出する推論方法。 - コンピュータが、学習により、複数の曲線構成要素に細分される移動軌跡曲線である学習移動軌跡曲線を生成し、
前記コンピュータが、前記学習移動軌跡曲線の曲線構成要素ごとに、曲線構成要素ごとの属性に基づき、係数値を設定する学習方法であって、
前記コンピュータは、前記学習移動軌跡曲線の生成において、
複数の基礎移動軌跡曲線を統合して前記学習移動軌跡曲線を生成し、
前記コンピュータは、前記係数値の設定において、
前記学習移動軌跡曲線の曲線構成要素ごとの属性である、同一の座標空間に前記学習移動軌跡曲線と前記複数の基礎移動軌跡曲線とを重畳させた場合の曲線構成要素ごとの前記複数の基礎移動軌跡曲線の分布に基づき、曲線構成要素ごとに前記係数値を設定する学習方法。 - 学習により得られた移動軌跡曲線である学習移動軌跡曲線と、観測により得られた移動軌跡曲線である観測移動軌跡曲線との間で形状の類似度を形状類似度として算出する形状類似度算出処理と、
前記学習移動軌跡曲線と前記観測移動軌跡曲線とを同一の座標空間に配置した場合の前記学習移動軌跡曲線と前記観測移動軌跡曲線との間の位置の類似度を位置類似度として算出する位置類似度算出処理と、
前記形状類似度と前記位置類似度とを用いて、前記学習移動軌跡曲線と前記観測移動軌跡曲線との間の適合度を算出する適合度算出処理とをコンピュータに実行させる推論プログラムであって、
前記学習移動軌跡曲線は、前記学習移動軌跡曲線を構成する複数の曲線構成要素に細分され、
前記観測移動軌跡曲線は、前記学習移動軌跡曲線の前記複数の曲線構成要素に対応する複数の曲線構成要素に細分され、
前記形状類似度算出処理において、前記コンピュータに、
前記学習移動軌跡曲線と前記観測移動軌跡曲線との間で相互に対応する曲線構成要素ごとに前記形状類似度を算出させ、
前記位置類似度算出処理において、前記コンピュータに、
前記学習移動軌跡曲線と前記観測移動軌跡曲線との間で相互に対応する曲線構成要素ごとに前記位置類似度を算出させ、
前記適合度算出処理において、前記コンピュータに、
前記学習移動軌跡曲線の曲線構成要素ごとに、曲線構成要素ごとの属性に基づき、重要度を設定させ、
曲線構成要素ごとの前記形状類似度と前記位置類似度と前記重要度とを用いて、前記適合度を算出させる推論プログラム。 - 学習により、複数の曲線構成要素に細分される移動軌跡曲線である学習移動軌跡曲線を生成する学習移動軌跡曲線生成処理と、
前記学習移動軌跡曲線の曲線構成要素ごとに、曲線構成要素ごとの属性に基づき、係数値を設定する係数値設定処理とをコンピュータに実行させる学習プログラムであって、
前記学習移動軌跡曲線生成処理において、前記コンピュータに、
複数の基礎移動軌跡曲線を統合して前記学習移動軌跡曲線を生成させ、
前記係数値設定処理において、前記コンピュータに、
前記学習移動軌跡曲線の曲線構成要素ごとの属性である、同一の座標空間に前記学習移動軌跡曲線と前記複数の基礎移動軌跡曲線とを重畳させた場合の曲線構成要素ごとの前記複数の基礎移動軌跡曲線の分布に基づき、曲線構成要素ごとに前記係数値を設定させる学習プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2021/015344 WO2022219724A1 (ja) | 2021-04-13 | 2021-04-13 | 推論装置、学習装置、推論方法、学習方法、推論プログラム及び学習プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2022219724A1 JPWO2022219724A1 (ja) | 2022-10-20 |
JPWO2022219724A5 JPWO2022219724A5 (ja) | 2023-05-09 |
JP7297182B2 true JP7297182B2 (ja) | 2023-06-23 |
Family
ID=83639923
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023514228A Active JP7297182B2 (ja) | 2021-04-13 | 2021-04-13 | 推論装置、学習装置、推論方法、学習方法、推論プログラム及び学習プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230410322A1 (ja) |
EP (1) | EP4318396A4 (ja) |
JP (1) | JP7297182B2 (ja) |
CN (1) | CN117099131A (ja) |
WO (1) | WO2022219724A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004118290A (ja) | 2002-09-24 | 2004-04-15 | Nippon Telegr & Teleph Corp <Ntt> | 移動軌跡データ検索用インデックス生成装置及びその方法と、移動軌跡データ検索装置及びその方法と、移動軌跡データ検索用インデックス生成プログラム及びそのプログラムを記録した記録媒体と、移動軌跡データ検索プログラム及びそのプログラムを記録した記録媒体 |
WO2011086684A1 (ja) | 2010-01-15 | 2011-07-21 | トヨタ自動車株式会社 | 車両制御装置 |
JP2016115110A (ja) | 2014-12-15 | 2016-06-23 | アイシン・エィ・ダブリュ株式会社 | 車両情報記録システム、方法およびプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019012456A1 (en) | 2017-07-14 | 2019-01-17 | Landa Corporation Ltd. | INTERMEDIATE TRANSFER ELEMENT |
-
2021
- 2021-04-13 EP EP21936926.1A patent/EP4318396A4/en active Pending
- 2021-04-13 CN CN202180096585.XA patent/CN117099131A/zh active Pending
- 2021-04-13 WO PCT/JP2021/015344 patent/WO2022219724A1/ja active Application Filing
- 2021-04-13 JP JP2023514228A patent/JP7297182B2/ja active Active
-
2023
- 2023-08-29 US US18/239,328 patent/US20230410322A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004118290A (ja) | 2002-09-24 | 2004-04-15 | Nippon Telegr & Teleph Corp <Ntt> | 移動軌跡データ検索用インデックス生成装置及びその方法と、移動軌跡データ検索装置及びその方法と、移動軌跡データ検索用インデックス生成プログラム及びそのプログラムを記録した記録媒体と、移動軌跡データ検索プログラム及びそのプログラムを記録した記録媒体 |
WO2011086684A1 (ja) | 2010-01-15 | 2011-07-21 | トヨタ自動車株式会社 | 車両制御装置 |
JP2016115110A (ja) | 2014-12-15 | 2016-06-23 | アイシン・エィ・ダブリュ株式会社 | 車両情報記録システム、方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2022219724A1 (ja) | 2022-10-20 |
EP4318396A4 (en) | 2024-05-08 |
US20230410322A1 (en) | 2023-12-21 |
WO2022219724A1 (ja) | 2022-10-20 |
CN117099131A (zh) | 2023-11-21 |
EP4318396A1 (en) | 2024-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102292028B1 (ko) | 제스처 인식 방법, 장치, 전자 기기 및 저장 매체 | |
JP5202037B2 (ja) | 特徴点位置決定方法及び装置 | |
JP4372051B2 (ja) | 手形状認識装置及びその方法 | |
JP5772821B2 (ja) | 顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラム | |
US8345988B2 (en) | Method and apparatus for recognizing 3-D objects | |
JP5336995B2 (ja) | 特徴点位置決め装置、画像認識装置、その処理方法及びプログラム | |
JP2007072620A (ja) | 画像認識装置及びその方法 | |
JPWO2020050413A1 (ja) | 認証用顔画像候補判定装置、認証用顔画像候補判定方法、プログラム、および記録媒体 | |
WO2013145496A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2006331271A (ja) | 代表画像抽出装置及び代表画像抽出プログラム | |
JP7297182B2 (ja) | 推論装置、学習装置、推論方法、学習方法、推論プログラム及び学習プログラム | |
JP6427807B2 (ja) | 物体認証装置および物体認証方法 | |
WO2018135326A1 (ja) | 画像処理装置、画像処理システム、画像処理プログラム、及び画像処理方法 | |
JP2017162230A (ja) | 情報処理装置、類似データ検索方法、及び類似データ検索プログラム | |
KR101869304B1 (ko) | 컴퓨터를 이용한 수화어 인식시스템, 방법 및 인식프로그램 | |
JP6209067B2 (ja) | 画像認識装置、及び画像認識方法 | |
JPWO2009151002A1 (ja) | パターン識別方法、装置およびプログラム | |
JP5646664B2 (ja) | 画像照合装置及び画像照合方法 | |
JP6453618B2 (ja) | 算出装置、方法及びプログラム | |
US20240020918A1 (en) | Information processing apparatus and information processing method | |
JP2014081743A (ja) | 情報処理装置及び方法、並びにパターン認識装置 | |
JP6066282B2 (ja) | 画像処理装置、画像処理プログラム及び画像処理方法 | |
JP2006277407A (ja) | 照合方法および照合装置 | |
JP2018088209A (ja) | 画像処理装置、画像処理プログラム、及び画像処理方法 | |
van Hout et al. | Late fusion and calibration for multimedia event detection using few examples |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230317 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230317 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230317 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230516 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230613 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7297182 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |