JP7297182B2 - 推論装置、学習装置、推論方法、学習方法、推論プログラム及び学習プログラム - Google Patents

推論装置、学習装置、推論方法、学習方法、推論プログラム及び学習プログラム Download PDF

Info

Publication number
JP7297182B2
JP7297182B2 JP2023514228A JP2023514228A JP7297182B2 JP 7297182 B2 JP7297182 B2 JP 7297182B2 JP 2023514228 A JP2023514228 A JP 2023514228A JP 2023514228 A JP2023514228 A JP 2023514228A JP 7297182 B2 JP7297182 B2 JP 7297182B2
Authority
JP
Japan
Prior art keywords
curve
trajectory
learned
trajectory curve
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023514228A
Other languages
English (en)
Other versions
JPWO2022219724A1 (ja
JPWO2022219724A5 (ja
Inventor
士人 新井
勝大 草野
尚吾 清水
誠司 奥村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2022219724A1 publication Critical patent/JPWO2022219724A1/ja
Publication of JPWO2022219724A5 publication Critical patent/JPWO2022219724A5/ja
Application granted granted Critical
Publication of JP7297182B2 publication Critical patent/JP7297182B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Description

本開示は、移動軌跡曲線の解析に関する。移動軌跡曲線とは、物体の移動軌跡を表す曲線である。
物体の移動を撮影機器で撮影し、撮影画像の解析により、当該物体の移動の種類を認識する画像解析技術がある。
このような画像解析技術では、撮影画像を解析して物体の移動軌跡を表す移動軌跡曲線を抽出する。そして、抽出した移動軌跡曲線を、予め用意されている複数の学習済みの移動軌跡曲線の各々と比較する。学習済みの移動軌跡曲線の各々にはラベルが設定されている。ラベルは、移動の種類を示す。比較の結果、抽出した移動軌跡曲線に最も類似する学習済みの移動軌跡曲線が選択される。そして、選択された学習済みの移動軌跡曲線のラベルに従って、当該物体の移動の種類が認識される。
特許文献1では、このような画像解析技術が応用された技術、特に工場作業者の体各部位の移動軌跡曲線から、作業者の動作内容を認識する技術が開示されている。
特願2020-528365号公報
特許文献1では、移動の種類が同一で曲線の形状が同一であったとしても移動曲線の座標値が異なる場合には誤認識するとの問題を解決するために、移動曲線の形状を比較することで、位置の違いに対し頑健な移動の種類の認識技術が開示されている。
しかし、移動軌跡曲線の形状の比較が行われるため、相互に形状が類似する学習済みの移動軌跡曲線が2つ以上存在する場合には、移動の種類を正確に認識することができないという課題がある。
本開示は、このような課題を解決することを主な目的の一つとしている。より具体的には、本開示は、位置の違いに頑健な性能を有しつつ、相互に形状が類似する学習済みの移動軌跡曲線が2つ以上存在する場合でも、正確に移動の種類を認識することができる構成を得ることを主な目的とする。
本開示に係る推論装置は、
学習により得られた移動軌跡曲線である学習移動軌跡曲線と、観測により得られた移動軌跡曲線である観測移動軌跡曲線との間で形状の類似度を形状類似度として算出する形状類似度算出部と、
前記学習移動軌跡曲線と前記観測移動軌跡曲線とを同一の座標空間に配置した場合の前記学習移動軌跡曲線と前記観測移動軌跡曲線との間の位置の類似度を位置類似度として算出する位置類似度算出部と、
前記形状類似度と前記位置類似度とを用いて、前記学習移動軌跡曲線と前記観測移動軌跡曲線との間の適合度を算出する適合度算出部とを有する。
本開示によれば、相互に形状が類似する学習済みの移動軌跡曲線が2つ以上存在する場合でも、正確に移動の種類を認識することができる。
実施の形態1に係る解析システムの構成例を示す図。 実施の形態1に係る学習装置の機能構成例を示す図。 実施の形態1に係る学習装置のハードウェア構成例を示す図。 実施の形態1に係る推論装置の機能構成例を示す図。 実施の形態1に係る推論装置のハードウェア構成例を示す図。 実施の形態1に係る推論装置の比較処理を示す図。 実施の形態1に係る移動軌跡曲線と移動速度との関係を示す図。 実施の形態1に係る学習移動軌跡曲線の生成手順を示す図。 実施の形態1に係る基礎移動軌跡曲線のばらつきの例を示す図。 実施の形態1に係る位置類似度及び形状類似度の例を示す図。 実施の形態1に係る学習装置の動作例を示すフローチャート。 実施の形態1に係る推論装置の動作例を示すフローチャート。 実施の形態1に係る統合重要度の算出例を示す図。 実施の形態1に係る適合度の算出例を示す図。 実施の形態2に係る多峰性の確率分布の例を示す図。 実施の形態3に係る分布係数値の算出例を示す図。 実施の形態4に係る推論装置の動作例を示すフローチャート。 実施の形態1に係る動作の例を示す図。 実施の形態1に係る移動軌跡曲線の例を示す図。
以下、実施の形態を図を用いて説明する。以下の実施の形態の説明及び図面において、同一の符号を付したものは、同一の部分又は相当する部分を示す。
実施の形態1.
***課題の説明***
本実施の形態では、相互に形状が類似する学習済みの移動軌跡曲線が2つ以上存在する場合でも、正確に移動の種類を認識することができる構成を説明する。
先ず、相互に形状が類似する学習済みの移動軌跡曲線が2つ以上存在する場合に、従来の画像解析技術では、正確に移動の種類を認識することができない例を説明する。
ここでは、図18に示すように、作業者800が隣り合う2つのボックスに入っている部品A又は部品Bを取る動作を例にして説明を行う。
図18の例では、作業者800の手が移動する物体に相当する。
図18の(a)は、作業者800が手を伸ばし始めてから手を伸ばしている最中の状態を示す。図18の(b)は、作業者800が部品Aを手に取っている状態を示す。図18の(c)は、作業者800が部品Bを手に取っている状態を示す。
通常は、図18の(a)の段階では、部品A又は部品Bのいずれを取る場合でも、作業者800の手の伸ばし方に大差がない。
図19は、図18で示した作業者800の手の移動軌跡を表す移動軌跡曲線を示す。
図19の(a)は、学習により得られた、2つの移動軌跡曲線を示す。図19の(a)の2つの移動軌跡曲線は学習済みの移動軌跡曲線としてラベルが設定されている。曲線Αは、作業者800が部品Αを手に取ったときの作業者800の手の移動軌跡を表す移動軌跡曲線である。つまり、曲線Αには、例えば「部品Α取得動作」といったラベルが設定されている。一方、曲線Βは、作業者800が部品Βを手に取ったときの作業者800の手の移動軌跡を表す移動軌跡曲線である。つまり、曲線Βには、例えば「部品Β取得動作」といったラベルが設定されている。
なお、図19では、説明の便宜上、y-tの2次元の座標空間における移動軌跡曲線を示す。しかしながら、実際には、x-y-tの座標空間又はx-y-z-tの座標空間に移動軌跡曲線が設定される。
以下、図19以外の図面でも、移動軌跡曲線がy-tの2次元の座標空間に配置される例を示すが、実際には、x-y-tの座標空間又はx-y-z-tの座標空間に移動軌跡曲線が設定されるものとする。
なお、上記のx、y及びzは、図18のx軸、y軸及びz軸を表す。また、tは時刻を表す。
図19の(b)は、観測により得られた移動軌跡曲線を示す。つまり、図19の(b)の曲線Cは、新たに作業者800が部品A又は部品Bを取る動作を行った際の画像データを解析して得られた移動軌跡曲線である。
図19の(c)は、比較処理の例を示す。
従来の画像解析技術では、移動軌跡曲線の形状のみで比較処理が行われる。このため、曲線Aと曲線Bは形状が類似しているため、曲線Cが曲線Aと曲線Bのいずれに分類されるかを正確に認識することが難しい。
このため、曲線Cに表される作業者800の動作を誤認識してしまう可能性がある。
本実施の形態では、図19のように、比較対象の移動軌跡曲線が2つ以上存在しており、それぞれの移動軌跡曲線の形状が類似している場合でも、正確に移動の種類を認識することができる構成を説明する。
***概要説明***
図1は、本実施の形態に係る解析システム1000の構成例を示す。
本実施の形態に係る解析システム1000は、学習装置100と推論装置200で構成される。
なお、以上では、学習装置100と推論装置200は異なるコンピュータで実現されることを前提としているが、学習装置100と推論装置200が同一のコンピュータで実現されてもよい。
学習装置100は、学習フェーズにおいて、複数の画像データ400を用いた学習を行い、移動の種類ごとの移動軌跡曲線を生成する。学習装置100で生成された移動軌跡曲線は、推論装置200での比較に用いられる。以下では、学習装置100により生成される移動軌跡曲線を学習移動軌跡曲線という。学習移動軌跡曲線は学習軌跡データ300に含まれる。学習軌跡データ300の詳細は後述する。
推論装置200は、推論フェーズにおいて、画像データ600を解析して移動軌跡曲線を生成する。推論装置200により生成される移動軌跡曲線は、物体の観測により生成される移動軌跡曲線であるため、観測移動軌跡曲線という。推論装置200は、学習移動軌跡曲線と観測移動軌跡曲線とを比較する。
学習装置100及び推論装置200の詳細を説明する前に、学習装置100及び推論装置200の動作原理を説明する。
本実施の形態では、推論装置200は、推論フェーズにおいて、移動軌跡曲線の形状の比較に加えて、移動軌跡曲線の位置の比較も行う。
移動軌跡曲線は、複数の曲線構成要素に細分される。曲線構成要素は、例えば、移動軌跡曲線内の各時刻に対応する点、すなわち、プロット点である。
移動軌跡曲線の形状の比較及び移動軌跡曲線の位置の比較は、曲線構成要素ごとに行われる。本実施の形態では、プロット点が曲線構成要素であるものとする。
図6は、推論装置200による位置の比較処理の例を示す。
図6の(a)は、図19の(a)と同じである。図6の(b)は、図19の(b)と同じである。
図6の(c)は、推論装置200が、曲線Aと曲線Cとの位置の比較を行う例を示す。
本実施の形態では、推論装置200は、曲線Aと曲線Cを同一の座標空間に配置した場合の曲線Aと曲線Cとの間の位置の類似度を算出して、曲線Aと曲線Cの位置の比較を行う。具体的には、推論装置200は、曲線Aのプロット点と曲線Cの対応するプロット点との間のy軸方向の距離を算出する。推論装置200は、プロット点間のy軸方向の距離の算出を全てのプロット点のペアに対して行い、算出結果を統合することで、曲線Aと曲線Cとの間の位置における類似度を算出する。
同様に、図6の(d)は、推論装置200が、曲線Bと曲線Cとの位置の比較を行っている例である。推論装置200は、曲線Bと曲線Cを同一の座標空間に配置した場合の曲線Bと曲線Cの位置を比較し、類似度を算出する。
なお、形状の比較は、図19の(c)に示す。形状の比較では、移動軌跡曲線の形状の類似度を算出する。
図19の(c)に示したように、形状の比較では、曲線Aも曲線Bも曲線Cに類似するため、曲線Cが曲線A及び曲線Bのいずれに分類されるかを判定するのが難しい。本実施の形態では、推論装置200は、位置の比較も行う。図6の(c)及び(d)に示すように、曲線Cは、位置において曲線Bよりも曲線Aに類似するため、推論装置200は、曲線Cを曲線Aに分類することができる。
本実施の形態では、推論装置200は、移動軌跡曲線の位置と形状の比較に加えて、移動軌跡曲線内の曲線構成要素ごとの属性を利用した解析を行う。また、本実施の形態では、学習装置100は、推論装置200のこのような解析に合わせて、学習フェーズで、移動軌跡曲線内の曲線構成要素ごとの属性を利用した解析を行う。
具体的には、学習装置100及び推論装置200は、曲線構成要素ごとの属性として、曲線構成要素ごとの移動速度と、曲線構成要素ごとの基礎移動軌跡曲線の分布を利用した解析を行う。ここで基礎移動軌跡曲線とは学習フェーズの入力である複数の画像データ400から生成された一連の動作を示す移動軌跡曲線の1つである。
以下にて、曲線構成要素ごとの移動速度を利用した解析と、曲線構成要素ごとの基礎移動軌跡曲線の分布を利用した解析を説明する。
先ず、曲線構成要素ごとの移動速度を利用した解析について説明する。
物体が移動する場合は、移動の開始から移動の終了までの間に移動速度が変化することが一般的である。
図18に示した作業者800が部品A又は部品Bを取る動作を例にして説明を行う。
図18の(a)の段階では、作業者800は、部品Aのボックス及び部品Bのボックスの方向に大まかに狙いをつけて手を伸ばす。このため、図18の(a)の段階では、一般的に、作業者800の手の移動速度は速い。一方で、図18の(b)又は(c)の段階では、作業者800は、部品Aのボックスの位置又は部品Bのボックスの位置に手の位置を合わせる必要がある。このため、図18の(b)又は(c)の段階では、一般的に、作業者800の手の移動速度は遅い。
図7は、図18の動作が行われる場合の移動軌跡曲線と作業者800の手の移動速度との関係を示す。
作業者800が手を伸ばし始めから伸ばしている最中の段階に相当する曲線構成要素(プロット点)では重要でない動作が行われているため、手の移動速度が速い。一方、作業者800が部品を取る段階に相当する曲線構成要素(プロット点)では、部品の位置に手の位置を調整するという重要な動作が行われるため、手の移動速度が遅くなる。
本実施の形態では、学習装置100及び推論装置200は、移動速度が遅い曲線構成要素では重要な動作が行われているとの推測のもと、移動速度が遅い曲線構成要素を重要な曲線構成要素であると評価する。具体的には、学習装置100は、移動速度が遅い曲線構成要素ほど高い速度係数値cdを設定する。また、推論装置200は、移動速度が遅い曲線構成要素ほど高い速度重要度ceを設定する。推論装置200は、各曲線構成要素に対する速度重要度ceをつなげ、速度重要曲線を生成する。
速度係数値cd及び速度重要度ceの詳細は後述する。
次に、曲線構成要素ごとの基礎移動軌跡曲線の分布を利用した解析を説明する。
本実施の形態では、学習装置100は、図8の(a)に示すように、同種の動作を複数回撮影した複数の画像データ400を学習して複数の基礎移動軌跡曲線を生成する。例えば、図18の作業者800が部品Aを取る動作を複数回行う。学習装置100は、各回の部品Aを取る動作を撮影して得られた複数の画像データ400を学習する。そして、学習装置100は、複数の画像データ400に対応する複数の基礎移動軌跡曲線を生成する。更に、学習装置100は、図8の(b)及び(c)に示すように、複数の基礎移動軌跡曲線を統合して、最終的な学習移動軌跡曲線を生成する。
図8に示す手順の詳細は後述する。
前述したように、作業者800が手を伸ばし始めから伸ばしている最中の段階に相当する曲線構成要素では重要でない動作が行われている。つまり、作業者800が手を伸ばし始めから伸ばしている最中では、作業者800は無造作に手を伸ばしているので、図9に示すように、複数の基礎移動軌跡曲線の分布にばらつきが大きい。一方、作業者800が部品を取る段階に相当する曲線構成要素では、部品の位置に手の位置を調整するという重要な動作が行われる。このため、作業者800が部品を取る段階では、図9に示すように、複数の基礎移動軌跡曲線の分布にばらつきが小さい。
この点に着目して、学習装置100は、複数の基礎移動軌跡曲線を時間に関して正規化した移動軌跡曲線の確率分布pを求める。そして、学習装置100は、確率分布pから得られる尤度に応じて分布係数値pdを設定する。学習装置100は、尤度が高い曲線構成要素ほど高い分布係数値pdを設定する。図9に示すように、ばらつきが大きい曲線構成要素では尤度が低いため、学習装置100は低い分布係数値pdを設定する。一方で、ばらつきが小さい曲線構成要素では尤度が高いため、学習装置100は高い分布係数値pdを設定する。学習装置100は、各曲線構成要素に対する分布係数値pdをつなげ、分布係数曲線を生成する。
なお、ここでは、確率分布pの形状は、どのようなものでもよい。つまり、確率分布pの形状は、正規分布であってもよいし、ノンパラメトリック(数理モデルではないもの)であってもよい。また、確率分布pは分布形状をとらず単一の数値であっても構わない。
分布係数値pd及び分布重要度peの詳細は後述する。
***構成の説明***
以上の説明をもとに、学習装置100及び推論装置200の構成の詳細を説明する。
図2は、本実施の形態に係る学習装置100の機能構成例を示す。
また、図3は、学習装置100のハードウェア構成例を示す。
先ず、図3を参照して、学習装置100のハードウェア構成例を説明する。
本実施の形態に係る学習装置100は、コンピュータである。学習装置100の動作手順は、学習方法に相当する。また、学習装置100の動作を実現するプログラムは、学習プログラムに相当する。
学習装置100は、ハードウェアとして、プロセッサ911、主記憶装置912、補助記憶装置913及び通信装置914を備える。
また、学習装置100は、図2に示すように、機能構成として、学習移動軌跡曲線生成部101及び係数値設定部102を備える。
補助記憶装置913には、学習移動軌跡曲線生成部101及び係数値設定部102の機能を実現するプログラムが記憶されている。
これらプログラムは、補助記憶装置913から主記憶装置912にロードされる。そして、プロセッサ911がこれらプログラムを実行して、後述する学習移動軌跡曲線生成部101及び係数値設定部102の動作を行う。
図3では、プロセッサ911が学習移動軌跡曲線生成部101及び係数値設定部102の機能を実現するプログラムを実行している状態を模式的に表している。
次に、図2を参照して、学習装置100の機能構成例を説明する。
学習移動軌跡曲線生成部101は、学習により、学習移動軌跡曲線150を生成する。より具体的には、学習移動軌跡曲線生成部101は、複数の画像データ400を取得し、画像解析を行い、画像解析の結果に基づき、複数の基礎移動軌跡曲線140を生成する。そして、学習移動軌跡曲線生成部101は、図8を用いて説明したように、生成した複数の基礎移動軌跡曲線140を統合して、学習移動軌跡曲線150を生成する。
画像データ400は、例えば、図18に示す作業者800が部品Aを手にする動作を撮影した画像データである。また、画像データ400は、例えば、図18に示す作業者800が部品Bを手にする動作を撮影した画像データである。
学習移動軌跡曲線150は、物体の移動の移動軌跡が表される移動軌跡曲線である。学習移動軌跡曲線150は、複数の曲線構成要素(プロット点)に細分される。
また、学習移動軌跡曲線生成部101は、例えば、学習装置100のユーザからラベル情報500を取得する。ラベル情報500は、基礎移動軌跡曲線140及び学習移動軌跡曲線150を分類するラベルである。例えば、画像データ400が図18に示す作業者800が部品Aを手にする一連の動作を撮影した複数の画像データである場合は、ラベル情報500は「部品A取得動作」を示すラベルとなる。同様に、画像データ400が図18に示す作業者800が部品Bを手にする動作を撮影した複数の画像データである場合は、ラベル情報500は「部品B取得動作」を示すラベルとなる。
学習移動軌跡曲線生成部101により行われる処理は、学習移動軌跡曲線生成処理に相当する。
係数値設定部102は、学習移動軌跡曲線150の曲線構成要素(プロット点)ごとに、属性に基づき、係数値を設定する。
係数値設定部102は、速度係数値設定部1021、分布係数値設定部1022及び学習軌跡データ生成部1023で構成される。
係数値設定部102により行われる処理は、係数値設定処理に相当する。
速度係数値設定部1021は、学習移動軌跡曲線150の曲線構成要素ごとの属性である、曲線構成要素ごとの物体の移動速度に基づき、曲線構成要素ごとに係数値を設定する。速度係数値設定部1021が設定する係数値は速度係数値cdである。
速度係数値設定部1021は、物体の移動速度が遅い曲線構成要素ほど高い速度係数値cdを設定する。
分布係数値設定部1022は、学習移動軌跡曲線150の曲線構成要素ごとの属性である、同一の座標空間に学習移動軌跡曲線150と複数の基礎移動軌跡曲線140とを重畳させた場合の曲線構成要素ごとの複数の基礎移動軌跡曲線140の確率分布pに基づき、曲線構成要素ごとに係数値を設定する。分布係数値設定部1022が設定する係数値は分布係数値pdである。
分布係数値設定部1022は、複数の基礎移動軌跡曲線140の確率分布pから得られる尤度が高い曲線構成要素ほど高い分布係数値pdを設定する。
学習軌跡データ生成部1023は、学習軌跡データ300を生成する。
具体的には、学習軌跡データ生成部1023は、学習移動軌跡曲線150と、ラベル情報500に示されるラベル160と、速度係数値170(速度係数値cd)と、分布係数値180(分布係数値pd)とを含む学習軌跡データ300を生成する。
学習軌跡データ生成部1023は、移動の種類ごとに学習軌跡データ300を生成する。具体的には例えば、学習軌跡データ生成部1023は、「部品A取得動作」についての学習軌跡データ300と「部品B取得動作」についての学習軌跡データ300とをそれぞれ生成する。
各学習軌跡データ300は、例えば、通信装置914により推論装置200に送信される。
図4は、本実施の形態に係る推論装置200の機能構成例を示す。
また、図5は、推論装置200のハードウェア構成例を示す。
先ず、図5を参照して、推論装置200のハードウェア構成例を説明する。
本実施の形態に係る推論装置200は、コンピュータである。推論装置200の動作手順は、推論方法に相当する。また、推論装置200の動作を実現するプログラムは、推論プログラムに相当する。
推論装置200は、ハードウェアとして、プロセッサ921、主記憶装置922、補助記憶装置923及び通信装置924を備える。
また、推論装置200は、図4に示すように、機能構成として、観測移動軌跡曲線生成部201、類似度算出部202及び適合度算出部203を備える。
補助記憶装置923には、観測移動軌跡曲線生成部201、類似度算出部202及び適合度算出部203の機能を実現するプログラムが記憶されている。
これらプログラムは、補助記憶装置923から主記憶装置922にロードされる。そして、プロセッサ921がこれらプログラムを実行して、後述する観測移動軌跡曲線生成部201、類似度算出部202及び適合度算出部203の動作を行う。
図5では、プロセッサ921が観測移動軌跡曲線生成部201、類似度算出部202及び適合度算出部203の機能を実現するプログラムを実行している状態を模式的に表している。
次に、図4を参照して、推論装置200の機能構成例を説明する。
観測移動軌跡曲線生成部201は、複数の画像データ600を取得し、画像データ600を画像解析し、画像解析の結果に基づき、観測移動軌跡曲線250を生成する。
複数の画像データ600は、例えば、図18に示す作業者800が部品Aを取得する動作を撮影した一連の画像データである。観測移動軌跡曲線250は、物体の移動の移動軌跡が表される移動軌跡曲線である。観測移動軌跡曲線250は、学習移動軌跡曲線150の複数の曲線構成要素(プロット点)に対応する複数の曲線構成要素(プロット点)に細分される。
類似度算出部202は、学習軌跡データ300と観測移動軌跡曲線250とを取得する。
そして、類似度算出部202は、学習移動軌跡曲線150と観測移動軌跡曲線250との間の類似度を算出する。
学習装置100が「部品A取得動作」についての学習軌跡データ300と「部品B取得動作」についての学習軌跡データ300とを生成している場合は、類似度算出部202は、「部品A取得動作」についての学習軌跡データ300と「部品B取得動作」についての学習軌跡データ300とを取得する。
そして、類似度算出部202は、「部品A取得動作」についての学習移動軌跡曲線150と観測移動軌跡曲線250との間の類似度を算出する。また同様に、類似度算出部202は、「部品B取得動作」についての学習移動軌跡曲線150と観測移動軌跡曲線250との間の類似度を算出する。
類似度算出部202は、形状類似度算出部2021と位置類似度算出部2022で構成される。
形状類似度算出部2021は、学習移動軌跡曲線150と観測移動軌跡曲線250との間の形状類似度を算出する。
形状類似度算出部2021は、学習移動軌跡曲線150と観測移動軌跡曲線250との間で相互に対応する曲線構成要素ごとに形状類似度を算出する。
形状類似度算出部2021により行われる処理は、形状類似度算出処理に相当する。
位置類似度算出部2022は、学習移動軌跡曲線150と観測移動軌跡曲線250との間の位置類似度を算出する。位置類似度は、学習移動軌跡曲線150と観測移動軌跡曲線250とを同一の座標空間に配置した場合の学習移動軌跡曲線150と観測移動軌跡曲線250との間の位置の類似度である。
位置類似度算出部2022は、学習移動軌跡曲線150と観測移動軌跡曲線250との間で相互に対応する曲線構成要素ごとに位置類似度を算出する。
位置類似度算出部2022により行われる処理は、位置類似度算出処理に相当する。
図10は、位置類似度と形状類似度の例を示す。
図10の(a)は、学習軌跡データ300の例を示す。図10の(b)は、観測移動軌跡曲線250の例を示す。
図10の(c)は、位置類似度の計算イメージを示す。図10の(d)は、図10の(c)の計算から得られる位置類似度のイメージを示す。図10の(d)中の「f」は位置類似度を表す。
図10の(e)は、形状類似度の計算イメージを示す。図10の(f)は、図10の(e)の計算から得られる形状類似度のイメージを示す。図10の(f)中の「g」は形状類似度を表す。
適合度算出部203は、類似度算出部202で算出した形状類似度と位置類似度とを用いて、学習移動軌跡曲線150と観測移動軌跡曲線250との間の適合度を算出する。
学習装置100が「部品A取得動作」についての学習軌跡データ300と「部品B取得動作」についての学習軌跡データ300とを生成している場合は、適合度算出部203は、「部品A取得動作」についての学習移動軌跡曲線150と観測移動軌跡曲線250との間の適合度を算出する。また同様に、適合度算出部203は、「部品B取得動作」についての学習移動軌跡曲線150と観測移動軌跡曲線250との間の適合度を算出する。
そして、適合度算出部203は、適合度が高い移動の種類のラベル160を出力する。
適合度算出部203により行われる処理は、適合度算出処理に相当する。
適合度算出部203は、重要度設定部2031とラベル出力部2032で構成される。
重要度設定部2031は、学習移動軌跡曲線150の曲線構成要素ごとに、曲線構成要素ごとの属性に基づき、重要度を設定する。
具体的には、学習軌跡データ300のうち、速度係数値170と分布係数値180から、それぞれ速度重要度と分布重要度を算出する。
ラベル出力部2032は、速度重要度と分布重要度を統合して統合重要度を求める。そして、ラベル出力部2032は、曲線構成要素ごとの形状類似度と位置類似度と統合重要度とを用いて、学習移動軌跡曲線150と観測移動軌跡曲線250との間の適合度を算出する。
具体的には、ラベル出力部2032は、曲線構成要素ごとに、形状類似度及び位置類似度の少なくともいずれかを、同じ曲線構成要素の統合重要度を用いて補正する。そして、ラベル出力部2032は、曲線構成要素ごとの非補正の/補正後の形状類似度及び非補正の/補正後の位置類似度とを用いて、学習移動軌跡曲線150と観測移動軌跡曲線250との間の適合度を算出する。
そして、ラベル出力部2032は、複数の学習移動軌跡曲線150の中から、最も適合度が高い学習移動軌跡曲線150を選択し、選択した学習移動軌跡曲線150に対応する学習軌跡データ300を選択し、選択した学習軌跡データ300のラベル160を出力する。
***動作の説明***
次に、本実施の形態に係る学習装置100と推論装置200の動作例を示す。
図11は、学習装置100の動作例を示す。
先ず、図11を参照して、学習装置100の動作例を説明する。
最初に、ステップS101において、学習移動軌跡曲線生成部101が複数の同種の動作を撮影した画像データ400を解析し、各動作の画像データ400から移動軌跡曲線を生成する。ステップS101で生成される移動軌跡曲線は基礎移動軌跡曲線に相当する。
例えば、学習移動軌跡曲線生成部101は、図18の作業者800が部品Aを取る動作の複数の一連の画像データ400を学習して、作業者800が部品Aを取る動作に対応する複数の基礎移動軌跡曲線を生成する。
実際には、学習移動軌跡曲線生成部101は、作業者800の体の各部位の座標について移動軌跡曲線を生成する。本明細書では、説明の簡明化のために、学習移動軌跡曲線生成部101が生成する移動軌跡曲線のうち、作業者800の手の移動軌跡曲線に限って説明を行う。また、観測移動軌跡曲線生成部201が生成する移動軌跡曲線についても、作業者800の手の移動軌跡曲線に限って説明を行う。
次に、ステップS102において、学習移動軌跡曲線生成部101は、学習装置100のユーザより入力されたラベル情報500に基づき、ステップS101で生成した複数の基礎移動軌跡曲線140に、該当するラベルを設定する。
前述の例では、学習移動軌跡曲線生成部101は、例えば、複数の基礎移動軌跡曲線140に「部品Α取得動作」というラベルを設定する。
次に、学習移動軌跡曲線生成部101は、ステップS103において、未処理の画像データ400があるか否かを判定する。
未処理の画像データ400がある場合は、処理がステップS101に戻る。一方、未処理の画像データ400がない場合は、処理がステップS104に進む。
ステップS104において、学習移動軌跡曲線生成部101は、未選択のいずれかのラベルを選択する。
次に、ステップS105において、学習移動軌跡曲線生成部101は、ステップS104で選択されたラベルと同一のラベルが設定されている基礎移動軌跡曲線140を統合して学習移動軌跡曲線150を生成する。
図8を参照して、ステップS105の詳細を説明する。
学習移動軌跡曲線生成部101は、図8の(a)に示すように、同一ラベルが設定された複数の基礎移動軌跡曲線140を同一の座標空間に配置する。
次に、学習移動軌跡曲線生成部101は、図8の(b)に示すように、複数の基礎移動軌跡曲線140を時間に関して正規化する。具体的には、学習移動軌跡曲線生成部101は、時刻合わせと時間伸縮を行う。つまり、学習移動軌跡曲線生成部101は、複数の基礎移動軌跡曲線140の始点時刻と終点時刻が一致するように各基礎移動軌跡曲線140の時間伸縮を行う。学習移動軌跡曲線生成部101は、各基礎移動軌跡曲線140の全区間を一定割合で伸縮してもよい。また、学習移動軌跡曲線生成部101は、DTW(Dynamic Time Warping)等の手法を用いて時刻ごとに最適な伸縮割合を決定してもよい。
次に、学習移動軌跡曲線生成部101は、図8の(c)に示すように、正規化後の複数の基礎移動軌跡曲線140を統合して1つの学習移動軌跡曲線を生成する。例えば、学習移動軌跡曲線生成部101は、正規化後の複数の基礎移動軌跡曲線140の平均の移動軌跡曲線を学習移動軌跡曲線150として扱う。図8の(c)の実線は、学習移動軌跡曲線150を示す。図8の(c)では、学習移動軌跡曲線150は、正規化後の基礎移動軌跡曲線140を平均した移動軌跡曲線である。また、図8の8(c)の破線は、正規化後の基礎移動軌跡曲線140のばらつきを示す。
学習移動軌跡曲線生成部101は、複数の基礎移動軌跡曲線140に設定されていたラベルを、学習移動軌跡曲線150のラベル160に設定する。
次に、図10のステップS106において、速度係数値設定部1021が曲線構成要素ごとの速度係数値cdを学習移動軌跡曲線150に設定する。
速度係数値設定部1021は、学習移動軌跡曲線150を学習移動軌跡曲線生成部101から取得し、学習移動軌跡曲線生成部101を解析して速度係数値を算出し、算出した速度係数値を学習移動軌跡曲線150に設定する。
具体的には、速度係数値設定部1021は、学習移動軌跡曲線150のプロット点ごとに、1つ前のプロット点からの距離を単位時間(プロット点間の時間)で除算して移動速度を算出する。そして、速度係数値設定部1021は、プロット点ごとの移動速度を係数化してプロット点ごとに速度係数値cdを得る。更に、速度係数値設定部1021は、各プロット点に速度係数値cdを対応付ける。
次に、ステップS107において、分布係数値設定部1022が曲線構成要素ごとの分布係数値pdを学習移動軌跡曲線150に設定する。
分布係数値設定部1022は、学習移動軌跡曲線150と複数の基礎移動軌跡曲線140を取得し、学習移動軌跡曲線150と複数の基礎移動軌跡曲線140を同一座標空間に重畳した場合の基礎移動軌跡曲線140の確率分布pを算出する。そして、分布係数値設定部1022は、学習移動軌跡曲線150のプロット点ごとに、基礎移動軌跡曲線140の確率分布pから尤度を算出し、尤度を係数化して分布係数値pdを得る。更に、分布係数値設定部1022は、各プロット点に分布係数値pdを対応付ける。
なお、ステップS106とステップS107は順序が入れ替わっても構わない。
次に、ステップS108において、学習軌跡データ生成部1023が、学習軌跡データ300を生成する。
学習軌跡データ生成部1023は、学習移動軌跡曲線150と、学習移動軌跡曲線150のラベル160と、速度係数値170(曲線構成要素ごとの速度係数値cd)と、分布係数値180(曲線構成要素ごとの分布係数値pd)とを統合して学習軌跡データ300を生成する。
学習軌跡データ生成部1023により生成された学習軌跡データ300は通信装置914により推論装置200に送信されてもよいし、他の方法により推論装置200に出力されてもよい。また、学習軌跡データ300が格納された可搬記録媒体を郵送等により送付してもよい。
最後に、ステップS109において、学習移動軌跡曲線生成部101が未選択のラベルあるか否かを判定する。未選択のラベルがある場合は、処理がステップS104に戻る。一方、未選択のラベルがない場合は、処理が終了する。
次に、図12を参照して、推論装置200の動作例を説明する。
先ず、ステップS201において、観測移動軌跡曲線生成部201は、複数の画像データ600を解析し、複数の画像データ600から移動軌跡曲線を生成する。ステップS201で生成される移動軌跡曲線は観測移動軌跡曲線250に相当する。
例えば、観測移動軌跡曲線生成部201は、図18の作業者800が部品Aを取る一連の動作を撮影した複数の画像データ600を解析して、作業者800が部品Aを取る動作に対応する観測移動軌跡曲線250を生成する。
次に、ステップS202において、類似度算出部202が、観測移動軌跡曲線250と比較する学習移動軌跡曲線150のうち、未選択の学習移動軌跡曲線150を選択する。
次に、ステップS203において、形状類似度算出部2021が、観測移動軌跡曲線250とステップS202で選択された学習移動軌跡曲線150との間の形状類似度を算出する。
形状類似度算出部2021は、例えば、観測移動軌跡曲線250と学習移動軌跡曲線150を同一座標空間に配置する。
そして、形状類似度算出部2021は、図8の(b)と同様にして、観測移動軌跡曲線250と学習移動軌跡曲線150を時間に関して正規化する。具体的には、形状類似度算出部2021は、観測移動軌跡曲線250と学習移動軌跡曲線150の時刻合わせと時間伸縮を行う。つまり、形状類似度算出部2021は、観測移動軌跡曲線250と学習移動軌跡曲線150の始点時刻と終点時刻が一致するように観測移動軌跡曲線250及び学習移動軌跡曲線150の時間伸縮を行う。
次に、形状類似度算出部2021は、時間に関して正規化を行った観測移動軌跡曲線250と学習移動軌跡曲線150に対し、今度は位置に関する正規化を行う。位置に関する正規化の方法は限定しない。例えば、曲線の始点の座標を一致させるだけでもよいし、曲線の始点と終点を一致させ、中間部分に関してはすべて同一の割合で伸縮させてもよい。曲線要素ごとに最適な伸縮割合を算出したうえで、伸縮させてもよい。
更に、形状類似度算出部2021は、時間と位置に対して正規化を施した観測移動軌跡曲線250と学習移動軌跡曲線150に関して対応するプロット点のペアごとに、y軸方向の距離の差を求める。形状類似度算出部2021は、y軸方向の距離の差の算出を全てのプロット点のペアに対して行い、観測移動軌跡曲線250と学習移動軌跡曲線150との間の曲線構成要素ごとの形状類似度を算出する。
次に、ステップS204において、位置類似度算出部2022が、観測移動軌跡曲線250とステップS202で選択された学習移動軌跡曲線150との間の位置類似度を算出する。
位置類似度算出部2022は、例えば、ステップS203と同様に、観測移動軌跡曲線250と学習移動軌跡曲線150を同一座標空間に配置し、観測移動軌跡曲線250と学習移動軌跡曲線150を時間に関して正規化する。
そして、位置類似度算出部2022は、観測移動軌跡曲線250のプロット点と学習移動軌跡曲線150の対応するプロット点との間のy軸方向の距離を算出する。推論装置200は、プロット点間のy軸方向の距離の算出を全てのプロット点のペアに対して行い、観測移動軌跡曲線250と学習移動軌跡曲線150との間の曲線構成要素ごとの位置類似度を算出する。
なお、ステップS203とステップS204は順序が入れ替わっても構わない。
次に、ステップS205において、重要度設定部2031が速度重要度ceを学習移動軌跡曲線150に設定する。
重要度設定部2031は、学習軌跡データ300に含まれる速度係数値170(速度係数値cd)をそのまま速度重要度ceとして用いてもよい。また、重要度設定部2031は、速度係数値170(速度係数値cd)に演算を行って、演算により得られた値を速度重要度ceとして用いてもよい。
ここでは、説明の簡明化のために、重要度設定部2031は、速度係数値170(速度係数値cd)をそのまま速度重要度ceとして用いるものとする。
次に、ステップ206において、重要度設定部2031が分布重要度peを学習移動軌跡曲線150に設定する。
重要度設定部2031は、学習軌跡データ300に含まれる分布係数値180(分布係数値pd)をそのまま分布重要度peとして用いてもよい。また、重要度設定部2031は、分布係数値180(分布係数値pd)に演算を行って、演算により得られた値を分布重要度peとして用いてもよい。
ここでは、説明の簡明化のために、重要度設定部2031は、分布係数値180(分布係数値pd)をそのまま分布重要度peとして用いるものとする。
なお、ステップS205とステップS206は順序が入れ替わっても構わない。
次に、ステップS207において、ラベル出力部2032が観測移動軌跡曲線250と学習移動軌跡曲線150との適合度を算出する。
ステップS207の詳細を図13及び図14を用いて説明する。
先ず、図13に示すように、ラベル出力部2032は、統合重要度wを算出する。
図13の(a)は、学習移動軌跡曲線150の確率分布pと速度重要度ceの例を示す。
ここでは、曲線構成要素の1つであるプロット点(y,t)での統合重要度wを算出する例を説明する。
確率分布pから求められるプロット点(y,t)での尤度は0.6であるとする。つまり、プロット点(y,t)での分布重要度peは0.6である。一方、プロット点(y,t)での速度重要度ceは、1であるものとする。
ラベル出力部2032は、プロット点(y,t)での分布重要度peである0.6とプロット点(y,t)での速度重要度ceである1を乗算して、プロット点(y,t)での統合重要度wを0.6と算出する。
ラベル出力部2032は、以上のようにして、全てのプロット点について統合重要度wを算出する。
ここでは、ラベル出力部2032は分布重要度peと速度重要度ceを乗算しているが、ラベル出力部2032は、他の種類の演算により統合重要度wを求めてもよい。
また、ラベル出力部2032は、統合重要度wを求めず、分布重要度pe及び速度重要度ceのいずれか一方のみを用いるようにしてもよい。
次に、ラベル出力部2032は、図14に示す式に従って適合度Pを算出する。
つまり、ラベル出力部2032は、プロット点ごとに、当該プロット点の位置類似度に当該プロット点の統合重要度wを乗算し、当該プロット点の形状類似度に1から当該プロット点の統合重要度wを減算して得られる値を乗算する。そして、2つの乗算値を和算する。ラベル出力部2032は、当該計算を全てのプロット点に行い、得られた値を総和して、学習移動軌跡曲線150と観測移動軌跡曲線250との間の適合度Pを算出する。
次に、図12のステップS208では、類似度算出部202は、観測移動軌跡曲線250との比較の対象となる複数の学習移動軌跡曲線150のうち、未選択の学習移動軌跡曲線150があるか否かを判定する。
未選択の学習移動軌跡曲線150がある場合は、処理がステップS202に戻る。
一方、全ての学習移動軌跡曲線150を選択済みの場合は、処理がステップS209に進む。
ステップS209では、複数の学習移動軌跡曲線150の中から適合度Pが最も高い学習移動軌跡曲線150のラベルを選択し、選択したラベルを出力する。
***実施の形態の効果の説明***
このように、本実施の形態によれば、推論装置200は、複数の画像データ600で表されている移動の種類を正確に認識することができる。このため、本実施の形態によれば、相互に形状が類似する学習移動軌跡曲線が2つ以上存在する場合でも、推論装置200は、移動の種類を正確に認識することができる。
なお、本実施の形態では、重要度設定部2031が分布重要度peと位置重要度ceを算出するものとした。また、ラベル出力部2032が統合重要度wを算出し、また、図14に示す式に従って適合度Pを算出することとしたが、適合度Pの算出方法は限定しない。
例えば、これに代えて、分布重要度peと位置重要度ceを算出しないようにしてもよい。また、この場合は、ラベル出力部2032は、位置重要度と形状重要度との和算のみで適合度Pを算出する。つまり、ラベル出力部2032は、図14の式からw(y,t)と(1-w(y,t))とを省略して、適合度Pを算出する。
または、位置類似度算出部2022は、観測移動軌跡曲線250の曲線構成要素(プロット点)と対応する確率分布pを直接比較し、位置類似度を算出してもよい。この場合は図14の式からw(y,t)と(1-w(y,t))とを省略してもよいし、省略しなくてもよい。
また、本実施の形態では、重要度設定部2031が速度係数値170に基づいて速度重要度ceを設定し、分布係数値180に基づいて分布重要度peを設定する例を説明した。
これに代えて、重要度設定部2031が速度係数値170に基づかずに速度重要度ceを設定し、分布係数値180に基づかずに分布重要度peを設定するようにしてもよい。
この場合は、学習軌跡データ生成部1023が、学習移動軌跡曲線150の生成に用いられた複数の基礎移動軌跡曲線140を学習軌跡データ300に含ませる。なお、この場合では、速度係数値設定部1021及び分布係数値設定部1022は不要である。また、速度係数値170及び分布係数値180は学習軌跡データ300に含まれない。そして、重要度設定部2031は、学習移動軌跡曲線150から物体の移動速度を導出して、速度係数値設定部1021の速度係数値cdの算出手順と同様の手順にて速度重要度ceを算出する。また、重要度設定部2031は、学習軌跡データ300に含まれる複数の基礎移動軌跡曲線140の確率分布pを解析し、分布係数値設定部1022の分布係数値pdの算出手順と同様の手順にて分布重要度peを算出する。
実施の形態2.
本実施の形態では、主に実施の形態1との差異を説明する。
なお、以下で説明していない事項は、実施の形態1と同様である。
本実施の形態では、基礎移動軌跡曲線140の確率分布pとして、図15の(b)に例示する多峰性の確率分布pを用いる例を説明する。
図15の(a)のように、1つの動作に2つの異なる移動軌跡が含まれ得る場合に、図15の(b)に例示する多峰性の確率分布pを用いることが有用である。
本実施の形態では、学習装置100の分布係数値設定部1022が、学習移動軌跡曲線150のいずれかの曲線構成要素(プロット点)で、当該曲線構成要素の多峰性の確率分布に基づき分布係数値pdを設定する。なお、学習移動軌跡曲線150の全ての曲線構成要素(プロット点)の確率分布が多峰性であってもよいし、一部の曲線構成要素(プロット点)の確率分布のみが多峰性であってもよい。
また、本実施の形態では、推論装置200のラベル出力部2032が、学習移動軌跡曲線150のいずれかの曲線構成要素(プロット点)で、当該曲線構成要素の多峰性の確率分布に基づき分布重要度peを設定する。
このように、本実施の形態によれば、多峰性の確率分布を用いることで、推論装置200は、複雑な移動軌跡を含む可能性がある動作も正確に認識することができる。
実施の形態3.
本実施の形態では、主に実施の形態1との差異を説明する。
なお、以下で説明していない事項は、実施の形態1と同様である。
本実施の形態では、移動軌跡曲線の形状だけでなく進行方向も解析する例を説明する。
実施の形態1では、あるプロット点で瞬間的に観測移動軌跡曲線250が学習移動曲線に接近した場合は、そのプロット点での位置の類似度が高くなるため、誤認識されやすい。
例えば、図16の(a)に示すように、プロット点(y,t)から離れている区間では、観測移動軌跡曲線251は学習移動軌跡曲線150及び他の基礎移動軌跡曲線140から大きく離れている。しかし、プロット点(y,t)では、観測移動軌跡曲線251は学習移動軌跡曲線150と交わっている。プロット点(y,t)では、観測移動軌跡曲線251を含むすべての基礎移動軌跡曲線140のばらつきが小さくなっている。このため、プロット点(y,t)では類似度が高くなる。しかし、全体的には、学習移動軌跡曲線251は、他の基礎移動軌跡曲線140と曲線形状が大きく異なっているため、プロット点(y,t)での観測移動軌跡曲線251の位置の類似度の影響を下げることが望ましい。
このため、本実施の形態では、重要度設定部2031は、プロット点(y,t)では、プロット点(y,t)の学習移動軌跡曲線150と観測移動軌跡曲線251の進行方向とに基づき、分布重要度peを補正する。
このように、本実施の形態では、重要度設定部2031が、観測移動軌跡曲線251の進行方向を分布重要度peの補正に利用することにより、部分的に学習移動軌跡曲線150と位置が一致した観測移動軌跡曲線251の位置類似度の影響を下げることができるため、誤認識されにくくなる。
重要度設定部2031は、例えば、図16の(b)に示すように、プロット点(y,t)での分布重要度peを以下にて算出する。
p(y,t)cosθ
図16の(b)の例では学習移動軌跡曲線150と観測移動軌跡曲線251のなす角が90°であるため、分布重要度peは、以下のように0となる。
p(y,t)cos90°=p(y,t)×0=0
なお、重要度設定部2031の分布重要度peの算出方法は上記に限らない。
また、観測移動軌跡曲線251の進行方向は、観測移動軌跡曲線251の接線方向の進行方向でもよいし、一定区間の平均的な進行方向でもよい。
また、分布係数値設定部1022が分布係数値pdを算出しない場合、すなわち、重要度設定部2031が、分布係数値pdに基づかずに、複数の基礎移動軌跡曲線140の確率分布pを解析して分布重要度peを算出する場合も、重要度設定部2031は、上記の分布係数値pdの算出手順と同様の手順にてプロット点(y,t)での分布重要度peを算出することができる。
このように、本実施の形態によれば、観測移動軌跡曲線の進行方向も含めて解析することで、あるプロット点で瞬間的に観測移動軌跡曲線150が学習移動曲線に接近した場合でも、推論装置200は、正確に動作を認識することができる。
実施の形態4.
本実施の形態では、主に実施の形態1との差異を説明する。
なお、以下で説明していない事項は、実施の形態1と同様である。
本実施の形態では、複数の学習移動軌跡曲線150の間の形状が類似しておらず、位置類似度を算出する必要がない場合は、推論装置200は、位置類似度を算出しない。
より具体的には、本実施の形態では、推論装置200が、観測移動軌跡曲線250との比較の対象となる2つ以上の学習移動軌跡曲線150の間の形状類似度を算出する。そして、2つ以上の学習移動軌跡曲線150の間の形状類似度が閾値以上であれば、推論装置200は、位置類似度と形状類似度を算出する。一方、2つ以上の学習移動軌跡曲線150の間の形状類似度が閾値未満であれば、推論装置200は、形状類似度のみを算出する。
図17は、本実施の形態に係る推論装置200の動作例を示す。
なお、以下では、説明の簡明のために、観測移動軌跡曲線250との比較の対象となる学習移動軌跡曲線150が2つである場合を説明する。
ステップS201において観測移動軌跡曲線250が生成された後、ステップS211において、形状類似度算出部2021が2つの学習移動軌跡曲線150の間の形状類似度を算出する。
ステップS211の形状類似度の算出手順は、実施の形態1で説明したステップS203の算出手順と同様である。ステップS203では、形状類似度算出部2021が学習移動軌跡曲線150と観測移動軌跡曲線250との間の形状類似度を算出するが、ステップS211では、形状類似度算出部2021は2つの学習移動軌跡曲線150の間の形状類似度を算出する。
2つの学習移動軌跡曲線150の間の形状類似度が閾値以上である場合(ステップS212でYES)は、図12に示すステップS202~S208が行われる。つまり、2つの学習移動軌跡曲線150の間の形状類似度が閾値以上である場合は、観測移動軌跡曲線250と学習移動軌跡曲線150との間の形状類似度に加えて位置類似度も算出される。
一方、2つの学習移動軌跡曲線150の間の形状類似度が閾値未満である場合(ステップS212でNO)は、ステップS202、S203、S205~S208が行われる。つまり、2つの学習移動軌跡曲線150の間の形状類似度が閾値未満である場合は、観測移動軌跡曲線250と学習移動軌跡曲線150との間の形状類似度は算出されるが、位置類似度は算出されない。
なお、ステップS209は、実施の形態1で示したものと同じであるため、説明を省略する。
観測移動軌跡曲線250との比較の対象となる学習移動軌跡曲線150が3以上である場合は、形状類似度算出部2021は、3つ以上の学習移動軌跡曲線150の相互間の形状類似度を算出する。
1つ以上の学習移動軌跡曲線150のペアにおいて形状類似度が閾値以上であれば、図12に示すステップS202~S208が行われる。
一方、全ての学習移動軌跡曲線150のペアにおいて形状類似度が閾値未満であれば、ステップS202、S203、S205~S208が行われる。
以上、本実施の形態では、複数の学習移動軌跡曲線150の間の形状が類似しておらず、位置類似度を算出する必要がない場合は、推論装置200は、位置類似度を算出しない。
このため、本実施の形態によれば、位置類似度を算出する必要がない場合に位置類似度を算出することによって生じる認識精度の低下を回避することができる。
なお、ステップS211の形状類似度の算出処理は、学習装置100内で実施しても構わない。具体的には、図11のステップS103の後でS211の処理を実施し、形状が類似した移動軌跡のラベルを保持しておき、推論時にステップS211の代わりに保持しておいた形状が類似した移動軌跡のラベルの情報を利用してもよい。
実施の形態5.
本実施の形態では、主に実施の形態1との差異を説明する。
なお、以下で説明していない事項は、実施の形態1と同様である。
本実施の形態では、適合度算出部203は、形状類似度と位置類似度とに追加して適合度の算出に用いることができる追加データを取得する。そして、適合度算出部203は、追加データを用いて適合度を算出する。
追加データは、形状度類似度、位置類似度及び統合重要度に追加するデータであれば、どのようなデータでもよい。例えば、適合度算出部203は、画像データ600と、基礎移動軌跡曲線140の生成に用いられた画像データ400とを、追加データとして取得してもよい。
この場合に、ラベル出力部2032は、画像データ600と画像データ400とを比較する。そして、画像データ600と画像データ400が類似している場合は、ラベル出力部2032は、統合重要度に既定の数値を加算する。一方、画像データ600と画像データ400が類似していない場合は、重要度設定部2031は、統合重要度から既定の数値を減算する。
例えば、画像データ600が電動ドライバーを移動させている動作の画像データであり、画像データ400がスパナを移動させている動作の画像データである場合は、2つの画像データは類似しない。この場合には、重要度設定部2031は、統合重要度から既定の数値を減算する。なお、画像データ600と画像データ400との類似性の判定基準は推論装置200のユーザが任意に決定することができる。
追加データは、画像データ600及び画像データ400に限らない。追加データは、物体の移動を観測したセンサデータ等であってもよいし、他の種類のデータであってもよい。
このように、本実施の形態によれば、追加データを用いることで認識精度を向上させることができる。
以上、実施の形態1~5を説明したが、これらの実施の形態のうち、2つ以上を組み合わせて実施しても構わない。
あるいは、これらの実施の形態のうち、1つを部分的に実施しても構わない。
あるいは、これらの実施の形態のうち、2つ以上を部分的に組み合わせて実施しても構わない。
また、これらの実施の形態に記載された構成及び手順を必要に応じて変更してもよい。
***ハードウェア構成の補足説明***
最後に、学習装置100及び推論装置200のハードウェア構成の補足説明を行う。
図3に示すプロセッサ911は、プロセッシングを行うIC(Integrated Circuit)である。
プロセッサ911は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)等である。
図3に示す主記憶装置912は、RAM(Random Access Memory)である。
図3に示す補助記憶装置913は、ROM(Read Only Memory)、フラッシュメモリ、HDD(Hard Disk Drive)等である。
図3に示す通信装置914は、データの通信処理を実行する電子回路である。
通信装置914は、例えば、通信チップ又はNIC(Network Interface Card)である。
また、補助記憶装置913には、OS(Operating System)も記憶されている。
そして、OSの少なくとも一部がプロセッサ911により実行される。
プロセッサ911はOSの少なくとも一部を実行しながら、学習移動軌跡曲線生成部101及び係数値設定部102の機能を実現するプログラムを実行する。
プロセッサ911がOSを実行することで、タスク管理、メモリ管理、ファイル管理、通信制御等が行われる。
また、学習移動軌跡曲線生成部101及び係数値設定部102の処理の結果を示す情報、データ、信号値及び変数値の少なくともいずれかが、主記憶装置912、補助記憶装置913、プロセッサ911内のレジスタ及びキャッシュメモリの少なくともいずれかに記憶される。
また、学習移動軌跡曲線生成部101及び係数値設定部102の機能を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVD等の可搬記録媒体に格納されていてもよい。そして、学習移動軌跡曲線生成部101及び係数値設定部102の機能を実現するプログラムが格納された可搬記録媒体を流通させてもよい。
また、学習移動軌跡曲線生成部101及び係数値設定部102の「部」を、「回路」又は「工程」又は「手順」又は「処理」又は「サーキットリー」に読み替えてもよい。
また、学習装置100は、処理回路により実現されてもよい。処理回路は、例えば、ロジックIC(Integrated Circuit)、GA(Gate Array)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)である。
この場合は、学習移動軌跡曲線生成部101及び係数値設定部102は、それぞれ処理回路の一部として実現される。
図5に示すプロセッサ921は、プロセッシングを行うICである。
プロセッサ921は、CPU、DSP等である。
図5に示す主記憶装置922は、RAMである。
図5に示す補助記憶装置923は、ROM、フラッシュメモリ、HDD等である。
図5に示す通信装置924は、データの通信処理を実行する電子回路である。
通信装置924は、例えば、通信チップ又はNICである。
また、補助記憶装置923には、OSも記憶されている。
そして、OSの少なくとも一部がプロセッサ921により実行される。
プロセッサ921はOSの少なくとも一部を実行しながら、観測移動軌跡曲線生成部201、類似度算出部202及び適合度算出部203の機能を実現するプログラムを実行する。
プロセッサ921がOSを実行することで、タスク管理、メモリ管理、ファイル管理、通信制御等が行われる。
また、観測移動軌跡曲線生成部201、類似度算出部202及び適合度算出部203の処理の結果を示す情報、データ、信号値及び変数値の少なくともいずれかが、主記憶装置922、補助記憶装置923、プロセッサ921内のレジスタ及びキャッシュメモリの少なくともいずれかに記憶される。
また、観測移動軌跡曲線生成部201、類似度算出部202及び適合度算出部203の機能を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVD等の可搬記録媒体に格納されていてもよい。そして、観測移動軌跡曲線生成部201、類似度算出部202及び適合度算出部203の機能を実現するプログラムが格納された可搬記録媒体を流通させてもよい。
また、観測移動軌跡曲線生成部201、類似度算出部202及び適合度算出部203の「部」を、「回路」又は「工程」又は「手順」又は「処理」又は「サーキットリー」に読み替えてもよい。
また、推論装置200は、処理回路により実現されてもよい。処理回路は、例えば、ロジックIC、GA、ASIC、FPGAである。
この場合は、観測移動軌跡曲線生成部201、類似度算出部202及び適合度算出部203は、それぞれ処理回路の一部として実現される。
なお、本明細書では、プロセッサと処理回路との上位概念を、「プロセッシングサーキットリー」という。
つまり、プロセッサと処理回路とは、それぞれ「プロセッシングサーキットリー」の具体例である。
100 学習装置、101 学習移動軌跡曲線生成部、102 係数値設定部、1021 速度係数値設定部、1022 分布係数値設定部、1023 学習軌跡データ生成部、140 基礎移動軌跡曲線、150 学習移動軌跡曲線、160 ラベル、170 速度係数値、180 分布係数値、200 推論装置、201 観測移動軌跡曲線生成部、202 類似度算出部、2021 形状類似度算出部、2022 位置類似度算出部、203 適合度算出部、2031 重要度設定部、2032 ラベル出力部、250 観測移動軌跡曲線、251 基礎移動軌跡曲線、300 学習軌跡データ、400 画像データ、500 ラベル情報、600 画像データ、800 作業者、911 プロセッサ、912 主記憶装置、913 補助記憶部装置、914 通信装置、921 プロセッサ、922 主記憶装置、923 補助記憶部装置、924 通信装置、1000 解析システム。

Claims (20)

  1. 学習により得られた移動軌跡曲線である学習移動軌跡曲線と、観測により得られた移動軌跡曲線である観測移動軌跡曲線との間で形状の類似度を形状類似度として算出する形状類似度算出部と、
    前記学習移動軌跡曲線と前記観測移動軌跡曲線とを同一の座標空間に配置した場合の前記学習移動軌跡曲線と前記観測移動軌跡曲線との間の位置の類似度を位置類似度として算出する位置類似度算出部と、
    前記形状類似度と前記位置類似度とを用いて、前記学習移動軌跡曲線と前記観測移動軌跡曲線との間の適合度を算出する適合度算出部とを有し、
    前記学習移動軌跡曲線は、前記学習移動軌跡曲線を構成する複数の曲線構成要素に細分され、
    前記観測移動軌跡曲線は、前記学習移動軌跡曲線の前記複数の曲線構成要素に対応する複数の曲線構成要素に細分され、
    前記形状類似度算出部は、
    前記学習移動軌跡曲線と前記観測移動軌跡曲線との間で相互に対応する曲線構成要素ごとに前記形状類似度を算出し、
    前記位置類似度算出部は、
    前記学習移動軌跡曲線と前記観測移動軌跡曲線との間で相互に対応する曲線構成要素ごとに前記位置類似度を算出し、
    前記適合度算出部は、
    前記学習移動軌跡曲線の曲線構成要素ごとに、曲線構成要素ごとの属性に基づき、重要度を設定し、
    曲線構成要素ごとの前記形状類似度と前記位置類似度と前記重要度とを用いて、前記適合度を算出する推論装置。
  2. 前記学習移動軌跡曲線は、移動する物体の移動軌跡が表される移動軌跡曲線であり、
    前記適合度算出部は、
    前記学習移動軌跡曲線の曲線構成要素ごとの属性である、曲線構成要素ごとの前記物体の移動速度に基づき、曲線構成要素ごとに前記重要度を設定する請求項に記載の推論装置。
  3. 前記適合度算出部は、
    前記物体の移動速度が遅い曲線構成要素ほど高い重要度を設定する請求項に記載の推論装置。
  4. 前記学習移動軌跡曲線は、複数の基礎移動軌跡曲線を統合して生成された移動軌跡曲線であり、
    前記適合度算出部は、
    前記学習移動軌跡曲線の曲線構成要素ごとの属性である、同一の座標空間に前記学習移動軌跡曲線と前記複数の基礎移動軌跡曲線とを重畳させた場合の曲線構成要素ごとの前記複数の基礎移動軌跡曲線の分布に基づき、曲線構成要素ごとに前記重要度を設定する請求項又はに記載の推論装置。
  5. 前記適合度算出部は、
    前記複数の基礎移動軌跡曲線の分布から得られる尤度が高い曲線構成要素ほど高い重要度を設定する請求項に記載の推論装置。
  6. 前記適合度算出部は、
    曲線構成要素ごとに、前記形状類似度及び前記位置類似度の少なくともいずれかを、同じ曲線構成要素の前記重要度を用いて補正し、
    曲線構成要素ごとに前記重要度を用いた補正を行った後に、曲線構成要素ごとの前記形状類似度と前記位置類似度とを用いて、前記学習移動軌跡曲線と前記観測移動軌跡曲線との間の適合度を算出する請求項に記載の推論装置。
  7. 前記形状類似度算出部は、
    複数の学習移動軌跡曲線の各々と前記観測移動軌跡曲線との間で前記形状類似度を算出し、
    前記位置類似度算出部は、
    前記複数の学習移動軌跡曲線の各々と前記観測移動軌跡曲線との間で前記位置類似度を算出し、
    前記適合度算出部は、
    前記複数の学習移動軌跡曲線の各々と前記観測移動軌跡曲線との間で算出された前記形状類似度と前記位置類似度とを用いて、前記複数の学習移動軌跡曲線の各々と前記観測移動軌跡曲線との間の適合度を算出し、前記適合度の算出結果に基づき、前記複数の学習移動軌跡曲線の中からいずれかの学習移動軌跡曲線を選択する請求項1に記載の推論装置。
  8. 前記適合度算出部は、
    前記学習移動軌跡曲線のいずれかの曲線構成要素で、当該曲線構成要素の前記複数の基礎移動軌跡曲線の多峰性の分布に基づき前記重要度を設定する請求項に記載の推論装置。
  9. 前記適合度算出部は、
    前記学習移動軌跡曲線のいずれかの曲線構成要素で、当該曲線構成要素の前記複数の基礎移動軌跡曲線の分布と、当該曲線構成要素の前記複数の基礎移動軌跡曲線のうちの少なくともいずれかの基礎移動軌跡曲線の進行方向とに基づき前記重要度を設定する請求項に記載の推論装置。
  10. 前記形状類似度算出部は、
    前記複数の学習移動軌跡曲線の間で前記形状類似度を算出し、
    前記位置類似度算出部は、
    前記複数の学習移動軌跡曲線の間の前記形状類似度が閾値以上である場合に、前記複数の学習移動軌跡曲線の各々と前記観測移動軌跡曲線との間で前記位置類似度を算出する請求項に記載の推論装置。
  11. 前記適合度算出部は、
    前記形状類似度と前記位置類似度とに追加して前記学習移動軌跡曲線と前記観測移動軌跡曲線との間の適合度の算出に用いることができる追加データを取得し、
    前記追加データを用いて、前記学習移動軌跡曲線と前記観測移動軌跡曲線との間の適合度を算出する請求項1に記載の推論装置。
  12. 学習により、複数の曲線構成要素に細分される移動軌跡曲線である学習移動軌跡曲線を生成する学習移動軌跡曲線生成部と、
    前記学習移動軌跡曲線の曲線構成要素ごとに、曲線構成要素ごとの属性に基づき、係数値を設定する係数値設定部とを有し、
    前記学習移動軌跡曲線生成部は、
    複数の基礎移動軌跡曲線を統合して前記学習移動軌跡曲線を生成し、
    前記係数値設定部は、
    前記学習移動軌跡曲線の曲線構成要素ごとの属性である、同一の座標空間に前記学習移動軌跡曲線と前記複数の基礎移動軌跡曲線とを重畳させた場合の曲線構成要素ごとの前記複数の基礎移動軌跡曲線の分布に基づき、曲線構成要素ごとに前記係数値を設定する学習装置。
  13. 学習移動軌跡曲線生成部は、
    移動する物体の移動軌跡が表される移動軌跡曲線を前記学習移動軌跡曲線として生成し、
    前記係数値設定部は、
    前記学習移動軌跡曲線の曲線構成要素ごとの属性である、曲線構成要素ごとの前記物体の移動速度に基づき、曲線構成要素ごとに前記係数値を設定する請求項12に記載の学習装置。
  14. 前記係数値設定部は、
    前記物体の移動速度が遅い曲線構成要素ほど高い係数値を設定する請求項13に記載の学習装置。
  15. 前記係数値設定部は、
    前記複数の基礎移動軌跡曲線の分布から得られる尤度が高い曲線構成要素ほど高い係数値を設定する請求項14に記載の学習装置。
  16. 前記係数値設定部は、
    前記学習移動軌跡曲線のいずれかの曲線構成要素で、当該曲線構成要素の前記複数の基礎移動軌跡曲線の多峰性の分布に基づき前記係数値を設定する請求項14に記載の学習装置。
  17. コンピュータが、学習により得られた移動軌跡曲線である学習移動軌跡曲線と、観測により得られた移動軌跡曲線である観測移動軌跡曲線との間で形状の類似度を形状類似度として算出し、
    前記コンピュータが、前記学習移動軌跡曲線と前記観測移動軌跡曲線とを同一の座標空間に配置した場合の前記学習移動軌跡曲線と前記観測移動軌跡曲線との間の位置の類似度を位置類似度として算出し、
    前記コンピュータが、前記形状類似度と前記位置類似度とを用いて、前記学習移動軌跡曲線と前記観測移動軌跡曲線との間の適合度を算出する推論方法であって、
    前記学習移動軌跡曲線は、前記学習移動軌跡曲線を構成する複数の曲線構成要素に細分され、
    前記観測移動軌跡曲線は、前記学習移動軌跡曲線の前記複数の曲線構成要素に対応する複数の曲線構成要素に細分され、
    前記コンピュータは、前記形状類似度の算出において、
    前記学習移動軌跡曲線と前記観測移動軌跡曲線との間で相互に対応する曲線構成要素ごとに前記形状類似度を算出し、
    前記コンピュータは、前記位置類似度の算出において、
    前記学習移動軌跡曲線と前記観測移動軌跡曲線との間で相互に対応する曲線構成要素ごとに前記位置類似度を算出し、
    前記コンピュータは、前記適合度の算出において、
    前記学習移動軌跡曲線の曲線構成要素ごとに、曲線構成要素ごとの属性に基づき、重要度を設定し、
    曲線構成要素ごとの前記形状類似度と前記位置類似度と前記重要度とを用いて、前記適合度を算出する推論方法
  18. コンピュータが、学習により、複数の曲線構成要素に細分される移動軌跡曲線である学習移動軌跡曲線を生成し、
    前記コンピュータが、前記学習移動軌跡曲線の曲線構成要素ごとに、曲線構成要素ごとの属性に基づき、係数値を設定する学習方法であって、
    前記コンピュータは、前記学習移動軌跡曲線の生成において、
    複数の基礎移動軌跡曲線を統合して前記学習移動軌跡曲線を生成し、
    前記コンピュータは、前記係数値の設定において、
    前記学習移動軌跡曲線の曲線構成要素ごとの属性である、同一の座標空間に前記学習移動軌跡曲線と前記複数の基礎移動軌跡曲線とを重畳させた場合の曲線構成要素ごとの前記複数の基礎移動軌跡曲線の分布に基づき、曲線構成要素ごとに前記係数値を設定する学習方法
  19. 学習により得られた移動軌跡曲線である学習移動軌跡曲線と、観測により得られた移動軌跡曲線である観測移動軌跡曲線との間で形状の類似度を形状類似度として算出する形状類似度算出処理と、
    前記学習移動軌跡曲線と前記観測移動軌跡曲線とを同一の座標空間に配置した場合の前記学習移動軌跡曲線と前記観測移動軌跡曲線との間の位置の類似度を位置類似度として算出する位置類似度算出処理と、
    前記形状類似度と前記位置類似度とを用いて、前記学習移動軌跡曲線と前記観測移動軌跡曲線との間の適合度を算出する適合度算出処理とをコンピュータに実行させる推論プログラムであって、
    前記学習移動軌跡曲線は、前記学習移動軌跡曲線を構成する複数の曲線構成要素に細分され、
    前記観測移動軌跡曲線は、前記学習移動軌跡曲線の前記複数の曲線構成要素に対応する複数の曲線構成要素に細分され、
    前記形状類似度算出処理において、前記コンピュータに、
    前記学習移動軌跡曲線と前記観測移動軌跡曲線との間で相互に対応する曲線構成要素ごとに前記形状類似度を算出させ、
    前記位置類似度算出処理において、前記コンピュータに、
    前記学習移動軌跡曲線と前記観測移動軌跡曲線との間で相互に対応する曲線構成要素ごとに前記位置類似度を算出させ、
    前記適合度算出処理において、前記コンピュータに、
    前記学習移動軌跡曲線の曲線構成要素ごとに、曲線構成要素ごとの属性に基づき、重要度を設定させ、
    曲線構成要素ごとの前記形状類似度と前記位置類似度と前記重要度とを用いて、前記適合度を算出させる推論プログラム
  20. 学習により、複数の曲線構成要素に細分される移動軌跡曲線である学習移動軌跡曲線を生成する学習移動軌跡曲線生成処理と、
    前記学習移動軌跡曲線の曲線構成要素ごとに、曲線構成要素ごとの属性に基づき、係数値を設定する係数値設定処理とをコンピュータに実行させる学習プログラムであって、
    前記学習移動軌跡曲線生成処理において、前記コンピュータに、
    複数の基礎移動軌跡曲線を統合して前記学習移動軌跡曲線を生成させ、
    前記係数値設定処理において、前記コンピュータに、
    前記学習移動軌跡曲線の曲線構成要素ごとの属性である、同一の座標空間に前記学習移動軌跡曲線と前記複数の基礎移動軌跡曲線とを重畳させた場合の曲線構成要素ごとの前記複数の基礎移動軌跡曲線の分布に基づき、曲線構成要素ごとに前記係数値を設定させる学習プログラム
JP2023514228A 2021-04-13 2021-04-13 推論装置、学習装置、推論方法、学習方法、推論プログラム及び学習プログラム Active JP7297182B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/015344 WO2022219724A1 (ja) 2021-04-13 2021-04-13 推論装置、学習装置、推論方法、学習方法、推論プログラム及び学習プログラム

Publications (3)

Publication Number Publication Date
JPWO2022219724A1 JPWO2022219724A1 (ja) 2022-10-20
JPWO2022219724A5 JPWO2022219724A5 (ja) 2023-05-09
JP7297182B2 true JP7297182B2 (ja) 2023-06-23

Family

ID=83639923

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023514228A Active JP7297182B2 (ja) 2021-04-13 2021-04-13 推論装置、学習装置、推論方法、学習方法、推論プログラム及び学習プログラム

Country Status (5)

Country Link
US (1) US20230410322A1 (ja)
EP (1) EP4318396A4 (ja)
JP (1) JP7297182B2 (ja)
CN (1) CN117099131A (ja)
WO (1) WO2022219724A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004118290A (ja) 2002-09-24 2004-04-15 Nippon Telegr & Teleph Corp <Ntt> 移動軌跡データ検索用インデックス生成装置及びその方法と、移動軌跡データ検索装置及びその方法と、移動軌跡データ検索用インデックス生成プログラム及びそのプログラムを記録した記録媒体と、移動軌跡データ検索プログラム及びそのプログラムを記録した記録媒体
WO2011086684A1 (ja) 2010-01-15 2011-07-21 トヨタ自動車株式会社 車両制御装置
JP2016115110A (ja) 2014-12-15 2016-06-23 アイシン・エィ・ダブリュ株式会社 車両情報記録システム、方法およびプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7203814B2 (ja) 2017-07-14 2023-01-13 ランダ コーポレイション リミテッド 中間転写部材

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004118290A (ja) 2002-09-24 2004-04-15 Nippon Telegr & Teleph Corp <Ntt> 移動軌跡データ検索用インデックス生成装置及びその方法と、移動軌跡データ検索装置及びその方法と、移動軌跡データ検索用インデックス生成プログラム及びそのプログラムを記録した記録媒体と、移動軌跡データ検索プログラム及びそのプログラムを記録した記録媒体
WO2011086684A1 (ja) 2010-01-15 2011-07-21 トヨタ自動車株式会社 車両制御装置
JP2016115110A (ja) 2014-12-15 2016-06-23 アイシン・エィ・ダブリュ株式会社 車両情報記録システム、方法およびプログラム

Also Published As

Publication number Publication date
EP4318396A4 (en) 2024-05-08
EP4318396A1 (en) 2024-02-07
CN117099131A (zh) 2023-11-21
JPWO2022219724A1 (ja) 2022-10-20
WO2022219724A1 (ja) 2022-10-20
US20230410322A1 (en) 2023-12-21

Similar Documents

Publication Publication Date Title
KR102292028B1 (ko) 제스처 인식 방법, 장치, 전자 기기 및 저장 매체
JP5202037B2 (ja) 特徴点位置決定方法及び装置
JP5772821B2 (ja) 顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラム
US8345988B2 (en) Method and apparatus for recognizing 3-D objects
JP5336995B2 (ja) 特徴点位置決め装置、画像認識装置、その処理方法及びプログラム
JP2007072620A (ja) 画像認識装置及びその方法
JPWO2010004958A1 (ja) 個人認証システム、個人認証方法
JPWO2020050413A1 (ja) 認証用顔画像候補判定装置、認証用顔画像候補判定方法、プログラム、および記録媒体
US20230252820A1 (en) Authentication method, information processing device, and non-transitory computer-readable recording medium storing authentication program
JP2006331271A (ja) 代表画像抽出装置及び代表画像抽出プログラム
JP7297182B2 (ja) 推論装置、学習装置、推論方法、学習方法、推論プログラム及び学習プログラム
JP6427807B2 (ja) 物体認証装置および物体認証方法
JP5520353B2 (ja) BoF表現生成装置及びBoF表現生成方法
JP2017162230A (ja) 情報処理装置、類似データ検索方法、及び類似データ検索プログラム
KR101869304B1 (ko) 컴퓨터를 이용한 수화어 인식시스템, 방법 및 인식프로그램
JP6209067B2 (ja) 画像認識装置、及び画像認識方法
JP5791666B2 (ja) ビジュアルキーワードの動的生成装置
JPWO2009151002A1 (ja) パターン識別方法、装置およびプログラム
JP5646664B2 (ja) 画像照合装置及び画像照合方法
JP6453618B2 (ja) 算出装置、方法及びプログラム
US20240020918A1 (en) Information processing apparatus and information processing method
JP2014081743A (ja) 情報処理装置及び方法、並びにパターン認識装置
Hahmann et al. Model interpolation for eye localization using the Discriminative Generalized Hough Transform
JP7023324B2 (ja) マルチメディア信号認識のための電子装置およびその動作方法
JP2010205043A (ja) パターン学習方法、装置、およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230317

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230317

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230613

R150 Certificate of patent or registration of utility model

Ref document number: 7297182

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150