JP7456616B2 - 学習データ生成システム、推定システム、学習データ生成方法、推定方法、プログラム - Google Patents

学習データ生成システム、推定システム、学習データ生成方法、推定方法、プログラム Download PDF

Info

Publication number
JP7456616B2
JP7456616B2 JP2020132500A JP2020132500A JP7456616B2 JP 7456616 B2 JP7456616 B2 JP 7456616B2 JP 2020132500 A JP2020132500 A JP 2020132500A JP 2020132500 A JP2020132500 A JP 2020132500A JP 7456616 B2 JP7456616 B2 JP 7456616B2
Authority
JP
Japan
Prior art keywords
moving object
information regarding
predetermined period
subject
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020132500A
Other languages
English (en)
Other versions
JP2022029257A (ja
Inventor
皓大 小村
三好 堀川
祐紀 佐藤
一歩希 猪股
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iwate Prefectural University
Original Assignee
Iwate Prefectural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iwate Prefectural University filed Critical Iwate Prefectural University
Priority to JP2020132500A priority Critical patent/JP7456616B2/ja
Publication of JP2022029257A publication Critical patent/JP2022029257A/ja
Application granted granted Critical
Publication of JP7456616B2 publication Critical patent/JP7456616B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Description

本発明は、学習データ生成システム、推定システム、学習データ生成方法、推定方法、プログラムに関する。
近年、例えば医療、介護、セキュリティ、業務・行動管理、情報提供サービス等の分野では、対象となる動体（例えば、人物、動物、機械等）の状態に関する情報に基づいて、当該動体の位置や行動を推定する技術の研究が進められている。
例えば、特許文献１に記載された技術では、家畜（動体）に装着された加速度センサが計測した加速度データと、加速度データを学習データとして用いた機械学習に基づく行動特定モデルと、に基づいて、当該家畜の行動を特定（推定）するようになっている。
また、特許文献２に記載された技術では、既知の地理的位置に存在する較正装置又は関心端末と複数の基地局との間に存在する無線リンクの品質を表す情報（受信信号強度（ＲＳＳＩ：Received Signal Strength Indicator））と、受信信号強度を学習データとして用いた機械学習に基づく位置特定モデルと、に基づいて、当該関心端末の位置を推定するようになっている。
特開２０２０－３６６２７号公報 特表２０２０－５１１６５５号公報
ところで、かかる学習データが生成される場合には、例えば学習データの生成者等によって、動体の状態に関する情報（例えば、加速度データや受信信号強度等）に対して、動体の位置又は行動に対応するラベル（正解ラベル）が付与される。ここで、動体の位置又は行動の推定精度を向上させるためには、膨大な量の動体の状態に関する情報を用いて学習データを生成することが考えられる。また、動体が或る位置に存在する場合、又は、動体が或る行動を行う場合の動体の状態に関する情報は、動体毎に異なる可能性がある。これにより、例えば学習データの生成者等は、動体の状態に関する情報を単に参照するだけでは、当該動体がどの位置に存在しているのか、或いは、当該動体がどのような行動をしているのかを把握することができない場合があることから、動体の状態に関する情報に対して適切なラベルを付与することができず、結果として、動体の位置又は行動を推定するための学習データを生成するのが困難になる虞があった。
本発明は上記課題に鑑みてなされたものであり、動体の状態に関する情報に基づいて、当該動体の位置及び行動のうち少なくとも一方を推定するための学習データを容易に生成することの可能な学習データ生成システム、学習データ生成方法、プログラム、及び、かかる学習データに基づいて、当該動体の位置及び行動のうち少なくとも一方を容易に推定することの可能な推定システム、推定方法、プログラムを提供することを目的とする。
上記課題を解決するために、第一に本発明は、撮像装置によって撮像された動体の画像を取得する第１取得手段と、計測装置によって計測された前記動体の状態に関する情報を取得する第２取得手段と、所定期間内に撮像された画像に基づいて推定された前記動体の前記所定期間内の位置及び行動のうち少なくとも一方に関する情報を取得する第３取得手段と、前記所定期間内の前記動体の状態に関する情報に対して、前記動体の前記所定期間内の位置及び行動のうち少なくとも一方に関する情報をラベルとして付与することによって、前記動体の状態に関する情報に基づいて前記動体の位置及び行動のうち少なくとも一方を推定するための学習データを生成する生成手段と、を備える学習データ生成システムを提供する（発明１）。
かかる発明（発明１）によれば、所定期間内の動体の状態に関する情報に対して、所定期間内に撮像された画像に基づいて推定された動体の所定期間内の位置及び行動のうち少なくとも一方に関する情報がラベルとして付与される。この場合、例えば学習データの生成者等は、所定期間内の動体の状態に関する情報ではなく、当該所定期間内に撮像された画像を参照又は分析等することによって、当該所定期間内の動体の位置及び行動のうち少なくとも一方を視覚的に把握することができるので、当該所定期間内の動体の状態に関する情報に対して適切なラベルを付与することが可能になる。これにより、動体の状態に関する情報に基づいて、当該動体の位置及び行動のうち少なくとも一方を推定するための学習データを容易に生成することができる。
上記発明（発明１）においては、取得した画像に基づいて、前記動体の少なくとも１つの部位を検出する検出手段を備え、前記第３取得手段は、前記所定期間内の前記動体の少なくとも１つの部位の移動態様に基づいて推定された前記動体の前記所定期間内の行動に関する情報を取得してもよい（発明２）。
かかる発明（発明２）によれば、所定期間内の動体の状態に関する情報に対して、当該所定期間内の動体の少なくとも１つの部位の移動態様に基づいて推定された当該動体の行動に関する情報をラベルとして付与することができる。
上記発明（発明１～２）においては、前記第３取得手段は、前記所定期間内の前記動体の移動態様に関する情報と、前記動体の移動態様に関する情報を学習データとして用いた機械学習に基づく学習済モデルと、に基づいて推定された前記動体の前記所定期間内の行動に関する情報を取得してもよい（発明３）。
かかる発明（発明３）によれば、学習済モデルを用いることによって、所定期間内に撮像された画像に基づいて、当該所定期間内の動体の行動を容易に推定することができる。
上記発明（発明１～３）においては、前記動体の状態に関する情報は、前記計測装置が受信した信号の受信信号強度、前記動体の加速度、前記動体の角速度及び前記動体の温度のうち少なくとも１つを含んでもよい（発明４）。
かかる発明（発明４）によれば、計測装置が受信した信号の受信信号強度、動体の加速度、動体の角速度及び動体の温度のうち少なくとも１つに基づいて、動体の位置及び行動のうち少なくとも一方を推定するための学習データを生成することができる。
第二に本発明は、計測装置によって計測された動体の状態に関する情報を取得する情報取得手段と、取得した前記動体の状態に関する情報と、上記発明（発明１～４）の何れかの学習データ生成システムによって生成された学習データを用いた機械学習に基づく学習済モデルと、に基づいて、前記動体の位置及び行動のうち少なくとも一方を推定する推定手段と、を備える推定システムを提供する（発明５）。
かかる発明（発明５）によれば、動体の状態に関する情報を用いて容易に生成された学習データに基づいて、当該動体の位置及び行動のうち少なくとも一方を容易に推定することができる。
第三に本発明は、コンピュータが、撮像装置によって撮像された動体の画像を取得するステップと、計測装置によって計測された前記動体の状態に関する情報を取得するステップと、所定期間内に撮像された画像に基づいて推定された前記動体の前記所定期間内の位置及び行動のうち少なくとも一方に関する情報を取得するステップと、前記所定期間内の前記動体の状態に関する情報に対して、前記動体の前記所定期間内の位置及び行動のうち少なくとも一方に関する情報をラベルとして付与することによって、前記動体の状態に関する情報に基づいて前記動体の位置及び行動のうち少なくとも一方を推定するための学習データを生成するステップと、の各ステップを実行する、学習データ生成方法を提供する（発明６）。
第四に本発明は、コンピュータが、計測装置によって計測された動体の状態に関する情報を取得するステップと、取得した前記動体の状態に関する情報と、上記発明（発明６）の学習データ生成方法によって生成された学習データを用いた機械学習に基づく学習済モデルと、に基づいて、前記動体の位置及び行動のうち少なくとも一方を推定するステップと、の各ステップを実行する、推定方法を提供する（発明７）。
第五に本発明は、コンピュータに、撮像装置によって撮像された動体の画像を取得する機能と、計測装置によって計測された前記動体の状態に関する情報を取得する機能と、所定期間内に撮像された画像に基づいて推定された前記動体の前記所定期間内の位置及び行動のうち少なくとも一方に関する情報を取得する機能と、前記所定期間内の前記動体の状態に関する情報に対して、前記動体の前記所定期間内の位置及び行動のうち少なくとも一方に関する情報をラベルとして付与することによって、前記動体の状態に関する情報に基づいて前記動体の位置及び行動のうち少なくとも一方を推定するための学習データを生成する機能と、を実現させるためのプログラムを提供する（発明８）。
第六に本発明は、コンピュータに、計測装置によって計測された動体の状態に関する情報を取得する機能と、取得した前記動体の状態に関する情報と、上記発明（発明８）のプログラムによって生成された学習データを用いた機械学習に基づく学習済モデルと、に基づいて、前記動体の位置及び行動のうち少なくとも一方を推定する機能と、を実現させるためのプログラムを提供する（発明９）。
本発明の学習データ生成システム、学習データ生成方法、プログラムによれば、動体の状態に関する情報に基づいて、当該動体の位置及び行動のうち少なくとも一方を推定するための学習データを容易に生成することができる。また、本発明の推定システム、推定方法、プログラムによれば、かかる学習データに基づいて、当該動体の位置及び行動のうち少なくとも一方を容易に推定することができる。
本発明の一実施形態に係る学習データ生成システム及び推定システムの基本構成を概略的に示す図である。 生成装置の構成を示すブロック図である。 学習データ生成システム及び推定システムで主要な役割を果たす機能を説明するための機能ブロック図である。 第１取得データの構成例を示す図である。 第２取得データの構成例を示す図である。 第１計測装置及び第２計測装置間の距離と、受信信号強度との関係を示す図である。 動体の少なくとも１つの部位の検出結果の一例を示す図である。 第１学習データの構成例を示す図である。 （ａ）～（ｃ）は、第２学習データの構成例を示す図であって、第２学習データを生成する場合の一例を説明する図である。 （ａ）～（ｃ）は、第２学習データの他の構成例を示す図であって、第２学習データを生成する場合の他の例を説明する図である。 推定データの構成例を示す図である。 推定データの他の構成例を示す図である。 本発明の一実施形態に係る学習データ生成システムの主要な処理の一例を示すフローチャートである。 本発明の一実施形態に係る推定システムの主要な処理の一例を示すフローチャートである。 行動データの構成例を示す図である。 （ａ）、（ｂ）は学習データ生成システム及び推定システムの各機能について、生成装置と、推定装置との間の分担例を示す図である。
以下、本発明の一実施形態について添付図面を参照して詳細に説明する。ただし、この実施形態は例示であり、本発明はこれに限定されるものではない。
（１）学習データ生成システム及び推定システムの基本構成
図１は、本発明の一実施形態に係る学習データ生成システム及び推定システムの基本構成を概略的に示す図である。図１に示すように、本実施形態に係る学習データ生成システムでは、例えば屋内等の所定空間ＳＰに動体（本実施形態では、対象者Ｔ）が存在する場合に、空間ＳＰ内の所定位置（図１の例では、空間ＳＰの中央上部）に設けられた撮像装置１０によって撮像された対象者Ｔの画像と、計測装置２０によって計測された対象者Ｔの状態に関する情報と、を生成装置３０が取得するようになっている。
また、生成装置３０は、所定期間内に撮像された画像に基づいて推定された対象者Ｔの当該所定期間内の位置及び行動のうち少なくとも一方に関する情報を取得し、当該所定期間内の対象者Ｔの状態に関する情報に対して、対象者Ｔの当該所定期間内の位置及び行動のうち少なくとも一方に関する情報をラベルとして付与することによって、対象者Ｔの状態に関する情報に基づいて対象者Ｔの位置及び行動のうち少なくとも一方を推定するための学習データを生成するようになっている。ここで、撮像装置１０及び計測装置２０の各々と、生成装置３０とは、例えばインターネットやＬＡＮ（Local Area Network）等の通信網ＮＷ（ネットワーク）に接続されている。
また、本実施形態に係る行動推定システムでは、生成装置３０は、計測装置２０によって計測された対象者Ｔの状態に関する情報を取得すると、取得した対象者Ｔの状態に関する情報と、学習データ生成システムによって生成された学習データを用いた機械学習に基づく学習済モデルと、に基づいて、対象者Ｔの位置及び行動のうち少なくとも一方を推定するようになっている。
撮像装置１０は、例えば、動画像及び／又は静止画像を撮像する撮像装置（例えば、デジタルカメラやデジタルビデオカメラ等）であってもよく、空間ＳＰ内の所定位置において空間ＳＰを撮像するように設けられている。また、撮像装置１０は、例えば、所定のフレームレート（例えば、３０ｆｐｓ（flames per second）等）で撮像処理を行って、撮像した画像を、通信網ＮＷを介して生成装置３０に送信するように構成されている。なお、撮像装置１０は、生成装置３０から所定の撮像指示信号を受信した場合に撮像処理を行ってもよい。
ここで、撮像装置１０は、全方位画像（例えば、周囲３６０°（図１の例では、水平方向の周囲３６０°）の画像）を撮像する撮像装置（例えば、全方位カメラ等）であってもよい。この場合、撮像範囲が広がることによって、対象者Ｔの行動を広範囲に亘って把握することができる。
また、撮像装置１０は、赤外線画像を撮像する撮像装置（例えば、赤外線カメラ等）であってもよい。これにより、例えば、対象者Ｔが、視界の悪い環境（例えば、夜間、暗い場所、悪天候の場所等）に存在している場合であっても、例えば学習データの生成者等は、学習データを生成する際に、撮像画像を参照することによって対象者Ｔの行動を把握することができる。
さらに、撮像装置１０は、ステレオ画像を撮像する撮像装置（例えば、ステレオカメラ等）であってもよい。ここで、ステレオ画像とは、例えば、所定の視差を有する２つの画像のセットであってもよい。
なお、本実施形態では、１つの撮像装置１０を用いて空間ＳＰを撮像する場合を一例として説明しているが、複数の撮像装置（例えば、水平方向及び／又は垂直方向に間隔をおいて設けられた２つの撮像装置等）を用いて空間ＳＰを撮像してもよい。
計測装置２０は、対象者Ｔの状態を連続的又は断続的（例えば、所定間隔（例えば３００ミリ秒や１秒等）毎）に計測する装置である。ここで、対象者Ｔの状態に関する情報とは、例えば、対象者Ｔの身体状態を表す値であってもよいし、対象者Ｔの身体状態を表す値を所定の計算式に代入することによって得られた値であってもよいし、対象者Ｔの身体状態の度合いを表す情報であってもよいし、対象者Ｔの位置に関する情報であってもよい。また、対象者Ｔの位置に関する情報は、例えば、一方の装置が送信した信号を他方の装置が受信したときの受信信号強度（ＲＳＳＩ）に関する情報を含んでもよい。さらに、受信信号強度に関する情報は、例えば、受信信号強度の値であってもよいし、受信信号強度の値を所定の計算式に代入することによって得られた値であってもよいし、受信信号強度の度合いを表す情報であってもよい。
計測装置２０は、例えば、対象者Ｔの身体状態（例えば、３軸方向の加速度（対象者Ｔの所定部位の加速度であってもよい）、３軸方向の角速度（対象者Ｔの所定部位の角速度であってもよい）、心拍数（脈拍）、血圧、体温、発汗量、歩数、歩行速度、姿勢、運動強度（例えば、心拍数÷最大心拍数）又は消費カロリー等）を計測する装置（例えば、心拍計、血圧計、体温計、発汗計、３軸加速度センサ、３軸ジャイロセンサ、モーションセンサ等）であってもよい。
また、計測装置２０は、図１に示すように、対象者Ｔが所持可能又は対象者Ｔの身体に装着可能な第１計測装置２１と、空間ＳＰ内の異なる位置にそれぞれ配置された複数（図１の例では、３つ）の第２計測装置２２であって、第１計測装置２１が空間ＳＰ内に存在する場合に第１計測装置２１と無線通信を行う複数の第２計測装置２２と、から構成されてもよい。
この場合、第１計測装置２１は、空間ＳＰ内に存在する場合に、所定の無線通信方式（例えば、無線ＬＡＮ（例えば、Ｗｉ－Ｆｉ（登録商標）））を用いて複数の第２計測装置２２と無線通信を行うことができるように構成されてもよい。また、第１計測装置２１は、複数の第２計測装置２２との間で無線通信を行うために、自身の識別情報（例えば、ＭＡＣ（Media Access Control）アドレス等）を含む無線信号（例えば、プローブ要求等）を所定間隔（例えば、数百ミリ秒間隔等）で送信するように構成されてもよい。さらに、第１計測装置２１は、例えば、対象者Ｔに装着可能なデバイス（例えば、ウェアラブルデバイス）であってもよいし、対象者Ｔが所持可能な携帯型デバイスであってもよい。さらにまた、第１計測装置２１は、例えば、携帯端末、スマートフォン、ＰＤＡ（Personal Digital Assistant）、パーソナルコンピュータ、双方向の通信機能を備えたテレビジョン受像機（いわゆる多機能型のスマートテレビも含む。）等のように、個々のユーザによって操作される通信装置であってもよい。
複数の第２計測装置２２は、空間ＳＰ内で所定の無線通信方式（例えば、無線ＬＡＮ（例えば、Ｗｉ－Ｆｉ（登録商標）））を用いて第１計測装置２１と無線通信を行うことが可能な位置に設けられてもよい。また、複数の第２計測装置２２は、例えば、空間ＳＰ内に存在する２つ以上の第１計測装置２１間の無線通信を中継する装置であってもよいし、第１計測装置２１と空間ＳＰ内に存在する他の装置（図示省略）との間の無線通信を中継する装置であってもよいし、第１計測装置２１と、通信網ＮＷを介して接続された他の装置（例えば、生成装置３０等）との間の通信を中継する装置であってもよい。また、複数の第２計測装置２２は、パケットキャプチャであってもよい。
また、第１計測装置２１と、複数の第２計測装置２２と、のうち何れか一方には、他方が送信した信号を受信したときの受信信号強度（ＲＳＳＩ）を検出するＲＳＳＩ回路が設けられていてもよい。さらに、この信号には、信号を送信した計測装置（第１計測装置２１又は第２計測装置２２）の識別情報（例えば、ＭＡＣアドレス等）が含まれていてもよく、この信号の受信信号強度がＲＳＳＩ回路によって検出されると、検出された受信信号強度と、この信号を送信した装置の識別情報と、が互いに対応付けられた状態で、この信号を受信した計測装置（第１計測装置２１又は第２計測装置２２）に設けられた記憶装置（図示省略）に記憶されてもよい。
なお、ここでは、Ｗｉ－Ｆｉ（登録商標）を用いて無線通信を行う場合を一例として説明しているが、通信方式は、この場合に限られない。例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）、ＵＷＢ、光無線通信（例えば、赤外線）等の無線通信方式が用いられてもよいし、ＵＳＢ等の有線通信方式が用いられてもよい。
計測装置２０（第１計測装置２１及び／又は複数の第２計測装置２２）は、対象者Ｔの状態を検出する毎に、検出した状態に関する情報を、通信網ＮＷを介して生成装置３０に送信するように構成されている。
なお、本実施形態では、１つの第１計測装置２１が対象者Ｔに設けられている場合を一例として説明しているが、複数の第１計測装置２１が対象者Ｔに設けられてもよい。また、本実施形態では、３つの第２計測装置２２が空間ＳＰ内に設けられている場合を一例として説明しているが、空間ＳＰ内に設けられる第２計測装置２２の数は、２つ以下であってもよいし、４つ以上であってもよい。
さらに、撮像装置１０及び計測装置２０は、生成装置３０との間で有線又は無線接続方式を用いて直接通信を行うように構成されてもよいし、所定の中継装置（図示省略）との間で有線又は無線接続方式を用いて情報の送受信を行うことによって、当該中継装置を介して生成装置３０と通信を行うように構成されてもよい。
生成装置３０は、通信網ＮＷを介して撮像装置１０及び計測装置２０の各々と通信を行い、撮像装置１０が撮像した画像と、計測装置２０が計測した対象者Ｔの状態に関する情報とを、通信網ＮＷを介して経時的に取得するように構成されている。生成装置３０は、例えば、携帯端末、スマートフォン、ＰＤＡ、パーソナルコンピュータ、双方向の通信機能を備えたテレビジョン受像機（いわゆる多機能型のスマートテレビも含む。）等のように、個々のユーザによって操作される端末装置であってもよい。
（２）生成装置の構成
図２を参照して生成装置３０の構成について説明する。図２は、生成装置３０の内部構成を示すブロック図である。図２に示すように、生成装置３０は、ＣＰＵ（Central Processing Unit）３１と、ＲＯＭ（Read Only Memory）３２と、ＲＡＭ（Random Access Memory）３３と、記憶装置３４と、表示処理部３５と、表示部３６と、入力部３７と、通信インタフェース部３８と、を備えており、各部間の制御信号又はデータ信号を伝送するためのバス３０ａが設けられている。
ＣＰＵ３１は、電源が生成装置３０に投入されると、ＲＯＭ３２又は記憶装置３４に記憶された各種のプログラムをＲＡＭ３３にロードして実行する。本実施形態では、ＣＰＵ３１は、ＲＯＭ３２又は記憶装置３４に記憶されたプログラムを読み出して実行することにより、後述する第１取得手段４１、第２取得手段４２、検出手段４３、第３取得手段４４、生成手段４５、情報取得手段４６、学習手段４７及び推定手段４８（図３に示す）の機能を実現する。
記憶装置３４は、例えば、フラッシュメモリ、ＳＳＤ（Solid State Drive）、磁気記憶装置（例えばＨＤＤ（Hard Disk Drive）、フロッピーディスク（登録商標）、磁気テープ等）、光ディスク等の不揮発性の記憶装置であってもよいし、ＲＡＭ等の揮発性の記憶装置であってもよく、ＣＰＵ３１が実行するプログラムやＣＰＵ３１が参照するデータを格納する。また、記憶装置３４には、後述する第１取得データ（図４に示す）、第２取得データ（図５に示す）、第１学習データ（図８に示す）、第２学習データ（図９及び図１０に示す）及び推定データ（図１１及び図１２に示す）が記憶されている。
表示処理部３５は、ＣＰＵ３１から与えられる表示用データを表示部３６に表示する。表示部３６は、例えば、マトリクス状に画素単位で配置された薄膜トランジスタを含むＬＣＤ（Liquid Crystal Display）モニタであり、表示用データに基づいて薄膜トランジスタを駆動することで、表示されるデータを表示画面に表示する。
生成装置３０が釦入力方式の装置である場合には、入力部３７は、ユーザの操作入力を受け入れるための方向指示釦及び決定釦等の複数の指示入力釦を含む釦群と、テンキー等の複数の指示入力釦を含む釦群とを備え、各釦の押下（操作）入力を認識してＣＰＵ３１へ出力するためのインタフェース回路を含む。
生成装置３０がタッチパネル入力方式の装置である場合には、入力部３７は、主として表示画面に指先又はペンで触れることによるタッチパネル方式の入力を受け付ける。タッチパネル入力方式は、静電容量方式等の公知の方式であってもよい。
また、生成装置３０が音声入力可能な装置である場合には、入力部３７は、音声入力用のマイクを含むように構成されてもよいし、外付けのマイクを介して入力された音声データをＣＰＵ３１へ出力するためのインタフェース回路を備えてもよい。さらに、生成装置３０が動画像及び／又は静止画像を入力可能な装置である場合には、入力部３７は、画像入力用のデジタルカメラやデジタルビデオカメラを含むように構成されてもよいし、外付けのデジタルカメラやデジタルビデオカメラで撮像された画像データを受け付けてＣＰＵ３１へ出力するためのインタフェース回路を備えてもよい。
通信インタフェース部３８は、通信網ＮＷを介して他の装置（例えば、撮像装置１０及び計測装置２０等）と通信を行うためのインタフェース回路を含む。
（３）学習データ生成システム及び推定システムにおける各機能の概要
本実施形態の学習データ生成システム及び推定システムで実現される機能について、図３を参照して説明する。図３は、本実施形態の学習データ生成システム及び推定システムで主要な役割を果たす機能を説明するための機能ブロック図である。図３の機能ブロック図では、第１取得手段４１、第２取得手段４２、第３取得手段４４及び生成手段４５が本発明の学習データ生成システムの主要な構成に対応しており、情報取得手段４６及び推定手段４８が本発明の推定システムの主要な構成に対応している。他の手段（検出手段４３及び学習手段４７）は必ずしも必須の構成ではないが、本発明をさらに好ましくするための構成要素である。
第１取得手段４１は、撮像装置１０によって撮像された対象者Ｔ（動体）の画像を取得する機能を備える。
第１取得手段４１の機能は、例えば以下のように実現される。先ず、撮像装置１０は、例えば、対象者Ｔが空間ＳＰ内に存在する場合に、所定のフレームレート（例えば、３０ｆｐｓ等）で撮像処理を行い、撮像処理を行う毎に、撮像した画像の画像データを、通信網ＮＷを介して生成装置３０に送信する。ここで、撮像装置１０によって撮像された画像の画像データは、撮像日時及び撮像装置１０の識別情報（例えば、撮像装置１０のシリアル番号やＭＡＣ（Media Access Control）アドレス等）と対応付けた状態で生成装置３０に送信されてもよい。
一方、生成装置３０のＣＰＵ３１は、撮像装置１０から送信された画像データを、通信インタフェース部３８を介して受信（取得）する毎に、受信した画像データを、当該画像の撮像日時と対応付けた状態で例えば図４に示す第１取得データに記憶する。第１取得データは、画像の撮像日時毎に、当該画像の画像データが対応付けられた状態で記述されているデータである。このようにして、第１取得手段４１は、撮像装置１０によって撮像された対象者Ｔの画像を取得することができる。
なお、ＣＰＵ３１は、撮像装置１０によって撮像された対象者Ｔ（動体）のステレオ画像を取得してもよい。この場合、対象者Ｔのステレオ画像に基づいて対象者Ｔの三次元モデルを生成することができるので、後述する検出手段４３の機能において、この三次元モデルに基づいて、対象者Ｔの少なくとも１つの部位の三次元空間上の位置（座標）をもとめることが可能になる。これにより、例えば対象者Ｔの二次元モデルを用いる場合と比較して、対象者Ｔの少なくとも１つの部位の位置をより正確に捉えることが可能になるので、対象者Ｔの画像に基づく当該対象者Ｔの行動の推定精度を向上させることができる。
また、例えば、水平方向及び／又は垂直方向に間隔をおいて設けられた２つの撮像装置が空間ＳＰ内に設けられている場合には、ＣＰＵ３１は、各撮像装置が実質的に同じタイミングで撮像した２つの画像（例えば、撮像日時が同じ２つの画像であってもよいし、撮像日時の時間差が所定範囲（例えば、数ミリ秒～数十ミリ秒等）内の２つの画像等であってもよい）を、所定の視差を有する画像のセット（つまり、ステレオ画像）として取得してもよい。
第２取得手段４２は、計測装置２０によって計測された対象者Ｔ（動体）の状態に関する情報を取得する機能を備える。
ここで、対象者Ｔ（動体）の状態に関する情報は、計測装置２０（第１計測装置２１又は複数の第２計測装置２２）が受信した信号の受信信号強度（ＲＳＳＩ）、対象者Ｔの加速度、対象者Ｔの角速度及び対象者Ｔの温度のうち少なくとも１つを含んでもよい。これにより、計測装置２０が受信した信号のＲＳＳＩ、対象者Ｔの加速度、対象者Ｔの角速度及び対象者Ｔの温度のうち少なくとも１つに基づいて、対象者Ｔの位置及び行動のうち少なくとも一方を推定するための学習データを生成することができる。
第２取得手段４２の機能は、例えば以下のように実現される。先ず、第１計測装置２１は、例えば、対象者Ｔが空間ＳＰ内に存在する場合に、対象者Ｔの状態（例えば、対象者Ｔの３軸方向又は２軸方向の加速度と、対象者Ｔの３軸方向又は２軸方向の角速度と、対象者Ｔの温度と、のうち少なくとも１つ）を連続的又は断続的（例えば、所定間隔（例えば３００ミリ秒毎や１秒等）毎）に計測する毎に、計測した状態に関する情報を、通信網ＮＷを介して生成装置３０に送信する。ここで、第１計測装置２１によって計測された対象者Ｔの状態に関する情報は、計測日時及び第１計測装置２１の識別情報（例えば、第１計測装置２１のシリアル番号やＭＡＣアドレス等）と対応付けた状態で生成装置３０に送信されてもよい。
また、第１計測装置２１は、例えば、対象者Ｔが空間ＳＰ内に存在する場合に、複数の第２計測装置２２の各々と無線通信を行い、複数の第２計測装置２２の各々から所定間隔（例えば、数百ミリ秒間隔等）で送信された無線信号（例えば、ビーコン信号等）を受信する毎に、ＲＳＳＩ回路によって検出（計測）された当該無線信号の受信信号強度（ＲＳＳＩ）の値を、第１計測装置２１に設けられた記憶装置（図示省略）に記憶する。ここで、ＲＳＳＩの値は、計測日時（例えば、第１計測装置２１が当該ＲＳＳＩの値に対応する無線信号を何れかの第２計測装置２２から受信した日時）及び当該ＲＳＳＩの値に対応する無線信号を送信した何れかの第２計測装置２２の識別情報（例えば、第２計測装置２２のシリアル番号やＭＡＣアドレス等）と対応付けられた状態で記憶されてもよい。そして、第１計測装置２１は、所定期間（例えば、３秒毎等）が経過する毎に、当該所定期間内に第１計測装置２１によって計測された対象者Ｔの状態に関する情報（つまり、当該所定期間内に第１計測装置２１が複数の第２計測装置２２から受信した全ての無線信号のＲＳＳＩ）の値を、通信網ＮＷを介して生成装置３０に送信してもよい。ここで、所定期間内に第１計測装置２１によって計測された対象者Ｔの状態に関する情報は、第１計測装置２１の識別情報（例えば、第１計測装置２１のシリアル番号やＭＡＣアドレス等）と対応付けた状態で生成装置３０に送信されてもよい。
なお、ここでは、第１計測装置２１が、複数の第２計測装置２２の各々から送信された無線信号を受信したときのＲＳＳＩの値を、対象者Ｔの状態に関する情報として生成装置３０に送信する場合を一例として説明したが、複数の第２計測装置２２の各々が、第１計測装置２１から送信された無線信号を受信したときのＲＳＳＩの値を、対象者Ｔの状態に関する情報として生成装置３０に送信してもよい。
一方、生成装置３０のＣＰＵ３１は、計測装置２０から送信された対象者Ｔの状態に関する情報を、通信インタフェース部３８を介して受信（取得）する毎に、受信した状態に関する情報を、当該情報の計測日時と対応付けた状態で例えば図５に示す第２取得データに記憶する。第２取得データは、計測日時毎に、対象者Ｔの状態に関する情報（図の例では、「計測情報」）が対応付けられた状態で記述されているデータである。このようにして、第２取得手段４２は、計測装置２０によって計測された対象者Ｔの状態（ここでは、対象者Ｔの３軸方向又は２軸方向の加速度と、対象者Ｔの３軸方向又は２軸方向の角速度と、対象者Ｔの温度と、複数の第２計測装置２２の各々から送信された無線信号のＲＳＳＩの値と、のうち少なくとも１つ）を取得することができる。
なお、生成装置３０のＣＰＵ３１は、第２取得手段４２の機能に基づいて、対象者Ｔの３軸方向又は２軸方向の加速度の平均及び／又は分散と、対象者Ｔの３軸方向又は２軸方向の角速度の平均及び／又は分散と、対象者Ｔの温度と、複数の第２計測装置２２の各々から送信された無線信号のＲＳＳＩの値と、のうち少なくとも１つを取得してもよい。
また、複数の第２計測装置２２の各々から送信された無線信号を第１計測装置２１が受信したときのＲＳＳＩに基づいて、第１計測装置２１と複数の第２計測装置２２の各々との距離、ひいては、空間ＳＰ内の第１計測装置２１の位置（つまり、対象者Ｔの位置）をもとめることができる。具体的に説明すると、第１計測装置２１と複数の第２計測装置２２の各々との距離は、例えば、以下の式（１）及び（２）を用いることによって算出することができる。
Ｐｒ＝Ｐｔ＋Ｇｒ＋Ｇｔ－Ｌ …（１）
Figure 0007456616000001
式（１）中、ＰｒはＲＳＳＩ（ｄＢｍ）を示し、Ｐｔは第２計測装置２２の送信電力（ｄＢｍ）を示し、Ｇｒは第１計測装置２１の受信アンテナの利得（ｄＢｉ）を示し、Ｇｔは第２計測装置２２の送信アンテナの利得（ｄＢｉ）を示し、Ｌは自由空間損失（ｄＢｍ）を示している。このＬは式（２）でもとめられ、式（２）中、ｄは第１計測装置２１と第２計測装置２２との距離（ｍ）を示し、ｆは無線信号の周波数（Ｈｚ）を示し、ｃは光速（＝２．９９７９２４５８×１０８）（ｍ／ｓ）を示している。式（１）及び式（２）によってもとめられる距離とＲＳＳＩの値との関係は、例えば図６に示す対数関数で表される。図６に示すように、第１計測装置２１と第２計測装置２２との距離が短いほど、ＲＳＳＩ（図の例では、受信信号強度）の値が大きいことがわかる。
検出手段４３は、取得した画像に基づいて、対象者Ｔ（動体）の少なくとも１つの部位を検出する機能を備える。
検出手段４３の機能は、例えば以下のように実現される。生成装置３０のＣＰＵ３１は、例えば、第１取得手段４１の機能に基づいて、撮像装置１０から送信された画像データを第１取得データに記憶する毎に、対象者Ｔの少なくとも１つの部位の各々の位置に対応するノードを画像内に設定するとともに、各ノードの画像内の座標を算出してもよい。ここで、各ノードの設定及び座標の算出は、例えば、深層学習による特徴点（キーポイント）検出技術（例えば、ＯｐｅｎＰｏｓｅ等）を用いて行われてもよい。また、各ノードの座標は、二次元座標であってもよいし、例えば、画像データ（ステレオ画像）によって対象者Ｔの三次元モデルが生成される場合には、三次元座標であってもよい。
なお、例えば、撮像装置１０が全方位画像を撮像する場合には、ＣＰＵ３１は、撮像装置１０が撮像した全方位画像をパノラマ画像に展開して、展開したパノラマ画像に対してノードの設定及びノードの座標の算出を行ってもよい。
また、対象者Ｔのステレオ画像が取得された場合には、ＣＰＵ３１は、所定の視差を有する画像のセットの各画像に対して事前処理（例えば、ノイズ除去等）を実行し、さらには、周知のステレオマッチング処理を実行して、対象者Ｔの三次元モデルを生成してもよい。
ＣＰＵ３１は、例えば図７に示すように、撮像装置１０が撮像した画像において、対象者Ｔの少なくとも１つの部位（図の例では、「首」、「右肩」、「左肩」、「右臀部」、「左臀部」等）の位置（図の例では、Ｘ方向の座標及びＹ方向の座標）を検出し、検出した部位の各々に対応するノード（図の例では、１４個のノード）を設定する。ここで、各ノードの座標は、各ノードが設定された画像に対応付けられた状態で第１取得データに記憶されてもよい。
第３取得手段４４は、所定期間内に撮像された画像に基づいて推定された対象者Ｔ（動体）の当該所定期間内の位置及び行動のうち少なくとも一方に関する情報を取得する機能を備える。
また、第３取得手段４４は、所定期間内の対象者Ｔ（動体）の少なくとも１つの部位の移動態様に基づいて推定された対象者Ｔの当該所定期間内の行動に関する情報を取得してもよい。これにより、所定期間内の対象者Ｔの状態に関する情報に対して、当該所定期間内の対象者Ｔの少なくとも１つの部位の移動態様に基づいて推定された対象者Ｔの行動に関する情報をラベルとして付与することができる。
さらに、第３取得手段４４は、所定期間内の対象者Ｔ（動体）の移動態様に関する情報と、対象者Ｔの移動態様に関する情報を学習データとして用いた機械学習に基づく学習済モデルと、に基づいて推定された対象者Ｔの当該所定期間内の行動に関する情報を取得してもよい。これにより、学習済モデルを用いることによって、所定期間内に撮像された画像に基づいて、当該所定期間内の対象者Ｔの行動を容易に推定することができる。
第３取得手段４４の機能は、例えば以下のように実現される。先ず、第３取得手段４４が、所定期間内の対象者Ｔ（動体）の少なくとも１つの部位の移動態様に関する情報と、対象者Ｔの少なくとも１つの部位の移動態様に関する情報を学習データとして用いた機械学習に基づく学習済モデルと、に基づいて推定された対象者Ｔの当該所定期間内の行動に関する情報を取得する場合について説明する。
生成装置３０のＣＰＵ３１は、例えば、第１取得データにアクセスして、所定の撮像日時を起点として所定期間（例えば、３秒等）が経過する毎に、当該所定期間内に撮像された全ての画像データを抽出する。ここで、抽出された全ての画像データには、検出手段４３の機能に基づいて検出された対象者Ｔの少なくとも１つの部位に対応するノードの各々の座標が対応付けられている。次に、ＣＰＵ３１は、抽出した全ての画像データから、対象者Ｔの少なくとも１つの部位（本実施形態では、「首」、「右肩」、「左肩」、「右臀部」、「左臀部」等）に対応するノードの各々の座標をさらに抽出する。これにより、所定期間内の対象者Ｔの少なくとも１つの部位の位置の時間推移に関する情報が得られる。ここで、所定期間内の対象者Ｔの少なくとも１つの部位の位置の時間推移に関する情報は、本発明の「所定期間内の動体の少なくとも１つの部位の移動態様に関する情報」の一例である。
次いで、ＣＰＵ３１は、対象者Ｔの少なくとも１つの部位に対応するノードの各々の座標（所定期間内の対象者Ｔの少なくとも１つの部位の位置の時間推移に関する情報）を、対象者Ｔの少なくとも１つの部位の移動態様に関する情報を第１学習データとして用いた機械学習に基づく学習済モデルに入力することによって、当該所定期間内の対象者Ｔの行動を撮像画像に基づいて推定してもよい。
第１学習データの一例を図８に示す。図８に示す第１学習データは、対象者Ｔが所定の行動（図の例では、「外装を外す」、「ケーブルを接続」、「本体にシールを貼る」、「バーコードを読み込む」、「組み立て」等の何れか）を行っている場合の対象者Ｔの少なくとも１つの部位（図の例では、「首」、「右肩」、「左肩」、「右臀部」、「左臀部」）の位置の所定期間内の時間推移を、当該行動（行動ラベル）に対応付けた状態で記述されているデータである。これにより、機械学習の結果として、所定の行動を行う対象者Ｔの少なくとも１つの部位の位置の所定期間内の時間推移と、当該行動との関係を示す学習済モデルが構成される。
なお、第１学習データに記述されるデータは、同一の対象者が異なる行動を行った場合のデータを含んでもよいし、異なる対象者が同一の行動を行った場合のデータを含んでもよい。
また、ＣＰＵ３１は、対象者Ｔの少なくとも１つの部位の移動態様に関する情報を第１学習データとして用いた機械学習によって、対象者Ｔの行動を撮像画像に基づいて推定するのに用いられるモデルを学習してもよい。
この場合、ＣＰＵ３１は、例えば、所定のモデル学習指示が入力部３７を用いて入力されると、図８に示す第１学習データを用いてモデルの学習を行ってもよい。ＣＰＵ３１は、例えば、時系列対応型ニューラルネットワークモデルを用いて学習してもよい。ここで、時系列対応型ニューラルネットワークとして、例えば、ＲＮＮ（Recurrent Neural Network）や、ＲＮＮの発展型であるＬＳＴＭ（Long Short-Term Memory）等を適用することができる。また、ＣＰＵ３１は、例えば、畳み込みニューラルネットワーク（ＣＮＮ）モデル、サポートベクターマシン（ＳＶＭ）モデル、全結合ニューラルネットワーク（ＦＮＮ）モデル、勾配ブースティング（ＨＧＢ）モデル、ウェーブネット（ＷＮ）モデル等の複数のモデルのうち何れかのモデルを用いて学習してもよい。
このようにして、ＣＰＵ３１は、対象者Ｔの少なくとも１つの部位に対応するノードの各々の座標（所定期間内の対象者Ｔの少なくとも１つの部位の位置の推移に関する情報）を学習済モデルに入力することによって、当該所定期間内の対象者Ｔの行動（ここでは、「外装を外す」、「ケーブルを接続」、「本体にシールを貼る」、「バーコードを読み込む」、「組み立て」等の何れか）に関する情報を取得することができる。
なお、本実施形態では、ＣＰＵ３１が、生成装置３０内に設けられたモデルを学習し、この学習済モデルを用いて、対象者Ｔの行動を撮像画像に基づいて推定する場合を一例として説明したが、この場合に限られない。例えば、対象者Ｔの行動を撮像画像に基づいて推定するのに用いられるモデルは、生成装置３０以外の他の装置に設けられてもよい。この場合、ＣＰＵ３１は、対象者Ｔの少なくとも１つの部位に対応するノードの各々の座標（所定期間内の対象者Ｔの少なくとも１つの部位の位置の推移に関する情報）を、他の装置に設けられた学習済モデルに入力し、当該学習済モデルによって推定された行動に関する情報を受信（取得）してもよい。
また、本実施形態では、ＣＰＵ３１が、学習済モデルを用いて対象者Ｔの行動を推定する場合を一例として説明したが、この場合に限られない。例えば、ＣＰＵ３１は、所定期間内に撮像された全ての画像データを抽出した場合に、抽出した全ての画像データを表示部３６に表示させてもよい。この場合、例えば学習データの生成者等は、表示部３６に表示された画像を参照又は分析することによって、所定期間内の対象者Ｔの行動を視覚的に把握することが可能になる。また、ＣＰＵ３１は、例えば学習データの生成者等が、入力部３７を用いて行動に関する情報を入力した場合に、入力された行動に関する情報を例えばＲＡＭ３３又は記憶装置３４等に記憶（取得）してもよい。
さらに、本実施形態では、対象者Ｔの複数（図の例では、５つ）の部位の各々の位置の時間推移に基づいて対象者Ｔの行動を推定する場合を一例として説明しているが、例えば、対象者Ｔの１つの部位の位置の時間推移に基づいて対象者Ｔの行動を推定してもよい。但し、それぞれの行動について特徴的な動きをする部位の数を多くするほど、行動の推定精度を向上させることができる。
次に、第３取得手段４４が、所定期間内に撮像された画像に基づいて推定された対象者Ｔ（動体）の当該所定期間内の位置に関する情報を取得する場合について説明する。
生成装置３０のＣＰＵ３１は、例えば、第１取得データにアクセスして、所定の撮像日時を起点として所定期間（例えば、３秒等）が経過する毎に、当該所定期間内に撮像された全ての画像データを抽出する。次に、ＣＰＵ３１は、上述したように、抽出した全ての画像データから、対象者Ｔの少なくとも１つの部位に対応するノードの各々の座標をさらに抽出する。次いで、ＣＰＵ３１は、対象者Ｔの少なくとも１つの部位に対応するノードの各々の座標に基づいて、所定期間内の対象者Ｔの空間ＳＰ内の位置をもとめる。ここで、ＣＰＵ３１は、例えば、対象者Ｔの少なくとも１つの部位に対応するノードの各々の座標を、画像上の座標から空間ＳＰ上の座標に変換するための所定の計算式に代入することによって、所定期間内の対象者Ｔの空間ＳＰ内の位置をもとめてもよい。
本実施形態では、ＣＰＵ３１が、所定の計算式を用いて対象者Ｔの空間ＳＰ内の位置をもとめる場合を一例として説明したが、この場合に限られない。例えば、ＣＰＵ３１は、所定期間内に撮像された全ての画像データを抽出した場合に、抽出した全ての画像データを表示部３６に表示させてもよい。この場合、例えば学習データの生成者等は、表示部３６に表示された画像を参照又は分析することによって、所定期間内の対象者Ｔの位置を視覚的に把握することが可能になる。この場合、ＣＰＵ３１は、例えば学習データの生成者等が、入力部３７を用いて対象者Ｔの位置に関する情報を入力した場合に、入力された位置に関する情報を例えばＲＡＭ３３又は記憶装置３４等に記憶（取得）してもよい。
このようにして、ＣＰＵ３１は、所定期間内の対象者Ｔの空間ＳＰ内の位置に関する情報を取得することができる。
生成手段４５は、所定期間内の対象者Ｔ（動体）の状態に関する情報に対して、対象者Ｔの当該所定期間内の位置及び行動のうち少なくとも一方に関する情報をラベルとして付与することによって、対象者Ｔの状態に関する情報に基づいて対象者Ｔの行動を推定するための学習データを生成する機能を備える。
生成手段４５の機能は、例えば以下のように実現される。生成装置３０のＣＰＵ３１は、例えば、第３取得手段４４の機能に基づいて、所定期間内に撮像された画像に基づいて推定された対象者Ｔの当該所定期間内の位置及び行動のうち少なくとも一方に関する情報を取得すると、第２取得データにアクセスして、当該所定期間内に計測された全ての計測情報（対象者Ｔの状態に関する情報）を抽出する。これにより、所定期間内の対象者Ｔの計測情報の時間推移に関する情報が得られる。
次に、ＣＰＵ３１は、例えば図９（ａ）に示す第２学習データにアクセスする。図９（ａ）に示す第２学習データは、対象者Ｔが所定の行動（本実施形態では、「外装を外す」、「ケーブルを接続」、「本体にシールを貼る」、「バーコードを読み込む」、「組み立て」等の何れか）を行っている場合の所定期間内の対象者Ｔの計測情報の時間推移（図の例では、「計測情報の推移」）を、当該行動（行動ラベル）に対応付けた状態で記述されているデータである。これにより、機械学習の結果として、所定の行動を行う対象者Ｔの所定期間内の計測情報の時間推移と、当該行動との関係を示す学習済モデルが構成される。
なお、第２学習データに記述されるデータは、同一の対象者が異なる行動を行った場合のデータを含んでもよいし、異なる対象者が同一の行動を行った場合のデータを含んでもよい。
ＣＰＵ３１は、例えば図９（ｂ）に示すように、第２取得データから抽出した所定期間内の対象者Ｔの計測情報の時間推移に関する情報（当該所定期間内に計測された全ての計測情報）を、第２学習データの「計測情報の推移」の項目に追記する。また、ＣＰＵ３１は、例えば図９（ｃ）に示すように、第３取得手段４４の機能に基づいて取得した対象者Ｔの所定期間内の行動に関する情報（図の例では、「外装を外す」）を、追加された計測情報の時間推移に関する情報に対応付けた状態で、第２学習データの「行動（行動ラベル）」の項目に追記する。
このようにして、所定期間内の対象者Ｔの状態に関する情報に対して、所定期間内に撮像された画像に基づいて推定された対象者Ｔの所定期間内の行動に関する情報がラベルとして付与される。
また、ＣＰＵ３１は、例えば図１０（ａ）に示す第２学習データにアクセスしてもよい。図１０（ａ）に示す第２学習データは、対象者Ｔが空間ＳＰ内の所定の位置（図の例では、「ｘ１，ｙ１」、「ｘ２，ｙ２」等）に存在している場合の所定期間内の対象者Ｔの計測情報の時間推移（図の例では、「受信信号強度の推移」）を、当該位置（位置ラベル）に対応付けた状態で記述されているデータである。これにより、機械学習の結果として、空間ＳＰ内の所定の位置に存在する対象者Ｔの所定期間内の受信信号強度の時間推移と、当該位置との関係を示す学習済モデルが構成される。
なお、第２学習データに記述されるデータは、同一の対象者が空間ＳＰ内の異なる位置に存在する場合のデータを含んでもよいし、異なる対象者が空間ＳＰ内の同一の位置に存在する場合のデータを含んでもよい。
ＣＰＵ３１は、例えば図１０（ｂ）に示すように、第２取得データから抽出した所定期間内の対象者Ｔの計測情報（受信信号強度）の時間推移に関する情報を、第２学習データの「受信信号強度の推移」の項目に追記する。また、ＣＰＵ３１は、例えば図１０（ｃ）に示すように、第３取得手段４４の機能に基づいて取得した対象者Ｔの所定期間内の位置に関する情報（図の例では、「ｘ１，ｙ１」）を、追加された計測情報の時間推移に関する情報に対応付けた状態で、第２学習データの「位置（位置ラベル）」の項目に追記する。
このようにして、所定期間内の対象者Ｔの状態に関する情報に対して、所定期間内に撮像された画像に基づいて推定された対象者Ｔの所定期間内の位置に関する情報がラベルとして付与される。
情報取得手段４６は、計測装置２０によって計測された対象者Ｔ（動体）の状態に関する情報を取得する機能を備える。
情報取得手段４６の機能は、例えば以下のように実現される。先ず、第１計測装置２１は、例えば、対象者Ｔが空間ＳＰ内に存在する場合に、対象者Ｔの状態（例えば、対象者Ｔの３軸方向又は２軸方向の加速度と、対象者Ｔの３軸方向又は２軸方向の角速度と、対象者Ｔの温度と、のうち少なくとも１つ）を連続的又は断続的（例えば、所定間隔（例えば３００ミリ秒毎や１秒等）毎）に計測する毎に、計測した状態に関する情報を、通信網ＮＷを介して生成装置３０に送信する。ここで、第１計測装置２１によって計測された対象者Ｔの状態に関する情報は、計測日時及び第１計測装置２１の識別情報（例えば、第１計測装置２１のシリアル番号やＭＡＣアドレス等）と対応付けた状態で生成装置３０に送信されてもよい。
また、第１計測装置２１は、例えば、対象者Ｔが空間ＳＰ内に存在する場合に、複数の第２計測装置２２の各々と無線通信を行い、複数の第２計測装置２２の各々から所定間隔（例えば、数百ミリ秒間隔等）で送信された無線信号（例えば、ビーコン信号等）を受信する毎に、ＲＳＳＩ回路によって検出（計測）された当該無線信号の受信信号強度（ＲＳＳＩ）の値を、第１計測装置２１に設けられた記憶装置（図示省略）に記憶する。ここで、ＲＳＳＩの値は、計測日時（例えば、第１計測装置２１が当該ＲＳＳＩの値に対応する無線信号を何れかの第２計測装置２２から受信した日時）及び当該ＲＳＳＩの値に対応する無線信号を送信した何れかの第２計測装置２２の識別情報（例えば、第２計測装置２２のシリアル番号やＭＡＣアドレス等）と対応付けられた状態で記憶されてもよい。そして、第１計測装置２１は、所定期間（例えば、３秒毎等）が経過する毎に、当該所定期間内に第１計測装置２１によって計測された対象者Ｔの状態に関する情報（つまり、当該所定期間内に第１計測装置２１が複数の第２計測装置２２から受信した全ての無線信号のＲＳＳＩ）の値を、通信網ＮＷを介して生成装置３０に送信してもよい。ここで、所定期間内に第１計測装置２１によって計測された対象者Ｔの状態に関する情報は、第１計測装置２１の識別情報（例えば、第１計測装置２１のシリアル番号やＭＡＣアドレス等）と対応付けた状態で生成装置３０に送信されてもよい。
一方、生成装置３０のＣＰＵ３１は、第２取得手段４２の機能と同様に、計測装置２０から送信された対象者Ｔの状態に関する情報を受信（取得）する毎に、受信した状態に関する情報を、当該情報の計測日時と対応付けた状態で例えば図５に示す第２取得データに記憶する。
学習手段４７は、取得した対象者Ｔ（動体）の状態に関する情報を学習データとして用いた機械学習によって、対象者Ｔの位置及び行動のうち少なくとも一方を推定するのに用いられるモデルを学習する機能を備える。
学習手段４７の機能は、例えば以下のように実現される。生成装置３０のＣＰＵ３１は、例えば、所定のモデル学習指示が入力部３７を用いて入力されると、図９に示す第２学習データを用いて、対象者Ｔの行動を推定するのに用いられるモデルの学習を行ってもよいし、図１０に示す第２学習データを用いて、対象者Ｔの位置を推定するのに用いられるモデルの学習を行ってもよいし、これらの各々のモデルの学習を行ってもよい。ＣＰＵ３１は、例えば、時系列対応型ニューラルネットワークモデルを用いて学習してもよい。ここで、時系列対応型ニューラルネットワークとして、例えば、ＲＮＮ（Recurrent Neural Network）や、ＲＮＮの発展型であるＬＳＴＭ（Long Short-Term Memory）等を適用することができる。また、ＣＰＵ３１は、例えば、畳み込みニューラルネットワーク（ＣＮＮ）モデル、サポートベクターマシン（ＳＶＭ）モデル、全結合ニューラルネットワーク（ＦＮＮ）モデル、勾配ブースティング（ＨＧＢ）モデル、ウェーブネット（ＷＮ）モデル等の複数のモデルのうち何れかのモデルを用いて学習してもよい。
推定手段４８は、取得した対象者Ｔ（動体）の状態に関する情報と、学習データ生成システムによって生成された学習データを用いた機械学習に基づく学習済モデルと、に基づいて、対象者Ｔの位置及び行動のうち少なくとも一方を推定する機能を備える。
推定手段４８の機能は、例えば以下のように実現される。生成装置３０のＣＰＵ３１は、例えば、第２取得データにアクセスして、所定の計測日時を起点として所定期間（例えば、３秒等）が経過する毎に、当該所定期間内に計測された全ての計測情報（対象者Ｔの状態に関する情報）を抽出する。これにより、所定期間内の対象者Ｔの計測情報の時間推移に関する情報が得られる。
次に、ＣＰＵ３１は、第２取得データから抽出した所定期間内の対象者Ｔの計測情報の時間推移に関する情報（当該所定期間内に計測された全ての計測情報）を、学習手段４７の機能に基づいて構成された学習済モデルに入力することによって、当該所定期間内の対象者Ｔの位置及び行動のうち少なくとも一方を推定してもよい。また、ＣＰＵ３１は、所定期間内の対象者Ｔの計測情報の時間推移に関する情報と、推定された当該所定期間内の対象者Ｔの行動と、を例えば図１１及び／又は図１２に示す推定データに記憶してもよい。図１１に示す推定データは、所定期間内の対象者Ｔの計測情報の時間推移毎に、当該所定期間内に対象者Ｔが行っていると推定された行動に関する情報が対応付けられた状態で記述されているデータである。また、図１２に示す推定データは、所定期間内の対象者Ｔの計測情報（受信信号強度）の時間推移毎に、当該所定期間内に対象者Ｔが存在すると推定された空間ＳＰ内の位置に関する情報が対応付けられた状態で記述されているデータである。
このようにして、ＣＰＵ３１は、所定期間内の対象者Ｔの計測情報の時間推移に関する情報を学習済モデルに入力することによって、対象者Ｔの行動（本実施形態では、「外装を外す」、「ケーブルを接続」、「本体にシールを貼る」、「バーコードを読み込む」、「組み立て」等の何れか）及び空間ＳＰ内の位置のうち少なくとも一方を推定することができる。
また、本実施形態によれば、対象者Ｔの状態に関する情報を用いて容易に生成された第２学習データに基づいて、対象者Ｔの位置及び行動のうち少なくとも一方を容易に推定することができる。
なお、ＣＰＵ３１は、推定された対象者Ｔの位置及び行動のうち少なくとも一方に関する情報を提示してもよい。例えば、ＣＰＵ３１は、対象者Ｔの位置及び行動のうち少なくとも一方を推定すると、推定された対象者Ｔの位置及び行動のうち少なくとも一方に関する情報を例えば表示部３６に表示してもよい。ここで、対象者Ｔの位置及び行動のうち少なくとも一方に関する情報は、テキストデータで構成されてもよいし、画像データ等で構成されてもよい。また、対象者Ｔの位置及び行動のうち少なくとも一方に関する情報が音声データで構成されている場合には、ＣＰＵ３１は、対象者Ｔの位置及び行動のうち少なくとも一方に関する情報を、スピーカ等の音声出力装置から出力してもよい。
また、ＣＰＵ３１は、推定された対象者Ｔの位置及び行動のうち少なくとも一方に関する情報を、通信網ＮＷを介して生成装置３０に接続された他のコンピュータ（例えば、サーバ等）に送信してもよい。
（４）本実施形態の学習データ生成システムの主要な処理のフロー
次に、本実施形態の学習データ生成システムにより行われる主要な処理のフローの一例について、図１３のフローチャートを参照して説明する。
生成装置３０のＣＰＵ３１は、撮像装置１０によって撮像された対象者Ｔ（動体）の画像を取得する（ステップＳ１００）。具体的に説明すると、先ず、撮像装置１０は、例えば、対象者Ｔが空間ＳＰ内に存在する場合に、所定のフレームレート（例えば、３０ｆｐｓ（flames per second）等）で撮像処理を行い、撮像処理を行う毎に、撮像した画像の画像データを、通信網ＮＷを介して生成装置３０に送信する。
一方、生成装置３０のＣＰＵ３１は、撮像装置１０から送信された画像データを、通信インタフェース部３８を介して受信（取得）する毎に、受信した画像データを、当該画像の撮像日時と対応付けた状態で第１取得データに記憶する。
また、生成装置３０のＣＰＵ３１は、計測装置２０によって計測された対象者Ｔ（動体）の状態に関する情報を取得する（ステップＳ１０２）。具体的に説明すると、先ず、第１計測装置２１は、例えば、対象者Ｔが空間ＳＰ内に存在する場合に、対象者Ｔの状態（例えば、対象者Ｔの３軸方向又は２軸方向の加速度と、対象者Ｔの３軸方向又は２軸方向の角速度と、対象者Ｔの温度と、のうち少なくとも１つ）を連続的又は断続的（例えば、所定間隔（例えば３００ミリ秒毎や１秒等）毎）に計測する毎に、計測した状態に関する情報を、通信網ＮＷを介して生成装置３０に送信する。
また、第１計測装置２１は、例えば、対象者Ｔが空間ＳＰ内に存在する場合に、複数の第２計測装置２２の各々と無線通信を行い、複数の第２計測装置２２の各々から所定間隔（例えば、数百ミリ秒間隔等）で送信された無線信号（例えば、ビーコン信号等）を受信する毎に、ＲＳＳＩ回路によって検出（計測）された当該無線信号の受信信号強度（ＲＳＳＩ）の値を、第１計測装置２１に設けられた記憶装置（図示省略）に記憶する。そして、第１計測装置２１は、所定期間（例えば、３秒毎等）が経過する毎に、当該所定期間内に第１計測装置２１によって計測された対象者Ｔの状態に関する情報（つまり、当該所定期間内に第１計測装置２１が複数の第２計測装置２２から受信した全ての無線信号のＲＳＳＩ）の値を、通信網ＮＷを介して生成装置３０に送信してもよい。
一方、生成装置３０のＣＰＵ３１は、計測装置２０から送信された対象者Ｔの状態に関する情報を、通信インタフェース部３８を介して受信（取得）する毎に、受信した状態に関する情報を、当該情報の計測日時と対応付けた状態で例えば図５に示す第２取得データに記憶する。
なお、生成装置３０のＣＰＵ３１は、ステップＳ１００において取得した画像に基づいて、対象者Ｔ（動体）の少なくとも１つの部位を検出してもよい。具体的に説明すると、ＣＰＵ３１は、ステップＳ１００において撮像装置１０から送信された画像データを第１取得データに記憶する毎に、画像データにおいて、対象者Ｔの少なくとも１つの部位の各々の位置に対応するノードを設定するとともに、各ノードの座標を算出してもよい。ここで、各ノードの設定及び座標の算出は、例えば、深層学習による特徴点（キーポイント）検出技術（例えば、ＯｐｅｎＰｏｓｅ等）を用いて行われてもよい。
次に、生成装置３０のＣＰＵ３１は、所定期間内に撮像された画像に基づいて推定された対象者Ｔ（動体）の当該所定期間内の位置及び行動のうち少なくとも一方に関する情報を取得する（ステップＳ１０４）。具体的に説明すると、ＣＰＵ３１は、例えば、第１取得データにアクセスして、所定の撮像日時を起点として所定期間（例えば、３秒等）が経過する毎に、当該所定期間内に撮像された全ての画像データを抽出する。次いで、ＣＰＵ３１は、対象者Ｔの少なくとも１つの部位に対応するノードの各々の座標（所定期間内の対象者Ｔの少なくとも１つの部位の位置の時間推移に関する情報）を、対象者Ｔの少なくとも１つの部位の移動態様に関する情報を第１学習データとして用いた機械学習に基づく学習済モデルに入力することによって、当該所定期間内の対象者Ｔの行動を撮像画像に基づいて推定してもよい。
また、ＣＰＵ３１は、対象者Ｔの少なくとも１つの部位に対応するノードの各々の座標に基づいて、所定期間内の対象者Ｔの空間ＳＰ内の位置をもとめてもよい。ここで、ＣＰＵ３１は、例えば、対象者Ｔの少なくとも１つの部位に対応するノードの各々の座標を、画像上の座標から空間ＳＰ上の座標に変換するための所定の計算式に代入することによって、所定期間内の対象者Ｔの空間ＳＰ内の位置をもとめてもよい。
そして、生成装置３０のＣＰＵ３１は、所定期間内の対象者Ｔ（動体）の状態に関する情報に対して、対象者Ｔの当該所定期間内の行動に関する情報をラベルとして付与することによって、対象者Ｔの状態に関する情報に基づいて対象者Ｔの位置及び行動のうち少なくとも一方を推定するための学習データを生成する（ステップＳ１０６）。具体的に説明すると、ＣＰＵ３１は、例えば、ステップＳ１０４の処理において、対象者Ｔの所定期間内の位置及び行動のうち少なくとも一方に関する情報を取得すると、第２取得データにアクセスして、当該所定期間内に計測された全ての計測情報（対象者Ｔの状態に関する情報）を抽出する。次に、ＣＰＵ３１は、第２取得データから抽出した所定期間内の対象者Ｔの計測情報の時間推移に関する情報（当該所定期間内に計測された全ての計測情報）と、ステップＳ１０４の処理において取得した対象者Ｔの所定期間内の位置及び行動のうち少なくとも一方に関する情報と、を対応付けた状態で第２学習データに記憶する。
このようにして、所定期間内の対象者Ｔの状態に関する情報に対して、所定期間内に撮像された画像に基づいて推定された対象者Ｔの所定期間内の位置及び行動のうち少なくとも一方に関する情報がラベルとして付与される。
（５）本実施形態の推定システムの主要な処理のフロー
次に、本実施形態の推定システムにより行われる主要な処理のフローの一例について、図１４のフローチャートを参照して説明する。
先ず、生成装置３０のＣＰＵ３１は、計測装置２０によって計測された対象者Ｔ（動体）の状態に関する情報を取得する（ステップＳ２００）。具体的に説明すると、先ず、計測装置２０は、例えば、対象者Ｔが空間ＳＰ内に存在する場合に、対象者Ｔの状態（例えば、対象者Ｔの３軸方向又は２軸方向の加速度と、対象者Ｔの３軸方向又は２軸方向の角速度と、対象者Ｔの温度と、のうち少なくとも１つ）を連続的又は断続的（例えば、所定間隔（例えば３００ミリ秒毎や１秒等）毎）に計測する毎に、計測した状態に関する情報を、通信網ＮＷを介して生成装置３０に送信する。
また、第１計測装置２１は、例えば、対象者Ｔが空間ＳＰ内に存在する場合に、複数の第２計測装置２２の各々と無線通信を行い、複数の第２計測装置２２の各々から所定間隔（例えば、数百ミリ秒間隔等）で送信された無線信号（例えば、ビーコン信号等）を受信する毎に、ＲＳＳＩ回路によって検出（計測）された当該無線信号の受信信号強度（ＲＳＳＩ）の値を、第１計測装置２１に設けられた記憶装置（図示省略）に記憶する。そして、第１計測装置２１は、所定期間（例えば、３秒毎等）が経過する毎に、当該所定期間内に第１計測装置２１によって計測された対象者Ｔの状態に関する情報（つまり、当該所定期間内に第１計測装置２１が複数の第２計測装置２２から受信した全ての無線信号のＲＳＳＩ）の値を、通信網ＮＷを介して生成装置３０に送信してもよい。
一方、生成装置３０のＣＰＵ３１は、計測装置２０から送信された対象者Ｔの状態に関する情報を受信（取得）する毎に、受信した状態に関する情報を、当該情報の計測日時と対応付けた状態で第２取得データに記憶する。
なお、生成装置３０のＣＰＵ３１は、取得した対象者Ｔ（動体）の状態に関する情報を学習データとして用いた機械学習によって、対象者Ｔの位置及び行動のうち少なくとも一方を推定するのに用いられるモデルを学習してもよい。具体的に説明すると、ＣＰＵ３１は、例えば、所定のモデル学習指示が入力部３７を用いて入力されると、図９及び／又は図１０に示す第２学習データを用いてモデルの学習を行ってもよい。ＣＰＵ３１は、例えば、時系列対応型ニューラルネットワークモデルを用いて学習してもよい。ここで、時系列対応型ニューラルネットワークとして、例えば、ＲＮＮ（Recurrent Neural Network）や、ＲＮＮの発展型であるＬＳＴＭ（Long Short-Term Memory）等を適用することができる。また、ＣＰＵ３１は、例えば、畳み込みニューラルネットワーク（ＣＮＮ）モデル、サポートベクターマシン（ＳＶＭ）モデル、全結合ニューラルネットワーク（ＦＮＮ）モデル、勾配ブースティング（ＨＧＢ）モデル、ウェーブネット（ＷＮ）モデル等の複数のモデルのうち何れかのモデルを用いて学習してもよい。
次に、生成装置３０のＣＰＵ３１は、取得した対象者Ｔ（動体）の状態に関する情報と、学習データ生成システムによって生成された学習データを用いた機械学習に基づく学習済モデルと、に基づいて、対象者Ｔの位置及び行動のうち少なくとも一方を推定する（ステップＳ２０２）。具体的に説明すると、ＣＰＵ３１は、例えば、第２取得データにアクセスして、所定の計測日時を起点として所定期間（例えば、３秒等）が経過する毎に、当該所定期間内に計測された全ての計測情報（対象者Ｔの状態に関する情報）を抽出する。そして、ＣＰＵ３１は、第２取得データから抽出した所定期間内の対象者Ｔの計測情報の時間推移に関する情報（当該所定期間内に計測された全ての計測情報）を、学習手段４７の機能に基づいて構成された学習済モデルに入力することによって、当該所定期間内の対象者Ｔの位置及び行動のうち少なくとも一方を推定してもよい。
このようにして、ＣＰＵ３１は、所定期間内の対象者Ｔの計測情報の時間推移に関する情報を学習済モデルに入力することによって、対象者Ｔの行動（本実施形態では、「外装を外す」、「ケーブルを接続」、「本体にシールを貼る」、「バーコードを読み込む」、「組み立て」等の何れか）及び空間ＳＰ内の位置のうち少なくとも一方を推定することができる。
上述したように、本実施形態の学習データ生成システム、学習データ生成方法、プログラムによれば、所定期間内の対象者Ｔ（動体）の状態に関する情報に対して、所定期間内に撮像された画像に基づいて推定された対象者Ｔの所定期間内の位置及び行動のうち少なくとも一方に関する情報がラベルとして付与される。この場合、例えば学習データの生成者等は、所定期間内の対象者Ｔの状態に関する情報ではなく、当該所定期間内に撮像された画像を参照又は分析等することによって、当該所定期間内の対象者Ｔの位置及び行動のうち少なくとも一方を視覚的に把握することができるので、当該所定期間内の対象者Ｔの状態に関する情報に対して適切なラベルを付与することが可能になる。これにより、対象者Ｔの状態に関する情報に基づいて、対象者Ｔの位置及び行動のうち少なくとも一方を推定するための学習データを容易に生成することができる。
また、本実施形態の推定システム、推定方法、プログラムによれば、対象者Ｔ（動体）の状態に関する情報を用いて容易に生成された学習データに基づいて、対象者Ｔの位置及び行動のうち少なくとも一方を容易に推定することができる。
以下、上述した実施形態の変形例について説明する。
（変形例）
上記実施形態では、第３取得手段４４が、所定期間内の対象者Ｔ（動体）の移動態様に関する情報と、対象者Ｔの移動態様に関する情報を学習データとして用いた機械学習に基づく学習済モデルと、に基づいて推定された対象者Ｔの当該所定期間内の行動に関する情報を取得する場合を一例として説明したが、この場合に限られない。例えば、第３取得手段４４は、所定期間内の対象者Ｔ（動体）の少なくとも１つの部位の移動態様が、所定の行動に対応する所定の条件を満たす場合に、対象者Ｔが当該所定の行動を行っていると推定してもよい。ここで、所定の条件とは、例えば、少なくとも１つの部位の移動範囲が、所定の行動に対応する当該部位の位置の範囲に含まれることであってもよい。
この場合、生成装置３０のＣＰＵ３１は、図１５に示す行動データを参照して、対象者Ｔの行動を撮像画像に基づいて推定してもよい。行動データは、複数の行動（図の例では、「外装を外す」、「ケーブルを接続」、「本体にシールを貼る」、「バーコードを読み込む」、「組み立て」等）毎に、対応する行動が行われていると推定される場合の少なくとも１つの部位（上記実施形態では、「首」、「右肩」、「左肩」、「右臀部」、「左臀部」等）の位置の範囲の時間推移が対応付けられた状態で記述されているデータである。行動データは、例えば記憶装置３４に記憶されていてもよい。
ＣＰＵ３１は、例えば、少なくとも１つの部位の各々の位置の時間推移が、行動データ内の何れかの行動に対応する各々の部位の位置の範囲に含まれる場合に、対象者Ｔが当該何れかの行動（例えば、「外装を外す」）を行っていると推定し、推定した行動に関する情報を例えばＲＡＭ３３又は記憶装置３４に記憶（取得）してもよい。
このように、本変形例にかかる学習データ生成システム、推定システム、学習データ生成方法、推定方法、プログラムによれば、上述した実施形態と同様の作用効果を発揮することが可能である。
なお、本発明のプログラムは、コンピュータで読み取り可能な記憶媒体に記憶されていてもよい。このプログラムを記録した記憶媒体は、図２に示す生成装置３０のＲＯＭ３２、ＲＡＭ３３又は記憶装置３４であってもよい。また、記憶媒体は、例えばＣＤ－ＲＯＭドライブ等のプログラム読取装置に挿入されることで読み取り可能なＣＤ－ＲＯＭ等であってもよい。さらに、記憶媒体は、磁気テープ、カセットテープ、フレキシブルディスク、ＭＯ／ＭＤ／ＤＶＤ等であってもよいし、半導体メモリであってもよい。
以上説明した実施形態及び変形例は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記実施形態及び変形例に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
例えば、上述した実施形態では、動体が人物（対象者Ｔ）である場合を一例として説明したが、この場合に限られない。動体は、行動推定の対象となり得るものであれば如何なるものであってもよく、例えば、人物以外の動物であってもよいし、作業機械、車両、飛行体等のオブジェクトであってもよい。
また、上述した実施形態では、対象者Ｔ（動体）の首、右肩、左肩、右臀部、左臀部が、対象者Ｔの部位として検出される場合を一例として説明したが、他の部位（例えば、頭、手、足、関節等）が検出されてもよい。
さらに、上述した実施形態では、空間ＳＰ内の１つの動体（対象者Ｔ）の行動が推定される場合を一例として説明したが、空間ＳＰ内の複数の動体の各々の行動が推定されてもよい。また、空間ＳＰ内の複数の動体の各々の撮像画像及び状態に関する情報に基づいて、学習データが生成されてもよい。
さらにまた、上述した実施形態では、「外装を外す」、「ケーブルを接続」、「本体にシールを貼る」、「バーコードを読み込む」、「組み立て」のうち何れかの行動が動体（対象者Ｔ）の行動として推定される場合を一例として説明したが、行動の内容はこれらに限定されない。
また、上述した実施形態では、１つの生成装置３０が設けられている場合を一例として説明したが、この場合に限られない。例えば、複数の生成装置３０が設けられてもよく、この場合には、何れかの生成装置３０上の操作内容及び処理結果等が他の生成装置３０上でリアルタイムに提示されてもよいし、何れかの生成装置３０での処理結果等が複数の生成装置３０間で共有されてもよい。
さらに、上述した実施形態では、所定期間内の対象者Ｔの少なくとも１つの部位の位置の時間推移に関する情報が、本発明の「所定期間内の動体の少なくとも１つの部位の移動態様に関する情報」に対応する場合を一例として説明したが、この場合に限られない。「所定期間内の動体の少なくとも１つの部位の移動態様に関する情報」は、例えば、所定期間内の対象者Ｔの少なくとも１つの部位の角度の時間推移に関する情報であってもよいし、所定期間内の対象者Ｔの複数の部位間の距離の時間推移に関する情報等であってもよい。
また、上述した実施形態では、生成装置３０によって、第１取得手段４１、第２取得手段４２、検出手段４３、第３取得手段４４、生成手段４５、情報取得手段４６、学習手段４７及び推定手段４８の各機能を実現する構成としたが、この構成に限られない。例えば、インターネットやＬＡＮ等の通信網を介して生成装置３０と通信可能に接続されたコンピュータ等（例えば、汎用のパーソナルコンピュータやサーバコンピュータ等）から構成された推定装置５０（図１６に示す）であって、動体の行動を推定するのに用いられる推定装置５０が設けられてもよい。この場合、生成装置３０及び推定装置５０は、実質的に同一のハードウェア構成を採ることができるので、上記実施形態において説明した各手段４１～４８のうち少なくとも１つの手段の機能を推定装置５０によって実現することが可能になる。例えば、図３に示した機能ブロック図の各機能は、図１６（ａ），（ｂ）に示すように、生成装置３０と推定装置５０との間で任意に分担されてもよい。
さらに、上記各手段４１～４８のうち少なくとも１つの手段の機能を、撮像装置１０及び／又は計測装置２０によって実現する構成としてもよい。
上述したような本発明の学習データ生成システム、推定システム、学習データ生成方法、推定方法、プログラムは、動体の位置及び行動のうち少なくとも一方を正確且つ容易に把握することができ、例えば、動体（例えば、作業者や作業機械等）の行動分析を行う業務管理システムや、動体の位置に応じて適切な情報を提供する情報提供システムや、動体（例えば、入院患者、施設の入居者、ペット等）のモニタリングシステム等に好適に利用することができるので、その産業上の利用可能性は極めて大きい。
１０…撮像装置
２０…計測装置
２１…第１計測装置
２２…第２計測装置
３０…生成装置
４１…第１取得手段
４２…第２取得手段
４３…検出手段
４４…第３取得手段
４５…生成手段
４６…情報取得手段
４７…学習手段
４８…推定手段
５０…推定装置
Ｔ…対象者

Claims (9)

  1. 撮像装置によって撮像された動体の画像を取得する第１取得手段と、
    計測装置によって計測された前記動体の状態に関する情報を取得する第２取得手段と、
    所定期間内に撮像された画像に基づいて推定された前記動体の前記所定期間内の位置及び行動のうち少なくとも一方に関する情報を取得する第３取得手段と、
    前記所定期間内の前記動体の状態に関する情報に対して、前記動体の前記所定期間内の位置及び行動のうち少なくとも一方に関する情報をラベルとして付与することによって、前記動体の状態に関する情報に基づいて前記動体の位置及び行動のうち少なくとも一方を推定するための学習データを生成する生成手段と、
    を備える学習データ生成システム。
  2. 取得した画像に基づいて、前記動体の少なくとも１つの部位を検出する検出手段を備え、
    前記第３取得手段は、前記所定期間内の前記動体の少なくとも１つの部位の移動態様に基づいて推定された前記動体の前記所定期間内の行動に関する情報を取得する、請求項１に記載の学習データ生成システム。
  3. 前記第３取得手段は、前記所定期間内の前記動体の移動態様に関する情報と、前記動体の移動態様に関する情報を学習データとして用いた機械学習に基づく学習済モデルと、に基づいて推定された前記動体の前記所定期間内の行動に関する情報を取得する、請求項１又は２に記載の学習データ生成システム。
  4. 前記動体の状態に関する情報は、前記計測装置が受信した信号の受信信号強度、前記動体の加速度、前記動体の角速度及び前記動体の温度のうち少なくとも１つを含む、請求項１～３の何れかに記載の学習データ生成システム。
  5. 計測装置によって計測された動体の状態に関する情報を取得する情報取得手段と、
    取得した前記動体の状態に関する情報と、請求項１～４の何れかの学習データ生成システムによって生成された学習データを用いた機械学習に基づく学習済モデルと、に基づいて、前記動体の位置及び行動のうち少なくとも一方を推定する推定手段と、
    を備える推定システム。
  6. コンピュータが、
    撮像装置によって撮像された動体の画像を取得するステップと、
    計測装置によって計測された前記動体の状態に関する情報を取得するステップと、
    所定期間内に撮像された画像に基づいて推定された前記動体の前記所定期間内の位置及び行動のうち少なくとも一方に関する情報を取得するステップと、
    前記所定期間内の前記動体の状態に関する情報に対して、前記動体の前記所定期間内の位置及び行動のうち少なくとも一方に関する情報をラベルとして付与することによって、前記動体の状態に関する情報に基づいて前記動体の位置及び行動のうち少なくとも一方を推定するための学習データを生成するステップと、
    の各ステップを実行する、学習データ生成方法。
  7. コンピュータが、
    計測装置によって計測された動体の状態に関する情報を取得するステップと、
    取得した前記動体の状態に関する情報と、請求項６の学習データ生成方法によって生成された学習データを用いた機械学習に基づく学習済モデルと、に基づいて、前記動体の位置及び行動のうち少なくとも一方を推定するステップと、
    の各ステップを実行する、推定方法。
  8. コンピュータに、
    撮像装置によって撮像された動体の画像を取得する機能と、
    計測装置によって計測された前記動体の状態に関する情報を取得する機能と、
    所定期間内に撮像された画像に基づいて推定された前記動体の前記所定期間内の位置及び行動のうち少なくとも一方に関する情報を取得する機能と、
    前記所定期間内の前記動体の状態に関する情報に対して、前記動体の前記所定期間内の位置及び行動のうち少なくとも一方に関する情報をラベルとして付与することによって、前記動体の状態に関する情報に基づいて前記動体の位置及び行動のうち少なくとも一方を推定するための学習データを生成する機能と、
    を実現させるためのプログラム。
  9. コンピュータに、
    計測装置によって計測された動体の状態に関する情報を取得する機能と、
    取得した前記動体の状態に関する情報と、請求項８のプログラムによって生成された学習データを用いた機械学習に基づく学習済モデルと、に基づいて、前記動体の位置及び行動のうち少なくとも一方を推定する機能と、
    を実現させるためのプログラム。
JP2020132500A 2020-08-04 2020-08-04 学習データ生成システム、推定システム、学習データ生成方法、推定方法、プログラム Active JP7456616B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020132500A JP7456616B2 (ja) 2020-08-04 2020-08-04 学習データ生成システム、推定システム、学習データ生成方法、推定方法、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020132500A JP7456616B2 (ja) 2020-08-04 2020-08-04 学習データ生成システム、推定システム、学習データ生成方法、推定方法、プログラム

Publications (2)

Publication Number Publication Date
JP2022029257A JP2022029257A (ja) 2022-02-17
JP7456616B2 true JP7456616B2 (ja) 2024-03-27

Family

ID=80271336

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020132500A Active JP7456616B2 (ja) 2020-08-04 2020-08-04 学習データ生成システム、推定システム、学習データ生成方法、推定方法、プログラム

Country Status (1)

Country Link
JP (1) JP7456616B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018163096A (ja) 2017-03-27 2018-10-18 沖電気工業株式会社 情報処理方法および情報処理装置
JP2019139570A (ja) 2018-02-13 2019-08-22 株式会社東芝 判別装置、判別方法およびプログラム
JP2020024688A (ja) 2018-07-25 2020-02-13 公立大学法人岩手県立大学 情報提供システム、情報提供方法、プログラム
JP2020091801A (ja) 2018-12-07 2020-06-11 コニカミノルタ株式会社 作業分析システムおよび作業分析方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018163096A (ja) 2017-03-27 2018-10-18 沖電気工業株式会社 情報処理方法および情報処理装置
JP2019139570A (ja) 2018-02-13 2019-08-22 株式会社東芝 判別装置、判別方法およびプログラム
JP2020024688A (ja) 2018-07-25 2020-02-13 公立大学法人岩手県立大学 情報提供システム、情報提供方法、プログラム
JP2020091801A (ja) 2018-12-07 2020-06-11 コニカミノルタ株式会社 作業分析システムおよび作業分析方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Chen Chen et al.，Fusion of depth, skeleton, and inertial data for human action recognition，2016 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)，IEEE，2016年，pp.2712-2716，DOI: 10.1109/ICASSP.2016.7472170
上田健揮 外２名，スマートホームにおける複数のセンシングデータに基づいた生活行動データ抽出システムの提案，マルチメディア，分散，協調とモバイル（ＤＩＣＯＭＯ２０１４）シンポジウム論文集 情報処理学会シンポジウムシリーズ ［ＣＤ－ＲＯＭ］，日本，一般社団法人情報処理学会，2014年07月09日，第2014巻 第１号，pp.1884～1891
吉作清彦 外１名，ＡＬＡＴＡ：継続的なラベル付きデータ取得のための能動学習に基づくアノテーションツール，情報処理学会研究報告 ２０１１（平成２３）年度（２） ［ＣＤ－ＲＯＭ］ ，日本，一般社団法人情報処理学会，2011年08月15日，pp.1～8

Also Published As

Publication number Publication date
JP2022029257A (ja) 2022-02-17

Similar Documents

Publication Publication Date Title
Sunny et al. Applications and challenges of human activity recognition using sensors in a smart environment
US9024976B2 (en) Postural information system and method
US20100228487A1 (en) Postural information system and method
JP5873864B2 (ja) オブジェクト追跡及び認識方法及び装置
US20100271200A1 (en) Postural information system and method including determining response to subject advisory information
Jost et al. Quantitative analysis of the Oculus Rift S in controlled movement
US20100228154A1 (en) Postural information system and method including determining response to subject advisory information
WO2016098457A1 (ja) 情報処理装置、情報処理方法およびプログラム
US20100228495A1 (en) Postural information system and method including determining subject advisory information based on prior determined subject advisory information
US20100228494A1 (en) Postural information system and method including determining subject advisory information based on prior determined subject advisory information
JP2018026131A (ja) 動作解析装置
JP7329825B2 (ja) 情報提供システム、情報提供方法、プログラム
CN109788910B (zh) 移动体信息提供系统以及计算机可读存储介质
Spasova et al. A survey on automatic fall detection in the context of ambient assisted living systems
JP2007229197A (ja) 携帯通信端末、動作評価システム、方法、プログラム、記録媒体
US20120116257A1 (en) Postural information system and method including determining response to subject advisory information
JP2023131905A (ja) 行動推定システム、行動推定方法、プログラム
CN117352126A (zh) 肌肉受力可视化方法、装置、计算机设备以及存储介质
JP7456616B2 (ja) 学習データ生成システム、推定システム、学習データ生成方法、推定方法、プログラム
KR20220049271A (ko) 인공지능을 이용한 재활운동관리 시스템
US10952647B2 (en) Sensor device, sensing method, and information processing device
CN115568823B (zh) 一种人体平衡能力评估的方法、系统和装置
US20220054045A1 (en) Motion state monitoring system, training support system, motion state monitoring method, and program
KR20190047644A (ko) 운동에 대한 피드백을 제공하는 웨어러블 디바이스 및 방법
JP2020187389A (ja) 移動体軌跡分析装置、移動体軌跡分析プログラム、および移動体軌跡分析方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230309

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240131

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240307

R150 Certificate of patent or registration of utility model

Ref document number: 7456616

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150