JP7478848B2 - 教師データ生成装置、機械学習装置、及びロボット関節角度推定装置 - Google Patents
教師データ生成装置、機械学習装置、及びロボット関節角度推定装置 Download PDFInfo
- Publication number
- JP7478848B2 JP7478848B2 JP2022572200A JP2022572200A JP7478848B2 JP 7478848 B2 JP7478848 B2 JP 7478848B2 JP 2022572200 A JP2022572200 A JP 2022572200A JP 2022572200 A JP2022572200 A JP 2022572200A JP 7478848 B2 JP7478848 B2 JP 7478848B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- dimensional
- camera
- unit
- joint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010801 machine learning Methods 0.000 title claims description 43
- 238000012549 training Methods 0.000 claims description 20
- 230000036544 posture Effects 0.000 description 39
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 17
- 238000000034 method Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 13
- 230000015654 memory Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 9
- 230000004044 response Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 5
- 238000011176 pooling Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 101100521334 Mus musculus Prom1 gene Proteins 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241001292396 Cirrhitidae Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 101100126329 Mus musculus Islr2 gene Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
Description
本発明は、教師データ生成装置、機械学習装置、及びロボット関節角度推定装置に関する。
ロボットのツール先端点を設定する方法として、ロボットを動作させ、ツール先端点を治具等に複数姿勢で接するように教示し、各姿勢での関節軸の角度からツール先端点を算出する方法が知られている。例えば、特許文献１参照。
ところで、ロボットの各関節軸の角度を取得するには、ロボットプログラムにログ機能を実装するか、ロボットの専用Ｉ／Ｆを用いてデータ取得する必要がある。
しかしながら、ログ機能又は専用Ｉ／Ｆが実装されていないロボットでは、ロボットの各関節軸の角度を取得することができない。
しかしながら、ログ機能又は専用Ｉ／Ｆが実装されていないロボットでは、ロボットの各関節軸の角度を取得することができない。
そこで、ログ機能又は専用Ｉ／Ｆが実装されていないロボットでもロボットの各関節軸の角度を容易に取得することが望まれている。
（１）本開示の教師データ生成装置の一態様は、カメラにより撮影されたロボットの２次元画像と、前記カメラと前記ロボットとの間の距離及び傾きと、を入力して、前記２次元画像が撮影された時の前記ロボットに含まれる複数の関節軸の角度と、前記２次元画像における前記複数の関節軸の中心の位置を示す２次元姿勢と、を推定する学習済みモデルを生成するための教師データを生成する教師データ生成装置であって、前記カメラにより撮影された前記ロボットの２次元画像と前記カメラと前記ロボットとの間の距離及び傾きと、を取得する入力データ取得部と、前記２次元画像が撮影された時の前記複数の関節軸の角度と、前記２次元姿勢と、をラベルデータとして取得するラベル取得部と、を備える。
（２）本開示の機械学習装置の一態様は、（１）の教師データ生成装置により生成された教師データに基づいて教師あり学習を実行し、学習済みモデルを生成する学習部を備える。
（３）本開示のロボット関節角度推定装置の一態様は、（２）の機械学習装置により生成された学習済みモデルと、カメラにより撮影されたロボットの２次元画像と、前記カメラと前記ロボットとの間の距離及び傾きと、を入力する入力部と、前記入力部により入力された前記２次元画像と、前記カメラと前記ロボットとの間の距離及び傾きと、を前記学習済みモデルに入力し、前記２次元画像が撮影された時の前記ロボットに含まれる複数の関節軸の角度と、前記２次元画像における前記複数の関節軸の中心の位置を示す２次元姿勢と、を推定する推定部と、を備える。
一態様によれば、ログ機能又は専用Ｉ／Ｆが実装されていないロボットでもロボットの各関節軸の角度を容易に取得することができる。
以下、本開示の一実施形態について、図面を用いて説明する。
＜一実施形態＞
まず、本実施形態の概略を説明する。本実施形態では、スマートフォン等の端末装置は、学習フェーズにおいて、端末装置に含まれるカメラにより撮影されたロボットの２次元画像と、カメラとロボットとの間の距離及び傾きと、を入力して、２次元画像が撮影された時のロボットに含まれる複数の関節軸の角度と、複数の関節軸の中心の位置を示す２次元姿勢と、を推定する学習済みモデルを生成するための教師データを生成する教師データ生成装置（アノテーション自動化装置）として、動作する。
端末装置は、生成した教師データを機械学習装置に提供し、機械学習装置は、提供された教師データに基づき教師あり学習を実行し、学習済みモデルを生成する。機械学習装置は、生成した学習済みモデルを携帯端末に提供する。
端末装置は、運用フェーズにおいて、カメラにより撮影されたロボットの２次元画像と、カメラとロボットとの間の距離及び傾きと、を学習済みモデルに入力し、２次元画像が撮影された時のロボットの複数の関節軸の角度と、複数の関節軸の中心の位置を示す２次元姿勢と、を推定するロボット関節角度推定装置端末装置として動作する。
＜一実施形態＞
まず、本実施形態の概略を説明する。本実施形態では、スマートフォン等の端末装置は、学習フェーズにおいて、端末装置に含まれるカメラにより撮影されたロボットの２次元画像と、カメラとロボットとの間の距離及び傾きと、を入力して、２次元画像が撮影された時のロボットに含まれる複数の関節軸の角度と、複数の関節軸の中心の位置を示す２次元姿勢と、を推定する学習済みモデルを生成するための教師データを生成する教師データ生成装置（アノテーション自動化装置）として、動作する。
端末装置は、生成した教師データを機械学習装置に提供し、機械学習装置は、提供された教師データに基づき教師あり学習を実行し、学習済みモデルを生成する。機械学習装置は、生成した学習済みモデルを携帯端末に提供する。
端末装置は、運用フェーズにおいて、カメラにより撮影されたロボットの２次元画像と、カメラとロボットとの間の距離及び傾きと、を学習済みモデルに入力し、２次元画像が撮影された時のロボットの複数の関節軸の角度と、複数の関節軸の中心の位置を示す２次元姿勢と、を推定するロボット関節角度推定装置端末装置として動作する。
これにより、本実施形態によれば、「ログ機能又は専用Ｉ／Ｆが実装されていないロボットでもロボットの各関節軸の角度を容易に取得する」という課題を解決することができる。
以上が本実施形態の概略である。
以上が本実施形態の概略である。
次に、本実施形態の構成について図面を用いて詳細に説明する。
＜学習フェーズにおけるシステム＞
図１は、学習フェーズにおける一実施形態に係るシステムの機能的構成例を示す機能ブロック図である。図１に示すように、システム１は、ロボット１０、教師データ生成装置としての端末装置２０、及び機械学習装置３０を有する。
＜学習フェーズにおけるシステム＞
図１は、学習フェーズにおける一実施形態に係るシステムの機能的構成例を示す機能ブロック図である。図１に示すように、システム１は、ロボット１０、教師データ生成装置としての端末装置２０、及び機械学習装置３０を有する。
ロボット１０、端末装置２０、及び機械学習装置３０は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｗｉ－Ｆｉ（登録商標）、及び４Ｇや５Ｇ等の規格に準拠した携帯電話網等の図示しないネットワークを介して相互に接続されていてもよい。この場合、ロボット１０、端末装置２０、及び機械学習装置３０は、かかる接続によって相互に通信を行うための図示しない通信部を備えている。なお、ロボット１０と端末装置２０とは、図示しない通信部を介してデータの送受信を行うとしたが、ロボット１０の動作を制御するロボット制御装置（図示しない）を介してデータの送受信を行うようにしてもよい。
また、後述するように、端末装置２０は、機械学習装置３０を含むようにしてもよい。また、端末装置２０及び機械学習装置３０は、ロボット制御装置（図示しない）に含まれてもよい。
以下の説明では、教師データ生成装置として動作する端末装置２０は、全てのデータが同期の取れるタイミングで取得されたデータのみを教師データとして取得する。例えば、端末装置２０に含まれるカメラが３０フレーム／秒でフレーム画像を撮影し、ロボット１０に含まれる複数の関節軸の角度を取得できる周期が１００ミリ秒で、他のデータが即時に取得できる場合、端末装置２０は、１００ミリ秒周期で教師データをファイル出力する。
また、後述するように、端末装置２０は、機械学習装置３０を含むようにしてもよい。また、端末装置２０及び機械学習装置３０は、ロボット制御装置（図示しない）に含まれてもよい。
以下の説明では、教師データ生成装置として動作する端末装置２０は、全てのデータが同期の取れるタイミングで取得されたデータのみを教師データとして取得する。例えば、端末装置２０に含まれるカメラが３０フレーム／秒でフレーム画像を撮影し、ロボット１０に含まれる複数の関節軸の角度を取得できる周期が１００ミリ秒で、他のデータが即時に取得できる場合、端末装置２０は、１００ミリ秒周期で教師データをファイル出力する。
＜ロボット１０＞
ロボット１０は、例えば、当業者にとって公知の産業用ロボット等であり、関節角度応答サーバ１０１を組み込んで有する。ロボット１０は、ロボット制御装置（図示しない）からの駆動指令に基づいて、ロボット１０に含まれる図示しない複数の関節軸の各々に配置される図示しないサーボモータを駆動することにより、ロボット１０の可動部材（図示しない）を駆動する。
なお、以下では、ロボット１０は、６つの関節軸Ｊ１～Ｊ６を有する６軸の垂直多関節ロボットとして説明するが、６軸以外の垂直多関節ロボットでもよく、水平多関節ロボットやパラレルリンクロボット等でもよい。
ロボット１０は、例えば、当業者にとって公知の産業用ロボット等であり、関節角度応答サーバ１０１を組み込んで有する。ロボット１０は、ロボット制御装置（図示しない）からの駆動指令に基づいて、ロボット１０に含まれる図示しない複数の関節軸の各々に配置される図示しないサーボモータを駆動することにより、ロボット１０の可動部材（図示しない）を駆動する。
なお、以下では、ロボット１０は、６つの関節軸Ｊ１～Ｊ６を有する６軸の垂直多関節ロボットとして説明するが、６軸以外の垂直多関節ロボットでもよく、水平多関節ロボットやパラレルリンクロボット等でもよい。
関節角度応答サーバ１０１は、例えば、コンピュータ等であり、後述する教師データ生成装置としての端末装置２０からのリクエストに基づいて、上述の１００ミリ秒等の同期の取れる所定の周期でロボット１０の関節軸Ｊ１～Ｊ６の角度を含む関節角度データを出力する。なお、関節角度応答サーバ１０１は、上述したように、教師データ生成装置としての端末装置２０に直接出力してもよく、ロボット制御装置（図示しない）を介して教師データ生成装置としての端末装置２０に出力してもよい。
また、関節角度応答サーバ１０１は、ロボット１０とは独立した装置でもよい。
また、関節角度応答サーバ１０１は、ロボット１０とは独立した装置でもよい。
＜端末装置２０＞
端末装置２０は、例えば、スマートフォン、タブレット端末、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）グラス、複合現実（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）グラス等である。
図１に示すように、端末装置２０は、運用フェーズにおいて、教師データ生成装置として、制御部２１、カメラ２２、通信部２３、及び記憶部２４を有する。また、制御部２１は、３次元物体認識部２１１、自己位置推定部２１２、関節角度取得部２１３、順運動学計算部２１４、投影部２１５、入力データ取得部２１６、及びラベル取得部２１７を有する。
端末装置２０は、例えば、スマートフォン、タブレット端末、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）グラス、複合現実（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）グラス等である。
図１に示すように、端末装置２０は、運用フェーズにおいて、教師データ生成装置として、制御部２１、カメラ２２、通信部２３、及び記憶部２４を有する。また、制御部２１は、３次元物体認識部２１１、自己位置推定部２１２、関節角度取得部２１３、順運動学計算部２１４、投影部２１５、入力データ取得部２１６、及びラベル取得部２１７を有する。
カメラ２２は、例えば、デジタルカメラ等であり、ユーザである作業者の操作に基づいて所定のフレームレート（例えば、３０フレーム／秒等）でロボット１０を撮影し、カメラ２２の光軸に対して垂直な平面に投影した２次元画像であるフレーム画像を生成する。カメラ２２は、上述の１００ミリ秒等の同期の取れる所定の周期で生成したフレーム画像を後述する制御部２１に出力する。なお、カメラ２２により生成されるフレーム画像は、ＲＧＢカラー画像やグレースケール画像等の可視光画像でもよい。
通信部２３は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｗｉ－Ｆｉ（登録商標）、及び４Ｇや５Ｇ等の規格に準拠した携帯電話網等のネットワークとデータの送受信を行う通信制御デバイスである。通信部２３は、関節角度応答サーバ１０１と直接通信してもよく、ロボット１０の動作を制御するロボット制御装置（図示しない）を介して関節角度応答サーバ１０１と通信してもよい。
記憶部２４は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等であり、後述する制御部２１が実行するシステムプログラム及び教師データ生成アプリケーションプログラム等を格納する。また、記憶部２４は、入力データ２４１、ラベルデータ２４２、及び３次元認識モデルデータ２４３を記憶してもよい。
入力データ２４１は、後述する入力データ取得部２１６により取得された入力データを格納する。
ラベルデータ２４２は、後述するラベル取得部２１７により取得されたラベルデータを格納する。
入力データ２４１は、後述する入力データ取得部２１６により取得された入力データを格納する。
ラベルデータ２４２は、後述するラベル取得部２１７により取得されたラベルデータを格納する。
３次元認識モデルデータ２４３は、例えば、予めロボット１０の姿勢や方向を変化させ、カメラ２２により様々な距離、角度（傾き）で撮影されたロボット１０の複数のフレーム画像それぞれから抽出されたエッジ量等の特徴量を、３次元認識モデルとして格納する。また、３次元認識モデルデータ２４３は、各３次元認識モデルのフレーム画像が撮影された時のワールド座標系におけるロボット１０のロボット座標系の原点（以下、「ロボット原点」ともいう）の３次元座標値、及びワールド座標系におけるロボット座標系のＸ軸、Ｙ軸、Ｚ軸それぞれの方向を示す情報も、３次元認識モデルに対応付けして格納するようにしてもよい。
なお、端末装置２０が教師データ生成アプリケーションプログラムを起動した時に、ワールド座標系が定義され、端末装置２０（カメラ２２）のカメラ座標系の原点の位置が、当該ワールド座標系の座標値として取得される。そして、教師データ生成アプリケーションプログラムを起動した後に端末装置２０（カメラ２２）が移動すると、カメラ座標系における原点はワールド座標系における原点から移動する。
なお、端末装置２０が教師データ生成アプリケーションプログラムを起動した時に、ワールド座標系が定義され、端末装置２０（カメラ２２）のカメラ座標系の原点の位置が、当該ワールド座標系の座標値として取得される。そして、教師データ生成アプリケーションプログラムを起動した後に端末装置２０（カメラ２２）が移動すると、カメラ座標系における原点はワールド座標系における原点から移動する。
＜制御部２１＞
制御部２１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ、ＲＡＭ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）メモリ等を有し、これらはバスを介して相互に通信可能に構成される、当業者にとって公知のものである。
ＣＰＵは端末装置２０を全体的に制御するプロセッサである。ＣＰＵは、ＲＯＭに格納されたシステムプログラム及び教師データ生成アプリケーションプログラムを、バスを介して読み出し、システムプログラム及び教師データ生成アプリケーションプログラムに従って端末装置２０全体を制御する。これにより、図１に示すように、制御部２１が、３次元物体認識部２１１、自己位置推定部２１２、関節角度取得部２１３、順運動学計算部２１４、投影部２１５、入力データ取得部２１６、及びラベル取得部２１７の機能を実現するように構成される。ＲＡＭには一時的な計算データや表示データ等の各種データが格納される。また、ＣＭＯＳメモリは図示しないバッテリでバックアップされ、端末装置２０の電源がオフされても記憶状態が保持される不揮発性メモリとして構成される。
制御部２１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ、ＲＡＭ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）メモリ等を有し、これらはバスを介して相互に通信可能に構成される、当業者にとって公知のものである。
ＣＰＵは端末装置２０を全体的に制御するプロセッサである。ＣＰＵは、ＲＯＭに格納されたシステムプログラム及び教師データ生成アプリケーションプログラムを、バスを介して読み出し、システムプログラム及び教師データ生成アプリケーションプログラムに従って端末装置２０全体を制御する。これにより、図１に示すように、制御部２１が、３次元物体認識部２１１、自己位置推定部２１２、関節角度取得部２１３、順運動学計算部２１４、投影部２１５、入力データ取得部２１６、及びラベル取得部２１７の機能を実現するように構成される。ＲＡＭには一時的な計算データや表示データ等の各種データが格納される。また、ＣＭＯＳメモリは図示しないバッテリでバックアップされ、端末装置２０の電源がオフされても記憶状態が保持される不揮発性メモリとして構成される。
＜３次元物体認識部２１１＞
３次元物体認識部２１１は、カメラ２２により撮影されたロボット１０のフレーム画像を取得する。３次元物体認識部２１１は、例えば、公知のロボットの３次元座標認識の方法（例えば、https://linx.jp/product/mvtec/halcon/feature/3d_vision.html）を用いて、カメラ２２により撮影されたロボット１０のフレーム画像からエッジ量等の特徴量を抽出する。３次元物体認識部２１１は、抽出した特徴量と、３次元認識モデルデータ２４３に格納された３次元認識モデルの特徴量とのマッチングを行う。３次元物体認識部２１１は、マッチングの結果に基づいて、例えば、一致度が最も高い３次元認識モデルにおけるワールド座標系におけるロボット原点の３次元座標値、及びロボット座標系のＸ軸、Ｙ軸、Ｚ軸それぞれの方向を示す情報を取得する。
なお、３次元物体認識部２１１は、ロボットの３次元座標認識の方法を用いて、ワールド座標系におけるロボット原点の３次元座標値、及びロボット座標系のＸ軸、Ｙ軸、Ｚ軸それぞれの方向を示す情報を取得したが、これに限定されない。例えば、３次元物体認識部２１１は、ロボット１０にチェッカーボード等のマーカーを取り付け、公知のマーカー認識技術に基づいてカメラ２２により撮影された当該マーカーの画像からワールド座標系におけるロボット原点の３次元座標値、及びロボット座標系のＸ軸、Ｙ軸、Ｚ軸それぞれの方向を示す情報を取得するようにしてもよい。
あるいは、ロボット１０にＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）等の屋内測位デバイスが取り付けられ、３次元物体認識部２１１は、屋内測位デバイスからワールド座標系におけるロボット原点の３次元座標値、及びロボット座標系のＸ軸、Ｙ軸、Ｚ軸それぞれの方向を示す情報を取得するようにしてもよい。
３次元物体認識部２１１は、カメラ２２により撮影されたロボット１０のフレーム画像を取得する。３次元物体認識部２１１は、例えば、公知のロボットの３次元座標認識の方法（例えば、https://linx.jp/product/mvtec/halcon/feature/3d_vision.html）を用いて、カメラ２２により撮影されたロボット１０のフレーム画像からエッジ量等の特徴量を抽出する。３次元物体認識部２１１は、抽出した特徴量と、３次元認識モデルデータ２４３に格納された３次元認識モデルの特徴量とのマッチングを行う。３次元物体認識部２１１は、マッチングの結果に基づいて、例えば、一致度が最も高い３次元認識モデルにおけるワールド座標系におけるロボット原点の３次元座標値、及びロボット座標系のＸ軸、Ｙ軸、Ｚ軸それぞれの方向を示す情報を取得する。
なお、３次元物体認識部２１１は、ロボットの３次元座標認識の方法を用いて、ワールド座標系におけるロボット原点の３次元座標値、及びロボット座標系のＸ軸、Ｙ軸、Ｚ軸それぞれの方向を示す情報を取得したが、これに限定されない。例えば、３次元物体認識部２１１は、ロボット１０にチェッカーボード等のマーカーを取り付け、公知のマーカー認識技術に基づいてカメラ２２により撮影された当該マーカーの画像からワールド座標系におけるロボット原点の３次元座標値、及びロボット座標系のＸ軸、Ｙ軸、Ｚ軸それぞれの方向を示す情報を取得するようにしてもよい。
あるいは、ロボット１０にＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）等の屋内測位デバイスが取り付けられ、３次元物体認識部２１１は、屋内測位デバイスからワールド座標系におけるロボット原点の３次元座標値、及びロボット座標系のＸ軸、Ｙ軸、Ｚ軸それぞれの方向を示す情報を取得するようにしてもよい。
＜自己位置推定部２１２＞
自己位置推定部２１２は、公知の自己位置推定の手法を用いて、ワールド座標系におけるカメラ２２のカメラ座標系の原点の３次元座標値（以下、「カメラ２２の３次元座標値」ともいう）を取得する。自己位置推定部２１２は、取得したカメラ２２の３次元座標値と、３次元物体認識部２１１により取得された３次元座標と、に基づいて、カメラ２２とロボット１０との間の距離及び傾きを算出するようにしてもよい。
自己位置推定部２１２は、公知の自己位置推定の手法を用いて、ワールド座標系におけるカメラ２２のカメラ座標系の原点の３次元座標値（以下、「カメラ２２の３次元座標値」ともいう）を取得する。自己位置推定部２１２は、取得したカメラ２２の３次元座標値と、３次元物体認識部２１１により取得された３次元座標と、に基づいて、カメラ２２とロボット１０との間の距離及び傾きを算出するようにしてもよい。
＜関節角度取得部２１３＞
関節角度取得部２１３は、例えば、通信部２３を介して上述の１００ミリ秒等の同期の取れる所定の周期で関節角度応答サーバ１０１にリクエストを送信し、フレーム画像が撮影された時のロボット１０の関節軸Ｊ１～Ｊ６の角度を取得する。
関節角度取得部２１３は、例えば、通信部２３を介して上述の１００ミリ秒等の同期の取れる所定の周期で関節角度応答サーバ１０１にリクエストを送信し、フレーム画像が撮影された時のロボット１０の関節軸Ｊ１～Ｊ６の角度を取得する。
＜順運動学計算部２１４＞
順運動学計算部２１４は、例えば、予め定義したＤＨ（Ｄｅｎａｖｉｔ－Ｈａｒｔｅｎｂｅｒｇ）パラメータ表を用いて、関節角度取得部２１３により取得された関節軸Ｊ１～Ｊ６の角度から順運動学を解き、関節軸Ｊ１～Ｊ６の中心の位置の３次元座標値を計算し、ワールド座標系におけるロボット１０の３次元姿勢を計算する。なお、ＤＨパラメータ表は、例えば、ロボット１０の仕様書を基に予め作成され、記憶部２４に記憶される。
順運動学計算部２１４は、例えば、予め定義したＤＨ（Ｄｅｎａｖｉｔ－Ｈａｒｔｅｎｂｅｒｇ）パラメータ表を用いて、関節角度取得部２１３により取得された関節軸Ｊ１～Ｊ６の角度から順運動学を解き、関節軸Ｊ１～Ｊ６の中心の位置の３次元座標値を計算し、ワールド座標系におけるロボット１０の３次元姿勢を計算する。なお、ＤＨパラメータ表は、例えば、ロボット１０の仕様書を基に予め作成され、記憶部２４に記憶される。
＜投影部２１５＞
投影部２１５は、例えば、公知の２次元平面への投影の方法を用いて、順運動学計算部２１４により計算されたロボット１０の関節軸Ｊ１～Ｊ６の中心の位置をワールド座標系の３次元空間に配置し、自己位置推定部２１２により算出されたカメラ２２とロボット１０との間の距離及び傾きで決まるカメラ２２の視点から、カメラ２２とロボット１０との間の距離及び傾きで決まる投影面に投影することで、関節軸Ｊ１～Ｊ６の中心の位置の２次元座標（ピクセル座標）（ｘｉ，ｙｉ）をロボット１０の２次元姿勢として生成する。なお、ｉは、１～６の整数である。
投影部２１５は、例えば、公知の２次元平面への投影の方法を用いて、順運動学計算部２１４により計算されたロボット１０の関節軸Ｊ１～Ｊ６の中心の位置をワールド座標系の３次元空間に配置し、自己位置推定部２１２により算出されたカメラ２２とロボット１０との間の距離及び傾きで決まるカメラ２２の視点から、カメラ２２とロボット１０との間の距離及び傾きで決まる投影面に投影することで、関節軸Ｊ１～Ｊ６の中心の位置の２次元座標（ピクセル座標）（ｘｉ，ｙｉ）をロボット１０の２次元姿勢として生成する。なお、ｉは、１～６の整数である。
なお、図２Ａ及び図２Ｂに示すように、ロボット１０の姿勢や撮影方向により関節軸がフレーム画像において隠れてしまう場合がある。
図２Ａは、関節軸Ｊ４の角度が９０度のフレーム画像の一例を示す図である。図２Ｂは、関節軸Ｊ４の角度が－９０度のフレーム画像の一例を示す図である。
図２Ａのフレーム画像では、関節軸Ｊ６が隠れて写っていない。一方、図２Ｂのフレーム画像では、関節軸Ｊ６が写っている。
そこで、投影部２１５は、ロボット１０の隣接する関節軸同士を線分で繋ぐとともに、予め設定されたロボット１０のリンク幅で各線分に厚みを定義する。投影部２１５は、順運動学計算部２１４により算出されたロボット１０の３次元姿勢と、カメラ２２とロボット１０との間の距離及び傾きで決まるカメラ２２の光軸方向と、に基づいて線分上に他の関節軸があるか否かを判定する。投影部２１５は、他の関節軸Ｊｉが線分に対してカメラ２２側と反対の奥行方向にある、図２Ａのような場合、他の関節軸Ｊｉ（図２Ａの関節軸Ｊ６）の確信度ｃｉを「０」に設定する。一方、投影部２１５は、他の関節軸Ｊｉが線分に対してカメラ２２側にある、図２Ｂのような場合、他の関節軸Ｊｉ（図２Ｂの関節軸Ｊ６）の確信度ｃｉを「１」に設定する。
すなわち、投影部２１５は、投影した関節軸Ｊ１～Ｊ６の中心の位置の２次元座標（ピクセル座標）（ｘｉ，ｙｉ）に対して、フレーム画像において各関節軸Ｊ１～Ｊ６が写っているか否かを示す確信度ｃｉをロボット１０の２次元姿勢に含めるようにしてもよい。
図２Ａは、関節軸Ｊ４の角度が９０度のフレーム画像の一例を示す図である。図２Ｂは、関節軸Ｊ４の角度が－９０度のフレーム画像の一例を示す図である。
図２Ａのフレーム画像では、関節軸Ｊ６が隠れて写っていない。一方、図２Ｂのフレーム画像では、関節軸Ｊ６が写っている。
そこで、投影部２１５は、ロボット１０の隣接する関節軸同士を線分で繋ぐとともに、予め設定されたロボット１０のリンク幅で各線分に厚みを定義する。投影部２１５は、順運動学計算部２１４により算出されたロボット１０の３次元姿勢と、カメラ２２とロボット１０との間の距離及び傾きで決まるカメラ２２の光軸方向と、に基づいて線分上に他の関節軸があるか否かを判定する。投影部２１５は、他の関節軸Ｊｉが線分に対してカメラ２２側と反対の奥行方向にある、図２Ａのような場合、他の関節軸Ｊｉ（図２Ａの関節軸Ｊ６）の確信度ｃｉを「０」に設定する。一方、投影部２１５は、他の関節軸Ｊｉが線分に対してカメラ２２側にある、図２Ｂのような場合、他の関節軸Ｊｉ（図２Ｂの関節軸Ｊ６）の確信度ｃｉを「１」に設定する。
すなわち、投影部２１５は、投影した関節軸Ｊ１～Ｊ６の中心の位置の２次元座標（ピクセル座標）（ｘｉ，ｙｉ）に対して、フレーム画像において各関節軸Ｊ１～Ｊ６が写っているか否かを示す確信度ｃｉをロボット１０の２次元姿勢に含めるようにしてもよい。
また、後述する機械学習装置３０において教師あり学習を行うための訓練データは、多数用意されることが望ましい。
図３は、教師データの数を増やすための一例を示す図である。
図３に示すように、投影部２１５は、例えば、教師データを増やすために、カメラ２２とロボット１０との間の距離及び傾きをランダムに与え、順運動学計算部２１４により算出されたロボット１０の３次元姿勢を回転させる。投影部２１５は、回転されたロボット１０の３次元姿勢を、ランダムに与えられた距離及び傾きで決まる２次元平面に投影することによりロボット１０の２次元姿勢を多数生成してもよい。
図３は、教師データの数を増やすための一例を示す図である。
図３に示すように、投影部２１５は、例えば、教師データを増やすために、カメラ２２とロボット１０との間の距離及び傾きをランダムに与え、順運動学計算部２１４により算出されたロボット１０の３次元姿勢を回転させる。投影部２１５は、回転されたロボット１０の３次元姿勢を、ランダムに与えられた距離及び傾きで決まる２次元平面に投影することによりロボット１０の２次元姿勢を多数生成してもよい。
＜入力データ取得部２１６＞
入力データ取得部２１６は、カメラ２２により撮影されたロボット１０のフレーム画像と、フレーム画像を撮影したカメラ２２とロボット１０との間の距離及び傾きと、を入力データとして取得する。
具体的には、入力データ取得部２１６は、例えば、カメラ２２からフレーム画像を入力データとして取得する。また、入力データ取得部２１６は、取得したフレーム画像が撮影された時のカメラ２２とロボット１０との間の距離及び傾きを自己位置推定部２１２から取得する。入力データ取得部２１６は、取得したフレーム画像と、カメラ２２とロボット１０との間の距離及び傾きと、を入力データとして取得し、取得した入力データを記憶部２４の入力データ２４１に格納する。
なお、入力データ取得部２１６は、学習済みモデルとして構成される後述する関節角度推定モデル２５２の生成にあたり、図４に示すように、投影部２１５により生成された２次元姿勢に含まれる関節軸Ｊ１～Ｊ６の中心の位置の２次元座標（ピクセル座標）（ｘｉ，ｙｉ）を、ロボット１０のベースリンクである関節軸Ｊ１を原点とし、フレーム画像の幅で除算して－１＜Ｘ＜１、及びフレーム画像の高さで除算して－１＜Ｙ＜１にそれぞれ正規化したＸＹ座標の値に変換するようにしてもよい。
入力データ取得部２１６は、カメラ２２により撮影されたロボット１０のフレーム画像と、フレーム画像を撮影したカメラ２２とロボット１０との間の距離及び傾きと、を入力データとして取得する。
具体的には、入力データ取得部２１６は、例えば、カメラ２２からフレーム画像を入力データとして取得する。また、入力データ取得部２１６は、取得したフレーム画像が撮影された時のカメラ２２とロボット１０との間の距離及び傾きを自己位置推定部２１２から取得する。入力データ取得部２１６は、取得したフレーム画像と、カメラ２２とロボット１０との間の距離及び傾きと、を入力データとして取得し、取得した入力データを記憶部２４の入力データ２４１に格納する。
なお、入力データ取得部２１６は、学習済みモデルとして構成される後述する関節角度推定モデル２５２の生成にあたり、図４に示すように、投影部２１５により生成された２次元姿勢に含まれる関節軸Ｊ１～Ｊ６の中心の位置の２次元座標（ピクセル座標）（ｘｉ，ｙｉ）を、ロボット１０のベースリンクである関節軸Ｊ１を原点とし、フレーム画像の幅で除算して－１＜Ｘ＜１、及びフレーム画像の高さで除算して－１＜Ｙ＜１にそれぞれ正規化したＸＹ座標の値に変換するようにしてもよい。
＜ラベル取得部２１７＞
ラベル取得部２１７は、上述の１００ミリ秒等の同期の取れる所定の周期でフレーム画像が撮影された時のロボット１０の関節軸Ｊ１～Ｊ６の角度と、当該フレーム画像におけるロボット１０の関節軸Ｊ１～Ｊ６の中心の位置を示す２次元姿勢と、をラベルデータ（正解データ）として取得する。
具体的には、ラベル取得部２１７は、例えば、ロボット１０の関節軸Ｊ１～Ｊ６の中心の位置を示す２次元姿勢、及び関節軸Ｊ１～Ｊ６の角度を、投影部２１５、及び関節角度取得部２１３から、ラベルデータ（正解データ）として取得する。ラベル取得部２１７は、取得したラベルデータを記憶部２４のラベルデータ２４２に記憶する。
ラベル取得部２１７は、上述の１００ミリ秒等の同期の取れる所定の周期でフレーム画像が撮影された時のロボット１０の関節軸Ｊ１～Ｊ６の角度と、当該フレーム画像におけるロボット１０の関節軸Ｊ１～Ｊ６の中心の位置を示す２次元姿勢と、をラベルデータ（正解データ）として取得する。
具体的には、ラベル取得部２１７は、例えば、ロボット１０の関節軸Ｊ１～Ｊ６の中心の位置を示す２次元姿勢、及び関節軸Ｊ１～Ｊ６の角度を、投影部２１５、及び関節角度取得部２１３から、ラベルデータ（正解データ）として取得する。ラベル取得部２１７は、取得したラベルデータを記憶部２４のラベルデータ２４２に記憶する。
＜機械学習装置３０＞
機械学習装置３０は、例えば、上述の入力データ２４１に格納されるカメラ２２により撮影されたロボット１０のフレーム画像と、フレーム画像を撮影したカメラ２２とロボット１０との間の距離及び傾きと、を端末装置２０から入力データとして取得する。
また、機械学習装置３０は、ラベルデータ２４２に格納されるカメラ２２によりフレーム画像が撮影された時のロボット１０の関節軸Ｊ１～Ｊ６の角度と、関節軸Ｊ１～Ｊ６の中心の位置を示す２次元姿勢と、を端末装置２０からラベル（正解）として取得する。
機械学習装置３０は、取得した入力データとラベルとの組の訓練データにより教師あり学習を行い、後述する学習済みモデルを構築する。
そうすることで、機械学習装置３０は、構築した学習済みモデルを端末装置２０に提供することができる。
機械学習装置３０について、具体的に説明する。
機械学習装置３０は、例えば、上述の入力データ２４１に格納されるカメラ２２により撮影されたロボット１０のフレーム画像と、フレーム画像を撮影したカメラ２２とロボット１０との間の距離及び傾きと、を端末装置２０から入力データとして取得する。
また、機械学習装置３０は、ラベルデータ２４２に格納されるカメラ２２によりフレーム画像が撮影された時のロボット１０の関節軸Ｊ１～Ｊ６の角度と、関節軸Ｊ１～Ｊ６の中心の位置を示す２次元姿勢と、を端末装置２０からラベル（正解）として取得する。
機械学習装置３０は、取得した入力データとラベルとの組の訓練データにより教師あり学習を行い、後述する学習済みモデルを構築する。
そうすることで、機械学習装置３０は、構築した学習済みモデルを端末装置２０に提供することができる。
機械学習装置３０について、具体的に説明する。
機械学習装置３０は、図１に示すように、学習部３０１、及び記憶部３０２を有する。
学習部３０１は、上述したように、入力データとラベルとの組を訓練データとして端末装置２０から受け付ける。学習部３０１は、受け付けた訓練データを用いて、教師あり学習を行うことにより、端末装置２０が、後述するように、ロボット関節角度推定装置として動作する場合、カメラ２２により撮影されたロボット１０のフレーム画像と、カメラ２２とロボット１０との間の距離及び傾きと、を入力し、ロボット１０の関節軸Ｊ１～Ｊ６の角度と、関節軸Ｊ１～Ｊ６の中心の位置を示す２次元姿勢と、を出力する学習済みモデルを構築する。
なお、本発明では、学習済みモデルを、２次元骨格推定モデル２５１と、関節角度推定モデル２５２と、から構成されるように構築する。
図５は、２次元骨格推定モデル２５１と関節角度推定モデル２５２との関係の一例を示す図である。
図５に示すように、２次元骨格推定モデル２５１は、ロボット１０のフレーム画像を入力し、フレーム画像におけるロボット１０の関節軸Ｊ１～Ｊ６の中心の位置を示すピクセル座標の２次元姿勢を出力するモデルである。一方、関節角度推定モデル２５２は、２次元骨格推定モデル２５１から出力された２次元姿勢と、カメラ２２とロボット１０との間の距離及び傾きと、を入力し、ロボット１０の関節軸Ｊ１～Ｊ６の角度を出力するモデルである。
そして、学習部３０１は、構築した２次元骨格推定モデル２５１と関節角度推定モデル２５２との学習済みモデルを端末装置２０に対して提供する。
以下、２次元骨格推定モデル２５１及び関節角度推定モデル２５２それぞれの構築について説明する。
なお、本発明では、学習済みモデルを、２次元骨格推定モデル２５１と、関節角度推定モデル２５２と、から構成されるように構築する。
図５は、２次元骨格推定モデル２５１と関節角度推定モデル２５２との関係の一例を示す図である。
図５に示すように、２次元骨格推定モデル２５１は、ロボット１０のフレーム画像を入力し、フレーム画像におけるロボット１０の関節軸Ｊ１～Ｊ６の中心の位置を示すピクセル座標の２次元姿勢を出力するモデルである。一方、関節角度推定モデル２５２は、２次元骨格推定モデル２５１から出力された２次元姿勢と、カメラ２２とロボット１０との間の距離及び傾きと、を入力し、ロボット１０の関節軸Ｊ１～Ｊ６の角度を出力するモデルである。
そして、学習部３０１は、構築した２次元骨格推定モデル２５１と関節角度推定モデル２５２との学習済みモデルを端末装置２０に対して提供する。
以下、２次元骨格推定モデル２５１及び関節角度推定モデル２５２それぞれの構築について説明する。
＜２次元骨格推定モデル２５１＞
学習部３０１は、例えば、公知のマーカーレス動物追跡ツール（例えば、ＤｅｅｐＬａｂＣｕｔ）等に用いられる深層学習モデルに基づいて、端末装置２０から受け付けたロボット１０のフレーム画像の入力データと、当該フレーム画像が撮影された時の関節軸Ｊ１～Ｊ６の中心の位置を示す２次元姿勢のラベルと、の訓練データを基に機械学習し、端末装置２０のカメラ２２により撮影されたロボット１０のフレーム画像を入力し、撮影されたフレーム画像におけるロボット１０の関節軸Ｊ１～Ｊ６の中心の位置を示すピクセル座標の２次元姿勢を出力する２次元骨格推定モデル２５１を生成する。
具体的には、２次元骨格推定モデル２５１は、ニューラルネットワークである、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に基づいて構築する。
学習部３０１は、例えば、公知のマーカーレス動物追跡ツール（例えば、ＤｅｅｐＬａｂＣｕｔ）等に用いられる深層学習モデルに基づいて、端末装置２０から受け付けたロボット１０のフレーム画像の入力データと、当該フレーム画像が撮影された時の関節軸Ｊ１～Ｊ６の中心の位置を示す２次元姿勢のラベルと、の訓練データを基に機械学習し、端末装置２０のカメラ２２により撮影されたロボット１０のフレーム画像を入力し、撮影されたフレーム画像におけるロボット１０の関節軸Ｊ１～Ｊ６の中心の位置を示すピクセル座標の２次元姿勢を出力する２次元骨格推定モデル２５１を生成する。
具体的には、２次元骨格推定モデル２５１は、ニューラルネットワークである、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に基づいて構築する。
畳み込みニューラルネットワークは、畳み込み層、プーリング層、全結合層、及び出力層を備えた構造となっている。
畳み込み層では、エッジ抽出等の特徴抽出を行うために、入力されたフレーム画像に対して所定のパラメータのフィルタをかける。このフィルタにおける所定のパラメータは、ニューラルネットワークの重みに相当しており、フォワードプロパゲーションやバックプロパゲーションを繰り返すことにより学習されていく。
プーリング層では、ロボット１０の位置ズレを許容するために、畳み込み層から出力された画像をぼかす。これにより、ロボット１０の位置が変動しても同一の物体であるとみなすことができる。
これら畳み込み層及びプーリング層を組み合わせることによって、フレーム画像から特徴量を抽出することができる。
畳み込み層では、エッジ抽出等の特徴抽出を行うために、入力されたフレーム画像に対して所定のパラメータのフィルタをかける。このフィルタにおける所定のパラメータは、ニューラルネットワークの重みに相当しており、フォワードプロパゲーションやバックプロパゲーションを繰り返すことにより学習されていく。
プーリング層では、ロボット１０の位置ズレを許容するために、畳み込み層から出力された画像をぼかす。これにより、ロボット１０の位置が変動しても同一の物体であるとみなすことができる。
これら畳み込み層及びプーリング層を組み合わせることによって、フレーム画像から特徴量を抽出することができる。
全結合層では、畳み込み層及びプーリング層を通して特徴部分が取り出された画像データを１つのノードに結合し、活性化関数によって変換した値、すなわち確信度の特徴マップを出力する。
図６は、ロボット１０の関節軸Ｊ１～Ｊ６の特徴マップの一例を示す図である。
図６に示すように、各関節軸Ｊ１～Ｊ６の特徴マップでは、確信度ｃｉの値を０～１の範囲で表わされ、セルが関節軸の中心の位置に近いほど「１」に近い値が得られ、関節軸の中心の位置から離れるに従い「０」に近い値が得られる。
出力層では、全結合層からの出力を、各関節軸Ｊ１～Ｊ６の特徴マップにおいて確信度が最大値となるセルの行（ｒｏｗ）、列（ｃｏｌｕｍｎ）及び確信度（ｍａｘｉｍｕｍ）を出力する。なお、畳み込み層でフレーム画像が１／Ｎに畳み込まれた場合、出力層では、セルの行（ｒｏｗ）及び列（ｃｏｌｕｍｎ）をＮ倍して、フレーム画像における各関節軸Ｊ１～Ｊ６の中心の位置を示すピクセル座標とする（Ｎは１以上の整数）。
図７は、フレーム画像と２次元骨格推定モデル２５１の出力結果との比較の一例を示す図である。
図６は、ロボット１０の関節軸Ｊ１～Ｊ６の特徴マップの一例を示す図である。
図６に示すように、各関節軸Ｊ１～Ｊ６の特徴マップでは、確信度ｃｉの値を０～１の範囲で表わされ、セルが関節軸の中心の位置に近いほど「１」に近い値が得られ、関節軸の中心の位置から離れるに従い「０」に近い値が得られる。
出力層では、全結合層からの出力を、各関節軸Ｊ１～Ｊ６の特徴マップにおいて確信度が最大値となるセルの行（ｒｏｗ）、列（ｃｏｌｕｍｎ）及び確信度（ｍａｘｉｍｕｍ）を出力する。なお、畳み込み層でフレーム画像が１／Ｎに畳み込まれた場合、出力層では、セルの行（ｒｏｗ）及び列（ｃｏｌｕｍｎ）をＮ倍して、フレーム画像における各関節軸Ｊ１～Ｊ６の中心の位置を示すピクセル座標とする（Ｎは１以上の整数）。
図７は、フレーム画像と２次元骨格推定モデル２５１の出力結果との比較の一例を示す図である。
＜関節角度推定モデル２５２＞
学習部３０１は、例えば、カメラ２２とロボット１０との間の距離及び傾き、及び上述の正規化された関節軸Ｊ１～Ｊ６の中心の位置を示す２次元姿勢を入力データと、フレーム画像が撮影された時のロボット１０の関節軸Ｊ１～Ｊ６の角度のラベルデータと、の訓練データを基に機械学習し、関節角度推定モデル２５２を生成する。
なお、学習部３０１は、２次元骨格推定モデル２５１から出力された関節軸Ｊ１～Ｊ６の２次元姿勢を正規化したが、２次元骨格推定モデル２５１から正規化された２次元姿勢が出力されるように、２次元骨格推定モデル２５１を生成するにしてもよい。
学習部３０１は、例えば、カメラ２２とロボット１０との間の距離及び傾き、及び上述の正規化された関節軸Ｊ１～Ｊ６の中心の位置を示す２次元姿勢を入力データと、フレーム画像が撮影された時のロボット１０の関節軸Ｊ１～Ｊ６の角度のラベルデータと、の訓練データを基に機械学習し、関節角度推定モデル２５２を生成する。
なお、学習部３０１は、２次元骨格推定モデル２５１から出力された関節軸Ｊ１～Ｊ６の２次元姿勢を正規化したが、２次元骨格推定モデル２５１から正規化された２次元姿勢が出力されるように、２次元骨格推定モデル２５１を生成するにしてもよい。
図８は、関節角度推定モデル２５２の一例を示す図である。ここでは、関節角度推定モデル２５２は、図８に示すように、２次元骨格推定モデル２５１から出力され正規化された関節軸Ｊ１～Ｊ６の中心の位置を示す２次元姿勢と、カメラ２２とロボット１０との間の距離及び傾きと、を入力層として、関節軸Ｊ１～Ｊ６の角度を出力層とする多層ニューラルネットワークを例示する。なお、２次元姿勢は、正規化された関節軸Ｊ１～Ｊ６の中心の位置である座標（ｘｉ，ｙｉ）と確信度ｃｉとを含む（ｘｉ，ｙｉ，ｃｉ）である。
また、「Ｘ軸の傾きＲｘ」、「Ｙ軸の傾きＲｙ」、及び「Ｚ軸の傾きＲｚ」は、ワールド座標系におけるカメラ２２の３次元座標値と、ワールド座標系におけるロボット１０のロボット原点の３次元座標値と、に基づいて算出される、ワールド座標系におけるカメラ２２とロボット１０との間のＸ軸周りの回転角、Ｙ軸周りの回転角、及びＺ軸周りの回転角である。
また、学習部３０１は、２次元骨格推定モデル２５１及び関節角度推定モデル２５２から構成される学習済みモデルを構築した後に、新たな訓練データを取得した場合には、２次元骨格推定モデル２５１及び関節角度推定モデル２５２から構成される学習済みモデルに対してさらに教師あり学習を行うことにより、一度構築した２次元骨格推定モデル２５１及び関節角度推定モデル２５２から構成される学習済みモデルを更新するようにしてもよい。
そうすることで、普段のロボット１０の撮影から訓練データを自動的に得ることができるため、ロボット１０の２次元姿勢及び関節軸Ｊ１～Ｊ６の角度の推定精度を日常的に上げることができる。
そうすることで、普段のロボット１０の撮影から訓練データを自動的に得ることができるため、ロボット１０の２次元姿勢及び関節軸Ｊ１～Ｊ６の角度の推定精度を日常的に上げることができる。
上述した教師あり学習は、オンライン学習で行ってもよく、バッチ学習で行ってもよく、ミニバッチ学習で行ってもよい。
オンライン学習とは、ロボット１０のフレーム画像が撮影され、訓練データが作成される都度、即座に教師あり学習を行うという学習方法である。また、バッチ学習とは、ロボット１０のフレーム画像が撮影され、訓練データが作成されることが繰り返される間に、繰り返しに応じた複数の訓練データを収集し、収集した全ての訓練データを用いて、教師あり学習を行うという学習方法である。さらに、ミニバッチ学習とは、オンライン学習と、バッチ学習の中間的な、ある程度訓練データが溜まるたびに教師あり学習を行うという学習方法である。
オンライン学習とは、ロボット１０のフレーム画像が撮影され、訓練データが作成される都度、即座に教師あり学習を行うという学習方法である。また、バッチ学習とは、ロボット１０のフレーム画像が撮影され、訓練データが作成されることが繰り返される間に、繰り返しに応じた複数の訓練データを収集し、収集した全ての訓練データを用いて、教師あり学習を行うという学習方法である。さらに、ミニバッチ学習とは、オンライン学習と、バッチ学習の中間的な、ある程度訓練データが溜まるたびに教師あり学習を行うという学習方法である。
記憶部３０２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等であり、端末装置２０から取得された入力データ及びラベルデータ、及び学習部３０１により構築された２次元骨格推定モデル２５１及び関節角度推定モデル２５２等を記憶する。
以上、ロボット関節角度推定装置として動作する場合の端末装置２０が備える２次元骨格推定モデル２５１及び関節角度推定モデル２５２を生成するための機械学習について説明した。
次に、運用フェーズにおけるロボット関節角度推定装置として動作する端末装置２０について説明する。
以上、ロボット関節角度推定装置として動作する場合の端末装置２０が備える２次元骨格推定モデル２５１及び関節角度推定モデル２５２を生成するための機械学習について説明した。
次に、運用フェーズにおけるロボット関節角度推定装置として動作する端末装置２０について説明する。
＜運用フェーズにおけるシステム＞
図９は、運用フェーズにおける一実施形態に係るシステムの機能的構成例を示す機能ブロック図である。図１に示すように、システム１は、ロボット１０、及びロボット関節角度推定装置としての端末装置２０を有する。なお、図１のシステム１の要素と同様の機能を有する要素については、同じ符号を付し、詳細な説明は省略する。
図１に示すように、運用フェーズにおけるロボット関節角度推定装置として動作する端末装置２０は、制御部２１ａ、カメラ２２、通信部２３、及び記憶部２４ａを有する。また、制御部２１ａは、３次元物体認識部２１１、自己位置推定部２１２、入力部２２０、及び推定部２２１を有する。
図９は、運用フェーズにおける一実施形態に係るシステムの機能的構成例を示す機能ブロック図である。図１に示すように、システム１は、ロボット１０、及びロボット関節角度推定装置としての端末装置２０を有する。なお、図１のシステム１の要素と同様の機能を有する要素については、同じ符号を付し、詳細な説明は省略する。
図１に示すように、運用フェーズにおけるロボット関節角度推定装置として動作する端末装置２０は、制御部２１ａ、カメラ２２、通信部２３、及び記憶部２４ａを有する。また、制御部２１ａは、３次元物体認識部２１１、自己位置推定部２１２、入力部２２０、及び推定部２２１を有する。
カメラ２２及び通信部２３は、学習フェーズにおけるカメラ２２及び通信部２３と同様である。
記憶部２４ａは、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等であり、後述する制御部２１ａが実行するシステムプログラム及びロボット関節角度推定アプリケーションプログラム等を格納する。また、記憶部２４ａは、学習フェーズにおいて機械学習装置３０から提供された学習済みモデルとしての２次元骨格推定モデル２５１及び関節角度推定モデル２５２と、３次元認識モデルデータ２４３と、を記憶してもよい。
＜制御部２１ａ＞
制御部２１ａは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ、ＲＡＭ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）メモリ等を有し、これらはバスを介して相互に通信可能に構成される、当業者にとって公知のものである。
ＣＰＵは端末装置２０を全体的に制御するプロセッサである。ＣＰＵは、ＲＯＭに格納されたシステムプログラム及びロボット関節角度推定アプリケーションプログラムを、バスを介して読み出し、システムプログラム及びロボット関節角度推定アプリケーションプログラムに従ってロボット関節角度推定装置として端末装置２０全体を制御する。これにより、図９に示すように、制御部２１ａが、３次元物体認識部２１１、自己位置推定部２１２、入力部２２０、及び推定部２２１の機能を実現するように構成される。
制御部２１ａは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ、ＲＡＭ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）メモリ等を有し、これらはバスを介して相互に通信可能に構成される、当業者にとって公知のものである。
ＣＰＵは端末装置２０を全体的に制御するプロセッサである。ＣＰＵは、ＲＯＭに格納されたシステムプログラム及びロボット関節角度推定アプリケーションプログラムを、バスを介して読み出し、システムプログラム及びロボット関節角度推定アプリケーションプログラムに従ってロボット関節角度推定装置として端末装置２０全体を制御する。これにより、図９に示すように、制御部２１ａが、３次元物体認識部２１１、自己位置推定部２１２、入力部２２０、及び推定部２２１の機能を実現するように構成される。
３次元物体認識部２１１及び自己位置推定部２１２は、学習フェーズの３次元物体認識部２１１及び自己位置推定部２１２と同様である。
＜入力部２２０＞
入力部２２０は、カメラ２２により撮影されたロボット１０のフレーム画像と、自己位置推定部２１２により算出されたカメラ２２とロボット１０との間の距離Ｌ、Ｘ軸の傾きＲｘ、Ｙ軸の傾きＲｙ、及びＺ軸の傾きＲｚと、を入力する。
入力部２２０は、カメラ２２により撮影されたロボット１０のフレーム画像と、自己位置推定部２１２により算出されたカメラ２２とロボット１０との間の距離Ｌ、Ｘ軸の傾きＲｘ、Ｙ軸の傾きＲｙ、及びＺ軸の傾きＲｚと、を入力する。
＜推定部２２１＞
推定部２２１は、入力部２２０により入力されたロボット１０のフレーム画像と、カメラ２２とロボット１０との間の距離Ｌ、Ｘ軸の傾きＲｘ、Ｙ軸の傾きＲｙ、及びＺ軸の傾きＲｚと、を、学習済みモデルとしての２次元骨格推定モデル２５１及び関節角度推定モデル２５２に入力する。そうすることで、推定部２２１は、２次元骨格推定モデル２５１及び関節角度推定モデル２５２の出力から、入力されたフレーム画像が撮影された時のロボット１０の関節軸Ｊ１～Ｊ６の角度、及び関節軸Ｊ１～Ｊ６の中心の位置を示す２次元姿勢を推定することができる。
なお、推定部２２１は、上述したように、２次元骨格推定モデル２５１から出力される関節軸Ｊ１～Ｊ６の中心の位置のピクセル座標を正規化して、関節角度推定モデル２５２に入力する。また、推定部２２１は、２次元骨格推定モデル２５１から出力される２次元姿勢の確信度ｃｉも、０．５以上の場合に「１」に設定し、０．５未満の場合に「０」に設定するようにしてもよい。
端末装置２０は、推定されたロボット１０の関節軸Ｊ１～Ｊ６の角度、及び関節軸Ｊ１～Ｊ６の中心の位置を示す２次元姿勢を、端末装置２０に含まれる液晶ディスプレイ等の表示部（図示しない）に表示するようにしてもよい。
推定部２２１は、入力部２２０により入力されたロボット１０のフレーム画像と、カメラ２２とロボット１０との間の距離Ｌ、Ｘ軸の傾きＲｘ、Ｙ軸の傾きＲｙ、及びＺ軸の傾きＲｚと、を、学習済みモデルとしての２次元骨格推定モデル２５１及び関節角度推定モデル２５２に入力する。そうすることで、推定部２２１は、２次元骨格推定モデル２５１及び関節角度推定モデル２５２の出力から、入力されたフレーム画像が撮影された時のロボット１０の関節軸Ｊ１～Ｊ６の角度、及び関節軸Ｊ１～Ｊ６の中心の位置を示す２次元姿勢を推定することができる。
なお、推定部２２１は、上述したように、２次元骨格推定モデル２５１から出力される関節軸Ｊ１～Ｊ６の中心の位置のピクセル座標を正規化して、関節角度推定モデル２５２に入力する。また、推定部２２１は、２次元骨格推定モデル２５１から出力される２次元姿勢の確信度ｃｉも、０．５以上の場合に「１」に設定し、０．５未満の場合に「０」に設定するようにしてもよい。
端末装置２０は、推定されたロボット１０の関節軸Ｊ１～Ｊ６の角度、及び関節軸Ｊ１～Ｊ６の中心の位置を示す２次元姿勢を、端末装置２０に含まれる液晶ディスプレイ等の表示部（図示しない）に表示するようにしてもよい。
＜運用フェーズにおける端末装置２０の推定処理＞
次に、本実施形態に係る端末装置２０の推定処理に係る動作について説明する。
図１０は、運用フェーズにおける端末装置２０の推定処理について説明するフローチャートである。ここで示すフローは、ロボット１０のフレーム画像が入力される度に繰り返し実行される。
次に、本実施形態に係る端末装置２０の推定処理に係る動作について説明する。
図１０は、運用フェーズにおける端末装置２０の推定処理について説明するフローチャートである。ここで示すフローは、ロボット１０のフレーム画像が入力される度に繰り返し実行される。
ステップＳ１において、カメラ２２は、端末装置２０に含まれるタッチパネル（図示しない）等の入力装置を介して作業者の指示に基づいてロボット１０を撮影する。
ステップＳ２において、３次元物体認識部２１１は、ステップＳ１で撮影されたロボット１０のフレーム画像と、３次元認識モデルデータ２４３と、に基づいて、ワールド座標系におけるロボット原点の３次元座標値、及びロボット座標系のＸ軸、Ｙ軸、Ｚ軸それぞれの方向を示す情報を取得する。
ステップＳ３において、自己位置推定部２１２は、ステップＳ１で撮影されたロボット１０のフレーム画像に基づいて、ワールド座標系におけるカメラ２２の３次元座標値を取得する。
ステップＳ４において、自己位置推定部２１２は、ステップＳ３で取得したカメラ２２の３次元座標値と、ステップＳ２で取得したロボット１０のロボット原点の３次元座標値と、に基づいて、カメラ２２とロボット１０との間の距離Ｌと、Ｘ軸の傾きＲｘ、Ｙ軸の傾きＲｙ、及びＺ軸の傾きＲｚと、を算出する。
ステップＳ５において、入力部２２０は、ステップＳ１で撮影されたフレーム画像と、ステップＳ３で算出されたカメラ２２とロボット１０との間の距離Ｌ、Ｘ軸の傾きＲｘ、Ｙ軸の傾きＲｙ、及びＺ軸の傾きＲｚと、を入力する。
ステップＳ６において、推定部２２１は、ステップＳ５で入力されたフレーム画像と、カメラ２２とロボット１０との間の距離Ｌ、Ｘ軸の傾きＲｘ、Ｙ軸の傾きＲｙ、及びＺ軸の傾きＲｚと、を学習済みモデルとしての２次元骨格推定モデル２５１及び関節角度推定モデル２５２に入力することで、入力されたフレーム画像が撮影された時のロボット１０の関節軸Ｊ１～Ｊ６の角度、及び関節軸Ｊ１～Ｊ６の中心の位置を示す２次元姿勢を推定する。
以上により、一実施形態に係る端末装置２０は、ロボット１０のフレーム画像と、カメラ２２とロボット１０との間の距離及び傾きを、学習済みモデルとしての２次元骨格推定モデル２５１及び関節角度推定モデル２５２に入力することで、ログ機能又は専用Ｉ／Ｆが実装されていないロボット１０でもロボット１０の各関節軸Ｊ１～Ｊ６の角度を容易に取得することができる。
以上、一実施形態について説明したが、端末装置２０、及び機械学習装置３０は、上述の実施形態に限定されるものではなく、目的を達成できる範囲での変形、改良等を含む。
＜変形例１＞
上述の実施形態では、機械学習装置３０は、ロボット１０のロボット制御装置（図示しない）、及び端末装置２０と異なる装置として例示したが、機械学習装置３０の一部又は全部の機能を、ロボット制御装置（図示しない）、又は端末装置２０が備えるようにしてもよい。
上述の実施形態では、機械学習装置３０は、ロボット１０のロボット制御装置（図示しない）、及び端末装置２０と異なる装置として例示したが、機械学習装置３０の一部又は全部の機能を、ロボット制御装置（図示しない）、又は端末装置２０が備えるようにしてもよい。
＜変形例２＞
また例えば、上述の実施形態では、ロボット関節角度推定装置として動作する端末装置２０は、機械学習装置３０から提供された学習済みモデルとしての２次元骨格推定モデル２５１及び関節角度推定モデル２５２を用いて、入力されたロボット１０のフレーム画像及びカメラ２２とロボット１０との間の距離及び傾きからロボット１０の関節軸Ｊ１～Ｊ６の角度及び関節軸Ｊ１～Ｊ６の中心の位置を示す２次元姿勢を推定したが、これに限定されない。例えば、図１１に示すように、サーバ５０は、機械学習装置３０により生成された２次元骨格推定モデル２５１及び関節角度推定モデル２５２を記憶し、ネットワーク６０を介してサーバ５０に接続されたｍ個のロボット関節角度推定装置として動作する端末装置２０Ａ（１）～２０Ａ（ｍ）と２次元骨格推定モデル２５１及び関節角度推定モデル２５２を共有してもよい（ｍは２以上の整数）。これにより、新たなロボット、及び端末装置が配置されても２次元骨格推定モデル２５１及び関節角度推定モデル２５２を適用することができる。
なお、ロボット１０Ａ（１）～１０Ａ（ｍ）の各々は、図９のロボット１０に対応する。端末装置２０Ａ（１）～２０Ａ（ｍ）の各々は、図９の端末装置２０に対応する。
また例えば、上述の実施形態では、ロボット関節角度推定装置として動作する端末装置２０は、機械学習装置３０から提供された学習済みモデルとしての２次元骨格推定モデル２５１及び関節角度推定モデル２５２を用いて、入力されたロボット１０のフレーム画像及びカメラ２２とロボット１０との間の距離及び傾きからロボット１０の関節軸Ｊ１～Ｊ６の角度及び関節軸Ｊ１～Ｊ６の中心の位置を示す２次元姿勢を推定したが、これに限定されない。例えば、図１１に示すように、サーバ５０は、機械学習装置３０により生成された２次元骨格推定モデル２５１及び関節角度推定モデル２５２を記憶し、ネットワーク６０を介してサーバ５０に接続されたｍ個のロボット関節角度推定装置として動作する端末装置２０Ａ（１）～２０Ａ（ｍ）と２次元骨格推定モデル２５１及び関節角度推定モデル２５２を共有してもよい（ｍは２以上の整数）。これにより、新たなロボット、及び端末装置が配置されても２次元骨格推定モデル２５１及び関節角度推定モデル２５２を適用することができる。
なお、ロボット１０Ａ（１）～１０Ａ（ｍ）の各々は、図９のロボット１０に対応する。端末装置２０Ａ（１）～２０Ａ（ｍ）の各々は、図９の端末装置２０に対応する。
なお、一実施形態における、端末装置２０、及び機械学習装置３０に含まれる各機能は、ハードウェア、ソフトウェア又はこれらの組み合わせによりそれぞれ実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
端末装置２０、及び機械学習装置３０に含まれる各構成部は、電子回路等を含むハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。ソフトウェアによって実現される場合には、このソフトウェアを構成するプログラムが、コンピュータにインストールされる。また、これらのプログラムは、リムーバブルメディアに記録されてユーザに配布されてもよいし、ネットワークを介してユーザのコンピュータにダウンロードされることにより配布されてもよい。また、ハードウェアで構成する場合、上記の装置に含まれる各構成部の機能の一部又は全部を、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ゲートアレイ、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＣＰＬＤ（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）等の集積回路（ＩＣ）で構成することができる。
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（Ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（Ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（Ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は、無線通信路を介して、プログラムをコンピュータに供給できる。
なお、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
以上を換言すると、本開示の教師データ生成装置、機械学習装置、及びロボット関節角度推定装置は、次のような構成を有する各種各様の実施形態を取ることができる。
（１）本開示の教師データ生成装置は、カメラ２２により撮影されたロボット１０の２次元画像と、カメラ２２とロボット１０との間の距離及び傾きと、を入力して、２次元画像が撮影された時のロボット１０に含まれる複数の関節軸Ｊ１～Ｊ６の角度と、２次元画像における複数の関節軸Ｊ１～Ｊ６の中心の位置を示す２次元姿勢と、を推定する学習済みモデルを生成するための教師データを生成する教師データ生成装置であって、カメラにより撮影されたロボット１０の２次元画像とカメラとロボット１０との間の距離及び傾きと、を取得する入力データ取得部２１６と、２次元画像が撮影された時の複数の関節軸Ｊ１～Ｊ６の角度と、２次元姿勢と、をラベルデータとして取得するラベル取得部２１７と、を備える。
この教師データ生成装置によれば、ログ機能又は専用Ｉ／Ｆが実装されていないロボットでもロボットの各関節軸の角度を容易に取得するための学習済みモデルを生成するのに最適な教師データを生成することができる。
この教師データ生成装置によれば、ログ機能又は専用Ｉ／Ｆが実装されていないロボットでもロボットの各関節軸の角度を容易に取得するための学習済みモデルを生成するのに最適な教師データを生成することができる。
（２）本開示の機械学習装置３０は、（１）に記載の教師データ生成装置により生成された教師データに基づいて教師あり学習を実行し、学習済みモデルを生成する学習部３０１を備える。
この機械学習装置３０によれば、ログ機能又は専用Ｉ／Ｆが実装されていないロボットでもロボットの各関節軸の角度を容易に取得するのに最適な学習済みモデルを生成することができる。
この機械学習装置３０によれば、ログ機能又は専用Ｉ／Ｆが実装されていないロボットでもロボットの各関節軸の角度を容易に取得するのに最適な学習済みモデルを生成することができる。
（３） （２）に記載の機械学習装置３０において、（１）に記載の教師データ生成装置を備えてもよい。
そうすることで、機械学習装置３０は、教師データを容易に取得することができる。
そうすることで、機械学習装置３０は、教師データを容易に取得することができる。
（４）本開示のロボット関節角度推定装置は、（２）又は（３）に記載の機械学習装置３０により生成された学習済みモデルと、カメラ２２により撮影されたロボット１０の２次元画像と、カメラ２２とロボット１０との間の距離及び傾きと、を入力する入力部２２０と、入力部２２０により入力された２次元画像と、カメラ２２とロボット１０との間の距離及び傾きと、を学習済みモデルに入力し、２次元画像が撮影された時のロボット１０に含まれる複数の関節軸Ｊ１～Ｊ６の角度と、２次元画像における複数の関節軸Ｊ１～Ｊ６の中心の位置を示す２次元姿勢と、を推定する推定部２２１と、を備える。
このロボット関節角度推定装置によれば、ログ機能又は専用Ｉ／Ｆが実装されていないロボットでもロボットの各関節軸の角度を容易に取得することができる。
このロボット関節角度推定装置によれば、ログ機能又は専用Ｉ／Ｆが実装されていないロボットでもロボットの各関節軸の角度を容易に取得することができる。
（５） （４）に記載のロボット関節角度推定装置において、学習済みモデルは、２次元画像を入力し２次元姿勢を出力する２次元骨格推定モデル２５１と、２次元骨格推定モデル２５１から出力された２次元姿勢及びカメラ２２とロボット１０との間の距離及び傾きを入力し複数の関節軸Ｊ１～Ｊ６の角度を出力する関節角度推定モデル２５２と、を含んでもよい。
そうすることで、ロボット関節角度推定装置は、ログ機能又は専用Ｉ／Ｆが実装されていないロボットでもロボットの各関節軸の角度を容易に取得することができる。
そうすることで、ロボット関節角度推定装置は、ログ機能又は専用Ｉ／Ｆが実装されていないロボットでもロボットの各関節軸の角度を容易に取得することができる。
（６） （４）又は（５）に記載のロボット関節角度推定装置において、学習済みモデルを、ロボット関節角度推定装置からネットワーク６０を介してアクセス可能に接続されるサーバ５０に備えてもよい。
そうすることで、ロボット関節角度推定装置は、新たなロボット、及びロボット関節角度推定装置が配置されても学習済みモデルを適用することができる。
そうすることで、ロボット関節角度推定装置は、新たなロボット、及びロボット関節角度推定装置が配置されても学習済みモデルを適用することができる。
（７） （４）から（６）のいずれかに記載のロボット関節角度推定装置において、（２）又は（３）に記載の機械学習装置３０を備えてもよい。
そうすることで、ロボット関節角度推定装置は、（１）から（６）と同様の効果を奏することができる。
そうすることで、ロボット関節角度推定装置は、（１）から（６）と同様の効果を奏することができる。
１ システム
１０ ロボット
１０１ 関節角度応答サーバ
２０ 端末装置
２１、２１ａ 制御部
２１１ ３次元物体認識部
２１２ 自己位置推定部
２１３ 関節角度取得部
２１４ 順運動学計算部
２１５ 投影部
２１６ 入力データ取得部
２１７ ラベル取得部
２２０ 入力部
２２１ 推定部
２２ カメラ
２３ 通信部
２４、２４ａ 記憶部
２４１ 入力データ
２４２ ラベルデータ
２４３ ３次元認識モデルデータ
２５１ ２次元骨格推定モデル
２５２ 関節角度推定モデル
３０ 機械学習装置
３０１ 学習部
３０２ 記憶部
１０ ロボット
１０１ 関節角度応答サーバ
２０ 端末装置
２１、２１ａ 制御部
２１１ ３次元物体認識部
２１２ 自己位置推定部
２１３ 関節角度取得部
２１４ 順運動学計算部
２１５ 投影部
２１６ 入力データ取得部
２１７ ラベル取得部
２２０ 入力部
２２１ 推定部
２２ カメラ
２３ 通信部
２４、２４ａ 記憶部
２４１ 入力データ
２４２ ラベルデータ
２４３ ３次元認識モデルデータ
２５１ ２次元骨格推定モデル
２５２ 関節角度推定モデル
３０ 機械学習装置
３０１ 学習部
３０２ 記憶部
Claims (6)
- カメラにより撮影されたロボットの２次元画像を入力し前記２次元画像が撮影された時の前記ロボットに含まれる複数の関節軸の中心の位置を示す２次元姿勢を出力する２次元骨格推定モデルと、前記２次元骨格推定モデルから出力された前記２次元姿勢並びに前記カメラと前記ロボットとの間の距離及び傾きを入力し前記複数の関節軸の角度を出力する関節角度推定モデルと、を含む学習済みモデルを生成するための教師データを生成する教師データ生成装置であって、
前記カメラにより撮影された前記ロボットの２次元画像と前記カメラと前記ロボットとの間の距離及び傾きと、を取得する入力データ取得部と、
前記２次元画像が撮影された時の前記複数の関節軸の角度と、前記２次元姿勢と、をラベルデータとして取得するラベル取得部と、
を備える教師データ生成装置。 - 請求項１に記載の教師データ生成装置により生成された教師データに基づいて教師あり学習を実行し、学習済みモデルを生成する学習部
を備える機械学習装置。 - 請求項１に記載の教師データ生成装置を備える、請求項２に記載の機械学習装置。
- 請求項２又は請求項３に記載の機械学習装置により生成された学習済みモデルと、
カメラにより撮影されたロボットの２次元画像と、前記カメラと前記ロボットとの間の距離及び傾きと、を入力する入力部と、
前記入力部により入力された前記２次元画像と、前記カメラと前記ロボットとの間の距離及び傾きと、を前記学習済みモデルに入力し、前記２次元画像が撮影された時の前記ロボットに含まれる複数の関節軸の角度と、前記２次元画像における前記複数の関節軸の中心の位置を示す２次元姿勢と、を推定する推定部と、
を備えるロボット関節角度推定装置。 - 前記学習済みモデルを、前記ロボット関節角度推定装置からネットワークを介してアクセス可能に接続されるサーバに備える、請求項４に記載のロボット関節角度推定装置。
- 請求項２又は請求項３に記載の機械学習装置を備える、請求項４又は請求項５に記載のロボット関節角度推定装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020211712 | 2020-12-21 | ||
| JP2020211712 | 2020-12-21 | ||
| PCT/JP2021/046117 WO2022138339A1 (ja) | 2020-12-21 | 2021-12-14 | 教師データ生成装置、機械学習装置、及びロボット関節角度推定装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2022138339A1 JPWO2022138339A1 (ja) | 2022-06-30 |
| JP7478848B2 true JP7478848B2 (ja) | 2024-05-07 |
Family
ID=82159082
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022572200A Active JP7478848B2 (ja) | 2020-12-21 | 2021-12-14 | 教師データ生成装置、機械学習装置、及びロボット関節角度推定装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20240033910A1 (ja) |
| JP (1) | JP7478848B2 (ja) |
| CN (1) | CN116615317A (ja) |
| DE (1) | DE112021005322T5 (ja) |
| WO (1) | WO2022138339A1 (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019138111A1 (en) | 2018-01-15 | 2019-07-18 | Technische Universität München | Vision-based sensor system and control method for robot arms |
| WO2020084667A1 (ja) | 2018-10-22 | 2020-04-30 | 富士通株式会社 | 認識方法、認識プログラム、認識装置、学習方法、学習プログラムおよび学習装置 |
| US20200311855A1 (en) | 2018-05-17 | 2020-10-01 | Nvidia Corporation | Object-to-robot pose estimation from a single rgb image |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0588721A (ja) * | 1991-09-30 | 1993-04-09 | Fujitsu Ltd | 関節型ロボツトの制御装置 |
| JPH05189398A (ja) * | 1992-01-14 | 1993-07-30 | Fujitsu Ltd | ニューラルネットワークによる学習方法 |
| JP2774939B2 (ja) | 1994-09-16 | 1998-07-09 | 株式会社神戸製鋼所 | ロボットのツールパラメータ導出方法及び較正方法 |
-
2021
- 2021-12-14 JP JP2022572200A patent/JP7478848B2/ja active Active
- 2021-12-14 US US18/267,293 patent/US20240033910A1/en active Pending
- 2021-12-14 CN CN202180084147.1A patent/CN116615317A/zh active Pending
- 2021-12-14 WO PCT/JP2021/046117 patent/WO2022138339A1/ja active Application Filing
- 2021-12-14 DE DE112021005322.1T patent/DE112021005322T5/de active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019138111A1 (en) | 2018-01-15 | 2019-07-18 | Technische Universität München | Vision-based sensor system and control method for robot arms |
| US20200311855A1 (en) | 2018-05-17 | 2020-10-01 | Nvidia Corporation | Object-to-robot pose estimation from a single rgb image |
| WO2020084667A1 (ja) | 2018-10-22 | 2020-04-30 | 富士通株式会社 | 認識方法、認識プログラム、認識装置、学習方法、学習プログラムおよび学習装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116615317A (zh) | 2023-08-18 |
| WO2022138339A1 (ja) | 2022-06-30 |
| DE112021005322T5 (de) | 2023-09-07 |
| US20240033910A1 (en) | 2024-02-01 |
| JPWO2022138339A1 (ja) | 2022-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112109075B (zh) | 控制系统和控制方法 | |
| JP5852364B2 (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
| JP6946831B2 (ja) | 人物の視線方向を推定するための情報処理装置及び推定方法、並びに学習装置及び学習方法 | |
| CN113327281A (zh) | 运动捕捉方法、装置、电子设备以及拉花系统 | |
| CN113246131B (zh) | 运动捕捉方法、装置、电子设备以及机械臂控制系统 | |
| CN113664835A (zh) | 机器人自动手眼标定方法与系统 | |
| Ila et al. | Fast incremental bundle adjustment with covariance recovery | |
| CN112847336B (zh) | 动作学习方法、装置、存储介质及电子设备 | |
| CN113146634A (zh) | 机器人姿态的控制方法、机器人及存储介质 | |
| CN113361365A (zh) | 定位方法和装置、设备及存储介质 | |
| CN113319859A (zh) | 一种机器人示教方法、系统、装置及电子设备 | |
| Vakanski et al. | An image-based trajectory planning approach for robust robot programming by demonstration | |
| CN114299039B (zh) | 一种机器人及其碰撞检测装置和方法 | |
| US20240144532A1 (en) | CALIBRATION METHOD FOR CAMERA, and CAMERA CALIBRATION SYSTEM | |
| JP7478848B2 (ja) | 教師データ生成装置、機械学習装置、及びロボット関節角度推定装置 | |
| CN116670565A (zh) | 用于确定符合性的方法和系统 | |
| CN109531578B (zh) | 仿人机械手臂体感控制方法及装置 | |
| JP6996455B2 (ja) | 検出器生成装置、モニタリング装置、検出器生成方法及び検出器生成プログラム | |
| CN114029940B (zh) | 机械臂的运动路径规划方法、装置、设备、介质及机械臂 | |
| CN112643718B (zh) | 图像处理设备及其控制方法和存储其控制程序的存储介质 | |
| JP7427115B2 (ja) | 安心ビジョン装置、及び安心ビジョンシステム | |
| JP2022026157A (ja) | 移動体の位置推定装置、移動体の位置推定方法、及びプログラム | |
| KR102556642B1 (ko) | 기계 학습 훈련을 위한 데이터 생성방법 | |
| US20200058135A1 (en) | System and method of object positioning in space for virtual reality | |
| US20240276920A1 (en) | Agricultural cutting system and cut-point method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230519 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231205 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240202 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240402 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240422 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7478848 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |