JP7441335B2 - 動作生成装置、ロボットシステム、動作生成方法及び動作生成プログラム - Google Patents

Description

本開示は、動作生成装置、ロボットシステム、動作生成方法及び動作生成プログラムに関する。

従来より、動作装置の目標動作を生成する技術が知られている。例えば、特許文献１には、動作装置としてのロボットアームが行うべき動作を生成する装置が開示されている。この装置は、機械学習によって得られたモデルを用いて、画像データ及びロボットアームの状態情報に基づいてロボットアームの軌道を生成し、ロボットアームを軌道に従って動作させる。

特許第６７９２２３０号公報

このような機械学習によって得られたモデルを用いて目標動作を生成する場合、生成される目標動作が実際に所望される動作に合致することが望ましい。しかし、生成される目標動作が所望される動作に合致しない場合も起こり得る。そこで、目標動作を生成する際の正確性を向上させるために様々な改良がなされている。しかしながら、その改良は発展の途上であり、まだまだ改善の余地がある。

本開示は、かかる点に鑑みてなされたものであり、その目的とするところは、目標動作を生成する際の正確性を向上させることにある。

本開示の動作生成装置は、動作装置が配置された空間である配置空間の空間情報を取得する空間情報取得部と、前記配置空間における前記動作装置の位置情報を取得する位置情報取得部と、ニューラルネットワークを含んだ動作生成モデルを用いて、前記空間情報取得部によって取得された前記空間情報と前記位置情報取得部によって取得された前記位置情報とに基づいて前記動作装置の目標動作を生成する動作生成部とを備え、前記動作生成モデルは、前記配置空間に対応した位置関係を有する特徴マップを前記空間情報に基づいて生成し、前記特徴マップのうち前記位置情報に対応する位置の特徴量を抽出又は重く重みづけして前記目標動作を生成する。

本開示のロボットシステムは、前記動作生成装置と、前記動作装置としてのロボットとを備える。

本開示の動作装置の目標動作を生成する動作生成方法は、前記動作装置が配置された空間である配置空間の空間情報を取得することと、前記配置空間における前記動作装置の位置情報を取得することと、ニューラルネットワークを含んだ動作生成モデルを用いて、前記空間情報と前記位置情報とに基づいて前記動作装置の目標動作を生成することとを含み、前記動作生成モデルは、前記配置空間に対応した位置関係を有する特徴マップを前記空間情報に基づいて生成し、前記特徴マップのうち前記位置情報に対応する位置の特徴量を抽出又は重く重みづけして前記目標動作を生成する。

本開示の動作生成プログラムは、動作装置の目標動作を生成するためにコンピュータに、前記動作装置が配置された空間である配置空間における前記動作装置の位置情報を取得する機能と、ニューラルネットワークを含んだ動作生成モデルを用いて、前記配置空間の空間情報と前記位置情報とに基づいて前記動作装置の目標動作を生成する機能とを実現させ、前記動作生成モデルは、前記配置空間に対応した位置関係を有する特徴マップを前記空間情報に基づいて生成し、前記特徴マップのうち前記位置情報に対応する位置の特徴量を抽出又は重く重みづけして前記目標動作を生成する。

前記動作生成装置によれば、目標動作を生成する際の正確性を向上させることができる。

前記ロボットシステムによれば、目標動作を生成する際の正確性を向上させることができる。

前記動作生成方法によれば、目標動作を生成する際の正確性を向上させることができる。

前記動作生成プログラムによれば、目標動作を生成する際の正確性を向上させることができる。

図１は、ロボットシステムの構成を示す模式図である。 図２は、ロボット制御装置及び制御装置の概略的なハードウェア構成を示す図である。 図３は、制御部の制御系統の構成を示すブロック図である。 図４は、動作生成モデルのＣＮＮの模式図である。 図５は、特徴マップの模式図である。 図６は、ロボットシステムにおけるロボットアームの動作生成処理を示すフローチャートである。 図７は、ロボットアームの第１動作を示す模式図である。

以下、例示的な実施形態を図面に基づいて詳細に説明する。図１は、ロボットシステム１００の構成を示す模式図である。

ロボットシステム１００は、ロボット１と、ロボット１の動作を生成する動作生成装置３とを備えている。動作生成装置３は、三次元ビジョンセンサ４と、制御装置５とを備えている。ロボットシステム１００では、制御装置５が三次元ビジョンセンサ４の検出結果を参照してロボット１の動作を制御する。

この例では、ロボット１は、コンテナ９１内の特定の物体を取り出して、所定の載置台９２に載置する。コンテナ９１内には、複数の物体、例えば、物体Ａ及び物体Ｂが収容されている。

ロボット１は、この例では、産業用ロボットである。ロボット１は、ロボットアーム１２と、ロボット１の全体を制御するロボット制御装置２とを有している。ロボットアーム１２は、エンドエフェクタとしてのハンド１４を有している。ロボットアーム１２は、ハンド１４によって物体を把持する。ロボット１は、動作装置の一例であり、より具体的には、ロボットアーム１２が動作装置の一例である。

ロボット１が配置される空間には、直交３軸のロボット座標系が規定されている。例えば、上下方向にＺ軸が設定され、水平方向に互いに直交するＸ軸及びＹ軸が設定される。

ロボットアーム１２は、三次元状に動作するように構成されている。具体的には、ロボットアーム１２は、少なくとも３自由度の並進を含む動作を行うように構成されている。この例では、ロボットアーム１２は、垂直多関節型のロボットアームである。ロボットアーム１２は、ベース１０に支持されている。ロボットアーム１２は、複数のリンクと、複数のリンクを接続する複数の関節と、複数の関節を回転駆動するサーボモータとを有している。

詳しくは、ロボットアーム１２は、ベース１０に連結された第１リンク１２ａと、第１リンク１２ａに連結された第２リンク１２ｂと、第２リンク１２ｂに連結された第３リンク１２ｃと、第３リンク１２ｃに連結された第４リンク１２ｄと、第４リンク１２ｄに連結された第５リンク１２ｅとを有している。

詳しくは、ベース１０と第１リンク１２ａとは、鉛直方向に延びる軸回りに回転可能な第１関節１３ａを介して互いに連結されている。第１リンク１２ａと第２リンク１２ｂとは、水平方向に延びる軸回りに回転可能な第２関節１３ｂを介して互いに連結されている。第２リンク１２ｂと第３リンク１２ｃとは、水平方向に延びる軸回りに回転可能な第３関節１３ｃを介して互いに連結されている。第３リンク１２ｃと第４リンク１２ｄとは、第４リンク１２ｄの軸心（即ち、第４リンク１２ｄが延びる方向）回りに回転可能な第４関節１３ｄを介して互いに連結されている。第４リンク１２ｄと第５リンク１２ｅとは、第４リンク１２ｄの軸心と直交する軸回りに回転可能な第５関節１３ｅを介して互いに連結されている。

ロボットアーム１２の先端部、即ち、第５リンク１２ｅには、ハンド１４が連結されている。第５リンク１２ｅとハンド１４とは、所定の軸回りに回転可能に第６関節１３ｆを介して互いに連結されている。ハンド１４は、開閉するように構成された２本の指１４ａを有している。２本の指１４ａは、エアシリンダ等のアクチュエータによって開閉駆動される。

ロボットアーム１２は、各関節を回転駆動するサーボモータ１５（図２参照）を有している。各サーボモータ１５は、エンコーダ１５ａ（図２参照）を有している。

このように構成されたロボットアーム１２は、Ｘ軸、Ｙ軸及びＺ軸方向への並進動作、並びにＸ軸、Ｙ軸及びＺ軸回りの回転動作を行うように構成されている。

図２は、ロボット制御装置２及び制御装置５の概略的なハードウェア構成を示す図である。ロボット制御装置２は、制御装置５と信号及び指令等の送受信を行う。ロボット制御装置２は、ロボットアーム１２のサーボモータ１５及びハンド１４を制御する。例えば、ロボット制御装置２は、制御装置５の指令に応じて、サーボモータ１５に電流を供給する。このとき、ロボット制御装置２は、エンコーダ１５ａの出力に基づいて供給電流をフィードバック制御する。また、ロボット制御装置２は、ハンド１４のアクチュエータを制御することによって２本の指１４ａを開閉させる。

ロボット制御装置２は、制御部２１と、記憶部２２と、メモリ２３とを有している。

制御部２１は、ロボット制御装置２の全体を制御する。制御部２１は、各種の演算処理を行う。例えば、制御部２１は、ＣＰＵ（Central Processing Unit）等のプロセッサで形成されている。制御部２１は、ＭＣＵ（Micro Controller Unit）、ＭＰＵ（Micro Processor Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＰＬＣ（Programmable Logic Controller）、システムＬＳＩ等で形成されていてもよい。

記憶部２２は、制御部２１で実行されるプログラム及び各種データを格納している。記憶部２２は、不揮発性メモリ、ＨＤＤ（Hard Disc Drive）又はＳＳＤ（Solid State Drive）等で形成される。

メモリ２３は、データ等を一時的に格納する。例えば、メモリ２３は、揮発性メモリで形成される。

三次元ビジョンセンサ４は、ロボットアーム１２が配置された配置空間の空間情報を取得する。空間情報は、配置空間における物体の位置及び形状の情報を含む。三次元ビジョンセンサ４は、三次元の空間情報を取得する。例えば、三次元ビジョンセンサ４は、コンテナ９１及び載置台９２を上方から、コンテナ９１、載置台９２及びコンテナ９１内の物体の位置及び形状を計測する。三次元ビジョンセンサ４は、コンテナ９１、載置台９２及びコンテナ９１内の物体の位置及び形状を点群データの形式で出力する。三次元ビジョンセンサ４は、計測結果を空間情報として制御装置５へ出力する。三次元ビジョンセンサ４は、空間情報取得部の一例である。

制御装置５は、ロボットアーム１２の目標動作を生成し、それに応じた指令をロボット制御装置２へ出力する。この例では、ロボットアーム１２が他の物体との干渉を回避しながら開始位置から目標位置に向かって移動する動作が目標動作である。より具体的には、ロボットアーム１２がコンテナ９１内から所定の物体Ａを取り出し、その物体Ａを載置台９２まで搬送するピックアップ動作を制御装置５がロボットアーム１２に実行させる。制御装置５は、ピックアップ動作をロボットアーム１２が物体Ａを取りに行くまでの第１動作とロボットアーム１２が物体Ａをコンテナ９１から載置台９２まで搬出する第２動作とに分けてロボットアーム１２に実行させる。

制御装置５は、ロボット制御装置２と信号及び情報等の送受信を行う。制御装置５には、三次元ビジョンセンサ４の検出結果が入力される。制御装置５は、図２に示すように、制御部５１と、記憶部５２と、メモリ５３とを有している。尚、図示を省略するが、制御装置５は、動作生成に関する設定等を行うためにユーザが操作する入力操作部と、設定内容を表示するディスプレイとをさらに有していてもよい。

制御部５１は、制御装置５の全体を制御する。制御部５１は、各種の演算処理を行う。例えば、制御部５１は、ＣＰＵ（Central Processing Unit）等のプロセッサで形成されている。制御部５１は、ＭＣＵ（Micro Controller Unit）、ＭＰＵ（Micro Processor Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＰＬＣ（Programmable Logic Controller）、システムＬＳＩ等で形成されていてもよい。

記憶部５２は、制御部５１で実行されるプログラム及び各種データを格納している。例えば、記憶部５２は、ロボットアーム１２の目標動作を生成する動作生成プログラム５８及び動作生成モデル６が格納されている。記憶部５２は、不揮発性メモリ、ＨＤＤ（Hard Disc Drive）又はＳＳＤ（Solid State Drive）等で形成される。

メモリ５３は、データ等を一時的に格納する。例えば、メモリ５３は、揮発性メモリで形成される。

図３は、制御部５１の制御系統の構成を示すブロック図である。制御部５１は、記憶部５２から動作生成プログラム５８をメモリ５３に読み出して展開することによって、各種機能を実現する。具体的には、制御部５１は、位置情報取得部５４と動作生成部５６と動作指令部５７として機能する。

位置情報取得部５４は、配置空間における（即ち、ロボット座標系における）ロボットアーム１２の位置情報を取得する。位置情報は、目標動作におけるロボットアーム１２の開始位置を含む。例えば、ロボットアーム１２の現在位置が開始位置となる場合には、位置情報取得部５４は、ロボットアーム１２の現在位置を取得する。具体的には、位置情報取得部５４は、各エンコーダ１５ａの検出結果に基づいてロボットアーム１２の現在位置を求める。位置情報取得部５４は、各エンコーダ１５ａの検出結果から各関節の回転角を得ることができる。ロボットアーム１２の各リンク及びハンドの寸法は既知である。そのため、位置情報取得部５４は、各関節の回転角と各リンク及びハンドの寸法とに基づいて、ロボットアーム１２の任意の部分の位置を求めることができる。この例では、位置情報取得部５４は、ロボットアーム１２の開始位置として、ハンド１４の位置と第３関節１３ｃの位置とを求める。ハンド１４の位置は、例えば、２本の指１４ａの先端の中間位置である。第３関節１３ｃの位置は、例えば、第３関節１３ｃの回転軸の位置である。位置情報取得部５４は、求められたハンド１４の位置及び第３関節１３ｃの位置を開始位置として設定する。

また、位置情報は、目標動作におけるロボットアーム１２の目標位置を含む。この例では、第１動作においては、コンテナ９１内の物体Ａを把持するときのロボットアーム１２の位置が目標位置となる。第２動作においては、物体Ａを載置台９２に載置するときのロボットアーム１２の位置が目標位置となる。第１動作の際には、位置情報取得部５４は、ロボット座標系における物体Ａの位置を三次元ビジョンセンサ４からの空間情報に基づいて求める。例えば、位置情報取得部５４は、パターンマッチング等の画像認識技術によって空間情報から物体Ａを識別し、物体Ａの位置を求める。尚、画像認識技術は、パターンマッチングに限定されず、深層学習によって得られた画像識別モデルを用いてもよい。位置情報取得部５４は、物体Ａを把持し且つ他の物体に干渉しないロボットアーム１２の状態を決定し、その状態におけるロボットアーム１２の位置を目標位置として取得する。第２動作の際には、位置情報取得部５４は、載置台９２に載置された物体Ａを把持し且つ他の物体に干渉しないロボットアーム１２の状態を決定し、その状態におけるロボットアーム１２の位置を目標位置として設定する。ロボット座標系における載置台９２の位置は、記憶部５２に予め記憶されている。この例では、位置情報取得部５４は、第１動作及び第２動作の何れにおいても、ハンド１４の位置及び第３関節１３ｃの位置をロボットアーム１２の目標位置として取得する。開始位置及び目標位置としてのハンド１４の位置及び第３関節１３ｃの位置は、配置空間における動作装置の位置情報の一例である。また、開始位置及び目標位置としてのハンド１４の位置は、配置空間におけるロボットアームの先端部の位置情報の一例である。

動作生成部５６は、三次元ビジョンセンサ４によって取得された空間情報と位置情報取得部５４によって取得された位置情報とに基づいてロボットアーム１２の目標動作を生成する。動作生成部５６は、動作生成モデル６を用いて目標動作を生成する。例えば、動作生成部５６は、ロボットアーム１２の目標経路又は目標軌道（目標経路及びその時間情報）を目標動作として出力する。

動作生成モデル６は、ニューラルネットワーク６０を含んでいる。具体的には、ニューラルネットワーク６０は、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）である。以下、ニューラルネットワーク６０をＣＮＮ６０と称する。この例では、動作生成モデル６は、予め深層学習によって取得されている。

図４は、動作生成モデル６のＣＮＮ６０の模式図である。ＣＮＮ６０は、複数のフィルタ層６１、複数のプーリング層６２、及び、複数の全結合層６３を含んでいる。ＣＮＮ６０は、三次元ビジョンセンサ４の空間情報４１を複数のフィルタ層６１及び複数のプーリング層６２で処理することによって特徴マップ６４を生成する。ＣＮＮ６０は、特徴マップ６４のうち、位置情報取得部５４からの位置情報に対応する位置（即ち、セグメント）の特徴量を抽出する。ＣＮＮ６０は、抽出された特徴量を全結合層６３へ入力する。ＣＮＮ６０は、ロボットアーム１２が他の物体との干渉を回避しながら開始位置から目標位置へ向かう経路に沿って移動するための各関節の回転角の変化量（変化ベクトル）を出力する。すなわち、ＣＮＮ６０は、実質的に、ロボットアーム１２の経路を出力する。このとき出力される各関節の回転角の変化量は、ロボットアーム１２が目標位置へ向かって段階的に移動するための関節の回転角の変化量である。尚、ＣＮＮ６０は、関節の回転角の変化量と該変化量に関する時間情報（例えば、回転角の変化速度）とを出力してもよい。この場合、ＣＮＮ６０は、実質的に、ロボットアーム１２の軌道を出力する。

この例では、複数のフィルタ層６１及び複数のプーリング層６２は、エンコーダ及びデコーダとして機能する。例えば、複数のフィルタ層６１及び複数のプーリング層６２は、Encoder Decoder Networkを形成している。つまり、複数のフィルタ層６１及び複数のプーリング層６２は、空間情報４１を一旦、特徴を抽出しながら低解像度化させた後、再び高解像度化させる。これら複数のフィルタ層６１及び複数のプーリング層６２によって特徴マップ６４が生成される。

図５は、特徴マップ６４の模式図である。特徴マップ６４は、ロボットアーム１２の配置空間と対応する位置関係を有している。配置空間に対応する位置関係とは、配置空間の各位置に対して特徴マップにおける位置が一意に決まる関係を意味する。この例では、特徴マップ６４は、ロボット座標系に対応した座標系を有する形に生成される。つまり、特徴マップ６４は、ロボット座標系のＸ、Ｙ、Ｚ軸に対応するｘ、ｙ、ｚ軸の直交３軸の座標系を有し、三次元形状に形成されている。特徴マップ６４は、三次元状にセグメント化され、各セグメントｓに特徴量が割り当てられている。特徴マップ６４の各特徴量は、各セグメントｓが対応する配置空間における位置の環境情報を反映している。各特徴量は、１又は複数のパラメータで形成されている。

ＣＮＮ６０は、特徴マップ６４を生成した後、位置情報取得部５４からの位置情報に対応する位置の特徴量を抽出する。この例では、位置情報は、開始位置と目標位置とを含む。また、開始位置及び目標位置の何れにおいても、ハンド１４の位置及び第３関節１３ｃの位置がロボットアーム１２の位置として設定されている。そのため、開始位置に対応する位置の特徴量として、ハンド１４の開始位置に対応する位置のセグメントｓ１の特徴量、及び、第３関節１３ｃの開始位置に対応する位置のセグメントｓ２の特徴量の２つの特徴量が抽出される。目標位置に対応する位置の特徴量として、ハンド１４の目標位置に対応する位置のセグメントｓ３の特徴量、及び、第３関節１３ｃの目標位置に対応する位置のセグメントｓ４の特徴量の２つの特徴量が抽出される。つまり、４つの特徴量が抽出される。

このとき、ＣＮＮ６０は、ロボットアーム１２の位置に対応する位置がセグメント内のどこに位置するかによって、抽出する特徴量を調整してもよい。例えば、ＣＮＮ６０は、ロボットアーム１２の位置に対応する位置の、セグメント内の位置に応じて特徴量を線形補間してもよい。ハンド１４の開始位置を例にして説明すると、ハンド１４の開始位置に対応する位置がセグメントｓ１の中央に位置する場合には、ＣＮＮ６０は、セグメントｓ１の特徴量をそのまま抽出する。ハンド１４の開始位置に対応する位置がセグメントｓ１の中央からずれている場合には、ＣＮＮ６０は、セグメントｓ１の特徴量とセグメントｓ１に隣接する１又は複数のセグメントの特徴量とでハンド１４の開始位置に対応する特徴量を線形補間する。こうすることで、特徴マップ６４のセグメントｓの解像度よりも詳細に特徴量を抽出することができる。

ＣＮＮ６０は、抽出された特徴量を全結合層６３に入力する。この例では、ＣＮＮ６０は、抽出された４つの特徴量を全結合層６３に入力する。ＣＮＮ６０は、抽出されなかった特徴量を全結合層６３へ入力しない。全結合層６３は、ロボットアーム１２が他の物体との干渉を回避しながら目標位置へ向かう経路に沿って移動するための各関節の回転角の変化量（変化ベクトル）を出力する。この各関節の回転角の変化量は、目標動作（例えば、目標経路）に対応する。

動作指令部５７は、動作生成部５６から出力される、各関節の回転角の変化量に応じた指令値を作成し、作成された指令値をロボット制御装置２へ出力する。

ロボット制御装置２は、動作指令部５７からの指令値に基づいてサーボモータ１５を駆動する。このとき、ロボット制御装置２は、エンコーダ１５ａの検出結果に基づいてサーボモータ１５への供給電流をフィードバック制御する。

続いて、このように構成されたロボットシステム１００の動作について説明する。図６は、ロボットシステム１００におけるロボットアーム１２の動作生成処理を示すフローチャートである。ロボットアーム１２がコンテナ９１内から所定の物体Ａを取り出し、その物体Ａを載置台９２まで搬送するピックアップ動作について説明する。

まず、制御装置５は、ロボットアーム１２が物体Ａを取りに行くまでの第１動作を実行させる。制御装置５は、ステップＳ１において、三次元ビジョンセンサ４を介して空間情報を取得する。三次元ビジョンセンサ４は、コンテナ９１及び載置台９２の上方から、コンテナ９１、載置台９２及びコンテナ９１内の物体の位置及び形状を計測する。三次元ビジョンセンサ４は、コンテナ９１、載置台９２及びコンテナ９１内の物体の位置及び形状を点群データの形式で制御装置５へ出力する。

次に、ステップＳ２において、制御装置５は、目標動作におけるロボットアーム１２の目標位置を取得する。具体的には、位置情報取得部５４は、まず三次元ビジョンセンサ４の空間情報に基づいて物体Ａの位置を検出する。そして、位置情報取得部５４は、検出された位置に配置された物体Ａを他の物体に干渉することなく把持する状態のロボットアーム１２の位置を求める。位置情報取得部５４は、その状態のロボットアーム１２のハンド１４の位置及び第３関節１３ｃの位置を目標位置として設定する。

続いて、ステップＳ３において、制御装置５は、目標動作におけるロボットアーム１２の開始位置を取得する。具体的には、位置情報取得部５４は、各エンコーダ１５ａの検出結果に基づいてロボットアーム１２の現在位置を求め、ハンド１４の位置及び第３関節１３ｃの位置を開始位置として設定する。

次に、ステップＳ４において、制御装置５は、目標動作を生成する。具体的には、動作生成部５６は、動作生成モデル６を用いて、三次元ビジョンセンサ４からの空間情報と開始位置と目標位置とに基づいてロボットアーム１２の目標動作を生成する。詳しくは、動作生成部５６は、空間情報から特徴マップ６４を生成する。その後、動作生成部５６は、特徴マップ６４のうち開始位置及び目標位置のそれぞれに対応する位置の特徴量を抽出し、抽出された特徴量を用いてロボットアーム１２の目標動作を生成する。目標動作は、他の物体との干渉を回避しながら開始位置から目標位置へ向かう目標経路に沿った移動である。この例では、１回の目標動作で、ロボットアーム１２が開始位置から目標位置まで移動するわけではない。ロボットアーム１２は、１回の目標動作で、開始位置から目標位置までの全経路のうちの一部の経路に沿って微小な移動を行う。動作生成部５６は、ロボットアーム１２に目標動作を実行させるための各関節の回転角の変化量を出力する。

続いて、ステップＳ５において、制御装置５は、ロボットアーム１２に目標動作を実行させる。具体的には、動作指令部５７は、動作生成部５６から出力された、各関節の回転角の変化量を指令値に変換し、指令値をロボット制御装置２へ出力する。ロボット制御装置２は、指令値に基づいて、サーボモータ１５を制御して、ロボットアーム１２を動作させる。ロボットアーム１２は、目標経路に沿って移動する。

その後、制御装置５は、ステップＳ６において、各エンコーダ１５ａの検出結果に基づいてロボットアーム１２の現在位置を求め、ロボットアーム１２が目標位置に到達したか否かを判定する。

ロボットアーム１２のハンド１４の位置及び第３関節１３ｃの位置が目標位置に到達していない場合には、制御装置５は、ステップＳ３に戻り、ステップＳ３からの処理を繰り返す。つまり、制御装置５は、ステップＳ５による移動後のロボットアーム１２の現在位置を各エンコーダ１５ａの検出結果に基づいて求め、求められたハンド１４の位置及び第３関節１３ｃの位置を新たな開始位置として設定する。そして、ステップＳ４において、空間情報と新たな開始位置と目標位置とに基づいてロボットアーム１２の次の目標動作が生成される。尚、空間情報及び目標位置は、変更されない。その後、新たな目標動作が実行される（ステップＳ５）。このように、ロボットアーム１２の目標動作後の位置を新たな開始位置に更新して次の目標動作が実行されるという処理が、ロボットアーム１２が目標位置に到達するまで繰り返される。

図７は、ロボットアーム１２の第１動作を示す模式図である。今回の処理は第１動作なので、図７に示すように、ロボットアーム１２は、第１動作の開始時の位置（実線で示す位置）からハンド１４がコンテナ９１内の物体Ａを把持する位置（二点鎖線で示す位置）まで移動する。このとき、ロボットアーム１２は、他の物体（コンテナ９１、載置台９２及び物体Ｂ等）との干渉を回避しながら移動する。図中の矢印は、ハンド１４及び第３関節１３ｃのそれぞれの目標動作に対応する移動を示す。ハンド１４及び第３関節１３ｃは、矢印で示すように、それぞれの目標経路に沿って微小な移動を繰り返しながら目標位置まで到達する。

尚、図７は、Ｙ軸を向いて見た二次元的な図であるが、ロボットアーム１２は、ＺＸ平面内で移動するだけでなく、Ｙ軸方向へも移動している。

ロボットアーム１２のハンド１４の位置及び第３関節１３ｃの位置が目標位置に到達した場合には、制御装置５は、ステップＳ７において、目標位置が最終目標位置か否かを判定する。つまり、ピックアップ動作のように、動作が分割され、複数の目標位置が含まれている場合がある。ステップＳ７では、今回の目標位置が最終目標位置であるか否か、即ち、次に設定されるべき目標位置が残っているか否かが判定される。今回の処理では第１動作の完了後には第２動作が残っているので、今回の目標位置は最終目標位置ではないと判定される。

今回の目標位置が最終目標位置の場合には、制御装置５は、ロボットアーム１２の動作生成処理を終了する。尚、目標位置が１つだけの場合には、当然ながら、今回の目標位置が最終目標位置となる。

今回の目標位置が最終目標位置でない場合、制御装置５は、ステップＳ２へ戻り、ステップＳ２からの処理を繰り返す。ステップＳ２において、次の目標動作の目標位置が新たに設定され、ステップＳ３以降の処理が実行される。今回の処理では、制御装置５は、第２動作のロボットアーム１２の目標位置を新たな目標位置として設定する。具体的には、位置情報取得部５４は、他の物体に干渉することなく物体Ａを載置台９２に載置する状態のロボットアーム１２の位置を求める。位置情報取得部５４は、その状態のロボットアーム１２のハンド１４の位置及び第３関節１３ｃの位置を新たな目標位置として設定する。

こうして、ロボットアーム１２の目標位置が更新される。そして、新たな目標位置に関して、ステップＳ３～Ｓ６の処理が繰り返される。今回の処理では、ロボットアーム１２は、やがて第２動作の目標位置まで到達し、物体Ａを載置台９２に載置する。

ロボットアーム１２のハンド１４の位置及び第３関節１３ｃの位置が新たな目標位置に到達した場合には、制御装置５は、再びステップＳ７において、目標位置が最終目標位置か否かを判定する。目標位置が最終目標位置となるまで、前述の処理が繰り返される。今回の処理では、第２動作の目標位置が最終目標位置であるので、制御装置５は、ロボットアーム１２の動作生成処理を終了する。

ロボットアーム１２は、このような動作生成処理によって目標動作を積み重ねていくことによって所望の動作を実現する。この例では、ロボットアーム１２は、ピックアップ動作を実現する。この動作生成処理において、制御装置５は、空間情報に基づいて生成された特徴マップ６４の特徴量のうち全結合層６３に入力する特徴量をロボットアーム１２の位置情報に基づいて選択することによって、ロボットアーム１２の所望の動作の正確性を向上させることができる。

詳しくは、ニューラルネットワークを含むモデルは、空間情報が入力されることによって、空間情報に応じた目標動作を生成することが可能である。例えば、ニューラルネットワークは、空間情報から特徴マップを生成することによって空間における物体等の識別がしやすくなる。その上で、特徴マップと動作装置の位置情報とを全結合層に入力することによって、空間情報に応じた動作装置の目標動作を生成することができる。

しかしながら、特徴マップの全ての特徴量をそのまま全結合層に入力すると、目標動作にとって重要度が低い特徴量も多少なりとも考慮して目標動作が生成される。つまり、空間情報においては、目標動作に関連する位置の情報がより重要である。少なくとも、目標動作を行う動作装置の周囲の情報、即ち、どこにどのような物体が存在するかなどの情報は、重要である。逆に、目標動作を行う動作装置から遠く離れた位置の情報は、目標動作を生成する上であまり重要ではない。動作装置から遠く離れた位置に物体が存在するとしても、その物体が目標動作に与える影響は小さいからである。

特徴マップは、配置空間に対応した位置関係を有している。特徴マップの各セグメントの特徴量は、各セグメントに対応する配置空間の位置における特徴を反映している。つまり、特徴マップには、目標動作を生成する上で重要な特徴量だけでなく、重要でない特徴量も含まれる。目標動作を生成する上で、特徴マップの特徴量の全てが重要なわけではない。

そこで、動作生成モデル６は、特徴マップ６４のうちロボットアーム１２の位置情報に対応する位置の特徴量を抽出して、抽出された特徴量に基づいて目標動作（例えば、目標経路又は目標軌道）を生成する。これにより、動作生成モデル６は、重要な情報をより重要視して目標動作を生成することができる。その結果、ロボットアーム１２の目標動作を生成する際の正確性を向上させることができる。

具体的には、動作生成モデル６は、特徴マップ６４のうちロボットアーム１２の開始位置及び目標位置に対応する位置の特徴量を抽出して、抽出された特徴量に基づいて、ロボットアーム１２が他の物体との干渉を回避しながら開始位置から目標位置に向かって移動する動作を目標動作として生成する。このように、少なくともロボットアーム１２の配置空間における開始位置及び目標位置のそれぞれを中心とする情報を反映している特徴マップ６４の特徴量を用いて目標動作を生成することによって、ロボットアーム１２が他の物体との干渉を回避しながら開始位置から目標位置に向かって移動する動作を生成する際の正確性を向上させることができる。

この例では、動作生成モデル６は、特徴マップ６４の特徴量のうち抽出された特徴量のみを用いて目標動作を生成している。つまり、動作生成モデル６は、特徴マップ６４の特徴量のうち目標動作を生成する上で重要度の低い特徴量を使用しない。特徴マップ６４の全ての特徴量を用いて目標動作を生成する場合、重要度の低い特徴量が多少なりとも、生成される目標動作に影響を与え得る。それにより、目標動作を生成する際の正確性が低下する虞がある。特徴マップ６４の特徴量のうち抽出された特徴量のみを用いて目標動作を生成することによって、目標動作の生成に用いられる特徴量の全体的な重要度を高め、目標動作をより高い正確性で生成することができる。

さらに、三次元ビジョンセンサ４は、三次元の配置空間の情報を取得し、動作生成モデル６は、三次元の配置空間に対応した位置関係を有する特徴マップ６４を生成する。これにより、動作生成装置３は、ロボットアーム１２の三次元状の目標動作を高い正確性で生成することができる。

尚、動作生成モデル６は、特徴マップ６４のうちロボットアーム１２の位置情報に対応する位置の特徴量を重く重みづけして、特徴マップ６４の特徴量を用いて目標動作を生成してもよい。つまり、特徴量を抽出する場合と異なり、ロボットアーム１２の位置情報に対応しない位置の特徴量も目標動作の生成に用いられる。

例えば、動作生成モデル６は、特徴マップ６４の特徴量に重みづけ係数を乗じてもよい。例えば、特徴マップ６４のうち開始位置及び目標位置のそれぞれに対応する特徴量の重みづけ係数を大きくして、配置空間における開始位置又は目標位置から離れた位置に対応する位置の特徴量ほど、重みづけ係数を小さくする。これにより、目標動作を生成する上で重要な特徴量の重要度が高められ、目標動作を生成上で重要でない特徴量の重要度が低減される。その結果、あまり重要でない特徴量が目標動作の生成に与える影響が低減され、目標動作をより高い正確性で生成することができる。

以上のように、動作生成装置３は、ロボットアーム１２（動作装置）が配置された空間である配置空間の空間情報を取得する三次元ビジョンセンサ４（空間情報取得部）と、配置空間におけるロボットアーム１２の位置情報を取得する位置情報取得部５４と、ニューラルネットワーク６０、即ち、ＣＮＮ６０を含んだ動作生成モデル６を用いて、三次元ビジョンセンサ４によって取得された空間情報と位置情報取得部５４によって取得された位置情報とに基づいて、ロボットアーム１２の目標動作を生成する動作生成部５６とを備え、動作生成モデル６は、配置空間に対応した位置関係を有する特徴マップ６４を空間情報に基づいて生成し、特徴マップ６４のうち位置情報に対応する位置の特徴量を抽出又は重く重みづけして目標動作を生成する。

換言すると、ロボットアーム１２の目標動作を生成する動作生成方法は、ロボットアーム１２が配置された空間である配置空間の空間情報を取得することと、配置空間におけるロボットアーム１２の位置情報を取得することと、ニューラルネットワーク６０を含んだ動作生成モデル６を用いて、空間情報と位置情報とに基づいてロボットアーム１２の目標動作を生成することとを含み、動作生成モデル６は、配置空間に対応した位置関係を有する特徴マップ６４を空間情報に基づいて生成し、特徴マップ６４のうち位置情報に対応する位置の特徴量を抽出又は重く重みづけして目標動作を生成する。

また、動作生成プログラム５８は、ロボットアーム１２の目標動作を生成するために制御装置５（コンピュータ）に、ロボットアーム１２が配置された空間である配置空間におけるロボットアーム１２の位置情報を取得する機能と、ニューラルネットワーク６０を含んだ動作生成モデル６を用いて、配置空間の空間情報と位置情報とに基づいてロボットアーム１２の目標動作を生成する機能とを実現させ、動作生成モデル６は、配置空間に対応した位置関係を有する特徴マップ６４を空間情報に基づいて生成し、特徴マップ６４のうち位置情報に対応する位置の特徴量を抽出又は重く重みづけして目標動作を生成する。

これらの構成によれば、ロボットアーム１２の目標動作は、ニューラルネットワーク６０、即ち、ＣＮＮ６０を含んだ動作生成モデル６を用いて生成される。動作生成モデル６は、ロボットアーム１２の配置空間に対応した位置関係を有する特徴マップ６４を配置空間の空間情報に基づいて生成する。ここで、動作生成モデル６は、特徴マップ６４のうち位置情報に対応する位置の特徴量を抽出又は重く重みづけして目標動作を生成する。つまり、動作生成モデル６は、目標動作を生成する上で、特徴マップ６４のうち、配置空間におけるロボットアーム１２の位置情報に対応する位置の特徴量の重要度を向上させる。特徴マップ６４のうち位置情報に対応する位置の特徴量は、配置空間におけるロボットアーム１２を中心とする空間の情報を反映している。特徴マップ６４のうち位置情報に対応する位置の特徴量を抽出又は重く重みづけすることによって、重要な情報をより重要視して目標動作を生成することができる。その結果、ロボットアーム１２の目標動作を生成する際の正確性を向上させることができる。

位置情報は、目標動作におけるロボットアーム１２の開始位置を含む。

この構成によれば、動作生成モデル６は、特徴マップ６４のうち、配置空間におけるロボットアーム１２の開始位置に対応する位置の特徴量を抽出又は重く重みづけして目標動作を生成する。つまり、配置空間におけるロボットアーム１２の開始位置を中心とする空間の情報がより重要視されて目標動作が生成される。その結果、ロボットアーム１２の目標動作を生成する際の正確性を向上させることができる。特に、ロボットアーム１２の開始位置周辺の目標動作の正確性が向上する。

また、位置情報は、目標動作におけるロボットアーム１２の目標位置を含む。

この構成によれば、動作生成モデル６は、特徴マップ６４のうち、配置空間におけるロボットアーム１２の目標位置に対応する位置の特徴量を抽出又は重く重みづけして目標動作を生成する。つまり、配置空間におけるロボットアーム１２の目標位置を中心とする空間の情報がより重要視されて目標動作が生成される。その結果、ロボットアーム１２の目標動作を生成する際の正確性を向上させることができる。特に、ロボットアーム１２の目標位置周辺の目標動作の正確性が向上する。

さらに、動作生成モデル６は、特徴マップ６４のうち開始位置及び目標位置に対応する位置の特徴量を抽出又は重く重みづけして、ロボットアーム１２が他の物体との干渉を回避しながら開始位置から目標位置に向かって移動する動作を目標動作として生成する。

この構成によれば、動作生成モデル６は、ロボットアーム１２が他の物体との干渉を回避しながら開始位置から目標位置に向かって移動する動作を生成する。このような動作を生成する際には、ロボットアーム１２の配置空間において、少なくとも開始位置を中心とする空間の情報と目標位置を中心とする空間の情報とが重要である。つまり、特徴マップ６４のうち開始位置及び目標位置に対応する位置の特徴量を抽出又は重く重みづけして目標動作を生成することによって、配置空間における開始位置及び目標位置のそれぞれを中心とする空間の情報をより重要視して目標動作が生成される。その結果、ロボットアーム１２が他の物体との干渉を回避しながら開始位置から目標位置に向かって移動する動作を生成する正確性を向上させることができる。

また、ロボットアーム１２は、三次元状に動作するように構成され、三次元ビジョンセンサ４は、三次元の配置空間の空間情報を取得し、特徴マップ６４は、三次元の配置空間に対応した位置関係を有する。

この構成によれば、三次元ビジョンセンサ４は、三次元の配置空間の空間情報を取得し、特徴マップ６４は、三次元の配置空間に対応した位置関係を有する。そのため、三次元状に動作するロボットアーム１２の目標動作を正確に生成することができる。

また、ロボットシステム１００は、動作生成装置３と、動作装置としてのロボット１とを備えている。

この構成によれば、動作生成装置３は、ロボットシステム１００に組み込まれる。動作生成装置３は、ロボット１の動作を生成する。

ロボット１は、ロボットアーム１２を有し、動作生成部５６は、ロボットアーム１２の動作を生成する。

この構成によれば、ロボットアーム１２の目標動作が高い正確性で生成される。

位置情報取得部５４は、配置空間におけるロボットアーム１２の少なくともハンド１４（先端部）の位置情報を取得し、動作生成部５６は、特徴マップ６４のうちロボットアーム１２のハンド１４の位置情報に対応する位置の特徴量を抽出又は重く重みづけして目標動作を生成する。

この構成によれば、配置空間におけるロボットアーム１２のハンド１４の位置情報に対応する位置の特徴量の重要度が向上する。この特徴量は、配置空間におけるハンド１４を中心とする空間の情報を反映している。そのため、ロボットアーム１２の目標動作を生成する際の正確性、特にハンド１４の目標動作の正確性を向上させることができる。

《その他の実施形態》
以上のように、本出願において開示する技術の例示として、前記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、前記実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。また、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、前記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

例えば、動作装置は、ロボットアーム１２及びロボット１に限定されない。動作を行う装置であれば、任意の装置が動作装置の対象となり得る。例えば、動作装置は、自走式のロボットなど、ロボットアームを備えないロボットであってもよい。また、動作装置は、ドローン等の移動体であってもよい。また、ロボット１は、産業用ロボットに限定されない。

ロボットアーム１２は、垂直多関節型のロボットアームに限定されない。ロボットアーム１２は、水平多関節型、パラレルリンク型、直角座標型、又は極座標型のロボットアーム等であってもよい。

また、動作装置は、ロボットアーム１２ではなく、ハンド１４の指１４ａであってもよい。つまり、指１４ａの目標経路又は目標軌道等が目標動作をして生成されてもよい。

空間情報取得部は、三次元ビジョンセンサ４に限定されない。例えば、空間情報取得部は、ＲＧＢ－Ｄ画像を出力するＲＧＢ－Ｄカメラであってもよい。あるいは、空間情報取得部は、ＲＧＢ画像を取得するステレオカメラ等であってもよい。また、空間情報は、点群データ、ＲＧＢ－Ｄ画像、ＲＧＢ画像の他に、デプス画像、ボクセル等であってもよい。

空間情報取得部は、センサやカメラ等のような装置に限定されない。空間情報は、予め取得され、記憶部５２又は他の装置に記憶されていてもよい。その場合、記憶部５２又は他の装置から空間情報を読み出す制御部５１（より具体的には、制御部５１の機能ブロック）が空間情報取得部となる。

特徴量の抽出又は重みづけを行うために特徴マップ６４から特徴量を選択する場合に用いられるロボットアーム１２の位置は、ハンド１４の位置及び第３関節１３ｃの位置に限定されない。ロボットアーム１２の別の部分の位置が用いられてもよいし、ロボットアーム１２の全ての関節の位置が用いられてもよい。あるいは、ロボットアーム１２のリンク等を含む全ての部分の位置が用いられてもよい。つまり、配置空間における動作装置の位置情報は、ハンド１４の位置及び第３関節１３ｃの位置のように、動作装置の代表的な部分の位置に限定されない。

また、特徴マップ６４から特徴量を選択する場合に用いられる動作装置の位置情報は、開始位置及び目標位置に限定されない。例えば、位置情報は、目標動作に応じて異なり得る。例えば、開始位置が常に決まっていてる場合などには、開始位置が位置情報に含まれなくてもよい。目標位置についても同様である。また、位置情報には、開始位置と目標位置との間で経由する経由位置等が含まれていてもよい。

また、開始位置は、エンコーダ１５ａの検出結果によって取得されているが、これに限定されない。目標位置は、空間情報を画像認識技術によって画像を認識することによって取得されているが、これに限定されない。開始位置又は目標位置は、外部からの入力を受け付けることによって、制御部５１が取得してもよい。例えば、制御装置５がタッチパネル等の操作入力部を有し、タッチパネルに表示された配置空間の画像からユーザが開始位置及び／又は目標位置を選択してもよい。あるいは、開始位置及び／又は目標位置は、予め決められ、記憶部５２等に記憶されていてもよい。

前述のフローチャートでは、目標動作を生成して実行する処理を繰り返すことによって、ロボットアーム１２が開始位置から目標位置まで少しずつ移動するが、このような処理に限定されない。例えば、制御装置５は、開始位置から目標位置までの目標経路を全て生成してからロボットアーム１２の移動を開始してもよい。つまり、制御装置５は、前述のフローチャートのステップＳ４において目標動作を生成した後に、ステップＳ３へ戻って、仮に目標動作が実行された後のロボットアーム１２の位置を新たな開始位置として更新してもよい。制御装置５は、この処理を繰り返して、開始位置から目標位置に到達するまでの全ての目標動作を生成してから、ロボットアーム１２に目標動作を実行させてもよい。

また、動作生成部５６は、１回の目標動作として、開始位置から目標位置までの移動を生成してもよい。例えば、ＣＮＮ６０において、全結合層６３が、特徴マップ６４から抽出された特徴量に基づいて、ロボットアーム１２が開始位置から目標位置に至るまでの目標経路又は目標軌道を出力してもよい。

動作生成モデル６のニューラルネットワークは、畳み込みニューラルネットワークに限定されない。配置空間に対応した位置関係を有する特徴マップを生成するニューラルネットワークであれば、任意のニューラルネットワークを採用することができる。例えば、Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎ機構を有するニューラルネットワークであってもよい。

本明細書で開示する要素の機能は、開示された機能を実行するよう構成またはプログラムされた汎用プロセッサ、専用プロセッサ、集積回路、ASIC（Application Specific Integrated Circuits）、従来の回路、および/または、それらの組み合わせ、を含む回路または処理回路を使用して実行できる。プロセッサは、トランジスタやその他の回路を含むため、処理回路または回路と見なされる。本開示において、回路、ユニット、または手段は、列挙された機能を実行するハードウェアであるか、または、列挙された機能を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されているハードウェアであってもよいし、あるいは、列挙された機能を実行するようにプログラムまたは構成されているその他の既知のハードウェアであってもよい。ハードウェアが回路の一種と考えられるプロセッサである場合、回路、手段、またはユニットはハードウェアとソフトウェアの組み合わせであり、ソフトウェアはハードウェアおよび/またはプロセッサの構成に使用される。

１００ ロボットシステム
１ ロボット
１２ ロボットアーム（動作装置）
３ 動作生成装置
４ 三次元ビジョンセンサ（空間情報取得部）
５ 制御装置（コンピュータ）
５４ 位置情報取得部
５８ 動作生成プログラム
６ 動作生成モデル
６０ ニューラルネットワーク、ＣＮＮ
６４ 特徴マップ

Claims (10)

1. 動作装置が配置された空間である配置空間の空間情報を取得する空間情報取得部と、
   前記配置空間における前記動作装置の位置情報を取得する位置情報取得部と、
   ニューラルネットワークを含んだ動作生成モデルを用いて、前記空間情報取得部によって取得された前記空間情報と前記位置情報取得部によって取得された前記位置情報とに基づいて前記動作装置の目標動作を生成する動作生成部とを備え、
   前記動作生成モデルは、
   前記配置空間に対応した位置関係を有する特徴マップを前記空間情報に基づいて前記ニューラルネットワークによって生成し、
   前記特徴マップのうち前記位置情報に対応する位置の特徴量を抽出又は重く重みづけして前記目標動作を生成する動作生成装置。
2. 請求項１に記載の動作生成装置において、
   前記位置情報は、前記目標動作における前記動作装置の開始位置を含む動作生成装置。
3. 請求項１又は２に記載の動作生成装置において、
   前記位置情報は、前記目標動作における前記動作装置の目標位置を含む動作生成装置。
4. 請求項２に記載の動作生成装置において、
   前記位置情報は、前記目標動作における前記動作装置の目標位置を含み、
   前記動作生成モデルは、前記特徴マップのうち前記開始位置及び前記目標位置に対応する位置の特徴量を抽出又は重く重みづけして、前記動作装置が他の物体との干渉を回避しながら前記開始位置から前記目標位置に向かって移動する動作を前記目標動作として生成する動作生成装置。
5. 請求項１乃至４の何れか１項に記載の動作生成装置において、
   前記動作装置は、三次元状に動作するように構成され、
   前記空間情報取得部は、三次元の前記配置空間の前記空間情報を取得し、
   前記特徴マップは、三次元の前記配置空間に対応した位置関係を有する動作生成装置。
6. 請求項１乃至５の何れか１項に記載の動作生成装置と、
   前記動作装置としてのロボットとを備えるロボットシステム。
7. 請求項６に記載のロボットシステムにおいて、
   前記ロボットは、ロボットアームを有し、
   前記動作生成部は、前記ロボットアームの前記目標動作を生成するロボットシステム。
8. 請求項７に記載のロボットシステムにおいて、
   前記位置情報取得部は、前記配置空間における前記ロボットアームの少なくとも先端部の位置情報を取得し、
   前記動作生成部は、前記特徴マップのうち前記ロボットアームの先端部の位置情報に対応する位置の特徴量を抽出又は重く重みづけして前記目標動作を生成するロボットシステム。
9. 動作装置の目標動作を生成する動作生成方法であって、
   前記動作装置が配置された空間である配置空間の空間情報を取得することと、
   前記配置空間における前記動作装置の位置情報を取得することと、
   ニューラルネットワークを含んだ動作生成モデルを用いて、前記空間情報と前記位置情報とに基づいて前記動作装置の目標動作を生成することとを含み、
   前記動作生成モデルは、
   前記配置空間に対応した位置関係を有する特徴マップを前記空間情報に基づいて前記ニューラルネットワークによって生成し、
   前記特徴マップのうち前記位置情報に対応する位置の特徴量を抽出又は重く重みづけして前記目標動作を生成する動作生成方法。
10. 動作装置の目標動作を生成するためにコンピュータに、
    前記動作装置が配置された空間である配置空間における前記動作装置の位置情報を取得する機能と、
    ニューラルネットワークを含んだ動作生成モデルを用いて、前記配置空間の空間情報と前記位置情報とに基づいて前記動作装置の目標動作を生成する機能とを実現させ、
    前記動作生成モデルは、
    前記配置空間に対応した位置関係を有する特徴マップを前記空間情報に基づいて前記ニューラルネットワークによって生成し、
    前記特徴マップのうち前記位置情報に対応する位置の特徴量を抽出又は重く重みづけして前記目標動作を生成する動作生成プログラム。

Images