JP7481205B2 - ロボットシステム、ロボットの制御方法、情報処理装置、コンピュータプログラム、学習装置、及び学習済みモデルの生成方法 - Google Patents

Description

本開示は、ロボットシステム、ロボットの制御方法、情報処理装置、コンピュータプログラム、学習装置、及び学習済みモデルの生成方法に関する。

特許文献１には、複数の指部によって物体を把持するロボットハンドを、指部の公転中心と物体の重心位置とが重なるように移動させ、公転中心を中心とする公転円と物体の輪郭線を外側へオフセットさせたオフセット線との交点へ指部を位置付け、指部により物体を把持させる技術が開示されている。

特開２０２０－８２２１７号公報

上記技術では、複数の指部によって物体を把持するために、物体の輪郭線を外側へオフセットさせたオフセット線を算出した上で、公転円とオフセット線との交点を算出する必要があり、計算手順が煩雑である。

本開示は、上記課題に鑑みてなされたものであり、その主な目的は、計算手順の簡易化を図ることが可能なロボットシステム、ロボットの制御方法、情報処理装置、コンピュータプログラム、学習装置、及び学習済みモデルの生成方法を提供することにある。

本開示の第１の形態によれば、ロボットシステムが提供される。このロボットシステムは、吸着用のエンドエフェクタを有するロボットと、対象物をセンシングするセンシング部、学習用画像を入力データとし、前記学習用画像に含まれる対象物の種別及び位置を教師データとして機械学習により予め生成された学習済みモデルを用いて、前記センシング部により生成された検出画像から前記対象物の種別及び前記検出画像中の前記対象物の１点である代表点の位置を推定する推定部と、推定された前記対象物の種別及び代表点の位置を表す指標に対する修正指示の入力を受け付ける受付部と、受け付けられた前記修正指示に基づいて、推定された前記対象物の種別及び前記代表点の位置のうちの少なくとも１つを修正する修正部と、前記検出画像中の前記対象物の前記代表点の位置に基づいて、前記エンドエフェクタで前記対象物を吸着するための吸着点の位置を決定する決定部と、前記エンドエフェクタで前記対象物の前記吸着点を吸着するように前記ロボットを制御するロボットコントローラと、を備える。この形態のロボットシステムによれば、検出画像中の対象物の１点である代表点の位置を推定し、代表点の位置に基づいて吸着点の位置を決定するので、計算手順の簡易化を図ることができる。

本開示の第２の形態によれば、ロボットの制御方法が提供される。このロボットの制御方法は、吸着用のエンドエフェクタを有するロボットの制御方法であって、センシング部により対象物をセンシングし、学習用画像を入力データとし、前記学習用画像に含まれる対象物の種別及び位置を教師データとして機械学習により予め生成された学習済みモデルを用いて、前記センシング部により生成された検出画像から前記対象物の種別及び前記検出画像中の前記対象物の１点である代表点の位置を推定し、推定された前記対象物の種別及び代表点の位置を表す指標に対する修正指示の入力を受け付け、受け付けられた前記修正指示に基づいて、推定された前記対象物の種別及び前記代表点の位置のうちの少なくとも１つを修正し、前記検出画像中の前記対象物の前記代表点の位置に基づいて、前記エンドエフェクタで前記対象物を吸着するための吸着点の位置を決定し、前記エンドエフェクタで前記対象物の前記吸着点を吸着するように前記ロボットを制御する。この形態のロボットの制御方法によれば、検出画像中の対象物の１点である代表点の位置を推定し、代表点の位置に基づいて吸着点の位置を決定するので、計算手順の簡易化を図ることができる。

本開示の第３の形態によれば、情報処理装置が提供される。この情報処理装置は、対象物をセンシングするセンシング部により生成された検出画像を取得する取得部と、学習用画像を入力データとし、前記学習用画像に含まれる対象物の種別及び位置を教師データとして機械学習により予め生成された学習済みモデルを用いて、前記検出画像から前記対象物の種別及び前記検出画像中の前記対象物の１点である代表点の位置を推定する推定部と、推定された前記対象物の種別及び代表点の位置を表す指標に対する修正指示の入力を受け付ける受付部と、受け付けられた前記修正指示に基づいて、推定された前記対象物の種別及び前記代表点の位置のうちの少なくとも１つを修正する修正部と、前記検出画像中の前記対象物の前記代表点の位置に基づいて、吸着用のエンドエフェクタで前記対象物を吸着するための吸着点の位置を決定する決定部と、を備える。この形態の情報処理装置によれば、検出画像中の対象物の１点である代表点の位置を推定し、代表点の位置に基づいて吸着点の位置を決定するので、計算手順の簡易化を図ることができる。

本開示の第４の形態によれば、コンピュータプログラムが提供される。このコンピュータプログラムは、対象物をセンシングするセンシング部により生成された検出画像を取得する機能と、学習用画像を入力データとし、前記学習用画像に含まれる対象物の種別及び位置を教師データとして機械学習により予め生成された学習済みモデルを用いて、前記前記画像から前記対象物の種別及び前記検出画像中の前記対象物の１点である代表点の位置を推定する機能と、推定された前記対象物の種別及び代表点の位置を表す指標に対する修正指示の入力を受け付ける機能と、受け付けられた前記修正指示に基づいて、推定された前記対象物の種別及び前記代表点の位置のうちの少なくとも１つを修正する機能と、前記検出画像中の前記対象物の前記代表点の位置に基づいて、吸着用のエンドエフェクタで前記対象物を吸着するための吸着点の位置を決定する機能と、をコンピュータに実現させる。この形態のコンピュータプログラムによれば、検出画像中の対象物の１点である代表点の位置を推定し、代表点の位置に基づいて吸着点の位置を決定するので、計算手順の簡易化を図ることができる。

本開示の第５の形態によれば、学習装置が提供される。この学習装置は、学習用画像並びに前記学習用画像に含まれる対象物の種別及び前記学習用画像中の前記対象物の位置を取得する取得部と、前記学習用画像を入力データとし、前記学習用画像に含まれる前記対象物の種別及び前記学習用画像中の前記対象物の位置を教師データとして、センシング部により生成された検出画像に含まれる対象物の種別及び前記検出画像中の前記対象物の１点である代表点の位置を推定するための学習済みモデルを機械学習により生成する学習部と、を備え、前記学習部は、修正された対象物の種別又は代表点の位置を教師データとして、前記学習済みモデルの再学習を行う。この形態の学習装置によれば、学習用画像を入力データとし、学習用画像に含まれる対象物の種別及び学習用画像中の対象物の位置を教師データとして機械学習を行うので、検出画像中の対象物の１点である代表点の位置を推定するための学習済みモデルを生成することができる。

本開示の第６の形態によれば、学習済みモデルの生成方法が提供される。この学習済みモデルの生成方法は、学習用画像並びに前記学習用画像に含まれる対象物の種別及び前記学習用画像中の前記対象物の位置を取得し、前記学習用画像を入力データとし、前記学習用画像に含まれる前記対象物の種別及び前記学習用画像中の前記対象物の位置を教師データとして、センシング部により生成された検出画像に含まれる対象物の種別及び前記検出画像中の前記対象物の１点である代表点の位置を推定するための学習済みモデルを機械学習により生成し、修正された対象物の種別又は代表点の位置を教師データとして、前記学習済みモデルの再学習を行う。この形態の学習済みモデルの生成方法によれば、学習用画像に含まれる対象物の種別及び学習用画像中の対象物の位置を教師データとして機械学習を行うので、検出画像中の対象物の１点である代表点の位置を推定するための学習済みモデルを生成することができる。

本開示によれば、計算手順の簡易化を図ることが可能となる。

ロボットシステムの概略構成を示す説明図である。 ロボットの概略構成を示す説明図である。 ロボットシステムの使用場面を模式的に示す説明図である。 情報処理装置の機能的構成を示すブロック図である。 学習装置の機能的構成を示すブロック図である。 学習用データベースの例を示す図である。 学習用画像の例を示す図である。 学習用画像に対するアノテーションの例を示す図である。 学習済みモデルの生成処理の手順例を示すフローチャートである。 学習済みモデルの生成を説明するための図である。 学習済みモデルを用いた識別処理の手順例を示すフローチャートである。 学習済みモデルを用いた識別処理を説明するための図である。 タッチパネルの表示例を示す図である。 タッチパネルの他の表示例を示す図である。 タッチパネルの他の表示例を示す図である。 指標の修正例を示す図である。 指標の修正例を示す図である。 修正保存データベースの例を示す図である。

Ａ．実施形態：Ａ１．システム構成： 図１は、本開示の一実施形態としてのロボットシステム１００の概略構成を示す説明図である。図２は、ロボットシステム１００に含まれるロボット１の概略構成を示す説明図である。図３は、ロボットシステム１００の使用場面を模式的に示す説明図である。ロボットシステム１００は、例えば、工場内のベルトコンベアＣＶ上を搬送方向Ｄにランダムに搬送される廃棄物である対象物Ｂを２台のロボット１Ａ及び１Ｂによって分別するために用いられる。本実施形態では、対象物Ｂは空き瓶である。以下において、２つのロボットを区別する場合は「ロボット１Ａ」及び「ロボット１Ｂ」と表記し、区別しない場合は「ロボット１」と表記する場合がある。

図１に示すように、ロボットシステム１００は、ロボット１と、センシング部２と、情報処理装置３と、タッチパネル４と、ロボットコントローラ５とを備える。

センシング部２、タッチパネル４、及びロボットコントローラ５は、有線または無線により情報処理装置３に接続されている。ロボットコントローラ５は、ロボット１にも接続されている。情報処理装置３には、学習装置７も接続されている。

図２に示すように、ロボット１は、２つのロボットアーム１２Ａ，１２Ｂを備える双腕ロボットである。ロボットアーム１２Ａ，１２Ｂは、水平多関節型のロボットアームである。具体的には、ロボット１は、２つのロボットアーム１２Ａ，１２Ｂが鉛直方向の第１軸Ｓ１を同軸として水平面内に回動可能な同軸双腕ロボットである。

ロボットアーム１２Ａは、第１リンク１２１ａ、第２リンク１２１ｂ、第３リンク１２１ｃおよび第４リンク１２４ａを有する。第１リンク１２１ａは、基台１１０に回転関節Ｊａ１を介して連結されており、基台１１０に定められた鉛直方向の第１軸Ｓ１を中心に回動可能である。第２リンク１２２ａは、第１リンク１２１ａの先端部に回転関節Ｊａ２を介して連結されており、第１リンク１２１ａの先端部に定められた鉛直方向の第２軸Ｓ２ａを中心に回動可能である。

第３リンク１２３ａは、第２リンク１２２ａの先端部に直動関節Ｊａ３を介して連結されており、第２リンク１２２ａの先端部に定められた鉛直方向の第３軸Ｓ３ａに沿って昇降可能である。第４リンク１２４ａは、第３リンク１２３ａの先端部に回転関節Ｊａ４を介して連結されており、第３リンク１２３ａの先端部に定められた鉛直方向の第４軸Ｓ４ａを中心に回動可能である。

第４リンク１２４ａは、エンドエフェクタ１４Ａを連結するためのメカニカルインターフェースを構成する。エンドエフェクタ１４Ａは、支持体１４１ａと、支持体１４１ａに設けられた吸着ノズル１４２ａとを有する。

同様に、ロボットアーム１２Ｂは、第１リンク１２１ｂ、第２リンク１２２ｂ、第３リンク１２３ｂおよび第４リンク１２４ｂを有する。第１リンク１２１ｂは、基台１１０に回転関節Ｊｂ１を介して連結されており、基台１１０に定められた鉛直方向の第１軸Ｓ１を中心に回動可能である。第２リンク１２２ｂは、第１リンク１２１ｂの先端部に回転関節Ｊｂ２を介して連結されており、第１リンク１２１ｂの先端部に定められた鉛直方向の第２軸Ｓ２ｂを中心に回動可能である。

第３リンク１２３ｂは、第２リンク１２２ｂの先端部に直動関節Ｊｂ３を介して連結されており、第２リンク１２２ｂの先端部に定められた鉛直方向の第３軸Ｓ３ｂに沿って昇降可能である。第４リンク１２４ｂは、第３リンク１２３ｂの先端部に回転関節Ｊｂ４を介して連結されており、第３リンク１２３ｂの先端部に定められた鉛直方向の第４軸Ｓ４ｂを中心に回動可能である。

第４リンク１２４ｂは、エンドエフェクタ１４Ｂを連結するためのメカニカルインターフェースを構成する。エンドエフェクタ１４Ｂは、支持体１４１ｂと、支持体１４１ｂに設けられた吸着ノズル１４２ｂとを有する。

ロボットアーム１Ａの第１リンク１２１ａと、ロボットアーム１Ｂの第１リンク１２１ｂとは、回動時の互いの干渉を抑制するために、第１軸Ｓ１の軸心方向にずらして配置される。

ロボットアーム１Ａ，１Ｂには、関節Ｊａ１，Ｊａ２，Ｊａ３，Ｊａ４，Ｊｂ１，Ｊｂ２，Ｊｂ３およびＪｂ４のそれぞれに対応して、駆動用のサーボモータ（不図示）及びサーボモータの回転角を検出するエンコーダ（不図示）が設けられている。各サーボモータは、ロボットコントローラ５によって制御される。

以下において、２つのロボットアームを区別する場合は「ロボットアーム１２Ａ」及び「ロボットアーム１２Ｂ」と表記し、区別しない場合は「ロボットアーム１２」と表記する場合がある。また、２つのエンドエフェクタを区別する場合は「エンドエフェクタ１４Ａ」及び「エンドエフェクタ１４Ｂ」と表記し、区別しない場合は「エンドエフェクタ１４」と表記する場合がある。

なお、ロボット１は、単腕ロボットであってもよい。また、ロボット１は、垂直多関節型ロボット又はパラレルリンク型ロボット等であってもよい。

ロボットアーム１２Ａ，１２Ｂの先端には、エンドエフェクタ１４Ａ，１４Ｂがそれぞれ取り付けられている。エンドエフェクタ１４は、吸着ピックアップ機構を用いて対象物Ｂをピッキングする。吸着ピックアップ機構としては、例えば、負圧や、静電気、磁力、又は分子間力等を用いて対象物Ｂの少なくとも１点において対象物Ｂとエンドエフェクタ１４とを接触させて対象物Ｂを持ち上げる機構である。

センシング部２は、対象物Ｂをセンシングして検出画像を生成する。本実施形態において、センシング部２は、対象物Ｂを撮像し、撮像した画像データをセンシング結果として生成するデジタルカメラである。図３に示すように、センシング部２は、ロボット１よりも搬送方向Ｄの上流において、コンベアＣＶを視野に含むように設置される。センシング部２は、対象物を時系列的に撮像して複数の画像を生成する。生成された画像は、情報処理装置３に出力される。センシング部２により生成される画像は、動画像に含まれる複数の静止画像であってもよいし、所定の時間間隔で撮影されて個別に生成された複数の静止画像であってもよい。以下において、センシング部２としてのデジタルカメラにより生成された検出画像を「カメラ画像」とも呼ぶ。なお、センシング部２は、デジタルカメラに代えて、センシング結果として対象物の３次元位置を表す検出画像を生成するステレオカメラやＴＯＦ（Time-of-Flight）カメラであってもよいし、照射光を射出し、射出された照射光の反射光を利用してセンシング結果として対象物の距離を表す検出画像を生成するＬｉＤＡＲ（Light Detection And Ranging）であってもよい。

図４は、情報処理装置３の機能的構成を示すブロック図である。情報処理装置３は、センシング部２から提供されるカメラ画像に基づいて対象物の種別及び吸着点の位置を算出し、ロボットコントローラ５に提供する。また、情報処理装置３は、タッチパネル４にカメラ画像とともに対象物の種別及び吸着点の位置を表す指標を表示し、ユーザによる修正を受付ける。

情報処理装置３は、図示しないＣＰＵと図示しないメモリとを含むコンピュータである。情報処理装置３は、メモリに格納されたコンピュータプログラムを実行することによって、画像取得部３１と、代表点推定部３２と、吸着点決定部３３と、表示制御部３４と、推定結果修正部３５と、保存処理部３６として機能する。また、情報処理装置３のメモリは、モデル保持部３８及び修正保存ＤＢ（データベース）３９を備えている。なお、これらの機能部および記憶部の少なくとも一部は、情報処理装置３の外部に設けられてもよい。

画像取得部３１は、センシング部２により生成されたカメラ画像を取得する。画像取得部３１は、取得部に相当する。

代表点推定部３２は、学習装置７により生成され、モデル保持部３８に保持された学習済みモデルを用いて、画像取得部３１により取得されたカメラ画像から対象物Ｂの種別及び代表点の位置を推定する。代表点は、カメラ画像中の対象物Ｂの１点である。代表点推定部３２は、推定部に相当する。

吸着点決定部３３は、代表点推定部３２により推定されたカメラ画像中の対象物Ｂの代表点の位置に基づいて、エンドエフェクタ１４で対象物Ｂを吸着するための吸着点の位置を決定する。吸着点の位置は対象物データとしてロボットコントローラ５に提供される。吸着点決定部３３は、決定部に相当する。

表示制御部３４は、代表点推定部３２により推定された対象物Ｂの種別及び代表点の位置を表す指標を生成し、生成された指標をカメラ画像とともにタッチパネル４に表示する。なお、指標については後述する。

推定結果修正部３５は、タッチパネル４に表示された指標に対する修正の指示に基づいて、代表点推定部３２による推定結果である対象物Ｂの種別及び代表点の位置のうちの少なくとも１つを修正する。推定結果修正部３５は、修正部に相当する。

保存処理部３６は、画像取得部３１により取得されたカメラ画像と、代表点推定部３２により推定された対象物Ｂの種別及び代表点の位置とを情報処理装置３の図示しないメモリに保存する。また、保存処理部３６は、推定結果修正部３５により修正された対象物Ｂの種別及び代表点の位置のうちの少なくとも１つをカメラ画像と関連付けて修正保存ＤＢ３９に保存する。

タッチパネル４は、カメラ画像と対象物Ｂの種別及び代表点の位置を表す指標を表示する。また、タッチパネル４は、指標に対する修正指示の入力を受け付ける。タッチパネル４は、タッチセンサ付き表示装置であり、人の指、タッチペン等の指示体による画面内の指示位置を検出する。タッチパネル４は、表示部及び受付部に相当する。これに限らず、マウス等のポインティングデバイスにより指示位置が入力されてもよい。図３に示すように、２台のタッチパネル４Ａ，４Ｂは、例えば、ベルトコンベアＣＶ近傍に設置され、ユーザＰによって監視される。以下において、２つのタッチパネルを区別する場合は「タッチパネル４Ａ」及び「タッチパネル４Ｂ」と表記し、区別しない場合は「タッチパネル４」と表記する場合がある。

ロボットコントローラ５は、情報処理装置３から提供される対象物データに含まれる対象物Ｂの吸着点の位置に基づいて、エンドエフェクタ１４で対象物Ｂの吸着点を吸着するようにロボット１を制御する。ロボットコントローラ５は、図示しないＣＰＵと図示しないメモリとを含むコンピュータであり、ロボット１のロボットアーム１２に含まれる各サーボモータを制御するための不図示の駆動回路をさらに備える。本実施形態では、情報処理装置３とロボットコントローラ５とが互いに独立した装置であるが、これに限らず、情報処理装置３とロボットコントローラ５とが一体に構成されてもよい。すなわち、情報処理装置３の機能がロボットコントローラ５で実現されてもよい。

図４は、学習装置７の機能的構成を示すブロック図である。学習装置７は、学習用ＤＢ（データベース）７９に保存された学習用データセットを用いて、カメラ画像中の対象物Ｂの種別及びカメラ画像中の対象物Ｂの代表点の位置を推定するための学習済みモデルを機械学習により生成する。

学習装置７は、図示しないＣＰＵと図示しないメモリとを含むコンピュータである。学習装置７は、メモリに格納されたコンピュータプログラムを実行することによって、取得部７１と、学習部７２として機能する。学習装置７は、学習用ＤＢ７９にアクセス可能である。学習用ＤＢ７９は、学習装置７の内部に設けられてもよいし、学習装置７の外部に設けられて通信ネットワークを介してアクセスされてもよい。

取得部７１は、学習用ＤＢ７９から学習用データセットを取得する。

学習部７２は、取得部７１により取得された学習用データセットを用いて、カメラ画像中の対象物Ｂの種別及びカメラ画像中の対象物Ｂの代表点の位置を推定するための学習済みモデルを機械学習により生成する。

以下では、学習装置７により実現される学習済みモデルを生成する学習フェーズ、情報処理装置３により実現される学習済みモデルを使用する運用フェーズ、及び学習装置７により実現される学習済みモデルの再学習について、それぞれ詳しく説明する。

Ａ２．学習フェーズ： 実施形態に係る学習済みモデルの生成方法としての学習フェーズについて説明する。図６は、学習用ＤＢ７９の例を示す図である。学習用ＤＢ７９には、学習用画像、種別（クラス）、及び位置が互いに関連付けられた学習用データセットが記憶されている。学習用画像は、入力データとして用いられる。種別及び位置は、教師データとして用いられる。

学習用画像は、対象物である瓶の像を含んだ画像である。学習用画像は、例えばベルトコンベアＣＶ上の対象物Ｂを撮像するセンシング部２（図３参照）によって生成された画像である。これに限らず、学習用画像は、実験や、シミュレーション等により準備された画像であってもよく、例えば、実験室において対象物を撮像した画像であってもよい。

種別及び位置は、学習用画像に含まれる対象物の種別及び位置である。対象物の種別及び位置は、例えば人によって判断され、入力される（いわゆるアノテーション）。

対象物は、複数の種別（クラス）に分別される。種別は、色に関する種別及びサイズに関する種別などを含んでいる。例えば、色に関する種別には、透明瓶及び色付き瓶がある。サイズに関する種別には、大及び小がある。本実施形態では、色に関する種別とサイズに関する種別とが組み合わされて、対象物は、「透明瓶・大」、「透明瓶・小」、「色付き瓶・大」、及び「色付き瓶・小」の４つの種別に分別される。

対象物の位置は、対象物の代表点の位置である。対象物の代表点は、学習用画像中の対象物の１点である。対象物の代表点は、例えば吸着点として適していると人によって判断され、指示された、対象物の像の中の一点である。すなわち、１つの対象物につき１つの代表点が設定される。吸着点としては、対象物の中心若しくはそれに近い場所、又は凹凸が少ない場所などが適している。

図７は、学習用画像ＬＰの例を示す図である。図８は、学習用画像ＬＰに対するアノテーションの例を示す図である。学習用画像ＬＰには、例えば大サイズの透明瓶Ｂｔｌ、小サイズの透明瓶Ｂｔｓ、大サイズの色付き瓶Ｂｃｌ、及び小サイズの色付き瓶Ｂｃｓのうちの１又は複数が含まれる。

代表点Ｐの位置を設定するためのアノテーションは、例えばタッチパネルに表示された学習用画像ＬＰ上で対象物の代表点Ｐの位置を人が指等で指示することによって実現される。すなわち、タッチパネルに表示された学習用画像ＬＰを見た人が、対象物の吸着点として適していると判断した場所を指等で指示することにより、代表点Ｐの位置が設定される。学習用画像ＬＰが複数の対象物を含む場合には、それぞれの対象物に代表点Ｐが１つずつ設定される。

対象物の種別を設定するためのアノテーションは、例えば代表点Ｐの位置が指示される際に、人の指等が所定の軌跡を描くこと等によって実現される。これに限らず、キーボード又はマウス等からの入力に応じて対象物の種別が設定されてもよい。

図９は、学習装置７において実現される、学習済みモデルの生成処理の手順例を示すフローチャートである。学習済みモデルの生成処理は、ユーザ開始される。図１０は、学習済みモデルの生成処理を説明するための図である。同図では、図９の各処理に対応する箇所に、処理のステップ番号を付す。

本例では、例えば Keypoint Detection 等の、画像内の特徴点を検出する特徴点検出モデルＭＤＬが用いられる。特徴点検出モデルＭＤＬは、それぞれの種別に対応する確度分布画像（いわゆるヒートマップ）を出力する。確度分布画像は、各画素における代表点の確度を表す。確度は、代表点としての確からしさを表す。すなわち、確度は、代表点が吸着点として適切である度合いを表す指標である。

図９に示すように、ステップＳ１１において、取得部７１は、学習用画像、種別、及び位置を含む学習用データセットを学習用ＤＢ７９から取得する。

ステップＳ１２において、学習部７２は、学習用画像ＬＰを入力データＩＰＤとして特徴点検出モデルＭＤＬに入力する。ステップＳ１３において、学習部７２は、特徴点検出モデルＭＤＬによる計算を行う。ステップＳ１４において、学習部７２は、特徴点検出モデルＭＤＬから種別毎の確度分布画像ＨＭを出力データＯＰＤとして出力する。

ステップＳ１５において、学習部７２は、出力データＯＰＤとしての確度分布画像ＨＭと、教師データＴＲＤとしての対象物の種別（Class name）及び代表点の位置（KeyPoint (x,y)）との誤差を算出する。ステップＳ１６において、学習部７２は、誤差を低減するように誤差逆伝播計算を行う。

以上の手順を繰り返すことにより、画像中の対象物の種別及び代表点の位置を推定するための学習済みモデル（すなわち、学習済みの特徴点検出モデル）が生成される。生成された学習済みモデルは、以下に説明する運用フェーズにおいて使用される。

なお、ロボットシステム１００のセンシング部２にステレオカメラやＴＯＦカメラが用いられる場合には、学習用画像としてステレオカメラやＴＯＦカメラにより生成された検出画像が用いられる。また、センシング部２にＬｉＤＡＲが用いられる場合には、学習用画像としてＬｉＤＡＲにより生成された検出画像が用いられる。

Ａ３．運用フェーズ：図１１は、情報処理装置３において実現される、学習済みモデルを用いた識別処理の手順例を示すフローチャートである。識別処理は、センシング部２が対象物Ｂをセンシングしてカメラ画像を出力すると開始される。図１２は、学習済みモデルを用いた識別処理を説明するための図である。

ステップＳ２１において、画像取得部３１は、センシング部２により生成されたカメラ画像を取得する。具体的には、画像取得部３１は、センシング部２により時系列的に生成された複数のカメラ画像を順次取得する。

ステップＳ２２において、代表点推定部３２は、上述の学習フェーズにおいて生成された学習済みモデルＬＭＤＬ（すなわち、学習済みの特徴点検出モデルＭＤＬ）を用いて、上記ステップＳ２１で取得されたカメラ画像ＣＰから対象物Ｂの種別及び代表点の位置を推定する。ここでは、１つの対象物Ｂにつき１つの代表点の位置が推定される。

具体的には、代表点推定部３２は、図１２に示すように、カメラ画像ＣＰを入力データＩＰＤとして学習済みモデルＬＭＤＬに入力し、学習済みモデルＬＭＤＬによる計算を行い、種別毎の確度分布画像ＨＭを出力データＯＰＤとして出力し、確度分布画像ＨＭに基づいて対象物Ｂの代表点の位置を特定する。

例えば、確度分布画像ＨＭにおいて所定以上の確度を有するピーク部分を最大値プーリング等の手法によって抽出し、抽出されたピーク部分の中心に対応する位置を求めることによって、瓶の代表点の位置が特定され得る。カメラ画像ＣＰが複数の対象物Ｂを含む場合には、この処理によって、各対象物Ｂに１つの代表点の位置がそれぞれ特定される。なお、最大値プーリングに限らず、クラスタリング等によってピーク部分を抽出してもよい。

なお、ロボットシステム１００のセンシング部２にステレオカメラやＴＯＦカメラが用いられる場合には、学習用画像としてステレオカメラやＴＯＦカメラの検出画像を用いて生成された学習済みモデルが用いられる。また、センシング部２にＬｉＤＡＲが用いられる場合には、学習用画像としてＬｉＤＡＲの検出画像を用いて生成された学習済みモデルが用いられる。

ステップＳ２３において、表示制御部３４は、上記ステップＳ２２で推定された対象物Ｂの種別及び代表点の位置を表す指標を生成する。ステップＳ２４において、表示制御部３４は、上記ステップＳ２３で生成された指標を、カメラ画像とともにタッチパネル４に表示する。

図１３は、タッチパネル４の表示例を示す図である。本実施形態では、タッチパネル４に合成画像ＳＰが表示される。合成画像ＳＰは、カメラ画像ＣＰに指標Ｍを含む指標画像ＭＫを重畳した画像である。合成画像ＳＰでは、カメラ画像ＣＰに含まれる対象物Ｂの像の上に、指標画像ＭＫに含まれる指標Ｍが配置される。

具体的には、カメラ画像ＣＰは、例えば大サイズの透明瓶Ｂｔｌ、小サイズの透明瓶Ｂｔｓ、大サイズの色付き瓶Ｂｃｌ、及び小サイズの色付き瓶Ｂｃｓのうちの１又は複数を含んでいる。「対象物Ｂ」は、瓶Ｂｔｌ，Ｂｔｓ，Ｂｃｌ，Ｂｃｓの総称である。

指標画像ＭＫは、大サイズの透明瓶であることを表す指標Ｍｔｌ、小サイズの透明瓶であることを表す指標Ｍｔｓ、大サイズの色付き瓶であることを表す指標Ｍｃｌ、小サイズの色付き瓶であることを表す指標Ｍｃｓのうちの１又は複数を含んでいる。「指標Ｍ」は、指標Ｍｔｌ，Ｍｔｓ，Ｍｃｌ，指標Ｍｃｓの総称である。

大サイズの透明瓶Ｂｔｌ上には、大サイズの透明瓶であることを表す指標Ｍｔｌが配置される。小サイズの透明瓶Ｂｔｓ上には、小サイズの透明瓶であることを表す指標Ｍｔｓが配置される。大サイズの色付き瓶Ｂｃｌ上には、大サイズの色付き瓶であることを表す指標Ｍｃｌが配置される。小サイズの色付き瓶Ｂｃｓ上には、小サイズの色付き瓶であることを表す指標Ｍｃｓが配置される。

指標Ｍは、対象物Ｂの種別及び代表点の位置の両方を表す。具体的には、指標Ｍは、対象物Ｂの種別に応じた色又は模様等の表示態様で識別可能に表示されることで、対象物Ｂの種別を表す。また、指標Ｍは、対象物Ｂの代表点の位置に点形状ないし円形状で表示されることで、対象物Ｂの代表点の位置を表す。

本実施形態では、カメラ画像ＣＰに指標画像ＭＫを重畳した合成画像ＳＰをタッチパネル４に表示すが、これに限らず、図１４に示すように、カメラ画像ＣＰと指標画像ＭＫとを並べてタッチパネル４に表示してもよい。すなわち、カメラ画像ＣＰとともに指標Ｍを表示する表示態様であれば、他の任意の表示態様を採用してもよい。

また、本実施形態では、指標Ｍは、対象物Ｂの種別及び代表点の位置の両方を表すが、これに限らず、図１５に示すように、対象物Ｂの種別を表す指標Ｎと、対象物Ｂの代表点の位置を表す指標Ｄとが個別に表示されてもよい。「指標Ｎ」は、大サイズの透明瓶であることを表す指標Ｎｔｌ、小サイズの透明瓶であることを表す指標Ｎｔｓ、大サイズの色付き瓶であることを表す指標Ｎｃｌ、小サイズの色付き瓶であることを表す指標Ｎｃｓの総称である。例えば、指標Ｎは、対象物Ｂの種別を表す文字列を含むことで、対象物Ｂの種別を表す。また、指標Ｄは、対象物Ｂの代表点の位置に点形状ないし円形状で表示されることで、対象物Ｂの代表点の位置を表す。

なお、本実施形態では、合成画像ＳＰが全ての指標Ｍｔｌ，Ｍｔｓ，Ｍｃｌ，Ｍｃｓを含んでいるが、これに限らず、図３に示す２台のタッチパネル４Ａ，４Ｂのうちの一方のタッチパネル４Ａに透明瓶に係る指標Ｍｔｌ，Ｍｔｓを含む合成画像ＳＰを表示し、他方のタッチパネル４Ｂに色付き瓶に係る指標Ｍｃｌ、Ｍｃｓを含む合成画像ＳＰを表示してもよい。

図１１に示すように、ステップＳ２５において、タッチパネル４に表示された指標Ｍに対して修正の指示がない場合には（Ｓ２５：ＮＯ）、ステップＳ２６に移行する。ステップＳ２６において、保存処理部３６は、ステップＳ２１において取得されたカメラ画像と、ステップＳ２２において推定された種別および位置とを保存する。

ステップＳ２７において、吸着点決定部３３は、上記ステップＳ２２で推定された対象物Ｂの代表点の位置に基づいて、エンドエフェクタ１４で対象物Ｂを吸着するための吸着点の位置を決定する。具体的には、情報処理装置３は、カメラ画像ＣＰ中の対象物Ｂの代表点の位置に対応する現実空間内の位置を、吸着点の位置とする。言い換えると、情報処理装置３は、カメラ画像ＣＰ中の座標で表される対象物Ｂの代表点の位置を、ワールド座標系で表される吸着点の位置に変換する。座標の変換は、センシング部２の位置、向き、及び画角等に基づいて行われる。

ステップＳ２８において、吸着点決定部３３は、上記ステップＳ２２で推定された対象物Ｂの種別及び上記ステップＳ２５で決定された吸着点の位置を含む対象物データを、ロボットコントローラ５に送信する。ロボットコントローラ５は、情報処理装置３から受信した対象物データに基づいて、指定された対象物Ｂの吸着点をエンドエフェクタ１４で吸着するようにロボット１を制御する。

本実施形態では、吸着点の位置は２次元位置で与えられる。このため、ロボット１は、エンドエフェクタ１４を対象物Ｂの吸着点の位置の上方に位置決めし、その後、エンドエフェクタ１４を対象物Ｂに突き当たるまで下降させて、対象物Ｂを吸着する。これに限らず、吸着点の位置は３次元位置で与えられてもよい。

ロボットコントローラ５は、対象物データに含まれる対象物Ｂの種別が「透明瓶」を含む場合には、図３に示す２台のロボット１Ａ，１Ｂのうちの第１のロボット１Ａを制御して、透明瓶である対象物Ｂを分別する。

具体的には、ロボットコントローラ５は、対象物データに含まれる対象物Ｂの種別が「透明瓶・大」である場合には、第１のロボット１Ａのロボットアーム１２Ａを制御して、大サイズの透明瓶である対象物Ｂをエンドエフェクタ１４Ａで吸着して持ち上げ、回収箱Ｈａに投入する。

また、ロボットコントローラ５は、対象物データに含まれる対象物Ｂの種別が「透明瓶・小」である場合には、第１のロボット１Ａのロボットアーム１２Ｂを制御して、小サイズの透明瓶である対象物Ｂをエンドエフェクタ１４Ｂで吸着して持ち上げ、回収箱Ｈｂに投入する。

一方、ロボットコントローラ５は、対象物データに含まれる対象物Ｂの種別が「色付き瓶」を含む場合には、図３に示す２台のロボット１Ａ，１Ｂのうちの第２のロボット１Ｂを制御して、色付き瓶である対象物Ｂを分別する。

具体的には、ロボットコントローラ５は、対象物データに含まれる対象物Ｂの種別が「色付き瓶・大」である場合には、第２のロボット１Ｂのロボットアーム１２Ａを制御して、大サイズの色付き瓶である対象物Ｂをエンドエフェクタ１４で吸着して持ち上げ、回収箱Ｈｃに投入する。

また、ロボットコントローラ５は、対象物データに含まれる対象物Ｂの種別が「色付き瓶・小」である場合には、第２のロボット１Ｂのロボットアーム１２Ｂを制御して、小サイズの色付き瓶である対象物Ｂをエンドエフェクタ１４で吸着して持ち上げ、回収箱Ｈｄに投入する。

ステップＳ２５において、タッチパネル４に表示された指標Ｍに対して修正の指示があった場合には（Ｓ２５：ＹＥＳ）、ステップＳ２９に移行する。ステップＳ２９において、推定結果修正部３５は、修正の指示に基づいて、上記ステップＳ２２の推定結果である対象物Ｂの種別及び代表点の位置のうちの少なくとも１つを修正する。

図１６は、対象物Ｂの代表点の位置を修正する例を示している。対象物Ｂの代表点の位置は、例えば指標Ｍの位置が変更されたときに修正される。指標Ｍの位置の変更は、例えばタッチパネル４に表示された合成画像ＳＰ中の指標Ｍの新たな位置をユーザＰが指等で指示することにより実現される。すなわち、タッチパネル４に表示された合成画像ＳＰを見たユーザＰが、対象物Ｂの吸着点としてより適していると判断した場所を指示すると、表示制御部３４が指標Ｍの位置を変更し、それに伴って、推定結果修正部３５が推定結果である代表点の位置を修正する。

図１７は、対象物Ｂの種別を修正する例を示している。対象物Ｂの種別は、例えば指標Ｍの表示態様が変更されたときに修正される。指標Ｍの表示態様の変更は、例えばタッチパネル４に表示された指標Ｍを指示するユーザＰの指等が所定の軌跡を描くこと等によって実現される。すなわち、タッチパネル４に表示された合成画像ＳＰを見たユーザＰが、対象物Ｂの種別としてより適していると判断した種別に対応する軌跡を入力すると、表示制御部３４が指標Ｍの表示態様を変更し、それに伴って、推定結果修正部３５が対象物Ｂの種別を修正する。これに限らず、キーボード又はマウス等からの入力に応じて指標Ｍの表示態様が変更されてもよい。

なお、指標Ｍの修正は、指標Ｍの位置及び表示態様の変更だけでなく、指標Ｍを削除する修正であってもよいし、指標Ｍを新たに追加する修正であってもよい。指標Ｍが削除された場合、指標Ｍに対応する対象物Ｂのデータは削除される。指標Ｍが新たに追加された場合、指標Ｍに対応する対象物Ｂのデータが新たに生成される。

図１１に示すように、ステップＳ３０において、保存処理部３６は、修正内容を修正保存ＤＢ３９に保存する。具体的には、保存処理部３６は、対象物の種別及び代表点の位置のうちの修正された項目をカメラ画像と関連付けて、修正保存ＤＢ３９に保存する。

図１８は、修正保存ＤＢ３９の例を示す図である。修正保存ＤＢ３９に保存される項目は、学習用ＤＢ７９（図４参照）に保存される項目と対応する。修正保存ＤＢ３９では、カメラ画像に対象物の種別及び代表点の位置が関連付けられており、対象物の種別及び代表点の位置のうちの少なくとも１つが修正されたものである。例えば対象物の種別が修正された場合、保存処理部３６は、修正された対象物の種別を、カメラ画像及び修正されていない対象物の代表点の位置と関連付けて保存する。

ステップＳ３０の実行後、上述のステップＳ２６、Ｓ２７及びＳ２８が実行される。なお、ステップＳ２６、ステップＳ２７、ステップＳ３０は、並行して実行されてもよい。

Ａ４．再学習： 学習済みモデルの再学習は、修正保存ＤＢ３９に保存された修正内容を用いて、上記図３に示した学習装置７により行われる。

学習装置７の取得部７１は、修正保存ＤＢ３９からカメラ画像、対象物の種別及び代表点の位置を取得する。学習装置７の学習部７２は、カメラ画像を入力データとし、対象物の種別及び代表点の位置を教師データとして学習済みモデルの再学習を行う。再学習の具体的な処理については、上記図９及び図１０に示した学習フェーズと同様であるため、詳細な説明を省略する。

以上に説明した実施形態によれば、情報処理装置３は、学習装置７により生成された学習済みモデルＬＭＤＬを用いてカメラ画像ＣＰから対象物Ｂの代表点の位置を推定し、推定された対象物Ｂの代表点の位置に基づいて吸着点の位置を決定する。これによれば、カメラ画像ＣＰ中の対象物Ｂの１点である代表点の位置を推定するため、計算手順の簡易化を図ることが可能である。

情報処理装置３は、カメラ画像ＣＰとともに、対象物Ｂの種別及び代表点の位置を表す指標Ｍを、タッチパネル４に表示する。これによれば、指標Ｍが対象物Ｂの種別及び代表点の位置を表すので、学習済みモデルＬＭＤＬによる推定の正誤をユーザに確認させることが可能である。カメラ画像ＣＰに指標画像ＭＫを重畳した合成画像ＳＰを表示することで、ユーザは、対象物Ｂと指標Ｍの関係を認識することが容易となる。また、対象物Ｂの種別及び代表点の位置の両方を表す指標Ｍを表示することで、ユーザは、指標Ｍを見ただけで、対象物Ｂの種別及び代表点の位置の両方を認識することができる。

情報処理装置３は、タッチパネル４で受け付けられた指標Ｍに対する修正の指示に基づいて、推定された対象物Ｂの種別又は代表点の位置を修正する。これによれば、タッチパネル４を監視するユーザによって指標Ｍに対する修正が入力されるので、学習済みモデルＬＭＤＬによる推定に誤りがあっても、ユーザによって補完することが可能である。

情報処理装置３は、修正された対象物Ｂの種別及び代表点の位置のうちの少なくとも１つをカメラ画像ＣＰと関連付けて保存する。これによれば、ユーザによって判断され、入力された修正内容が保存されるので、修正内容を再学習に用いることが可能となる。

情報処理装置３は、学習済みモデルＬＭＤＬから出力された確度分布画像ＨＭに基づいて対象物Ｂの代表点の位置を特定する。これによれば、確度分布画像ＨＭの各画素において代表点としての確度が表されるので、確度のピーク部分を抽出して代表点の位置を特定することが可能である。

情報処理装置３は、１つの対象物Ｂにつき１つの代表点の位置を推定する。これによれば、１つの対象物Ｂにつき１つの代表点の位置を直接的に推定するため、境界ボックスの位置を推定する手法等と比べて、計算コストの低減を図ることが可能である。

ロボットコントローラ５は、図３に示すように２台のロボット１Ａ，１Ｂのうちの第１のロボット１Ａのエンドエフェクタ１４で色に係る種別が「透明（第１の種別）」の対象物Ｂを吸着し、第２のロボット１Ｂのエンドエフェクタ１４で色に係る種別が「色付き（第２の種別）」の対象物Ｂを吸着するように、ロボット１Ａ，１Ｂを制御する。これによれば、情報処理装置３による対象物Ｂの種別の推定結果が２つのロボット１Ａ，１Ｂで共有されるので、計算コストの低減を図ることができる。

ロボット１は、２つのロボットアーム１２Ａ，１２Ｂを備える双腕ロボットである。ロボットコントローラ５は、図３に示すようにロボット１の２つのロボットアーム１２Ａ，１２Ｂのうちの第１のロボットアーム１２Ａでサイズに係る種別が「大（第１の種別）」の対象物Ｂを吸着し、第２のロボットアーム１２Ｂでサイズに係る種別が「小（第２の種別）」の対象物Ｂを吸着するように、ロボットアーム１２Ａ，１２Ｂを制御する。これによれば、情報処理装置３による対象物Ｂの種別の推定結果が２つのロボットアーム１２Ａ，１２Ｂで共有されるので、計算コストの低減を図ることができる。

学習装置７は、学習用画像ＬＰを入力データとし、学習用画像ＬＰに含まれる対象物の種別及び位置を教師データとして、カメラ画像ＣＰに含まれる対象物Ｂの種別及びカメラ画像ＣＰ中の対象物Ｂの１点である代表点の位置を推定するための学習済みモデルＬＭＤＬを機械学習により生成する。これによれば、カメラ画像ＣＰに含まれる対象物Ｂの種別及び代表点の位置を推定するための学習済みモデルＬＭＤＬを生成することで、運用フェーズにおける計算手順の簡易化を図ることが可能である。

教師データにおける学習用画像ＬＰに含まれる対象物の位置は、学習用画像ＬＰ中の対象物の１点である代表点の位置である。これによれば、対象物Ｂの代表点の位置を直接的に推定する学習済みモデルＬＭＤＬを生成するため、境界ボックスの位置を推定する手法等と比べて、運用フェーズにおける計算コストの低減を図ることが可能である。さらに、図８に示すように、代表点Ｐの位置の設定は、学習用画像ＬＰ中の一点を指示することで実現されるので、代表点Ｐの位置を設定するためのアノテーションを容易かつ簡便に行うことが可能である

学習装置７は、情報処理装置３により保存されたカメラ画像ＣＰ並びに修正された対象物Ｂの種別及び代表点の位置のうちの少なくとも１つを教師データとして、学習済みモデルの再学習を行う。これによれば、ユーザによって判断され、入力された修正内容を用いて再学習を行うので、認識精度のさらなる向上を図ることが可能となる。

Ｂ．変形例： 上記実施形態では、特徴点検出モデルを用いて代表点の位置を直接的に推定したが、これに限らず、例えば Faster R-CNN 等の境界ボックスの位置を検出する物体検出モデルを用い、推定された境界ボックスの中心位置等の所定位置を代表点の位置として特定してもよい。具体的には、学習フェーズにおいては、瓶の代表点の座標に代えて、瓶を含む境界ボックスの座標（左上端のｘｙ座標、幅、及び高さ）を教師データとして、学習済みの物体検出モデルを生成する。運用フェーズにおいては、学習済みの物体検出モデルにより推定される境界ボックスの座標に基づいて、境界ボックスの中心位置等の所定位置を算出し、それを代表点の位置とする。

上記実施形態では、対象物は空き瓶であったが、本開示はこれに限定されない。例えば、対象物は、段ボール箱などの箱体であってもよい。また、例えば、対象物は、箱体に収容されている物品であってもよい。かかる物品としては、例えば、日用品、化粧品、機械部品、食品等が挙げられる。なお、これらの物品は箱体に収容されていなくてもよい。

上記実施形態では、サイズに関する種別は、大及び小の２つであったが、例えば、大、中及び小の３つであってもよいし、他の任意の数のサイズをサイズに関する種別としてもよい。

上記実施形態では、色に関する種別は、透明、すなわち色なしと、色付きとの２つであったが、色付きの色を複数種類としてもよく、例えば、緑色、茶色の２つを色に関する種別としてもよい。なお、色の数は他の任意の数としてもよい。

上記実施形態では、対象物の種別は色及びサイズに関する種別であったが、本開示はこれに限定されない。例えば、製品名、割れの有無、ラベルの有無などの種別（クラス）であってもよく、ピッキングの目的や、対象物の種類に応じて任意の種別を用いてもよい。また、例えば、種別は複数の属性を組み合わせてもよい。具体的には、瓶の状態と瓶の色とを組み合わせて、割れあり茶色、割れなし透明、割れなし茶色、割れなし透明の４つの種別を用いてもよい。

上記実施形態では、複数のロボット１Ａ，１Ｂで異なる種別の対象物Ｂを分別したが、これに限らず、複数のロボット１Ａ，１Ｂで同じ種別の対象物Ｂを分別してもよい。また、上記実施形態では、複数のロボットアーム１２Ａ，１２Ｂで異なる種別の対象物Ｂを分別したが、これに限らず、複数のロボットアーム１２Ａ，１２Ｂで同じ種別の対象物Ｂを分別してもよい。

以上、本発明の実施形態について説明したが、本発明は以上に説明した実施形態に限定されるものではなく、種々の変更が当業者にとって可能であることはもちろんである。

本明細書で開示する要素の機能は、開示された機能を実行するよう構成またはプログラムされた汎用プロセッサ、専用プロセッサ、集積回路、ASIC（Application Specific Integrated Circuits）、従来の回路、および/または、それらの組み合わせ、を含む回路または処理回路を使用して実行できる。プロセッサは、トランジスタやその他の回路を含むため、処理回路または回路と見なされる。本開示において、回路、ユニット、または手段は、列挙された機能を実行するハードウェアであるか、または、列挙された機能を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されているハードウェアであってもよいし、あるいは、列挙された機能を実行するようにプログラムまたは構成されているその他の既知のハードウェアであってもよい。ハードウェアが回路の一種と考えられるプロセッサである場合、回路、手段、またはユニットはハードウェアとソフトウェアの組み合わせであり、ソフトウェアはハードウェアおよび/またはプロセッサの構成に使用される。

１ ロボット、１２ ロボットアーム、１４ エンドエフェクタ、２ センシング部、３ 情報処理装置、３１ 画像取得部、３２ 代表点推定部、３３ 吸着点決定部、３４ 表示制御部、３５ 推定結果修正部、３６ 保存処理部、３８ モデル保持部、３９ 修正保存データベース、４ タッチパネル、５ ロボットコントローラ、７ 学習装置、７１ 取得部、７２ 学習部、７９ 学習用データベース、１００ ロボットシステム

Claims (15)

1. 
   ロボットシステムであって、
   
   吸着用のエンドエフェクタを有するロボットと、
   
   対象物をセンシングするセンシング部、
   
   学習用画像を入力データとし、前記学習用画像に含まれる対象物の種別及び位置を教師データとして機械学習により予め生成された学習済みモデルを用いて、前記センシング部により生成された検出画像から前記対象物の種別及び前記検出画像中の前記対象物の１点である代表点の位置を推定する推定部と、
   
   推定された前記対象物の種別及び代表点の位置を表す指標に対する修正指示の入力を受け付ける受付部と、
   
   受け付けられた前記修正指示に基づいて、推定された前記対象物の種別及び前記代表点の位置のうちの少なくとも１つを修正する修正部と、
   
   前記検出画像中の前記対象物の前記代表点の位置に基づいて、前記エンドエフェクタで前記対象物を吸着するための吸着点の位置を決定する決定部と、
   
   前記エンドエフェクタで前記対象物の前記吸着点を吸着するように前記ロボットを制御するロボットコントローラと、
   
   を備える、ロボットシステム。
2. 
   請求項１に記載のロボットシステムであって、
   
   前記検出画像とともに、推定された前記対象物の種別及び代表点の位置を表す指標を表示する表示部をさらに備える、
   
   ロボットシステム。
3. 
   請求項１に記載のロボットシステムであって、
   
   修正された前記対象物の種別及び前記代表点の位置のうちの少なくとも１つを、前記検出画像と関連付けて保存する保存処理部をさらに備える、ロボットシステム。
4. 
   請求項１から請求項３までのいずれか一項に記載のロボットシステムであって、
   
   前記推定部は、前記学習済みモデルから出力される確度分布画像の各画素における前記対象物の前記代表点としての確からしさを表す確度に基づいて、前記対象物の代表点の位置を特定する、
   
   ロボットシステム。
5. 
   請求項１から請求項４までのいずれか一項に記載のロボットシステムであって、
   
   前記推定部は、１つの前記対象物につき１つの前記代表点の位置を推定する、
   
   ロボットシステム。
6. 
   請求項１から請求項５までのいずれか一項に記載のロボットシステムであって、
   
   前記教師データにおける前記学習用画像に含まれる対象物の位置は、前記学習用画像中の前記対象物の１点である代表点の位置である、
   
   ロボットシステム。
7. 
   請求項１から請求項６までのいずれか一項に記載のロボットシステムであって、
   
   複数の前記ロボットを備え、
   
   前記ロボットコントローラは、複数の前記ロボットのうちの第１のロボットの前記エンドエフェクタで第１の種別の前記対象物を吸着し、第２のロボットの前記エンドエフェクタで第２の種別の前記対象物を吸着するように、複数の前記ロボットを制御する、
   
   ロボットシステム。
8. 
   請求項１から請求項７までのいずれか一項に記載のロボットシステムであって、
   
   前記ロボットは、２つのロボットアームを有する双腕ロボットであり、
   
   前記ロボットコントローラは、前記２つのロボットアームのうちの第１のロボットアームに設けられた前記エンドエフェクタで第１の種別の前記対象物を吸着し、第２のロボットアームに設けられた前記エンドエフェクタで第２の種別の前記対象物を吸着するように、前記２つのロボットアームを制御する、
   
   ロボットシステム。
9. 
   吸着用のエンドエフェクタを有するロボットの制御方法であって、
   
   センシング部により対象物をセンシングし、
   
   学習用画像を入力データとし、前記学習用画像に含まれる対象物の種別及び位置を教師データとして機械学習により予め生成された学習済みモデルを用いて、前記センシング部により生成された検出画像から前記対象物の種別及び前記検出画像中の前記対象物の１点である代表点の位置を推定し、
   
   推定された前記対象物の種別及び代表点の位置を表す指標に対する修正指示の入力を受け付け、
   
   受け付けられた前記修正指示に基づいて、推定された前記対象物の種別及び前記代表点の位置のうちの少なくとも１つを修正し、
   
   前記検出画像中の前記対象物の前記代表点の位置に基づいて、前記エンドエフェクタで前記対象物を吸着するための吸着点の位置を決定し、
   
   前記エンドエフェクタで前記対象物の前記吸着点を吸着するように前記ロボットを制御する、
   
   ロボットの制御方法。
10. 
    情報処理装置であって、
    
    対象物をセンシングするセンシング部により生成された検出画像を取得する取得部と、
    
    学習用画像を入力データとし、前記学習用画像に含まれる対象物の種別及び位置を教師データとして機械学習により予め生成された学習済みモデルを用いて、前記検出画像から前記対象物の種別及び前記検出画像中の前記対象物の１点である代表点の位置を推定する推定部と、
    
    推定された前記対象物の種別及び代表点の位置を表す指標に対する修正指示の入力を受け付ける受付部と、
    
    受け付けられた前記修正指示に基づいて、推定された前記対象物の種別及び前記代表点の位置のうちの少なくとも１つを修正する修正部と、
    
    前記検出画像中の前記対象物の前記代表点の位置に基づいて、吸着用のエンドエフェクタで前記対象物を吸着するための吸着点の位置を決定する決定部と、
    
    を備える、情報処理装置。
11. 
    コンピュータプログラムであって、
    
    対象物をセンシングするセンシング部により生成された検出画像を取得する機能と、
    
    学習用画像を入力データとし、前記学習用画像に含まれる対象物の種別及び位置を教師データとして機械学習により予め生成された学習済みモデルを用いて、前記前記画像から前記対象物の種別及び前記検出画像中の前記対象物の１点である代表点の位置を推定する機能と、
    
    推定された前記対象物の種別及び代表点の位置を表す指標に対する修正指示の入力を受け付ける機能と、
    
    受け付けられた前記修正指示に基づいて、推定された前記対象物の種別及び前記代表点の位置のうちの少なくとも１つを修正する機能と、
    
    前記検出画像中の前記対象物の前記代表点の位置に基づいて、吸着用のエンドエフェクタで前記対象物を吸着するための吸着点の位置を決定する機能と、
    
    をコンピュータに実現させるコンピュータプログラム。
12. 
    学習装置であって、
    
    学習用画像並びに前記学習用画像に含まれる対象物の種別及び前記学習用画像中の前記対象物の位置を取得する取得部と、
    
    前記学習用画像を入力データとし、前記学習用画像に含まれる前記対象物の種別及び前記学習用画像中の前記対象物の位置を教師データとして、センシング部により生成された検出画像に含まれる対象物の種別及び前記検出画像中の前記対象物の１点である代表点の位置を推定するための学習済みモデルを機械学習により生成する学習部と、
    
    を備え、
    
    前記学習部は、修正された対象物の種別又は代表点の位置を教師データとして、前記学習済みモデルの再学習を行う、
    
    、学習装置。
13. 
    請求項１２に記載の学習装置であって、
    
    前記教師データにおける前記学習用画像に含まれる対象物の位置は、前記学習用画像中の前記対象物の１点である代表点の位置である、
    
    学習装置。
14. 
    請求項１２または請求項１３に記載の学習装置であって、
    
    前記取得部は、請求項４に記載のロボットシステムにおいて保存された検出画像並びに修正された対象物の種別及び代表点の位置のうちの少なくとも一方を取得する、
    
    学習装置。
15. 
    学習済みモデルの生成方法であって、
    
    学習用画像並びに前記学習用画像に含まれる対象物の種別及び前記学習用画像中の前記対象物の位置を取得し、
    
    前記学習用画像を入力データとし、前記学習用画像に含まれる前記対象物の種別及び前記学習用画像中の前記対象物の位置を教師データとして、センシング部により生成された検出画像に含まれる対象物の種別及び前記検出画像中の前記対象物の１点である代表点の位置を推定するための学習済みモデルを機械学習により生成し、
    
    修正された対象物の種別又は代表点の位置を教師データとして、前記学習済みモデルの再学習を行う、
    
    学習済みモデルの生成方法。

Images