JP2024035639A - 遠隔操作システム、遠隔操作方法、及び、制御プログラム - Google Patents

Abstract

【課題】ユーザによる直感的な操作を可能にしたまま、被操作対象に精度の高い処理を実行させることが可能な遠隔操作システムを提供すること。【解決手段】遠隔操作システムは、被操作対象が存在する環境の撮像画像に基づいて、把持可能物、被操作対象の移動可能領域、及び、移動不可能領域、を認識する認識部と、撮像画像に対する手書き情報の入力を受け付ける操作端末と、把持可能物と手書き情報とに基づいて、把持可能物の中から把持が要求されている把持対象物を推定すると共に、被操作対象に要求されている把持対象物に対する動作内容を推定する推定部と、を備え、推定部は、手書き情報に把持対象物の搬送経路の情報が含まれる場合、搬送経路のうち、被操作対象の移動可能領域に位置する搬送経路を、被操作対象の移動経路と推定し、且つ、被操作対象の移動不可能領域に位置する搬送経路を、把持対象物を把持したエンドエフェクタの移動経路と推定する。【選択図】図２２

Description

本開示は、遠隔操作システム、遠隔操作方法、及び、制御プログラムに関する。

エンドエフェクタを備える被操作対象（例えば、アームの先端部にエンドエフェクタである把持部（例えば、ハンドや吸着部）を備えたロボット等）を遠隔操作して把持動作等を実行させる技術が知られている。例えば、特許文献１には、ロボット周辺を撮像した撮影画像が表示される操作端末において受け付けられたユーザの手書き情報に基づいて、ロボットの制御の仕方を決定し、且つ、ロボットを遠隔操作するシステムが開示されている。このシステムは、ユーザの直感的な手書き指示によってロボットを遠隔操作することができる。

特開２０２１－０９４６０５号公報

しかしながら、特許文献１に開示されたシステムでは、手書き情報に把持対象物の搬送経路の情報が含まれる場合、当該搬送経路が、ロボットの移動経路（走行経路）を表しているのか、ロボットのアーム操作によるエンドエフェクタの移動経路を表しているのか、を判断していないため、ロボット（被操作対象）に精度の高い処理を実行させることができない、という課題があった。

本開示は、このような問題を解決するためになされたものであり、ユーザによる直感的な操作を可能にしたまま、被操作対象に精度の高い処理を実行させることが可能な遠隔操作システム、遠隔操作方法、及び、制御プログラムを提供するものである。

本開示に係る遠隔操作システムは、エンドエフェクタを備える被操作対象を遠隔操作する遠隔操作システムであって、前記被操作対象が存在する環境を撮像する撮像部と、前記環境の撮像画像に基づいて、前記エンドエフェクタが把持可能な把持可能物、前記被操作対象の移動可能領域、及び、移動不可能領域、を認識する認識部と、前記撮像画像を表示すると共に、前記撮像画像に対する手書き情報の入力を受け付ける操作端末と、前記把持可能物と前記手書き情報とに基づいて、前記把持可能物から前記エンドエフェクタによる把持が要求されている把持対象物を推定すると共に、前記被操作対象に要求されている前記把持対象物に対する動作内容を推定する推定部と、を備え、前記推定部は、前記手書き情報に前記把持対象物の搬送経路の情報が含まれる場合、前記搬送経路のうち、前記被操作対象の移動可能領域に位置する搬送経路を、前記被操作対象の移動経路と推定し、且つ、前記被操作対象の移動不可能領域に位置する搬送経路を、前記把持対象物を把持した前記エンドエフェクタの移動経路と推定する。この遠隔操作システムでは、ユーザが、予め設定された指示図形を思い出しながら手書き入力を行わずに、より直感的な手書き入力を行うことによって、被操作対象に把持対象物を搬送させる等の所望の処理を実行させることができる。また、この遠隔操作システムでは、手書き情報に把持対象物の搬送経路の情報が含まれる場合、当該搬送経路が、被操作対象の移動経路（走行経路）を表しているのか、エンドエフェクタの移動経路を表しているのか、を自動判別しているため、この遠隔操作システムは、ユーザによる直感的な操作を可能にしたまま、被操作対象に精度の高い処理を実行させることができる。

前記推定部は、前記手書き情報に前記把持対象物の搬送経路の情報が含まれている場合において、当該搬送経路上に２つの前記移動可能領域に挟まれた前記移動不可能領域が存在する場合には、２つの前記移動可能領域に挟まれた前記移動不可能領域が存在しないような、前記把持対象物の迂回経路を推定し、前記遠隔操作システムは、前記推定部により推定された前記迂回経路の情報を出力する出力部をさらに備えていてもよい。

前記出力部は、前記操作端末に、前記迂回経路の情報を表示させてもよい。

前記認識部は、前記把持可能物のうち前記把持対象物以外の把持可能物を、前記被操作対象の移動不可能領域として認識してもよい。

前記被操作対象は、自立移動可能なロボットであってもよい。

前記推定部は、前記手書き情報に、前記把持対象物の搬送経路の情報が含まれる場合、前記搬送経路のうち、前記被操作対象の移動可能領域に位置する搬送経路を、前記被操作対象であるロボットの移動経路と推定し、且つ、前記被操作対象の移動不可能領域に位置する搬送経路を、前記ロボットのアームの先端部に取り付けられた前記エンドエフェクタの、前記アームの操作による移動経路と推定してもよい。

前記撮像部は、前記被操作対象に取り付けられていてもよい。

前記撮像部は、前記被操作対象が存在する前記環境の、前記被操作対象とは別の場所に設けられていてもよい。

前記操作端末は、ユーザによる所定の手書き終了操作を受け付けることによって、前記手書き情報の入力を完了させてもよい。

前記手書き情報は、前記把持対象物に対する前記被操作対象の動作内容を模擬した第１画像を含んでいてもよい。

前記推定部は、深層学習により学習を行ったニューラルネットワーク等の学習済みモデルを用いて、前記手書き情報の前記第１画像から、前記被操作対象に要求されている前記把持対象物に対する動作内容を推定してもよい。

本開示に係る遠隔操作方法は、エンドエフェクタを備える被操作対象を遠隔操作する遠隔操作システムによる遠隔操作方法であって、前記被操作対象が存在する環境を撮像し、前記環境の撮像画像に基づいて、前記エンドエフェクタが把持可能な把持可能物、前記被操作対象の移動可能領域、及び、移動不可能領域、を認識し、前記撮像画像を表示した操作端末において、表示した前記撮像画像に対する手書き情報の入力を受け付け、前記把持可能物と前記手書き情報とに基づいて、前記把持可能物から前記エンドエフェクタによる把持が要求されている把持対象物を推定すると共に、前記被操作対象に要求されている前記把持対象物に対する動作内容を推定し、前記被操作対象に要求されている前記把持対象物に対する動作内容の推定では、前記手書き情報に前記把持対象物の搬送経路の情報が含まれる場合、前記搬送経路のうち、前記被操作対象の移動可能領域に位置する搬送経路を、前記被操作対象の移動経路と推定し、且つ、前記被操作対象の移動不可能領域に位置する搬送経路を、前記把持対象物を把持した前記エンドエフェクタの移動経路と推定する。この遠隔操作方法では、ユーザが、予め設定された指示図形を思い出しながら手書き入力を行わずに、より直感的な手書き入力を行うことによって、被操作対象に把持対象物を搬送させる等の所望の処理を実行させることができる。また、この遠隔操作方法では、手書き情報に把持対象物の搬送経路の情報が含まれる場合、当該搬送経路が、被操作対象の移動経路（走行経路）を表しているのか、エンドエフェクタの移動経路を表しているのか、を自動判別しているため、この遠隔操作方法は、ユーザによる直感的な操作を可能にしたまま、被操作対象に精度の高い処理を実行させることができる。

本開示に係る制御プログラムは、エンドエフェクタを備える被操作対象を遠隔操作する遠隔操作システムによる遠隔操作処理をコンピュータに実行させる制御プログラムであって、前記被操作対象が存在する環境を撮像する処理と、前記環境の撮像画像に基づいて、前記エンドエフェクタが把持可能な把持可能物、前記被操作対象の移動可能領域、及び、移動不可能領域、を認識する処理と、前記撮像画像を表示した操作端末において、表示した前記撮像画像に対する手書き情報の入力を受け付ける処理と、前記把持可能物と前記手書き情報とに基づいて、前記把持可能物から前記エンドエフェクタによる把持が要求されている把持対象物を推定すると共に、前記被操作対象に要求されている前記把持対象物に対する動作内容を推定する処理と、をコンピュータに実行させ、前記被操作対象に要求されている前記把持対象物に対する動作内容を推定する処理では、前記手書き情報に前記把持対象物の搬送経路の情報が含まれる場合、前記搬送経路のうち、前記被操作対象の移動可能領域に位置する搬送経路を、前記被操作対象の移動経路と推定し、且つ、前記被操作対象の移動不可能領域に位置する搬送経路を、前記把持対象物を把持した前記エンドエフェクタの移動経路と推定する。この制御プログラムでは、ユーザが、予め設定された指示図形を思い出しながら手書き入力を行わずに、より直感的な手書き入力を行うことによって、被操作対象に把持対象物を搬送させる等の所望の処理を実行させることができる。また、この制御プログラムでは、手書き情報に把持対象物の搬送経路の情報が含まれる場合、当該搬送経路が、被操作対象の移動経路（走行経路）を表しているのか、エンドエフェクタの移動経路を表しているのか、を自動判別しているため、この制御プログラムは、ユーザによる直感的な操作を可能にしたまま、被操作対象に精度の高い処理を実行させることができる。

本開示によれば、ユーザによる直感的な操作を可能にしたまま、被操作対象に精度の高い処理を実行させることが可能な遠隔操作システム、遠隔操作方法、及び、制御プログラムを提供することができる。

実施形態１に係る遠隔操作システムが利用される全体環境の例を示す概念図である。 ロボットが存在する第１環境の例を示す図である。 手書き情報の例を示す図である。 手書き情報の例を示す図である。 手書き情報の例を示す図である。 手書き情報の例を示す図である。 ロボットの外観構成例を示す外観斜視図である。 ロボットのブロック構成例を示すブロック図である。 ロボットが取得した撮像画像の例を示す図である。 第１学習済みモデルが出力する把持可能領域の例を示す図である。 手書き情報の例を示す図である。 第２学習済みモデル用の教師データの例を示す図である。 第２学習済みモデル用の教師データの例を示す図である。 遠隔端末のブロック構成例を示すブロック図である。 実施の形態１に係る遠隔操作システムの全体的な処理の流れの例を示すフロー図である。 ロボットが存在する第１環境の例を示す図である。 遠隔端末に表示された撮像画像に対する手書き情報の入力の流れを説明するための図である。 遠隔端末に表示された撮像画像に対して最終的に入力された手書き情報の例を示す図である。 図１５のステップＳ１５の処理の詳細な流れの例を示すフロー図である。 認識部によって認識されたロボットの移動可能領域及び移動不可能領域の一例を示す図である。 認識部によって認識されたロボットの移動可能領域及び移動不可能領域の一例を示す図である。 認識部によって認識されたロボットの移動可能領域及び移動不可能領域を用いた、ロボットの動作内容の推定方法、を説明するための図である。 ロボットによって搬送される把持対象物の迂回経路を示す図である。 手書き情報の例を示す図である。 手書き情報が複数入力された例を示す図である。

以下、発明の実施形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。また、以下の実施形態では、被操作対象として、アームの先端のハンドをエンドエフェクタとして備えるロボットを例に挙げて説明するが、被操作対象はこれに限定されるものではない。

＜実施の形態１＞
図１は、実施の形態１に係る遠隔操作システム１０が利用される全体環境の例を示す概念図である。第１環境において様々な動作を実行するロボット１００は、第１環境から離れた第２環境に居る遠隔操作者たるユーザが遠隔端末３００（操作端末）を操作することにより、インターネット６００に接続されたシステムサーバ５００を介して、遠隔操作される。

ロボット１００は、第１環境において、無線ルータ７００を介してインターネット６００と接続されている。また、遠隔端末３００は、第２環境において、無線ルータ７００を介してインターネット６００と接続されている。システムサーバ５００は、インターネット６００に接続されている。ロボット１００は、ユーザによる遠隔端末３００の操作に従って、ハンド１２４による把持対象物の把持動作や、把持対象物の現在地から目的地までの搬送動作などを実行する。

なお、本実施形態においては、ハンド１２４による把持対象物の把持動作には、把持対象物を単に把持する（つかむ）動作に限らず、例えば、以下の動作等も含むとする。
・把持対象物をつかんで持ち上げる動作
・把持対象物がタンス等の扉や引き出しのつまみである場合、つまみをつかんで扉や引き出しを開閉する動作
・把持対象物がドアのドアノブである場合、ドアノブをつかんでドアを開閉する動作

また、本実施の形態においては、把持対象物の現在地から目的地までの搬送動作には、ロボット１００の走行によって把持対象物を搬送する動作や、ロボット１００を走行させずに、例えばアーム操作によってハンド１２４に把持された把持対象物を搬送する動作などが含まれる。

ロボット１００は、ステレオカメラ１３１（撮像部）を用いて、ロボット１００が存在する第１環境を撮像し、その撮像画像を、インターネット６００を介して、遠隔端末３００に送信する。また、ロボット１００は、その撮像画像に基づいて、ハンド１２４が把持可能な把持可能物を認識する。

図２は、ロボット１００が存在する第１環境の例を示す図である。図２の例では、第１環境において、テーブル４００、タンス４１０，４２０，４３０、及びドア４４０が存在している。また、第１環境に存在する把持可能物は、テーブル４００に載置された物体４０１，４０２、タンス４１０のつまみ４１１、タンス４２０のつまみ４２１，４２２、タンス４３０のつまみ４３１，４３２、及びドア４４０のドアノブ４４１である。

遠隔端末３００は、例えば、タブレット端末であり、タッチパネルが重畳して配置された表示パネル３４１を有する。表示パネル３４１には、ロボット１００から受信した撮像画像が表示され、ユーザは、ロボット１００が存在する第１環境を間接的に視認することができる。また、ユーザは、表示パネル３４１に表示された撮像画像に対して、把持対象物に対するロボット１００の動作内容を模擬した画像（第１画像）である手書き情報を手書きで入力することができる。

手書き情報の入力方法としては、表示パネル３４１に重畳して配置されたタッチパネル上で、ユーザの指やタッチペン等を用いて、撮像画像の該当部分をタッチする方法等があるが、これには限定されない。図３～図６は、撮像画像３１０に対して入力された手書き情報の例を示す図である。図３の例は、テーブル４００に載置された直方体状の物体４０１を上からつかむことを模擬した手書き情報９０１を示している。図４の例は、テーブル４００に載置された円柱状の物体４０２を横からつかむことを模擬した手書き情報９０２を示している。図５の例は、タンス４１０のつまみ４１１をつかんで扉を開けることを模擬した手書き情報９０３を示している。図６の例は、テーブル４００に載置された円柱状の物体４０２を横からつかんで、テーブル４００上の別の位置に移動させることを模擬した手書き情報９０４を示している。なお、手書き情報９０４は、円柱状の物体４０２を横からつかむことを模擬した手書き情報９０４ａと、物体４０２の搬送経路を模擬した手書き情報９０４ｂと、物体４０２の移動先（目的地）を模擬した手書き情報９０４ｃと、によって構成されている。図３～図６に示されるように、手書き情報の画像は、線等の図形のみからなる画像でもよく、線等の図形と文字との組み合わせからなる画像でもよい。ユーザが撮像画像に対して入力した手書き情報は、インターネット６００を介してロボット１００へ送信される。

なお、遠隔端末３００は、タブレット端末に限られないし、遠隔端末３００に入力される手書き情報は、ユーザの指やタッチペン等を用いてタッチパネルをタッチすることにより入力される場合に限られない。例えば、遠隔端末３００は、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）ゴーグルであって、遠隔端末３００に入力される手書き情報は、ＶＲゴーグルを装着したユーザがＶＲコントローラを操作することによって、ＶＲゴーグルにおいて表示される撮像画像に対して入力されてもよい。

ロボット１００は、撮像画像から認識した把持可能物と、その撮像画像に対してユーザが入力した手書き情報と、に基づいて、把持可能物の中からハンド１２４による把持が要求されている把持対象物を推定するとともに、ロボット１００に要求されている把持対象物に対する動作内容を推定する。なお、ロボット１００に要求されている把持対象物に対する動作内容には、例えば、ハンド１２４による把持対象物の把持動作の仕方や、把持対象物の現在地から目的地までの搬送動作の仕方などが含まれる。

図７は、ロボット１００の外観構成例を示す外観斜視図である。ロボット１００は、大きく分けて、台車部１１０と本体部１２０とによって構成される。台車部１１０は、円筒形状の筐体内に、それぞれが走行面に接地する２つの駆動輪１１１と１つのキャスター１１２とを支持している。２つの駆動輪１１１は、互いに回転軸芯が一致するように配設されている。それぞれの駆動輪１１１は、不図示のモータによって独立して回転駆動される。キャスター１１２は、従動輪であり、台車部１１０から鉛直方向に延びる旋回軸が車輪の回転軸から離れて車輪を軸支するように設けられており、台車部１１０の移動方向に倣うように追従する。

台車部１１０は、上面の周縁部にレーザスキャナ１３３を備える。レーザスキャナ１３３は、水平面内の一定の範囲をステップ角ごとにスキャンして、それぞれの方向に障害物が存在するか否かを出力する。さらに、レーザスキャナ１３３は、障害物が存在する場合には、その障害物までの距離を出力する。

本体部１２０は、主に、台車部１１０の上面に搭載された胴部１２１、胴部１２１の上面に載置された頭部１２２、胴部１２１の側面に支持されたアーム１２３、及びアーム１２３の先端部に設置されたハンド１２４を備える。アーム１２３とハンド１２４は、不図示のモータを介して駆動され、把持対象物を把持する。胴部１２１は、不図示のモータの駆動力により、台車部１１０に対して鉛直軸周りに回転することができる。

頭部１２２は、主に、ステレオカメラ１３１及び表示パネル１４１を備える。ステレオカメラ１３１は、同じ画角を有する２つのカメラユニットが互いに離間して配置された構成を有し、それぞれのカメラユニットで撮像された撮像信号を出力する。

表示パネル１４１は、例えば液晶パネルであり、設定されたキャラクターの顔をアニメーションで表示したり、ロボット１００に関する情報をテキストやアイコンで表示したりする。表示パネル１４１にキャラクターの顔を表示すれば、表示パネル１４１が擬似的な顔部であるかの印象を周囲の人達に与えることができる。

頭部１２２は、不図示のモータの駆動力により、胴部１２１に対して鉛直軸周りに回転することができる。そのため、ステレオカメラ１３１は、任意の方向を撮像することができ、また、表示パネル１４１は、任意の方向へ向けて表示内容を呈示することができる。

図８は、ロボット１００のブロック構成例を示すブロック図である。ここでは、把持対象物の推定、及び、ロボット１００による把持対象物に対する動作内容の推定、に関する主な要素について説明するが、ロボット１００の構成としては他の要素も備え、また、把持対象物の推定、及び、ロボット１００による把持対象物に対する動作内容の推定、に寄与する他の要素が加えられることもあり得る。

制御部１５０は、例えばＣＰＵであり、例えば胴部１２１に備えられたコントロールユニットに格納されている。台車駆動ユニット１４５は、駆動輪１１１と、駆動輪１１１を駆動するための駆動回路やモータと、を含む。制御部１５０は、台車駆動ユニット１４５へ駆動信号を送ることにより、駆動輪の回転制御を実行する。また、制御部１５０は、台車駆動ユニット１４５からエンコーダ等のフィードバック信号を受け取って、台車部１１０の移動方向や移動速度を把握する。

上体駆動ユニット１４６は、アーム１２３及びハンド１２４と、胴部１２１及び頭部１２２と、これらを駆動するための駆動回路やモータと、を含む。制御部１５０は、上体駆動ユニット１４６へ駆動信号を送ることにより、把持動作やジェスチャーを実現する。また、制御部１５０は、上体駆動ユニット１４６からエンコーダ等のフィードバック信号を受け取って、アーム１２３及びハンド１２４の位置や移動速度、胴部１２１及び頭部１２２の向きや回転速度を把握する。

表示パネル１４１は、制御部１５０が生成した画像信号を受信して表示する。また、制御部１５０は、上述のように、キャラクター等の画像信号を生成して、表示パネル１４１へ表示させる。

ステレオカメラ１３１は、制御部１５０からの要求に従って、ロボット１００が存在する第１環境を撮像し、撮像信号を制御部１５０へ引き渡す。制御部１５０は、撮像信号を用いて画像処理を実行したり、予め定められたフォーマットに従って撮像信号を撮像画像に変換したりする。レーザスキャナ１３３は、制御部１５０からの要求に従って移動方向に障害物が存在するか否かを検出し、その検出結果である検出信号を制御部１５０へ引き渡す。

ハンドカメラ１３５は、例えば距離画像センサであり、把持対象物の距離、形状、方向等を認識するために用いられる。ハンドカメラ１３５は、対象空間から入射する光学像を光電変換するピクセルが二次元状に配列された撮像素子を含み、ピクセルごとに被写体までの距離を制御部１５０へ出力する。具体的には、ハンドカメラ１３５は、パターン光を対象空間に照射する照射ユニットを含み、その反射光を撮像素子で受光して、画像におけるパターンの歪みや大きさから各ピクセルが捉えた被写体までの距離を出力する。なお、制御部１５０は、より広い周辺環境の様子をステレオカメラ１３１で把握し、把持対象物近傍の様子をハンドカメラ１３５で把握する。

メモリ１８０は、不揮発性の記憶媒体であり、例えばソリッドステートドライブが用いられる。メモリ１８０は、ロボット１００を制御するための制御プログラムの他にも、制御や演算に用いられる様々なパラメータ値、関数、ルックアップテーブル等を記憶している。特に、メモリ１８０は、撮像画像を入力画像として、その撮像画像にうつっている把持可能物を出力する第１学習済みモデル１８１と、手書き情報の画像を入力画像として、その手書き情報が模擬するロボット１００の動作内容の意味を出力する第２学習済みモデル１８２と、撮像画像を入力画像として、その撮像画像にうつっているロボット１００の移動可能領域及び移動不可能領域を出力する第３学習済みモデル１８３と、を記憶している。

通信ユニット１９０は、例えば無線ＬＡＮユニットであり、無線ルータ７００との間で無線通信を行う。通信ユニット１９０は、遠隔端末３００から送られてくる手書き情報を受信して制御部１５０へ引き渡す。また、通信ユニット１９０は、制御部１５０の制御に従って、ステレオカメラ１３１で撮像された撮像画像を遠隔端末３００へ送信する。

制御部１５０は、メモリ１８０から読み出した制御プログラムを実行することによりロボット１００全体の制御と様々な演算処理とを実行する。また、制御部１５０は、制御に関わる様々な演算や制御を実行する機能実行部としての役割も担う。このような機能実行部として、制御部１５０は、認識部１５１、推定部１５２、及び、画像調整部１５３を含む。

（認識部１５１の詳細）
認識部１５１は、主に、ステレオカメラ１３１によって撮像された撮像画像にうつっている、ハンド１２４が把持可能な把持可能領域、を抽出し、把持可能物として認識する。以下、具体的に説明する。

まず、認識部１５１は、メモリ１８０から読み出した第１学習済みモデル１８１を用いて、ステレオカメラ１３１によって撮像された撮像画像にうつっている、ハンド１２４が把持可能な把持可能領域、を抽出し、把持可能物として認識する。

図９は、ロボット１００がステレオカメラ１３１により取得した、第１環境の撮像画像３１０の例を示す図である。図９の撮像画像３１０には、つまみ４１１を備えるタンス４１０と、つまみ４２１，４２２を備えるタンス４２０と、がうつっている。認識部１５１は、このような撮像画像３１０を入力画像として第１学習済みモデル１８１に与える。

図１０は、図９の撮像画像３１０を入力画像とした場合に、第１学習済みモデル１８１が出力する把持可能領域の例を示す図である。具体的には、つまみ４１１を囲む領域が把持可能領域８０１として、つまみ４２１を囲む領域が把持可能領域８０２として、つまみ４２２を囲む領域が把持可能領域８０３として、それぞれ検出される。そのため、認識部１５１は、把持可能領域８０１，８０２，８０３にそれぞれ囲まれたつまみ４１１，４２１，４２２を、把持可能物として認識する。

第１学習済みモデル１８１は、ハンド１２４が把持可能な把持可能物がうつる画像と、その画像のうちどの領域が把持可能物であるかの正解値と、の組み合わせである教師データにより学習を行ったニューラルネットワークである。このとき、第１学習済みモデル１８１は、画像中の把持可能物の距離及び方向に関する情報を含む教師データにより学習を行うことで、撮像画像から把持可能物だけでなく把持可能物の距離及び方向に関する情報も抽出可能な学習済みモデルとなる。なお、第１学習済みモデル１８１は、深層学習により学習を行ったニューラルネットワークであるとよい。また、第１学習済みモデル１８１は、教師データを随時追加して、追加学習をさせてもよい。

また、認識部１５１は、把持可能物を認識するだけでなく、ロボット１００の移動可能領域及び移動不可能領域を認識する。認識部１５１による、ロボット１００の移動可能領域及び移動不可能領域、の認識処理の流れは、基本的には、把持可能物の認識処理の場合と同様である。

つまり、認識部１５１は、メモリ１８０から読み出した第３学習済みモデル１８３を用いて、ステレオカメラ１３１によって撮像された撮像画像にうつっている、ロボット１００の移動可能領域及び移動不可能領域、を抽出し、それらを認識する。ここで、第３学習済みモデル１８３は、ロボット１００の移動可能領域がうつる画像と、その画像のうちどの領域がロボット１００の移動可能領域であるかの正解値と、の組み合わせである教師データにより学習を行うとともに、ロボット１００の移動不可能領域がうつる画像と、その画像のうちどの領域がロボット１００の移動不可能領域であるかの正解値と、の組み合わせである教師データにより学習を行ったニューラルネットワークである。

（推定部１５２の詳細）
推定部１５２は、認識部１５１が認識した把持可能物の中からハンド１２４による把持が要求されている把持対象物を推定するとともに、ロボット１００に要求されている把持対象物に対する動作内容を推定する。以下、具体的に説明する。

まず、推定部１５２は、認識部１５１が撮像画像から認識した把持可能物と、その撮像画像に対してユーザが入力した手書き情報と、に基づいて、認識部１５１が認識した把持可能物の中からハンド１２４による把持が要求されている把持対象物を推定する。

図１１は、遠隔端末３００において、ユーザが図９の撮像画像３１０に対して入力した手書き情報の例を示す図である。図１１の例では、撮像画像３１０上のつまみ４１１の位置において、手書き情報９０５が入力されている。そのため、推定部１５２は、認識部１５１が把持可能物として認識したつまみ４１１，４２１，４２２のうち、ハンド１２４による把持が要求されている把持対象物が、つまみ４１１であると推定する。なお、推定部１５２は、撮像画像３１０上の手書き情報９０５の入力位置を任意の方法で認識することができる。例えば、遠隔端末３００が、撮像画像３１０上の手書き情報９０５の入力位置を示す位置情報を、手書き情報９０５に含めて送信することとすれば、推定部１５２は、その位置情報に基づいて、手書き情報９０５の入力位置を認識できる。又は、遠隔端末３００が、手書き情報９０５が入力された状態に加工された撮像画像３１０を送信することとすれば、推定部１５２は、その撮像画像３１０に基づいて、手書き情報９０５の入力位置を認識できる。

さらに、推定部１５２は、メモリ１８０から読み出した第２学習済みモデル１８２を用いて、撮像画像に対してユーザが入力した手書き情報の画像から、その手書き情報が模擬するロボット１００の動作内容の意味を得て、ロボット１００に要求されている把持対象物に対する動作内容を推定する。

第２学習済みモデル１８２は、手書き情報の画像と、その手書き情報が模擬するロボット１００の動作内容の意味と、の組み合わせである教師データにより学習を行ったニューラルネットワークである。図１２は、第２学習済みモデル１８２用の教師データの例を示す図である。図１２の例は、「つかむ」という把持動作を意味する３つの画像と、「開ける」という把持動作を意味する４つの画像と、「搬送する」という搬送動作を意味する４つの画像と、を第２学習済みモデル１８２に学習させるための教師データである。また、図１２の教師データと比較して、より細かい教師データを第２学習済みモデル１８２に学習させてもよい。図１３は、「つかむ」という把持動作をより細かく第２学習済みモデル１８２に学習させるための教師データの例を示す図である。図１３の例は、「上からつかむ」、「横からつかむ」、「斜め上から掴む」という把持動作をそれぞれ意味する画像を、第２学習済みモデル１８２に学習させるための教師データである。なお、第２学習済みモデル１８２は、深層学習により学習を行ったニューラルネットワークであるとよい。また、第２学習済みモデル１８２は、教師データを随時追加して、追加学習をさせてもよい。

図１１の例では、推定部１５２は、第２学習済みモデル１８２から、手書き情報９０４が「開ける」という把持動作の意味であることを認識する。そのため、推定部１５２は、ロボット１００に要求されている把持対象物に対する動作内容が、把持対象物であるつまみ４１１をつかんで扉を開ける、という動作内容であると推定する。

なお、認識部１５１によって認識されたロボット１００の移動可能領域及び移動不可能領域を用いた、推定部１５２による、ロボット１００に要求されている把持対象物に対する動作内容、のより細かな推定方法については、後述する。

（画像調整部１５３の概要）
画像調整部１５３は、遠隔端末３００の表示パネル３４１に表示される撮像画像に対してユーザが入力した手書き情報に追従して、ステレオカメラ１３１による撮像方向及び撮像範囲を変更し、ステレオカメラ１３１が撮像したその撮像画像を、遠隔端末３００の表示パネル３４１に表示させる。画像調整部１５３の詳細については、後述する。

以上のようにして、制御部１５０において推定部１５２は、ハンド１２４による把持が要求されている把持対象物と、ロボット１００に要求されている把持対象物に対する動作内容と、を推定することができる。また、制御部１５０は、第１学習済みモデル１８１の学習内容によっては、ステレオカメラ１３１により取得した撮像画像から、把持対象物の距離及び方向を得ることができる。なお、制御部１５０は、把持対象物の距離及び方向を、第１環境の撮像画像を画像解析することによって得てもよいし、その他のセンサによる検出結果から得てもよい。また、制御部１５０は、レーザスキャナ１３３からの検出信号によりロボット１００の移動方向に障害物が存在するか否かを検出することもできる。

そのため、制御部１５０は、把持対象物の距離、方向、及び、障害物の存在の有無等に基づいて、ロボット１００が、現在位置から、障害物を回避しつつ、把持対象物の近傍に移動させるための経路を生成し、生成した経路に応じた駆動信号を、台車駆動ユニット１４５へ送信する。台車駆動ユニット１４５は、その駆動信号に応じて、把持対象物の近傍にロボット１００を移動させる。

制御部１５０は、ロボット１００が把持対象物の近傍に移動した時点で、ロボット１００に要求されている把持対象物に対する動作を開始するための準備を行う。具体的には、まず、制御部１５０は、ハンドカメラ１３５が把持対象物を観察できる位置へアーム１２３を駆動する。続いて、制御部１５０は、ハンドカメラ１３５に把持対象物を撮像させ、把持対象物の状態を認識する。

そして、制御部１５０は、把持対象物の状態と、ロボット１００に要求されている把持対象物に対する動作内容と、に基づいて、ロボット１００に要求されている把持対象物に対する動作内容を実現するための、ロボット１００の各部位の動作の詳細を決定する。

例えば、制御部１５０は、ハンド１２４による把持対象物の把持動作を実現するための、ハンド１２４の軌道を生成する。このとき、制御部１５０は、所定の把持条件を満たすように、ハンド１２４の軌道を生成する。所定の把持条件は、ハンド１２４が把持対象物を把持するときの条件や、ハンド１２４が把持対象物を把持するまでの軌道の条件等を含む。ハンド１２４が把持対象物を把持するときの条件は、例えば、ハンド１２４が把持対象物を把持するときに、アーム１２３を伸ばし過ぎないようにする等である。また、ハンド１２４が把持対象物を把持するまでの軌道の条件は、例えば、把持対象物が引き出しのつまみである場合、ハンド１２４が直線軌道を取ること等である。

制御部１５０は、ハンド１２４の軌道を生成すると、生成した軌道に応じた駆動信号を上体駆動ユニット１４６へ送信する。ハンド１２４は、その駆動信号に応じて、把持対象物に対する把持動作を行う。

或いは、制御部１５０は、ロボット１００による把持対象物の搬送動作を実現するための、ハンド１２４の軌道、及び、ロボット１００の移動経路（走行経路）を生成する。この場合、制御部１５０は、生成したハンド１２４の軌道に応じた駆動信号を上体駆動ユニット１４６へ送信し、生成したロボット１００の移動経路に応じた駆動信号を台車駆動ユニット１４５へ送信する。ハンド１２４及びロボット１００は、それらの駆動信号に応じて、把持対象物の搬送動作を行う。

図１４は、遠隔端末３００のブロック構成例を示すブロック図である。ここでは、ロボット１００から受信した撮像画像に対して手書き情報を入力する処理に関係する主な要素について説明するが、遠隔端末３００の構成としては他の要素も備え、また、手書き情報を入力する処理に寄与する他の要素が加えられることもあり得る。

演算部３５０は、例えばＣＰＵであり、メモリ３８０から読み出した制御プログラムを実行することにより遠隔端末３００全体の制御と様々な演算処理とを実行する。表示パネル３４１は、例えば液晶パネルであり、例えばロボット１００から送られてきた撮像画像を表示する。

入力ユニット３４２は、表示パネル１４１に重畳して配置されたタッチパネルや、表示パネル１４１の周縁部に設けられた押しボタン等を含む。入力ユニット３４２は、ユーザがタッチパネルを指やタッチペンを用いてタッチすることにより入力された、把持対象物に対するロボット１００の動作内容を模擬した画像である手書き情報を、演算部３５０へ引き渡す。手書き情報の例は、図３～図６に示した通りである。

メモリ３８０は、不揮発性の記憶媒体であり、例えばソリッドステートドライブが用いられる。メモリ３８０は、遠隔端末３００を制御するための制御プログラムの他にも、制御や演算に用いられる様々なパラメータ値、関数、ルックアップテーブル等を記憶している。

通信ユニット３９０は、例えば無線ＬＡＮユニットであり、無線ルータ７００との間で無線通信を行う。通信ユニット３９０は、ロボット１００から送られてくる撮像画像を受信して演算部３５０へ引き渡す。また、通信ユニット３９０は、演算部３５０と協働して、手書き情報をロボット１００へ送信する。

続いて、図１５～図１８を用いて、本実施形態に係る遠隔操作システム１０の全体的な処理について説明する。

図１５は、本実施形態に係る遠隔操作システム１０の全体的な処理の流れの例を示すフロー図である。図１５において、左側のフローはロボット１００の処理フローを表し、右側のフローは遠隔端末３００の処理フローを表す。また、点線の矢印は、ロボット１００と遠隔端末３００との間でシステムサーバ５００を介して行われる手書き情報や撮像画像の受け渡し、を表す。

図１６は、ロボット１００が存在する第１環境の例を示す図である。なお、図１６の例では、図示しないロボット１００が、第１環境において、紙面と対向する領域に配置されているものとする。したがって、図１６の例では、ロボット１００が、ステレオカメラ１３１を用いて、第１所定領域Ａ１を撮像したり、第２所定領域Ａ２を撮像したりすることができる。以下では、ユーザが、遠隔操作によって、ロボット１００に、テーブル４００上に配置された物体４０２をタンス４２０の上に搬送させる場合について説明する。

また、図１７は、遠隔端末３００に表示された撮像画像に対する手書き情報の入力の流れを説明するための図である。さらに、図１８は、遠隔端末３００に表示された撮像画像に対して最終的に入力された手書き情報の例を示す図である。

ロボット１００において、制御部１５０は、ステレオカメラ１３１を用いて、ロボット１００が存在する第１環境の第１所定領域Ａ１を撮像し（ステップＳ１１）、その撮像画像を、通信ユニット１９０を介して遠隔端末３００へ送信する（ステップＳ１２）。

遠隔端末３００において、演算部３５０は、ロボット１００から送信された第１所定領域Ａ１の撮像画像を受信すると、受信した撮像画像を表示パネル３４１に表示する。以降、演算部３５０は、撮像画像に対する手書き情報の入力を受け付ける状態に遷移する（ステップＳ３１）。その後、ユーザは、タッチパネルである入力ユニット３４２を介して、撮像画像に対する手書き情報の入力を開始する（ステップＳ３１のＹｅｓ）。

ここで、表示パネル３４１に表示されている撮像画像のうち、手書き情報において指定されている一部の領域が、表示パネル３４１に表示される撮像画像の所定の外周辺領域３１１である場合（ステップＳ３２のＹｅｓ）、演算部３５０は、その手書き情報を、通信ユニット３９０を介してロボット１００へ送信する（ステップＳ３３）。

図１７の（ａ）の例では、表示パネル３４１に表示されている所定領域Ａ１の撮像画像のうち、手書き情報９０６において表されている把持対象物４０２の搬送経路の一部の領域Ｐ１が、表示パネル３４１に表示される撮像画像の所定の外周辺領域３１１である（ステップＳ３２のＹｅｓ）。この場合、演算部３５０は、その手書き情報９０６を、通信ユニット３９０を介してロボット１００へ送信する（ステップＳ３３）。

このとき、ロボット１００において、画像調整部１５３は、ステレオカメラ１３１を用いて、撮像領域を第１所定領域Ａ１から第２所定領域Ａ２に変更して撮像し（ステップＳ１３）。その撮像画像を、通信ユニット１９０を介して遠隔端末３００へ送信する（ステップＳ１４）。ここで、画像調整部１５３は、第２所定領域Ａ２が、手書き情報において指定されている前記一部の領域と、第１所定領域Ａ１に隣接する領域と、を少なくとも含む領域となるように、ステレオカメラ１３１の撮像方向及び撮像範囲等を調整する。第２所定領域Ａ２は、第１所定領域Ａ１の全部又は一部を含んでいてもよい。

遠隔端末３００において、演算部３５０は、ロボット１００から送信された第２所定領域Ａ２の撮像画像を受信すると、受信した撮像画像を表示パネル３４１に表示する。つまり、演算部３５０は、表示パネル３４１に表示する撮像画像を第１所定領域Ａ１の撮像画像から第２所定領域Ａ２の撮像画像に切り替える。

図１７の（ｂ）の例では、表示パネル３４１に表示される撮像画像が第１所定領域Ａ１の撮像画像から第２所定領域Ａ２の撮像画像に切り替わっている。また、第２所定領域Ａ２の撮像画像は、手書き情報９０６において表されている把持対象物４０２の搬送経路の一部の領域Ｐ１と、第１所定領域Ａ１に隣接する領域と、を少なくとも含む領域の撮像画像となっている。

このように、手書き情報において指定される撮像画像の一部の領域が、撮像画像の端の領域などの視認性が低い領域であっても、表示パネル３４１に表示される撮像画像が、手書き情報において指定される領域に追従して切り替わるため、高い視認性が維持される。その結果、ユーザは、例えば第１所定領域Ａ１から第２所定領域Ａ２までの広範囲にわたる手書き情報を入力することが可能となる。

図１７の（ｃ）の例では、第１所定領域Ａ１から第２所定領域Ａ２にかけて連続して、
手書き情報９０６が入力されている。

なお、表示パネル３４１に表示されている撮像画像のうち、手書き情報において指定されている領域（例えば、手書き情報において表されている把持対象物の搬送経路）が、表示パネル３４１に表示される撮像画像の所定の外周辺領域３１１でない場合（ステップＳ３２のＮｏ）、表示パネル３４１に表示される撮像画像は切り替わらない。

その後、ユーザは、撮像画像に対する手書き情報の入力を終了させたい場合、所定の手書き終了操作を行う。例えば、ユーザは、撮像画像に対する手書き情報の入力を終了させたい場合、タッチパネルの任意の箇所をダブルクリックの要領で２回連続タッチする。或いは、タッチパネルの同一箇所を所定時間以上タッチし続ける。或いは、表示パネル３４１に操作ボタンが表示されている場合には、手書き情報の入力を終了させるボタン上のタッチパネルの領域をタッチする。

図１７の（ｄ）の例では、ユーザが、所定の手書き終了操作として、タッチパネルの任意の箇所をダブルクリックの要領で２回連続タッチして、撮像画像に対して手書き情報９０７を入力している。

それにより、演算部３５０は、撮像画像に対する手書き情報の入力の受け付けを終了し（ステップＳ３４のＹｅｓ）、図１８に示すような手書き情報９０６を、通信ユニット３９０を介してロボット１００へ送信する（ステップＳ３５）。

ロボット１００において、認識部１５１は、遠隔端末３００から送信された、撮像画像に対して入力された手書き情報、を受信すると、その撮像画像に基づいて把持可能物を認識する。推定部１５２は、認識部１５１が撮像画像から認識した把持可能物と、その撮像画像に対して入力された手書き情報と、に基づいて、認識部１５１が認識した把持可能物の中からハンド１２４による把持が要求されている把持対象物を推定するとともに、ロボット１００に要求されている把持対象物に対する動作内容を推定する（ステップＳ１５）。

図１８の例では、推定部１５２が、認識部１５１が認識した複数の把持可能物の中から物体４０２を把持対象物として推定するとともに、ロボット１００に要求されている把持対象物に対する動作内容が、テーブル４００上に配置された把持対象物である物体４０２をタンス４２０の上まで搬送すること、であると推定する。

その後、ロボット１００において、制御部１５０は、台車駆動ユニット１４５を制御して、把持対象物の近傍にロボット１００を移動させ、ロボット１００が把持対象物の近傍に移動した時点で、ロボット１００に要求されている把持対象物に対する動作を実現するための、ロボット１００の各部位の動作の詳細を決定する。

例えば、制御部１５０は、ハンド１２４による把持対象物に対する把持動作を実現するための、ハンド１２４の軌道を生成する（ステップＳ１６）。制御部１５０は、ハンド１２４の軌道を生成すると、生成した軌道に応じて上体駆動ユニット１４６を制御する。それにより、ハンド１２４による把持対象物に対する把持動作が行われる（ステップＳ１７）。

或いは、制御部１５０は、ロボット１００による把持対象物の搬送動作を実現するための、ハンド１２４の軌道、及び、ロボット１００の移動経路（走行経路）を生成する（ステップＳ１６）。制御部１５０は、ハンド１２４の軌道、及び、ロボット１００の移動経路を生成すると、それらの情報に応じて上体駆動ユニット１４６及び台車駆動ユニット１４５を制御する。それにより、ハンド１２４及びロボット１００による把持対象物の搬送動作が行われる（ステップＳ１７）。図１８の例でも、ハンド１２４及びロボット１００による把持対象物の搬送動作が行われる。

続いて、図１９を用いて、図１５のステップＳ１５の処理の詳細について説明する。図１９は、ロボット１００による図１５のステップＳ１５の処理の詳細な流れの例を示すフロー図である。

まず、認識部１５１は、遠隔端末３００から送信された、撮像画像に対して入力された手書き情報、を受信すると、メモリ１８０から読み出した第１学習済みモデル１８１を用いて、その撮像画像にうつっている把持可能領域を抽出し、把持可能物として認識する（ステップＳ１５１）。

次に、推定部１５２は、撮像画像上の手書き情報の入力位置に基づいて、認識部１５１が認識した把持可能物の中から、ハンド１２４による把持が要求されている把持対象物、を推定する（ステップＳ１５２）。なお、撮像画像上の手書き情報の入力位置は、例えば、既に説明した方法を用いて認識される。

次に、認識部１５１は、メモリ１８０から読み出した第３学習済みモデル１８３を用いて、手書き情報が入力された撮像画像にうつっている、ロボット１００の移動可能領域及び移動不可能領域、を抽出し、それらを認識する（ステップＳ１５３）。なお、認識部１５１による、ロボット１００の移動可能領域及び移動不可能領域の認識処理（セグメンテーション処理）は、把持可能物の認識処理と同時に行われてもよい。

図２０は、認識部１５１によって認識されたロボット１００の移動可能領域及び移動不可能領域の一例を示す図である。図２０に示す撮像画像３１０は、図６に示す撮像画像３１０に対して、認識部１５１による、ロボット１００の移動可能領域及び移動不可能領域、の認識処理を行った例である。図２０に示す撮像画像３１０では、床４５０が、ロボット１００の移動可能領域と認識され、テーブル４００が、ロボット１００の移動不可能領域と認識されている。なお、図２０の例では、把持対象物が物体４０２であると推定されている。

また、図２１は、認識部１５１によって認識されたロボット１００の移動可能領域及び移動不可能領域の他の例を示す図である。図２１に示す撮像画像は、図１８に示す撮像画像に対して、認識部１５１による、ロボット１００の移動可能領域及び移動不可能領域、の認識処理を行った例である。図２１に示す撮像画像では、床４５０が、ロボット１００の移動可能領域と認識され、テーブル４００及びタンス４２０が、ロボット１００の移動不可能領域と認識されている。また、把持対象物である物体４０１以外の把持可能物（例えば物体４０２）等も移動不可能領域と認識されている。なお、図２１の例では、把持対象物が物体４０２であると推定されている。

次に、推定部１５２は、メモリ１８０から読み出した第２学習済みモデル１８２を用いて、手書き情報の画像から、その手書き情報が模擬するロボット１００の動作内容の意味を得て、ロボット１００に要求されている把持対象物に対する動作内容を推定する（ステップＳ１５４）。

例えば、図２０の例では、推定部１５２は、手書き情報９０４の画像から、ロボット１００に要求されている動作内容が、手書き情報９０４ａが表す把持の対象である物体４０２を、手書き情報９０４ｂが表す搬送経路に沿って、手書き情報９０４ｃが表す目的地まで搬送すること、であると推定する。ここで、図２０の例では、手書き情報９０４に表される物体４０２の搬送経路の全てが、ロボット１００の移動不可能領域に存在している。この場合、推定部１５２は、手書き情報９０４によって表される物体４０２の搬送経路の全てを、ロボット１００の走行経路ではなく、ロボット１００のアームの先端部に取り付けられたハンド１２４の、アーム操作による移動経路、と推定する。

また、図２１の例では、推定部１５２は、手書き情報９０６の画像から、ロボット１００に要求されている動作内容が、手書き情報９０６ａが表す把持の対象である物体４０２を、手書き情報９０６ｂが表す搬送経路に沿って、手書き情報９０６ｃが表す目的地まで搬送すること、であると推定する。ここで、図２１の例では、手書き情報９０６に表される物体４０２の搬送経路の一部が、ロボット１００の移動可能領域に存在し、他の一部が、ロボット１００の移動不可能領域に存在している。具体的には、図２２に示すように、手書き情報９０６ｂによって表される搬送経路のうち、搬送経路Ｒ２が、ロボット１００の移動可能領域に存在し、搬送経路Ｒ１，Ｒ３が、ロボット１００の移動不可能領域に存在している。この場合、推定部１５２は、手書き情報９０６ｂによって表される搬送経路のうち、ロボット１００の移動可能領域に位置する搬送経路Ｒ２を、ロボット１００の移動経路（走行経路）と推定し、且つ、ロボット１００の移動不可能領域に位置する搬送経路Ｒ１，Ｒ３を、ロボット１００のアームの先端部に取り付けられたハンド１２４の、アーム操作による移動経路、と推定する。

なお、推定部１５２は、手書き情報によって表される搬送経路上に、２つの移動可能領域に挟まれた移動不可能領域が存在する場合には、２つの移動可能領域に挟まれた移動不可能領域が存在しないような、把持対象物の迂回経路を推定するようにしてもよい。ロボット１００は、この迂回経路の情報を出力する出力部を有し、例えば、遠隔端末３００の表示パネル３４１に表示させてもよい。図２３の例では、手書き情報９０６によって表される搬送経路上に、２つの移動可能領域に挟まれた移動不可能領域（障害物４５１）が存在する。この場合、推定部１５２は、例えば、障害物４５１を回避するような迂回経路９１６を推定し、ユーザに提案してもよい。

以上のように、本実施形態に係る遠隔操作システム１０では、ロボット１００において、認識部１５１が、ロボット１００が存在する環境を撮像した撮像画像に基づいて、ハンド１２４が把持可能な把持可能物を認識する。また、推定部１５２が、認識部１５１が撮像画像から認識した把持可能物と、その撮像画像に対してユーザが入力した手書き情報と、に基づいて、把持可能物の中からハンド１２４による把持が要求されている把持対象物を推定するとともに、ロボット１００に要求されている把持対象物に対する動作内容（把持動作や搬送動作）を推定する。

それにより、本実施の形態に係る遠隔操作システム１０では、ユーザが、予め設定された指示図形を思い出しながら手書き入力を行わずに、より直感的な手書き入力を行うことによって、ロボット１００に対して把持対象物を搬送する等の所望の処理を実行させることができる。

また、本実施の形態に係る遠隔操作システム１０では、遠隔端末３００の表示パネル３４１に表示される撮像画像が、手書き情報において指定される領域に追従して切り替わるため、高い視認性が維持され、例えば、広範囲にわたる手書き情報の入力が可能となる。つまり、この遠隔操作システム１０は、操作の利便性を向上させることができる。

さらに、本実施の形態に係る遠隔操作システム１０では、手書き情報に把持対象物の搬送経路の情報が含まれる場合、当該搬送経路が、ロボット１００の移動経路（走行経路）を表しているのか、ハンド１２４の移動経路を表しているのか、を自動判別している。そのため、この遠隔操作システム１０は、ユーザによる直感的な操作を可能にしたまま、ロボット１００に精度の高い処理を実行させることができる。

なお、本発明は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

上記実施の形態では、一例として、手書き情報が、ハンド１２４に要求されている把持対象物に対する把持動作の仕方を模擬した画像である場合について説明したが、これには限定されない。手書き情報は、把持動作の程度を示す画像をさらに含んでいてもよい。この場合、推定部１５２は、手書き情報に基づいて、ハンド１２４による把持対象物に対する把持動作の程度をさらに推定してもよい。図２４は、把持動作の程度を示す画像を含む手書き情報の例を示す図である。図２４の例は、図５の手書き情報９０３と同様の画像に、把持動作の程度を示す「３０°」という画像が追加された手書き情報９０８を示している。図２４の例では、推定部１５２は、ハンド１２４に要求されているつまみ４１１に対する把持動作は、つまみ４１１をつかんで扉を３０°開ける、という動作であると推定する。これにより、ユーザは、よりきめ細やかな直感的な操作が可能になる。

また、上記実施の形態では、撮像画像に対して１つの手書き情報が入力される例について説明したが、これには限定されない。撮像画像に対しては複数の手書き情報が入力されてもよい。撮像画像に対して複数の手書き情報が入力された場合、推定部１５２は、手書き情報毎に、把持対象物及びロボットの動作内容を推定する。このとき、推定部１５２は、先に入力された手書き情報によって推定された把持対象物に対するロボットの動作を優先的に行う、と推定してもよい。或いは、複数の手書き情報は、それぞれ把持動作の順番を示す画像をさらに含んでいてもよい。この場合、推定部１５２は、手書き情報に基づいて、把持動作の順番をさらに推定する。図２５は、把持動作の順番を示す画像を含む手書き情報が複数入力された例を示す図である。図２５の例は、撮像画像３１０に対して、つまみ４２２に対する手書き情報９０９、及び、つまみ４１１に対する手書き情報９１０、という２つの手書き情報が入力された例を示している。ここで、手書き情報９０９は、把持動作の順番を示す「１」という画像を含み、手書き情報９１０は、把持動作の順番を示す「２」という画像を含んでいる。そのため、図２５の例では、推定部１５２は、１番目に、ハンド１２４によるつまみ４２２に対する把持動作（つまみ４２２をつかんで引き出しを開ける、という動作）を実行し、２番目に、ハンド１２４によるつまみ４１１に対する把持動作（つまみ４１１をつかんで扉を開ける、という動作）を実行する、と推定する。

また、上記実施の形態では、第１学習済みモデル１８１、第２学習済みモデル１８２、及び、第３学習済みモデル１８３、という３つの学習済みモデルが用いられていたが、これには限定されない。例えば、第１学習済みモデル１８１、及び、第２学習済みモデル１８２の代わりに、第１学習済みモデル１８１の出力を第２学習済みモデル１８２に適用した転移学習済みモデルが用いられてもよい。この転移学習済みモデルは、例えば、手書き情報が入力された撮像画像を入力画像として、その撮像画像にうつっている把持可能物と、その把持可能物のうちの把持対象物と、その手書き情報が模擬するロボット１００による把持対象物に対する動作内容の意味と、を出力するモデルとなる。

また、上記実施の形態では、認識部１５１、推定部１５２、及び、画像調整部１５３がロボット１００に備えられていたが、これには限定されない。認識部１５１、推定部１５２、及び、画像調整部１５３の全部又は一部は、遠隔端末３００に備えられていてもよいし、システムサーバ５００に備えられていてもよい。

また、上記実施の形態では、ロボット１００と遠隔端末３００とがインターネット６００及びシステムサーバ５００を介して、撮像画像や手書き情報をやり取りしていたが、これには限定されない。ロボット１００と遠隔端末３００とは、直接通信によって、撮像画像や手書き情報をやり取りしてもよい。

また、上記実施の形態では、ロボット１００に備えられている撮像部（ステレオカメラ１３１）が用いられていたが、これには限定されない。撮像部は、ロボット１００が存在する第１環境の任意の場所に備えられた任意の撮像部であればよい。また、撮像部は、ステレオカメラに限定されず、単眼カメラ等であってもよい。

また、上記実施の形態では、被操作対象が、アーム１２３の先端のハンド１２４をエンドエフェクタとして備えるロボット１００である例を説明したが、これには限定されない。被操作対象は、エンドエフェクタを備え、エンドエフェクタを用いて把持動作を実行するものであればよい。また、エンドエフェクタは、ハンド以外の他の把持部（例えば、吸着部等）であってもよい。

さらに、本開示は、遠隔操作システム１０の処理の一部又は全部を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）にコンピュータプログラムを実行させることにより実現することが可能である。

上述したプログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、ＲＡＭ（Ｒａｎｄｏｍ－Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＳＳＤ（Ｓｏｌｉｄ－Ｓｔａｔｅ Ｄｒｉｖｅ）又はその他のメモリ技術、ＣＤ－ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、Ｂｌｕ－ｒａｙ（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

１０ 遠隔操作システム
１００ ロボット
１１０ 台車部
１１１ 駆動輪
１１２ キャスター
１２０ 本体部
１２１ 胴部
１２２ 頭部
１２３ アーム
１２４ ハンド
１３１ ステレオカメラ
１３３ レーザスキャナ
１３５ ハンドカメラ
１４１ 表示パネル
１４５ 台車駆動ユニット
１４６ 上体駆動ユニット
１５０ 制御部
１５１ 認識部
１５２ 推定部
１５３ 画像調整部
１８０ メモリ
１８１ 第１学習済みモデル
１８２ 第２学習済みモデル
１８３ 第３学習済みモデル
１９０ 通信ユニット
３００ 遠隔端末
３１０ 撮像画像
３１１ 外周辺領域
３４１ 表示パネル
３４２ 入力ユニット
３５０ 演算部
３８０ メモリ
３９０ 通信ユニット
４００ テーブル
４０１，４０２ 物体
４１０，４２０，４３０ タンス
４１１，４２１，４２２，４３１，４３２ つまみ
４４０ ドア
４４１ ドアノブ
４５０ 床
４５１ 障害物
５００ システムサーバ
６００ インターネット
７００ 無線ルータ
８０１～８０３ 把持可能領域
９０１～９０８ 手書き情報
Ａ１ 撮影領域
Ａ２ 撮影領域

Claims (13)

1. エンドエフェクタを備える被操作対象を遠隔操作する遠隔操作システムであって、
   前記被操作対象が存在する環境を撮像する撮像部と、
   前記環境の撮像画像に基づいて、前記エンドエフェクタが把持可能な把持可能物、前記被操作対象の移動可能領域、及び、移動不可能領域、を認識する認識部と、
   前記撮像画像を表示すると共に、前記撮像画像に対する手書き情報の入力を受け付ける操作端末と、
   前記把持可能物と前記手書き情報とに基づいて、前記把持可能物から前記エンドエフェクタによる把持が要求されている把持対象物を推定すると共に、前記被操作対象に要求されている前記把持対象物に対する動作内容を推定する推定部と、を備え、
   前記推定部は、前記手書き情報に前記把持対象物の搬送経路の情報が含まれる場合、前記搬送経路のうち、前記被操作対象の移動可能領域に位置する搬送経路を、前記被操作対象の移動経路と推定し、且つ、前記被操作対象の移動不可能領域に位置する搬送経路を、前記把持対象物を把持した前記エンドエフェクタの移動経路と推定する、
   遠隔操作システム。
2. 前記推定部は、前記手書き情報に前記把持対象物の搬送経路の情報が含まれている場合において、当該搬送経路上に２つの前記移動可能領域に挟まれた前記移動不可能領域が存在する場合には、２つの前記移動可能領域に挟まれた前記移動不可能領域が存在しないような、前記把持対象物の迂回経路を推定し、
   前記遠隔操作システムは、
   前記推定部により推定された前記迂回経路の情報を出力する出力部をさらに備える、
   請求項１に記載の遠隔操作システム。
3. 前記出力部は、前記操作端末に、前記迂回経路の情報を表示させる、
   請求項２に記載の遠隔操作システム。
4. 前記認識部は、前記把持可能物のうち前記把持対象物以外の把持可能物を、前記被操作対象の移動不可能領域として認識する、
   請求項１に記載の遠隔操作システム。
5. 前記被操作対象は、自立移動可能なロボットである、
   請求項１に記載の遠隔操作システム。
6. 前記推定部は、前記手書き情報に、前記把持対象物の搬送経路の情報が含まれる場合、前記搬送経路のうち、前記被操作対象の移動可能領域に位置する搬送経路を、前記被操作対象であるロボットの移動経路と推定し、且つ、前記被操作対象の移動不可能領域に位置する搬送経路を、前記ロボットのアームの先端部に取り付けられた前記エンドエフェクタの、前記アームの操作による移動経路と推定する、
   請求項５に記載の遠隔操作システム。
7. 前記撮像部は、前記被操作対象に取り付けられている、
   請求項１に記載の遠隔操作システム。
8. 前記撮像部は、前記被操作対象が存在する前記環境の、前記被操作対象とは別の場所に設けられている、
   請求項１に記載の遠隔操作システム。
9. 前記操作端末は、ユーザによる所定の手書き終了操作を受け付けることによって、前記手書き情報の入力を完了させる、
   請求項１に記載の遠隔操作システム。
10. 前記手書き情報は、前記把持対象物に対する前記被操作対象の動作内容を模擬した第１画像を含む、
    請求項１に記載の遠隔操作システム。
11. 前記推定部は、学習済みモデルを用いて、前記手書き情報の前記第１画像から、前記被操作対象に要求されている前記把持対象物に対する動作内容を推定する、
    請求項１０に記載の遠隔操作システム。
12. エンドエフェクタを備える被操作対象を遠隔操作する遠隔操作システムによる遠隔操作方法であって、
    前記被操作対象が存在する環境を撮像し、
    前記環境の撮像画像に基づいて、前記エンドエフェクタが把持可能な把持可能物、前記被操作対象の移動可能領域、及び、移動不可能領域、を認識し、
    前記撮像画像を表示した操作端末において、表示した前記撮像画像に対する手書き情報の入力を受け付け、
    前記把持可能物と前記手書き情報とに基づいて、前記把持可能物から前記エンドエフェクタによる把持が要求されている把持対象物を推定すると共に、前記被操作対象に要求されている前記把持対象物に対する動作内容を推定し、
    前記被操作対象に要求されている前記把持対象物に対する動作内容の推定では、前記手書き情報に前記把持対象物の搬送経路の情報が含まれる場合、前記搬送経路のうち、前記被操作対象の移動可能領域に位置する搬送経路を、前記被操作対象の移動経路と推定し、且つ、前記被操作対象の移動不可能領域に位置する搬送経路を、前記把持対象物を把持した前記エンドエフェクタの移動経路と推定する、
    遠隔操作方法。
13. エンドエフェクタを備える被操作対象を遠隔操作する遠隔操作システムによる遠隔操作処理をコンピュータに実行させる制御プログラムであって、
    前記被操作対象が存在する環境を撮像する処理と、
    前記環境の撮像画像に基づいて、前記エンドエフェクタが把持可能な把持可能物、前記被操作対象の移動可能領域、及び、移動不可能領域、を認識する処理と、
    前記撮像画像を表示した操作端末において、表示した前記撮像画像に対する手書き情報の入力を受け付ける処理と、
    前記把持可能物と前記手書き情報とに基づいて、前記把持可能物から前記エンドエフェクタによる把持が要求されている把持対象物を推定すると共に、前記被操作対象に要求されている前記把持対象物に対する動作内容を推定する処理と、
    をコンピュータに実行させ、
    前記被操作対象に要求されている前記把持対象物に対する動作内容を推定する処理では、前記手書き情報に前記把持対象物の搬送経路の情報が含まれる場合、前記搬送経路のうち、前記被操作対象の移動可能領域に位置する搬送経路を、前記被操作対象の移動経路と推定し、且つ、前記被操作対象の移動不可能領域に位置する搬送経路を、前記把持対象物を把持した前記エンドエフェクタの移動経路と推定する、
    制御プログラム。

Images