JP7272521B2 - ロボット教示装置、ロボット制御システム、ロボット教示方法、及びロボット教示プログラム - Google Patents

Description

本開示は、ロボット教示装置、ロボット制御システム、ロボット教示方法、及びロボット教示プログラムに関する。

現在、性能向上及びコスト低下により、ロボットは、製造、組立て、梱包、移送、搬送、輸送等の多くの分野で広く使用され、工場の現場における生産性向上や労働者の負担軽減を実現している。例えば、部品の並び替えや梱包、食品梱包や盛り付け、塗装・溶接などの分野では、多関節のアームを備えたロボットが知られている。これらのロボットの動作プログラムは、教示装置をキー操作して作成・編集するのが一般的であり、ロボットの動きを教示する方法として、ティーチングペンダント等を用いて、位置情報や移動情報などを記録する方法が知られている。また、ロボットの教示操作を容易にするために、音声入力を活用したロボット教示装置が知られている（例えば、特許文献１）。

特開２０２０－１９１２７号公報

従来の技術では、音声を活用したロボット教示において、ロボットへの動作指示として、ロボットを動作させるために必要となる制御コマンドや制御パラメータを作業者が発話し、パラメータ設定変更や追加を行う。これらの作業を熟練者や専門家が行う場合には、ロボットが動作として受け付けられる、予め定められた表現を把握しているため、音声によるロボットへの教示が可能である。一方、習熟度の低い操作者や教示に慣れない操作者の場合には、決められた音声コマンドやパラメータを完全には把握していないため、教示に使う音声コマンドとは異なる、普段の日常会話で使用している表現を無意識に使用して操作指示（教示）を行ってしまう可能性がある。この場合、予め格納された一般的な指示パターンと異なる発話が行われるため、ロボットは、指示内容を解釈できず、ロボットへの教示ができないという問題点があった。

この発明は上記のような問題点を解決するためになされたもので、音声指示によるロボット教示において、移動対象物を所定の場所へ移動する教示の際に、習熟度の低い操作者や教示に慣れない操作者による音声操作指示が行われても、ロボットへの教示を行えるロボット教示装置を得ることを目的とする。

本開示に係るロボット教示装置は、マイクによって収集された音声信号に対して音声認識処理を行い、移動対象物を所定の移動先に配置するロボットへの指示内容を示す指示情報を取得する音声認識部と、ロボットの周辺環境を検知するセンサによって取得されたセンサ情報に基づき、移動先周辺に存在する物体の位置を示す周辺物体位置情報を取得する環境情報取得部と、周辺物体位置情報に基づき、ロボットの動作指示に不足している情報を指示情報に補完する指示情報推定部と、を備え、指示情報推定部は、予め設定されたロボットの動作指示に必要な情報である必須情報と、指示情報とを比較し、ロボットの動作指示に不足している情報を不足情報として特定する不足情報特定部と、周辺物体位置情報に基づき、指示情報に不足情報を補完する指示情報補完部と、を備え、不足情報特定部が、移動対象物の配置位置を示す情報が不足していると特定した場合、指示情報補完部は、周辺物体位置情報に基づき、指示情報に移動対象物の配置位置を示す情報を補完することを特徴とする。

本開示に係るロボット教示装置は、周辺物体位置情報に基づき、ロボットの動作指示に不足している情報を指示情報に補完する指示情報推定部を備えたので、ロボット周辺に存在する物体の位置情報に基づいて不足している情報を補完することで、習熟度の低い操作者や教示に慣れない操作者による音声操作指示が行われても、ロボットへの教示を行うことができる。

実施の形態１に係るロボット教示装置１００及びロボット制御システム１０００の構成を示す構成図である。 実施の形態１に係るロボット教示装置１００のハードウェア構成を示すハードウェア構成図である。 実施の形態１に係るロボット制御システム１０００にて実行されるロボット制御を示す概念図である。 実施の形態１に係るロボット制御システム１０００の動作を示すフローチャートである。 実施の形態１に係るロボット制御システム１０００の動作を示すフローチャートである。 実施の形態１に係るロボット制御システム１０００にて実行されるロボット教示の動作内容（制御コマンド）、制御情報、制御パラメータの具体例を示す図である。 実施の形態１に係るロボット制御システム１０００にて実行されるロボット制御を示す概念図である。 実施の形態１に係る環境情報取得部１２０が取得した環境情報の具体例を示す概念図である。 実施の形態１に係る指示情報補完部１３２の指示情報補完処理のフローチャートである。 実施の形態１に係る入出力部１５０による移動対象物の移動先表示例を示す図である。 実施の形態１に係る指示情報補完部１３２の指示情報補完処理の変形例のフローチャートである。 実施の形態１に係る指示情報補完部１３２の重なり処理のフローチャートである。 実施の形態２に係るロボット教示装置２００及びロボット制御システム２０００の構成を示す構成図である。 実施の形態２に係るロボット制御システム２０００にて実行されるロボット制御を示す概念図である。 実施の形態２に係る環境情報取得部２２０が取得した環境情報の具体例を示す概念図である。 実施の形態２に係る指示情報補完部２３２の指示情報補完処理のフローチャートである。 実施の形態２に係る入出力部２５０よる移動対象物の移動量情報表示例を示す図である 実施の形態３に係るロボット教示装置３００及びロボット制御システム３０００の構成を示す構成図である。 実施の形態３に係る環境情報取得部３２０が取得した環境情報の具体例を示す概念図である。 実施の形態３に係る指示情報補完部３３２の指示情報補完処理のフローチャートである。

実施の形態１．
図１は、実施の形態１に係るロボット教示装置１００及びロボット制御システム１０００の構成を示す構成図である。

ロボット制御システム１０００は、ロボット１０を制御するものであり、ロボット教示装置１００、マイク１１、センサ１２、及びロボット制御装置１３を備える。

ロボット教示装置１００は、ロボット１０が人の代わりに対象物を“把持、運搬、配置”するために、ロボット１０の動作に必要な各種指令（動作制御コマンドおよびパラメータ）をロボット制御装置１３に設定する装置であって、例えば、教示操作盤、或いはスマートフォン、タブレットＰＣ等の携帯型情報端末により実現される。ロボット教示装置１００は、ＣＰＵ、ＲＯＭ、ＲＡＭ、記憶装置、表示部、操作部、外部機器インタフェース、ネットワークインタフェース等を有する一般的なコンピュータとしての構成を有していても良い。また、ロボット教示装置１００は、操作者の操作用端末と各処理の実行端末を分離した構成としても良い。

マイク１１は、作業者が発声した音声を収集し音声信号を出力するものである。マイク１１は有線又は無線によりロボット教示装置１００に接続されている。マイク１１は、ヘッドセットタイプでも良いし、首掛け式やピン止め式のものでも良い。また、マイク１１は、ノイズキャセル機能を有してもよいし、複数マイクで構成されたアレイマイクでも良い。また、ロボット教示装置１００に内蔵されていても良い。

センサ１２は、ロボット１０の周辺環境を検知し、センサ情報を取得するものであり、空間情報や移動対象物の画像情報を取得するカメラや視覚センサ、温度情報を測定・取得する温度センサ（非接触式もしくは接触式）などである。センサ１２は、ロボット１０に直接搭載してもよいし、ロボット１０周辺に設置してもよい。

ロボット１０の周辺環境とは、例えば、ロボット１０のアーム移動領域、移動対象物、移動対象物保管領域、移動対象物配置領域などである。センサ情報とは、センサの検知結果を示すデータであり、画像情報、温度情報などである。画像情報とは、例えば２次元画像や、距離画像を含む３次元画像である。視覚センサは、三角測量の原理で距離情報を得るＬｉｇｈｔ Ｃｏｄｉｎｇ方式を用いる。もしくは、投光した赤外線パルスが反射して戻ってくるまでの時間から距離情報を得るＴｉｍｅ ｏｆ Ｆｌｉｇｈｔ（ＴｏＦ）方式を用いてもよい。或いは、三角測量の原理によりステレオカメラを使った視差情報から距離情報を得る方式を用いてもよいし、その他の方式を用いてもよい。カメラは、カラー画像やモノクロ画像を撮像するカメラであって、レンズ、ミラー等から構成される光学機構と、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）のイメージセンサ等の撮像素子（いずれも図示せず）を備えている。夜間撮影が可能な赤外線センサ、発光素子を持たせても良い。動画撮影機能を持たせても良い。センサ１２は、取得したセンサ情報をロボット教示装置１００に出力する。

ロボット制御装置１３は、ロボット教示装置１００から入力される各種指令（動作制御コマンドおよびパラメータ）に応じてロボット１０の動作を制御するものである。ロボット制御装置１３は、ＣＰＵ、ＲＯＭ、ＲＡＭ、記憶装置、表示部、操作部、外部機器インタフェース、ネットワークインタフェース等を有する一般的なコンピュータにより実現される。ロボット制御装置１３は、ロボット教示装置１００と一体として構成してもよいし、ロボット１０と一体として構成してもよい。

ロボット１０は、ロボット制御装置１３の動作指令に従い動作するものであり、例えば、垂直多関節ロボットである。ロボット１０として他のタイプのロボットが用いられても良い。ロボット１０は、図示しないロボットアーム等のマニピュレータや、ロボットハンド等の把持装置、マニピュレータと把持装置を制御するコントローラを備える。ロボット１０は、マニピュレータの各関節の角度を変更することで把持装置の位置姿勢を変更可能な位置姿勢変更機構を備える。

また、ロボット１０は、多関節ロボットに限定されるものではない。ロボット１０は、数値制御（Ｎｕｍｅｒｉｃａｌ Ｃｏｎｔｒｏｌ：ＮＣ）可能な可動式の機械であってもよい。把持装置は、ロボット１０による対象物体の種類に応じて、物体を把持するためのツールである。例えば、駆動機構を有した把持ハンド（二本指掴み、三本指掴み、複数指掴み等）、真空エアーや磁石による吸着パッドを用いたハンド、ショベルタイプのすくい上げハンド等である。なお、把持装置は、マニピュレータに対して着脱可能に取り付けられており、対象物体の種類に応じて交換可能である。ロボット制御装置１３とロボット１０は、無線もしくは有線のネットワークやＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等の汎用のインタフェースで接続される。

ロボット教示装置１００は、音声認識部１１０、環境情報取得部１２０、指示情報推定部１３０、制御信号出力部１４０、及び入出力部１５０を備える。

音声認識部１１０は、マイク１１によって収集された音声信号に対して音声認識処理を行い、移動対象物を所定の移動先に配置するロボットへの指示内容を示す指示情報を取得するものである。実施の形態１において、音声認識部１１０は、無線又は有線通信により、マイク１１から音声データを取得する。

音声認識部１１０は、操作者が発話した音声信号に対し音声認識処理を行い、音声入力された動作指示を、文字、単語およびそれらで構成された文章となるテキスト情報として出力する。音声認識部１１０において、指示情報はテキスト情報として得られるが、本開示において、指示情報とは、テキスト情報だけでなく、テキスト情報を分割して得られる文字列や、文字列から学習モデル等の推定により得られた動作内容及び制御情報等を含むものを意味する。

音声認識部１１０は、音響モデル、言語モデル等の音声認識に必要な辞書データを複数種類の言語について有していても良い。また、音声認識処理をロボット教示装置１００内で実施（ローカル音声認識）しても良いし、ネットワーク越しのサーバー側（クラウド音声認識）で実施する構成としても良い。パターンマッチング、隠れマルコフモデル（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ：ＨＭＭ）やディープラーニング等を活用した公知の音声認識技術を利用しても良い。

環境情報取得部１２０は、ロボット１０の周辺環境の状態を示す環境情報を取得するものであり、特に、ロボットの周辺環境を検知するセンサ１２によって取得されたセンサ情報に基づき、移動先周辺に存在する物体の位置を示す周辺物体位置情報を取得するものである。ここで、周辺物体位置情報は環境情報の一種である。

環境情報取得部１２０は、センサ１２から得られたセンサ情報を解析し、ロボット１０が対象物を把持・移動・配置するために必要となるロボット周辺環境および移動対象物に関する環境情報を取得する。環境情報とは、例えば、移動対象物保管領域にある移動対象物に関する情報（種類・大きさ・位置・色・温度）、移動対象物配置領域の配置空間に関する情報（配置可能領域の位置、大きさ）、移動対象物配置領域に既に配置された物体（移動済みの移動対象物）に関する情報（種類・大きさ・位置・色・温度）などである。また、本開示において、周辺物体位置情報とは、ロボット周辺に存在する物体そのものの位置だけでなく、空き空間（配置可能領域）の位置に関する情報、すなわち物体が存在しない空間の位置を示す位置情報も含むものとする。

なお、画像解析には、パターンマッチングやディープラーニング等を活用した公知の画像解析技術を利用する。なお、センサ１２から得られた画像情報を解析すると記載したが、センサ１２でこれらの画像解析処理を実施し、環境情報取得部１２０は、その結果の環境情報を取得する構成としても良い。

指示情報推定部１３０は、環境情報取得部１２０で得られた周辺物体位置情報に基づき、ロボットの動作指示に不足している情報を指示情報に補完するものである。ここで、指示情報推定部１３０は、音声認識部１１０で得られた指示情報にロボットの動作指示に必要な情報が不足している場合に、指示情報の補完を行うが、不足している場合に常に補完を行う必要は無く、例えば、作業者に指示内容の再発声依頼を出し、それでもなお指示情報が不足している場合に補完を行うようにしてもよい。

実施の形態１において、指示情報推定部１３０は、不足情報特定部１３１と指示情報補完部１３２を備える。

不足情報特定部１３１は、予め設定されたロボットの動作指示に必要な情報である必須情報と、指示情報とを比較し、ロボットの動作指示に不足している情報を不足情報として特定するものである。

不足情報特定部１３１は、音声認識部１１０からのテキスト情報（指示情報）に形態素解析、構文解析を行い、１つ以上の単語列（以降、音声入力単語列）に変換する。そして、不足情報特定部１３１は、得られた単語列から動作内容および制御情報（種別と値）を抽出し、この動作内容および制御情報を必須情報と比較し、不足している情報が無いかを判定する。また、上記のように、本開示では、音声認識部１１０で得られたテキスト情報だけでなく、単語列に変換され、動作内容および制御情報として抽出された後の情報も含む、ロボットへの動作指示を示す情報の総称を指示情報と呼ぶ。

また、不足情報特定部１３１は、抽出された動作内容または制御情報に関して、ロボット１０の動作指示に必要な情報が不足していると判定した場合、その不足している情報を不足情報として特定する。

指示情報補完部１３２は、環境情報、特に周辺物体位置情報に基づき、指示情報に不足情報を補完するものである。例えば、不足情報特定部１３１が、移動対象物の配置位置を示す情報が不足していると特定した場合、指示情報補完部１３２は、周辺物体位置情報に基づき、指示情報に移動対象物の配置位置を示す情報を補完する。また、不足情報特定部１３１が、配置位置を示す情報のうち、移動対象物の配置方向を示す情報が不足していると特定した場合、指示情報補完部１３２は、周辺物体位置情報に基づき、指示情報に前記移動対象物の配置方向を示す情報を補完する。

ここでの補完とは、不足している情報を補うことにより、ロボットの動作指示に必要な情報を揃えた指示情報を生成することを意味し、例えば、移動対象物の配置方向が”未指定”となっている情報に対して、配置方向を”右”に補正する処理等を意味する。

また、実施の形態１において、環境情報取得部１２０は、さらに、センサ情報に基づき、移動先周辺に存在する物体の大きさを示す形状情報や移動先周辺の配置可能領域の大きさを示す空間情報を取得し、指示情報推定部１３０は、周辺物体位置情報に加え、形状情報や空間情報に基づき、指示情報に不足している情報を補完するようにしてもよい。

そして、指示情報補完部１３２は、補完済みの指示情報、すなわち、ロボットの動作指示に必要な情報が揃った指示情報（動作内容及び制御情報）を制御情報出力部に出力する。

制御信号出力部１４０は、指示情報推定部１３０からの動作内容および制御情報を制御コマンドおよび制御パラメータへ変換し、ロボット制御装置１３へ出力するものである。制御信号出力部１４０は、制御信号送受信部を備え、無線又は有線ネットワークにより、ロボット制御装置１３と信号の送受信を行う。制御信号の送受信は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等の汎用のインタフェースで構成して実施しても良い。

入出力部１５０は、ユーザへの表示を行う表示部と、ユーザからの入力を受け付ける操作部を備え、ユーザインターフェースとして機能するものである。表示部は、ロボット教示装置１００を操作するためのアプリケーションの操作画面や各種情報を表示する表示デバイスである。表示デバイスは、例えば、液晶ディスプレイ（ＬＣＤ）や有機ＥＬディスプレイ（ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ)などである。操作部は、操作者によるタッチやスライド、キー入力といった操作を検出する。例えば、タッチパネル、ボタン、キーボード、マウス等である。ロボット教示装置１００の操作者は、ハードキー（ハードウェアキー）操作や、入出力部１５０に表示されたボタンやメニュー等の表示項目を指やタッチペンを用いてタッチまたはスライドさせることにより、ロボット教示装置１００を操作することができる。また、音声入力による操作画面変更や項目設定も可能である。また、ロボット教示装置１００の操作者は、ロボット教示装置１００の各処理の状況を確認することができる。入出力部１５０は表示部と操作部を一体型で構成しても良いし、分離型で構成しても良い。

改めて、ロボット教示装置１００のハードウェア構成について説明する。
図２は、実施の形態１に係るロボット教示装置１００のハードウェア構成を示すハードウェア構成図である。
ロボット教示装置１００が備える音声認識部１１０、環境情報取得部１２０、指示情報推定部１３０、制御信号出力部１４０、入出力部１５０の各機能は、記憶装置３に格納されたプログラムが処理装置２で実行されることにより実現される。処理装置２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）中央処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等のプロセッサである。また、複数のプロセッサにより、ロボット教示装置１００の各機能を実現しても良い。また、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＡＳＩＣ等でロボット教示装置１００の各機能を実現しても良い。

記憶装置３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）等の不揮発性または揮発性の半導体メモリであっても良いし、ハードディスク、フレキシブルディスク等の磁気ディスクであっても良いし、ミニディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の光ディスクでも良い。

また、音声認識部１１０、環境情報取得部１２０、入出力部１５０の操作部はキーボード等の入力装置１によって実現され、入出力部１５０の表示部はディスプレイ等の出力装置５によって実現され、制御信号出力部１４０の制御信号送受信部は通信装置４によって実現される。

次に、ロボット制御システム１０００及びロボット教示装置１００の動作について説明する。操作者が音声を使って、移動対象物を“把持、運搬、配置”する動作をロボットへ教示する場合を例として説明する。

図３は、実施の形態１に係るロボット制御システム１０００にて実行されるロボット制御の概要を示す例である。図３（ａ）は対象物の移動前の状態を示し、図３（ｂ）は対象物の移動後の状態を示したものである。また、図３（ｃ）は初期設定時のロボット制御システム１０００を構成する各要素の位置関係を示したものである。各要素の位置関係は３次元の座標で定義され、初期設定時に以下の座標情報をロボット教示装置１００からロボット制御装置１３へ設定する。例えば、原点をＰ＿０（０，０，０）として、各要素の位置関係は、移動元ケース５０の位置座標をＰ＿５０、移動元ケース５０内の配置枠５０ａの位置座標をＰ＿５０ａ、移動先ケース６０の位置座標をＰ＿６０、移動先ケース６０内の配置枠６０ａの位置座標をＰ＿６０ａ、配置枠６０ｂの位置座標をＰ＿６０ｂ、配置枠６０ｃの位置座標をＰ＿６０ｃに設定する。

また、ロボット１０の位置座標をＰ＿１０に設定する。ロボット制御システム１０００に含まれる機器、移動対象物、移動元ケース、移動先ケースまたそれらケース内の枠位置など、ロボット１０のアーム軌道の移動範囲に含まれる物体の位置座標が設定される。この初期設定時の各要素の位置設定には、従来のダイレクトティーチング、ビジュアルティーチングおよび音声入力を活用して設定しても良い。また、位置情報を登録したい地点に識別用マーカーを置き、ロボット１０の周辺に設置したセンサ１２でその識別用マーカーを取得し、環境情報取得部１２０にて画像認識処理を行い、各位置情報を設定しても良い。

図３に示す通り、操作者が、ロボット１０に対して、移動元ケース５０の配置枠５０ａに配置した移動対象物２個（５０ａ１、５０ａ２）を移動先ケース６０の配置枠６０ｂに配置するための動作を教示する際のロボット教示装置１００の動作を説明する。ここでは、移動対象物５０ａ１、５０ａ２、５０ａ３は同一種の物として“物Ａ”と表現する。また、配置枠５０ａを“枠Ａ”とし、配置枠６０ｂを“枠Ｂ”とする。

図４および図５は、実施の形態１に係るロボット制御システム１０００及びロボット教示装置１００にて実行されるロボット教示の処理フローを示すフローチャートである。
ここで、ロボット教示装置１００の動作がロボット教示方法に対応し、ロボット教示装置１００の動作をコンピュータに実行させるプログラムがロボット教示プログラムに対応する。また、「部」は「工程」に適宜読み替えてもよい。

まず、熟練者や専門家がロボット１０への指示を行い、音声信号から得られた指示情報に必須情報が揃っている場合について説明する。

図４に示す通り、操作者は、ロボット教示装置１００の教示用アプリケーションを使用し、初期設定を行う（ＳＴ０００）。初期設定では、各処理機能の初期化と、ロボット教示を行うための周辺環境の設定を行う。周辺環境の設定として、各物体（例えば、移動元ケース５０および移動元ケース５０内の配置枠５０ａ、移動先ケース６０および移動先ケース６０内の配置枠６０ｂ）の位置情報を設定する。また、移動元（開始点）の座標情報（Ｐ＿５０：移動元ケース５０）、移動先（終点）の座標情報（Ｐ＿６０：移動元ケース６０、Ｐ＿６０ｂ：移動先ケース６０内の配置枠６０ｂ）などである。また、制御情報を事前に設定しても良い。例えば、移動元ケースを“ケース５０”に、移動元枠を“枠Ａ”に、移動先ケースを“ケース６０”にそれぞれ設定してもよい。また移動対象物と制御パラメータの紐づけを設定する。例えば、“物Ａ”は“Ｏｂｊ１”、“物Ｂ”は“Ｏｂｊ２”、“物Ｃ”は“Ｏｂｊ３”などである。

ロボット教示装置１００は、操作者からの入力により、音声入力を有効にする（ＳＴ００１）。ロボット教示装置１００は、音声入力を受け付ける状態になり（ＳＴ００２）、音声入力が行われない場合（ＳＴ００２ “Ｎｏ”）には、その状態を維持する。

操作者が、ロボット１０への動作指示として「物Ａを枠Ｂに２個配置して下さい」と音声発話すると、音声入力が行われたため（ＳＴ００２ “Ｙｅｓ”）、発話された音声は、マイク１１で収集され、音声認識部１１０に渡される。

音声認識部１１０は、入力された音声信号に音声認識処理を行い、認識結果をテキスト情報として指示情報推定部１３０へ出力する（ＳＴ００３）。テキスト情報とは、たとえば、「物Ａを枠Ｂに２個配置して下さい」である。

不足情報特定部１３１は、音声認識結果であるテキスト情報に、形態素解析、構文解析、単語列化を行い、１つ以上の単語列である音声入力単語列に変換する（ＳＴ００４）。音声入力単語列とは、たとえば、「“物Ａ”、“を”、“枠Ｂ”、“に”、“２”、“個”、“配置”、“して”、“下さい”」である。続いて、不足情報特定部１３１は、音声入力単語列に含まれる動作内容と制御情報を推定し、抽出する（ＳＴ００５）。

音声入力単語列に含まれる動作内容および制御情報の推定には、ルールベースによる抽出手法やディープラーニング等を活用した公知の推定技術を利用することができる。例えば、事前にロボット動作制御で使用する単語列（動作内容および制御情報を示すキーワード）を登録しておき、音声入力単語列内の単語と一致するものを抽出する。もしくは、操作指示文（動作内容と制御情報で構成された単語列）と正解ラベルを学習データとして準備し、サポートベクターマシンやディープニューラルネットワークなどの機械学習手法を用いて、動作内容および制御情報を推定する推定モデルを構築し、音声入力単語列内の単語と一致するものもしくは一致する確率が高いものを推定した上で動作内容および制御情報として抽出しても良い。

図６は、実施の形態１に係るロボット制御システム１０００にて実行されるロボット教示の動作内容（制御コマンド）、制御情報、制御パラメータの例である。

図６に示す通り、各動作内容（制御コマンド）と動作に必要な制御情報（種別、値）および制御パラメータが紐づけられている。たとえば、ケース間移動制御１では、制御情報の種別として、移動元ケース、移動元枠、移動先ケース、移動先枠、対象物および数量がある。また、これらの各種別に対して、値を設定する。例えば、ケース間移動制御１では、動作内容は移動元ケース５０から移動先ケース６０間の移動で移動先を絶対位置（移動先枠：枠Ｂ）で指定する移動制御であり、制御コマンドは、ＰｉｃｋＰｌａｃｅＣｎｔｌ１である。また、制御情報が移動元ケースの場合、対応する制御パラメータは、種別：Ｓｒｃ＿ｐｏｓ＿１、値：Ｐ＿５０となる。同様に、各制御パラメータは、移動元枠の場合には種別：Ｓｒｃ＿ｐｏｓ＿２、値：Ｐ＿５０ａとなり、移動先ケースの場合には種別：Ｄｓｔ＿ｐｏｓ＿１、値：Ｐ＿６０となり、移動先枠の場合には種別：Ｄｓｔ＿ｐｏｓ＿２、値：Ｐ＿６０ａとなり、対象物の場合には種別：Ｔａｒｇｅｔ＿ｐｏｓ、値：Ｏｂｊ１となり、数量の場合には種別：Ｍｏｖｅ＿ｒｅｐ、値：２となる。

同様に、ケース間移動制御２では、動作内容は、移動元ケース５０から移動先ケース６０間の移動で移動先を相対位置（配置起点と配置方向）で指定する移動制御であり、動作コマンドはＰｉｃｋＰｌａｃｅＣｎｔｌ２である。同様に、枠内移動調整１では、動作内容は、移動先の枠内での配置位置の調整制御であり、動作コマンドはＡｄｊｕｓｔＣｎｔｌ１である。また、これら以外に、図には記していない同一ケース内枠間移動制御（移動先ケース６０内で異なる枠間の移動制御）、移動速度制御等の各動作内容（制御コマンド）と動作に必要な制御情報（種別、値）および制御パラメータが紐づけられても良い。

これらの動作内容および制御情報と、動作コマンドおよび制御パラメータ、および両者の紐づけは、初期設定（ＳＴ０００）で行われ、指示情報推定部１３０に紐づけリストとして設定・記憶される。この紐づけリストに示される動作内容毎の制御情報が必須情報の一例である。制御情報の種別は、移動元ケース、移動元枠、移動先ケース、移動先枠、数量、相対的な配置位置を示す場合の配置起点および配置方向、枠内移動調整制御の移動先枠、配置方向および配置移動量などである。

図４に戻り、処理フローの説明を続ける。不足情報特定部１３１は、音声入力文から抽出した動作内容および制御情報が、初期設定時に記憶された紐づけリストに含まれているか否かを判定する（ＳＴ００６）。たとえば、音声入力単語列「“物Ａ”、“を”、“枠Ｂ”、“に”、“２”、“個”、“配置”、“して”、“下さい”」が入力された場合、不足情報特定部１３１は、入力された単語列から、事前学習した動作内容および制御情報の推定モデルにより、動作内容をケース間移動制御１と推定し、制御情報をそれぞれ“物Ａ”、“枠Ｂ”、“２”、と推定・抽出する。音声入力単語列に動作内容および制御情報が含まれているので、「動作内容および制御情報が含まれている」と判定（ＳＴ００６ Ｙｅｓ）する。

続いて、図５に移り、不足情報特定部１３１は、抽出した制御情報が動作内容（ケース間移動制御１）に必要な制御情報を満たしているか、制御情報が不足していないか判定を行う（ＳＴ００８）。動作内容がケース間移動制御１の場合、必要となる制御情報は、図６に示すとおり、移動元ケース、移動元枠、移動先ケース、移動先枠、数量である。指示情報推定部１３０は、初期設定（ＳＴ０００）で、移動元ケースはケース５０、移動先ケースはケース６０と設定しており、さらに、音声入力から抽出した対象物“物Ａ”、移動先枠“枠Ｂ”、数量“２”の制御情報を得て、動作内容（ケース間移動制御１）の制御情報に「不足なし」と判定する（ＳＴ００８ Ｎｏ）。指示情報補完部１３２は、不足情報特定部１３１から動作内容および制御情報を受け取り、受け取った動作内容および制御情報をそのまま制御信号出力部１４０に出力する。

制御信号出力部１４０は、指示情報（動作内容および制御情報）を紐づけリストに従い、制御コマンド（ＰｉｃｋＰｌａｃｅＣｎｔｌ１）および制御パラメータ（Ｓｒｃ＿ｐｏｓ＿１：Ｐ＿５０、Ｓｒｃ＿ｐｏｓ＿２：Ｐ＿５０ａ、Ｄｓｔ＿ｐｏｓ＿１：Ｐ＿６０、Ｄｓｔ＿ｐｏｓ＿２：Ｐ＿６０ｂ、Ｔａｒｇｅｔ＿ｐｏｓ：Ｏｂｊ１、Ｍｏｖｅ＿ｒｅｐ：２）に変換して、ロボット制御装置１３へ出力する。

ロボット制御装置１３は、ロボット教示装置１００から教示された制御コマンドおよび制御パラメータをロボット制御プログラムに反映し、ロボット１０の動作を制御する。

ロボット１０は、ロボット制御装置１３の動作指令に従い、移動元ケース５０内の配置枠５０ａ（“枠Ａ”）から、移動対象物５０ａ１（“物Ａ”）をピックアップし、移動先ケース６０の配置枠６０ｂ（“枠Ｂ”）内に移動する。また、移動数量は“２個”であるため、この動作をもう１回行う。

次に、熟練者や専門家がロボットへの指示を行っているが、指示情報のうち動作内容が不足している場合の動作について説明する。

図４のＳＴ００２から説明する。ロボット教示装置１００は、音声入力を受け付ける状態で（ＳＴ００２）、操作者が、「２個配置して下さい」と発話した場合、不足情報特定部１３１では、得られた音声入力単語列は「 “２”、“個”、“配置”、“して”、“下さい”」となる（ＳＴ００４）。

不足情報特定部１３１は、入力された音声入力単語列から、事前学習した動作内容および制御情報の推定モデルにより動作内容の推定を行う。この音声入力単語列には、移動対象物、移動先配置位置を示す単語および配置位置に相当する単語が含まれていないため、動作内容を“不明”と推定する。また、制御情報の推定は“移動対象物”を“未指定”、“配置位置“未指定”、“数量”を“２”と推定する。その結果、動作内容および制御情報が音声指示内容に含まれるか否かの判定結果は“Ｎｏ”となり（ＳＴ００６ Ｎｏ）、入出力部１５０の表示部に動作制御の音声再入力の依頼を提示（ＳＴ００７）し、操作者へ音声操作の再入力を促す。入出力部１５０は、音声再入力の提示の他、ワーニングや注意等の表示を行っても良い。

図７は、実施の形態１に係るロボット制御システム１０００にて実行されるロボット教示の概要を示す例である。図７（ａ）は対象物の移動前を示し、図７（ｂ）は対象物の移動後を示したものである。
図７に示す通り、操作者が、ロボット１０に対して、移動元ケース５０内の移動対象物５０ａ１を移動先ケース６０の配置枠６０ｂ内のすでに配置された“物Ｂ”７０ａ１の左スペース６０ｂ＿Ｌに移動・配置するための動作を教示する際のロボット教示装置１００の動作を説明する。

図４に戻り、処理フローの説明を行う。ロボット教示装置１００は、音声入力を受け付ける状態（ＳＴ００２）にあり、操作者は、例えば、「物Ａを物Ｂの左に１個配置して下さい」とロボット教示装置１００に音声入力する。音声認識部１１０で音声認識処理を行い、不足情報特定部１３１は、音声認識結果を音声入力単語列「“物Ａ”、“を”、“物Ｂ”、“の”、“左”、“に”、“１”、“個”、“配置”、“して”、“下さい”」に変換する（ＳＴ００４）。続いて音声入力単語列に含まれる動作内容と制御情報を推定し、抽出する（ＳＴ００５）。

不足情報特定部１３１は、入力された単語列から、事前学習した動作内容および制御情報の推定モデルにより、動作内容はケース間移動制御２と推定し、制御情報の推定では、“対象物”を“物Ａ”、“移動先配置起点”を“物Ｂ”、“移動先配置方向”を“左”、“数量”を“１”と推定・抽出する。音声入力単語列に動作内容および制御情報が含まれているので、「動作内容および制御情報が含まれている」と判定（ＳＴ００６ Ｙｅｓ）する。

続いて、図５に移り、不足情報特定部１３１は、抽出した制御情報が動作内容（ケース間移動制御２）に必要な制御情報を満たしているか、制御情報が不足していないか判定を行う（ＳＴ００８）。動作内容がケース間移動制御２の場合、必要となる制御情報は、図５に示すとおり、移動元ケース、移動元枠、移動先ケース、移動先配置起点、移動先配置方向、対象物、数量である。指示情報推定部１３０では、初期設定（ＳＴ０００）で、移動元ケースはケース５０、移動先ケースはケース６０と設定しており、さらに、音声入力から抽出した“対象物”は“物Ａ”、“移動先配置起点”は“物Ｂ”、“移動先配置方向”は“左”、“数量”は“１”の制御情報を得て、制御情報に「不足なし」と判定する（ＳＴ００８ Ｎｏ）。指示情報補完部１３２は、不足情報特定部１３１から動作内容および制御情報を受け取り、受け取った動作内容および制御情報をそのまま制御信号出力部１４０に出力する。

制御信号出力部１４０は、制御情報（動作内容および制御情報）を紐づけリストに従い、制御コマンド（ＰｉｃｋＰｌａｃｅＣｎｔｌ２）および制御パラメータ（Ｓｒｃ＿ｐｏｓ＿１：Ｐ＿５０、Ｓｒｃ＿ｐｏｓ＿２：Ｐ＿５０ａ、Ｄｓｔ＿ｐｏｓ＿１：Ｐ＿６０、Ｄｓｔ＿ｐｏｓ＿ｏｂｊ＿ｓｔａｒｔ：Ｐ＿７０ｂ、Ｄｓｔ＿ｐｏｓ＿ｏｂｊ＿ｄｉｒ：Ｌｅｆｔ、Ｔａｒｇｅｔ＿ｐｏｓ：Ｏｂｊ１、Ｍｏｖｅ＿ｒｅｐ：１）に変換して、ロボット制御装置１３へ出力する。

ロボット制御装置１３は、ロボット教示装置１００から教示された制御コマンドおよび制御パラメータをロボット制御プログラムに反映し、ロボット１０の動作を制御する。

図７（ａ）の対象物移動前および図７（ｂ）の対象物移動後に示す通り、ロボット１０は、ロボット制御装置１３の動作指令に従い、移動元ケース５０内の配置枠５０ａ（“枠Ａ”）から、移動対象物５０ａ１（“物Ａ”）をピックアップし、移動先ケース６０の配置枠６０ｂ内にある移動先配置起点７０ａ１(”物Ｂ“)の移動先配置方向（”左“）に移動する。

次に、専門的な知識がない現場作業者や不慣れな初心者が操作者としてロボット１０への動作指示を行い、指示情報のうち制御情報が不足している場合のロボット教示装置１００の動作について説明する。

操作者は、ロボット１０への音声で動作指示を行う際に、音声入力用のコマンドやパラメータを完全には把握していないため、時には通常の人との会話で使用する表現を用いてしまう場合がある。配置先の特定に必要な情報である“配置方向”を具体的な“左”や“右”などではなく、起点とした対象物の“横”、“隣”、“そば”など、方向が明示されない曖昧な表現を用いてしまう場合などである。たとえば、「物Ａを物Ｂの“左”に１個配置して下さい」と指示する際に、「物Ａを物Ｂの“横”に１個配置して下さい」と指示する場合などである。

図４のＳＴ００２から再度説明する。ロボット教示装置１００は、音声入力を受け付ける状態（ＳＴ００２）にあり、操作者により、「物Ａを物Ｂの横に１個配置して下さい」とロボット教示装置１００に音声入力される。

音声認識部１１０で音声認識処理を行う（ＳＴ００３）。不足情報特定部１３１は、音声認識結果「物Ａを物Ｂの横に１個配置して下さい」を音声入力単語列「“物Ａ”、“を”、“物Ｂ”、“の”、“横”、“に”、“１”、“個”、“配置”、“して”、“下さい”」に変換する（ＳＴ００４）。続いて音声入力単語列に含まれる動作内容と制御情報を推定し、抽出する（ＳＴ００５）。

不足情報特定部１３１は、入力された単語列から、事前学習した動作内容および制御情報の推定モデルにより、動作内容：ケース間移動制御２、制御情報：“対象物”は“物Ａ”、“移動先配置起点”は“物Ｂ”、“移動先配置方向”は“未指定”、“移動先配置方向関連ワード”は“横”、“数量”は“１”と推定・抽出する。音声入力単語列に動作内容および制御情報が含まれているので、「動作内容および制御情報が含まれている」と判定（ＳＴ００６ Ｙｅｓ）する。なお、“移動先配置方向関連ワード”とは“横”の他に、“隣”、“そば”、“周辺”、“近く”など、移動先配置方向に関連する意味を持つワードである。

続いて、図５に移り、不足情報特定部１３１は、抽出した制御情報が動作内容（ケース間移動制御２）に必要な制御情報を満たしているか、制御情報が不足していないか判定を行う（ＳＴ００８）。動作内容がケース間移動制御２の場合、必要となる制御情報は、図５に示すとおり、移動元ケース、移動元枠、移動先ケース、移動先配置起点、移動先配置方向、対象物、数量である。なお、指示情報推定部１３０は、初期設定（ＳＴ０００）で、移動元ケースはケース５０、移動先ケースはケース６０と設定している。不足情報特定部１３１は音声入力から抽出した“対象物”は“物Ａ”、“移動先配置起点”は“物Ｂ”、“移動先配置方向”は“未指定”、“移動先配置方向関連ワード”は“横”、“数量”は“１”の制御情報を得る。ここで制御情報の“移動先配置方向”が“未指定”のため、制御情報が不足していると判定し、不足している情報が”移動先配置方向”であると特定する（ＳＴ００８ Ｙｅｓ）。

続いて、不足情報特定部１３１は、“移動先配置方向関連ワード”を含んでいるか確認する（ＳＴ０１０）。関連語を含まない場合（ＳＴ０１０ Ｎｏ）には、図４に戻り、入出力部１５０の表示部へ再入力依頼を提示し、操作者に再音声入力を促す（ＳＴ００７）。

“移動先配置方向関連ワード”である、“横”を含んでいる場合（ＳＴ０１０ Ｙｅｓ）、環境情報取得部１２０は、センサ１２から得られたセンサ情報を解析し、ロボット周辺環境に関する環境情報を取得する（ＳＴ０１１）。

図８は、環境情報取得部１２０が取得した環境情報の具体例を示したものである。

図８に示す通り、環境情報取得部１２０では、移動先の配置空間に関する情報としてすでに配置済みの移動先配置起点７０ａ１（“物Ｂ”）の環境情報が得られている。ここでの環境情報は、例えば、移動先配置起点７０ａ１（位置：Ｐ＿７０ａ１、幅：Ｐ＿７０ａ１＿ｗ、高さ：Ｐ＿７０ａ１＿ｈ）、空間Ｌ（位置：Ｐ＿６０ｂ＿Ｓｐ＿Ｌ、幅：Ｐ＿６０ｂ＿Ｓｐ＿Ｌ＿ｗ、高さ：Ｐ＿６０ｂ＿Ｓｐ＿Ｌ＿ｈ）および空間Ｒ（位置：Ｐ＿６０ｂ＿Ｓｐ＿Ｒ、幅：Ｐ＿６０ｂ＿Ｓｐ＿Ｒ＿ｗ、高さ：Ｐ＿６０ｂ＿Ｓｐ＿Ｒ＿ｈ）である。図５に戻り、指示情報推定部１３０は、制御情報および環境情報を用いて指示情報補完処理を行う（ＳＴ０１２）。

図９は、実施の形態１に係るロボット教示装置１００における指示情報補完部１３２の指示情報補完処理のフローチャートである。

図９に示す通り、指示情報補完部１３２は、空間Ｌと空間Ｒのサイズを計算する（ＳＴ１００）。例えば、空間Ｌのサイズ（Ｐ＿６０ｂ＿Ｓｐ＿Ｌ＿Ｓｉｚｅ）は、幅（Ｐ＿６０ｂ＿Ｓｐ＿Ｌ＿ｗ）×高さ（Ｐ＿６０ｂ＿Ｓｐ＿Ｌ＿ｈ）で計算する。同様に、空間Ｒのサイズ（Ｐ＿６０ｂ＿Ｓｐ＿Ｒ＿Ｓｉｚｅ）は、幅（Ｐ＿６０ｂ＿Ｓｐ＿Ｒ＿ｗ）×高さ（Ｐ＿６０ｂ＿Ｓｐ＿Ｒ＿ｈ）で計算する。

次に、指示情報補完部１３２は、取得した空間Ｌのサイズ（Ｐ＿６０ｂ＿Ｓｐ＿Ｌ＿Ｓｉｚｅ）と空間Ｒのサイズ（Ｐ＿６０ｂ＿Ｓｐ＿Ｒ＿Ｓｉｚｅ）、および閾値ＴＨ＿ＬＲ、閾値ＴＨ＿ＲＬを使用し、補完処理を制御する。閾値ＴＨ＿ＬＲおよび閾値ＴＨ＿ＲＬは、空間Ｌのサイズと空間Ｒのサイズを比較する際に重みづけとなる閾値である。閾値より超える差があるとき、補完処理を行う。サイズの単位は、センサから得られた位置情報の単位である。画素単位でも良いし、長さに補正したｃｍ（センチメートル）やｍｍ（ミリメートル）などの単位としても良い。

まず、空間Ｌのサイズ‐空間Ｒのサイズが閾値ＴＨ＿ＬＲより大きいか否かを判定する（ＳＴ１０１）。空間Ｌのサイズ‐空間ＲのサイズがＴＨ＿ＬＲより大きい場合（ＳＴ１０１ Ｙｅｓ）には、制御情報の“移動先配置方向”を“未指定”から“左”に補正する（ＳＴ１０２）。

ＴＨ＿ＬＲより小さい場合（ＳＴ１０１ Ｎｏ）には、空間Ｒのサイズ‐空間Ｌのサイズが閾値ＴＨ＿ＲＬより大きいか否かを判定する（ＳＴ１０３）。空間Ｒのサイズ‐空間ＬのサイズがＴＨ＿ＲＬより大きい場合（ＳＴ１０３ Ｙｅｓ）には、制御情報の“移動先配置方向”を“未指定”から“右”に補正する（ＳＴ１０４）。

空間Ｒのサイズ‐空間ＬのサイズがＴＨ＿ＲＬより小さい場合（ＳＴ１０３ Ｎｏ）には、制御情報の補正を行わず、図４に戻り、入出力部１５０の表示部へ再入力依頼を提示し、操作者に再音声入力を促す（ＳＴ００７）。

例えば、閾値ＴＨ＿ＬＲを１０、閾値ＴＨ＿ＲＬを１０と設定し、センサ情報として、空間Ｌの幅（Ｐ＿６０ｂ＿Ｓｐ＿Ｌ＿ｗ）が５ｃｍ、高さ（Ｐ＿６０ｂ＿Ｓｐ＿Ｌ＿ｈ）が３ｃｍ、空間Ｒの幅（Ｐ＿６０ｂ＿Ｓｐ＿Ｒ＿ｗ）が１.５ｃｍ、高さ（Ｐ＿６０ｂ＿Ｓｐ＿Ｒ＿ｈ）が３ｃｍと得られた場合には、空間Ｌのサイズ（Ｐ＿６０ｂ＿Ｓｐ＿Ｌ＿Ｓｉｚｅ）は、５×３＝１５、空間Ｒのサイズ（Ｐ＿６０ｂ＿Ｓｐ＿Ｒ＿Ｓｉｚｅ）は、１．５×３＝４．５となり、この場合、空間Ｌのサイズ‐空間Ｒのサイズ＝１０．５＞閾値ＴＨ＿ＬＲ（１０）より大きいため、制御情報の“移動先配置方向”を“未指定”から“左”に補正する。

図５に戻り、指示情報補完部１３２は、動作内容と、それに対応する補完済みの制御情報を制御信号出力部１４０に出力する。例えば、指示情報補完部１３２は、音声入力から抽出した制御情報の“移動先配置方向” を“未指定”から“左”に補正した制御情報である、“対象物”は“物Ａ”、“移動先配置起点”は“物Ｂ”、“移動先配置方向”は“左”、“数量”は“１”の制御情報と、動作内容とを制御信号出力部１４０に出力する。

制御信号出力部１４０は、指示情報（動作内容および制御情報）を紐づけリストに従い、制御コマンド（ＰｉｃｋＰｌａｃｅＣｎｔｌ２）および制御パラメータ（Ｓｒｃ＿ｐｏｓ＿１：Ｐ＿５０、Ｓｒｃ＿ｐｏｓ＿２：Ｐ＿５０ａ、Ｄｓｔ＿ｐｏｓ＿１：Ｐ＿６０、Ｄｓｔ＿ｐｏｓ＿ｏｂｊ＿ｓｔａｒｔ：Ｐ＿７０ｂ、Ｄｓｔ＿ｐｏｓ＿ｏｂｊ＿ｄｉｒ：Ｌｅｆｔ、Ｔａｒｇｅｔ＿ｐｏｓ：Ｏｂｊ１、Ｍｏｖｅ＿ｒｅｐ：１）に変換して、ロボット制御装置１３へ出力する。

ロボット制御装置１３は、ロボット教示装置１００から教示された制御コマンドおよび制御パラメータをロボット制御プログラムに反映し、ロボット１０の動作を制御する。例えば、移動元ケースＳｒｃ＿ｐｏｓ＿１：Ｐ＿５０、移動元枠Ｓｒｃ＿ｐｏｓ＿２：Ｐ＿５０ａ、移動対象物Ｔａｒｇｅｔ＿ｐｏｓ：Ｏｂｊ１等から移動元の移動対象物の位置情報を算出する。また、移動先枠位置Ｄｓｔ＿ｐｏｓ＿１：Ｐ＿６０、移動先枠内の移動先起点Ｄｓｔ＿ｐｏｓ＿ｏｂｊ＿ｓｔａｒｔ：Ｐ＿７０ｂ、起動先方向Ｄｓｔ＿ｐｏｓ＿ｏｂｊ＿ｄｉｒ：Ｌｅｆｔ等から移動先の配置位置を算出する。移動元位置と移動先位置および移動対象物を設定し、ロボット１０の動作を制御する。

図７（ａ）の対象物移動前および図７（ｂ）の対象物移動後に示す通り、ロボット１０は、ロボット制御装置１３の動作指令に従い、移動元ケース５０内の配置枠５０ａ（“枠Ａ”）から、移動対象物５０ａ１（“物Ａ”）をピックアップし、移動先ケース６０の配置枠６０ｂ内にある移動先配置起点７０ａ１(”物Ｂ“)の移動先配置方向（”左“）に配置する。

以上のような動作により、ロボット教示装置１００は、周辺物体位置情報に基づき、ロボットの動作指示に不足している情報を指示情報に補完するようにしたので、習熟度の低い操作者や教示に慣れない操作者による音声操作指示が行われても、ロボットへの教示を行うことができる。

より具体的には、音声によるロボット教示において、移動対象物を所定の場所へ移動する教示の際に、習熟度の低い操作者や教示に慣れない操作者による曖昧な言葉を含む動作制御指示が行われても、曖昧な制御情報を具体的な移動方向の制御情報に補正することで、操作者の意図に沿ったロボット教示を行うことができる。

なお、移動先の制御パラメータとして、枠位置Ｄｓｔ＿ｐｏｓ＿１：Ｐ＿６０、枠内の移動先起点Ｄｓｔ＿ｐｏｓ＿ｏｂｊ＿ｓｔａｒｔ：Ｐ＿７０ｂ、起動先方向Ｄｓｔ＿ｐｏｓ＿ｏｂｊ＿ｄｉｒ：Ｌｅｆｔをロボット制御装置１３へ出力し、それらの情報からロボット制御装置１３で、配置先の位置情報を算出するように記載しているが、空間Ｌ（位置：Ｐ＿６０ｂ＿Ｓｐ＿Ｌ）の位置情報を使い、直接移動先位置を指定してロボット制御装置１３へ出力するようにしても良い。

なお、実施の形態１に係るロボット制御システム１０００では、ロボット教示装置１００とロボット制御装置１３およびロボット１０がそれぞれ独立した構成としているが、ロボット教示装置１００とロボット制御装置１３の構成を一体型の構成としても良い。また、ロボット制御装置１３およびロボット１０の構成を一体型としても良い。

なお、指示情報補完部１３２の処理において、“移動先配置方向”として左右方向(ｘ軸方向)の例について記載したが、上下方向(ｙ軸方向)、斜め方向(ｘ、ｙ軸方向)についても同様に、環境情報取得部１２０にて、センサ１２からのセンサ情報を解析し、移動先配置起点７０ａ１（“物Ｂ”）の環境情報として、上下方向もしくは斜め方向の周辺物体位置情報（位置Ｐ、高さｈ、幅ｗ）を得ることで、制御情報および環境情報を用いて指示情報補完処理を行っても良い。

例えば、 移動先配置起点７０ａ１(”物Ｂ“)の移動先配置方向として“上”の動作制御指示が行われた場合、環境情報取得部１２０にて、センサ１２からのセンサ情報を解析し、移動先配置起点７０ａ１（“物Ｂ”）の環境情報として、３次元での上方向（ｚ軸）と２次元での上方向（ｙ軸）の空間情報（位置、面積、容積）を得ることで、移動先配置起点７０ａ１（“物Ｂ”）に並べて配置する、もしくは、移動先配置起点７０ａ１（“物Ｂ”）の上に重ねて配置するなど、指示情報補完処理を行っても良い。

なお、実施の形態１に係るロボット制御システム１０００におけるロボット教示装置１００の指示情報推定部１３０の動作として、制御情報の“数量”が“１”の場合について記載したが、制御情報の“数量”が２以上の場合には、環境情報取得部１２０の解析で得られた“物Ａ”の大きさ情報と移動先配置起点７０ａ１（“物Ｂ”）の移動先配置方向(左)の配置空間Ｌの中で、指定された数量の対象物が配置できるように、各対象物の配置位置を変更しても良い。

すなわち、音声認識部１１０は、音声信号から、移動対象物の数量を示す数量情報を含む指示情報を取得し、指示情報推定部１３０は、周辺物体位置情報と数量情報とに基づき、指示情報に不足している情報を補完するようにしてもよい。

例えば、指示情報補完部１３２は、“数量”が１の場合には、配置スペースの中央に移動対象物を配置するように指示情報を補完し、“数量”が２以上の場合には、１つ目の移動対象物を配置スペースの端に配置するように指示情報を補完し、２つ目の移動対象物を１つ目の移動対象物の隣に配置するように指示情報を補完するようにしてもよい。

なお、実施の形態１に係るロボット制御システム１０００におけるロボット教示装置１００の指示情報補完部１３２の動作として空間Ｌと空間Ｒのサイズを比較して、移動先配置方向を推定しているが、操作者から連続で入力された次の音声動作指示内容を確認し、その内容が否定的な指示か、肯定的な指示かを判定して、補正処理を行っても良い。例えば、操作者から、次の音声動作指示で、否定的な指示（「違う」とか「そうじゃない」とか）が行われた場合には、環境情報取得部１２０から得た空間Ｌもしくは空間Ｒの大きさに重みづけを行い、空間Ｌ‐空間Ｒの大きさ判定を行っても良い。空間Ｌ＞空間Ｒのため、移動先配置方向をＬ（左）と推定した場合でも、その逆の方向Ｒ（右を）推定結果とする、もしくは、空間Ｒのサイズを１未満の係数で縮小して後で、比較を行っても良い。また、同様に、操作者より、次の音声動作指示で肯定的な指示（「そうそう」とか「いいね」とか）が行われた場合には、空間Ｌのサイズを１未満の係数で縮小し、比較を行っても良い。この場合、操作指示者がロボットと向かい合う位置関係の場合でも、音声操作で、配置位置を教示することができる。

すなわち、音声認識部１１０は、第一の音声信号から第一の指示情報を取得し、第二の音声信号から第二の指示情報を取得し、指示情報推定部１３０は、第二の指示情報が肯定的な指示であるか、否定的な指示であるかを判定し、その判定結果に基づき第一の指示情報に不足している情報を補完するようにしてもよい。

なお、実施の形態１に係るロボット制御システム１０００におけるロボット教示装置１００の指示情報補完部１３２の補完結果に基づいて、ロボット１０の制御を行っているが、指示情報補完部１３２の補完結果を入出力部１５０の表示部へ提示し、移動対象物を配置する移動先の位置を操作者に画面上で確認できるようにしても良い。また、操作者の確認・了承を受けた後にロボット教示を行うように制御しても良い。

図１０は、実施の形態１に係る入出力部１５０による移動対象物の移動先表示例である。図１０に示すように、移動量情報の目安を表示することで、操作者に移動対象物の移動先をわかりやすく伝えることができる。

次に、ロボット教示装置１００が移動対象物の種類や温度に応じて指示情報を補完する変形例について説明する。

実施の形態１に係るロボット制御システム１０００におけるロボット教示装置１００の指示情報補完部１３２では、“移動先配置方向”の補正結果に基づいて移動対象物５０ａ１（“物Ａ”）を、移動先配置起点７０ａ１(”物Ｂ“)の移動先配置方向（”左“）である空間Ｌ内に配置する例について記載しているが、移動対象物５０ａ１（“物Ａ”）を空間Ｌ内に配置する際に、移動対象物５０ａ１（“物Ａ”）および移動先配置起点７０ａ１(”物Ｂ“)の種類や温度等を加味して両者の配置位置を決める場合がある。

例えば、物Ａと物Ｃを枠Ｂ内に配置することを考えた場合には、物Ａと物Ｃを２つの距離を空けて配置する、一部の領域を重ねて配置する、重ねて配置するなど、いくつかの配置指定が想定される。例えば、機械部品などの移動・配置では、同一種類のものは重ねて配置する、異なる種類のものは重ねず配置するなどである。また、異なる種類の物体を並べて配置する場合でも、例えば、部品と部品の上に載せるグリースや油などが対象物の場合には、重ねて配置するように制御を行う。

食品の盛り付け等であれば、例えば、ご飯の上にカレー、餡かけ、ふりかけ、梅干しなどを配置する際には、重ねて配置する、コロッケとキャベツであれば、一部重ねて配置する、唐揚げや焼売などの固形物同士であれば、重ねずに並べて配置するなどである。また、移動対象物の温度によっても、高温のものと低温のものは重ねない、近づけずに離して置く、などの制御が必要な場合もある。それらの場合の処理について説明する。

以下の変形例では、環境情報取得部１２０は、さらに、移動対象物の温度を示す温度情報を取得し、指示情報推定部１３０は、周辺物体位置情報と温度情報とに基づき、指示情報に不足している情報を補完する。

また、指示情報推定部１３０は、移動対象物の種類を示す種類情報を取得し、周辺物体位置情報と種類情報とに基づき、指示情報に不足している情報を補完する。

図１１は、実施の形態１に係る指示情報補完部１３２の指示情報補完処理のフローチャートで図９のフローチャートに重なり処理（ＳＴ１０５）を追加したものである。

また、図１２は、実施の形態１に係る指示情報補完部１３２の重なり処理（ＳＴ１０５）の処理の詳細を示すフローチャートである。

図１２に示す通り、指示情報補完部１３２は、対象物（物Ａおよび物Ｂ）の種類情報リストから物体種類情報を取得する（ＳＴ２００）。種類情報リストとは、移動先配置起点対象物名、移動対象物名、それぞれの状態（固形物／流動物）、重ね可否（物Ａは物Ｂに重ねる対象か否か）、重なり値（物Ａを物Ｂにどの程度重ねるか）等、対象物（物Ａおよび物Ｂ）に関する情報を記載したリストである。例えば、機械部品などであれば、部品Ｂの上に部品Ａを配置する場合には、移動先配置起点対象物：部品Ｂ、移動先配置起点対象物の状態：固形物、移動対象物：部品Ａ、移動対象物の状態：固形物、重ね可否：可、重なり値：Ｏｖｅｒｌａｐ＿Ａと登録する。部品Ｂの上に油Ａを配置する場合には、移動先配置起点対象物：部品Ｂ、移動先配置起点対象物の状態：固形物、移動対象物：油Ａ、移動対象物の状態：流動物、重ね可否：可、重なり値：Ｏｖｅｒｌａｐ＿Ｂを登録する。同様に食品等であれば、食品Ｂ（固形物）の上に食品Ａ（固形物）を配置する場合には、移動先配置起点対象物：食品Ｂ、移動先配置起点対象物の状態：固形物、移動対象物：食品Ａ、移動対象物の状態：固形物、重ね可否：可、重なり値：Ｏｖｅｒｌａｐ＿Ｂと登録する。食品Ｂ（固形物）の上に食品Ｃ（流動物）を配置する場合には、移動先配置起点対象物：食品Ｂ、移動先配置起点対象物の状態：固形物、移動対象物：食品Ｃ、移動対象物の状態：流動物、重ね可否：可、重なり値：Ｏｖｅｒｌａｐ＿Ｂを登録する。

指示情報補完部１３２は、得られた物体種類情報から、移動対象物５０ａ１（“物Ａ”）および移動先配置起点７０ａ１(”物Ｂ“)を重ねる対象か否か（重ね可否）を判定する（ＳＴ２０１）。重ねる対象である（重ね可否が“可”）場合（ＳＴ２０１ Ｙｅｓ）、種類情報リストから該当する対象物の重なり値(例えば、Ｏｖｅｒｌａｐ＿Ａ)を取得し、重なり値Ｖ＿ｏｖｅｒｌａｐに設定する（ＳＴ２０２）。重ねる対象でない（重ね可否が“否”）場合（ＳＴ２０１ Ｎｏ）、重なり値を“０”に設定する（ＳＴ２０３）。

続いて、指示情報補完部１３２は、移動対象物５０ａ１（“物Ａ”）および移動先配置起点７０ａ１(”物Ｂ“)の温度情報を環境情報取得部１２０から取得する（ＳＴ２０４）。両者の温度差が温度差閾値Ｔｈ＿ｔｅｍｐよりも大きいか否かを判定する（ＳＴ２０５）。温度差が閾値Ｔｈ＿ｔｅｍｐを超えた場合（ＳＴ２０５ Ｙｅｓ）、移動対象物５０ａ１（“物Ａ”）と移動先配置起点７０ａ１(”物Ｂ“)の配置距離Ｄ＿ｄｉｓｔａｎｃｅを大きな距離Ｄ＿ｆａｒに設定する（ＳＴ２０６）。また、温度差が閾値Ｔｈ＿ｔｅｍｐを超えない場合（ＳＴ２０５ Ｎｏ）、配置距離Ｄ＿ｄｉｓｔａｎｃｅを小さな距離Ｄ＿ｎｅａｒに設定する（ＳＴ２０７）。

指示情報補完部１３２は、音声入力から抽出した制御情報のうち、“移動先配置方向” を“未指定”から“左”に補正した制御情報である、“対象物”は“物Ａ”、“移動先配置起点”は“物Ｂ”、“移動先配置方向”は“左”、“数量”は“１”の制御情報と動作内容に加えて、重なり値Ｖ＿ｏｖｅｒｌａｐと配置距離Ｄ＿ｄｉｓｔａｎｃｅを指示情報として制御信号出力部１４０に出力する。

制御信号出力部１４０は、指示情報（動作内容および制御情報）を紐づけリストに従い、制御コマンド（ＰｉｃｋＰｌａｃｅＣｎｔｌ２）および制御パラメータ（Ｓｒｃ＿ｐｏｓ＿１：Ｐ＿５０、Ｓｒｃ＿ｐｏｓ＿２：Ｐ＿５０ａ、Ｄｓｔ＿ｐｏｓ＿１：Ｐ＿６０、Ｄｓｔ＿ｐｏｓ＿ｏｂｊ＿ｓｔａｒｔ：Ｐ＿７０ｂ、Ｄｓｔ＿ｐｏｓ＿ｏｂｊ＿ｄｉｒ：Ｌｅｆｔ、Ｔａｒｇｅｔ＿ｐｏｓ：Ｏｂｊ１、Ｍｏｖｅ＿ｒｅｐ：１）に変換して、ロボット制御装置１３へ出力する。また、重なり値Ｖ＿ｏｖｅｒｌａｐと配置距離Ｄ＿ｄｉｓｔａｎｃｅをロボット制御装置１３へ出力する。

ロボット制御装置１３は、ロボット教示装置１００から教示された制御コマンドおよび制御パラメータをロボット制御プログラムに反映し、ロボット１０の動作を制御する。例えば、移動元ケースＳｒｃ＿ｐｏｓ＿１：Ｐ＿５０、移動元枠Ｓｒｃ＿ｐｏｓ＿２：Ｐ＿５０ａ、移動対象物Ｔａｒｇｅｔ＿ｐｏｓ：Ｏｂｊ１等から移動元の移動対象物の位置情報を算出する。また、移動先枠位置Ｄｓｔ＿ｐｏｓ＿１：Ｐ＿６０、移動先枠内の移動先起点Ｄｓｔ＿ｐｏｓ＿ｏｂｊ＿ｓｔａｒｔ：Ｐ＿７０ｂ、起動先方向Ｄｓｔ＿ｐｏｓ＿ｏｂｊ＿ｄｉｒ：Ｌｅｆｔ、重なり値Ｖ＿ｏｖｅｒｌａｐと配置距離Ｄ＿ｄｉｓｔａｎｃｅ等から移動先の配置位置を算出する。移動元位置と移動先位置および移動対象物を設定し、ロボット１０の動作を制御する。

なお、環境情報取得部１２０は、温度情報をセンサ１２から取得しているが、種類情報リストにあらかじめ登録しておき、例えば、移動対象物の種類に紐づけられた温度情報を取得するようにしても良い。また、この場合にも、種類情報リストに登録されていない物体については、センサ１２で取得したセンサ情報を用いて物体の状態情報を取得しても良い。また、各物体のセンサ情報から重なり度合いを推定しても良い。

以上のように、音声によるロボット教示において、移動対象物を所定の場所へ移動する教示の際に、習熟度の低い操作者や教示に慣れない操作者による曖昧な言葉を含む動作制御指示が行われても、曖昧な制御情報を具体的な移動方向の制御情報に補正し、また、移動対象物および移動起点物の種類や温度に応じた適切な配置位置に補正を行うことで、操作者の意図に沿ったロボット教示を行うことができる。

実施の形態２．
実施の形態２に係るロボット制御システム２０００は、実施の形態１に係るロボット教示装置１００の指示情報補完部１３２の指示情報補完処理フローのステップ（ＳＴ０１２）内の処理について、一部変更・追加される以外は、実施の形態１に係るロボット制御システム１０００の構成と同じである。実施の形態２では、ロボット教示装置２００が、移動対象物の移動量を推定する例について説明する。

図１３は実施の形態２に係るロボット教示装置２００及びロボット制御システム２０００の構成を示す構成図である。また、ハードウェア構成については、実施の形態１に係るロボット教示装置１００と同様である。

実施の形態２では、不足情報特定部２３１が、配置位置を示す情報のうち、移動対象物の移動量を示す情報が不足していると特定した場合、指示情報補完部２３２は、周辺物体位置情報に基づき、指示情報に移動対象物の移動量を示す情報を補完する。

また、環境情報取得部２２０は、センサ情報に基づき、移動対象物の位置を示す対象物位置情報を周辺物体位置情報の一つとして取得し、指示情報推定部２３０は、対象物位置情報に基づき、指示情報に不足している情報を補完する。

図１４は、実施の形態２に係るロボット制御システム２０００及びロボット教示装置２００にて実行されるロボット教示の概要を示す例である。図１４（ａ）は対象物移動後（１回目：移動対象物５０ａ１を移動した後）の状態を示し、図１４（ｂ）は対象物移動後（２回目：移動対象物５０ａ２を移動した後）を示したものである。

図１４（ａ）に示す通り、操作者は、音声入力で「物Ａを枠Ｂに１個配置して下さい」と１回目のロボット教示を行う。その教示を受けてロボット２０は、移動元ケース５０内の移動対象物５０ａ１を移動先ケース６０の配置枠６０ｂ内に移動・配置したとする（1回目の移動・配置）。ここで、配置位置は、配置枠６０ｂ内であるが、操作者の意図した枠内配置位置が、配置枠６０ｂ内の他の位置である場合、２回目以降の配置位置を調整するための枠内移動調整の教示を行う。

ここでは、２回目以降に実施する同一枠内の移動調整を教示する際のロボット教示装置２００の動作を説明する。操作者の１回目の配置指示にて、“物Ａ”を“枠Ｂ”に配置した結果、操作者が意図した配置場所（６０ｂ＿ｒｅｑ）に対して、配置枠６０ｂの同一枠内ではあるが、枠内の右寄りの位置（６０ｂ＿1ｓｔ＿ｐｌａｃｅｄ）に配置されたとする。ここで、２回目以降の配置位置を配置位置（６０ｂ＿ｒｅｑ）調整するための枠内移動調整の教示を行う。

例えば、操作者の１回目の配置指示にて、“物Ａ”を“枠Ｂ”に配置した結果に対して、２回目以降の配置位置を１回目の配置位置より５ｃｍ左に配置調整を行う場合について説明する。

ステップ０１２（ＳＴ０１２）以外の処理は実施の形態１と同様であるので、図４及び図５のフローチャートを用いて、ロボット教示装置２００及びロボット制御システム２０００の動作について説明する。

図４に示す通り、ロボット教示装置２００は、音声入力を受け付ける状態（ＳＴ００２）にあり、操作者は、ロボット２０に対して、調整する移動方向を“左”、調整する移動量ＤＸの値として“５ｃｍ”を教示するため、「物Ａを左に５ｃｍずらして下さい」とロボット教示装置２００に音声入力する。音声認識部２１０で音声認識処理を行い、不足情報特定部２３１は、音声認識結果を音声入力単語列「“物Ａ”、“を”、“左”、“に”、“５”、“ｃｍ”、“ずらし”、“て”、“下さい”」に変換する（ＳＴ００４）。続いて音声入力単語列に含まれる動作内容と制御情報を推定し、抽出する（ＳＴ００５）。

不足情報特定部２３１は、入力された単語列から、事前学習した動作内容および制御情報の推定モデルにより、動作内容：枠内移動調整１、制御情報：“対象物”は“物Ａ”、“移動先枠”は“枠Ｂ”、“移動先配置方向”は“左”、“移動先配置移動量”は“５ｃｍ”を推定・抽出する。音声入力単語列に動作内容および制御情報が含まれているので、「動作内容および制御情報が含まれている」と判定（ＳＴ００６ Ｙｅｓ）する。

続いて、図５に移り、不足情報特定部２３１は、抽出した制御情報が動作内容（枠内移動調整１）に必要な制御情報を満たしているか、制御情報が不足していないか判定を行う（ＳＴ００８）。動作内容が枠内移動調整１の場合、必要となる制御情報は、図６に示すとおり、移動元ケース、移動元枠、移動先ケース、移動先枠、移動先配置方向、対象物、移動先配置移動量である。なお、指示情報推定部２３０は、初期設定（ＳＴ０００）で、“移動元ケース”は“ケース５０”、“移動先ケース”は“ケース６０”、と設定しており、また、１回目の音声入力で “移動先枠”は“枠Ｂ”が設定されている。さらに、２回目の音声入力から抽出した “対象物”は“物Ａ”、“移動先配置方向”は“左”、“移動先配置移動量”は“５ｃｍ”の制御情報を得て、必要な制御情報が含まれていると判定する（ＳＴ００８ Ｎｏ）。指示情報補完部２３２は、不足情報特定部２３１から動作内容および制御情報を受け取り、受け取った動作内容および制御情報をそのまま制御信号出力部２４０に出力する。なお、配置移動量の“Ｄｘ”の指定は、“ミリメートル（ｍｍ）”“センチメートル（ｃｍ）”など、長さ単位で指定しても良いし、あらかじめ移動量を紐づけた番号などで指定しても良い。

制御信号出力部２４０は、指示情報（動作内容および制御情報）を紐づけリストに従い、制御コマンド（ＡｄｊｕｓｔＣｎｔｌ１）および制御パラメータ（Ｄｓｔ＿ｐｏｓ＿２：Ｐ＿６０ｂ、Ｄｓｔ＿ｐｏｓ＿ｏｂｊ＿ｄｉｒ：Ｌｅｆｔ、Ｔａｒｇｅｔ＿ｐｏｓ：Ｏｂｊ１、Ｄｓｔ＿ｐｏｓ＿ｏｂｊ＿ａｍｔ：５ｃｍ）に変換して、ロボット制御装置２３へ出力する。

ロボット制御装置２３は、ロボット教示装置２００から教示された制御コマンドおよび制御パラメータをロボット制御プログラムに反映し、ロボット２０の動作を制御する。

図１４（ｂ）に示す通り、ロボット２０は、ロボット制御装置２３の動作指令に従い、２回目以降、移動元ケース５０内の配置枠５０ａ（“枠Ａ”）から、移動対象物５０ａ２（“物Ａ”）をピックアップし、移動先ケース６０の配置枠６０ｂ（“枠Ｂ”）内の１回目に置いた配置位置（６０ｂ＿1ｓｔ＿ｐｌａｃｅｄ）より左に５ｃｍだけ移動した位置（６０ｂ＿２ｎｄ＿ｐｌａｃｅｄ）に配置する。

次に、専門的な知識がない現場作業者や不慣れな初心者が操作者としてロボット２０への動作指示を行い、指示情報が不足している場合のロボット教示装置２００の動作について説明する。

操作者は、ロボット２０への音声で移動調整の動作指示を行う際に、音声入力用のコマンドやパラメータを完全には把握していないため、移動調整に必要な情報である“配置移動量”を具体的な数値“２ｃｍ”や“５ｃｍ”などではなく、枠内の位置を示す “右端”、“左端”、“左隅”、“右隅”、“中央”、“真ん中”、“中心”など、移動量が明示されない曖昧な表現を用いてしまう場合がある。たとえば、「物Ａを左に５ｃｍずらして下さい」と指示する際に、「物Ａを左端にずらして下さい」と指示する場合などである。

図４に戻り説明する。ロボット教示装置２００は、音声入力を受け付ける状態（ＳＴ００２）にあり、操作者は、「物Ａを左端にずらして下さい」とロボット教示装置２００に音声入力する。

音声認識部２１０で音声認識処理を行う（ＳＴ００３）。不足情報特定部２３１は、音声認識結果「物Ａを左端に移動して下さい」を音声入力単語列「“物Ａ”、“を”、“左端”、“に”、 “ずらし”、“て”、“下さい”」に変換する（ＳＴ００４）。続いて音声入力単語列に含まれる動作内容と制御情報を推定し、抽出する（ＳＴ００５）。

不足情報特定部２３１は、入力された単語列から、事前学習した動作内容および制御情報の推定モデルにより、動作内容：枠内移動調整１、制御情報：“対象物”は“物Ａ”、“移動先枠”は“枠Ｂ”、“移動先配置方向”は“未指定”、“移動先配置移動量”は“未指定”、“移動先配置移動量関連ワード”を“左端”と推定・抽出する。音声入力単語列に動作内容および制御情報が含まれているので、「動作内容および制御情報が含まれている」と判定（ＳＴ００６ Ｙｅｓ）する。なお、“移動先配置移動量関連ワード”とは“左端”の他に、“右端”、“左隅”、“右隅”、“中央”、“真ん中”、“中心”など、枠内の位置を示す同様の意味を持つワードである。

続いて、図５に移り、不足情報特定部２３１は、抽出した制御情報が動作内容（枠内移動調整１）に必要な制御情報を満たしているか、制御情報が不足していないか判定を行う（ＳＴ００８）。動作内容が枠内移動調整１の場合、必要となる制御情報は、図６に示すとおり、移動元ケース、移動元枠、移動先ケース、移動先枠、移動先配置方向、対象物、移動先配置移動量である。なお、指示情報推定部２３０は、初期設定（ＳＴ０００）で、“移動元ケース”は“ケース５０”、“移動先ケース”は“ケース６０”、と設定しており、また、１回目の音声入力で “移動先枠”は“枠Ｂ”が設定されている。さらに、２回目の音声入力から抽出した “対象物”は“物Ａ”、“移動先配置方向”は“未指定”、“移動先配置移動量”は“未指定”の制御情報を得る。ここで、不足情報特定部２３１は、必要な制御情報の“移動先配置移動量”は“未指定”、“移動先配置方向”は“未指定”のため、制御情報が不足していると判定し、不足情報は”移動先配置移動量”と”移動先配置方向”であると特定する（ＳＴ００８ Ｙｅｓ）。

続いて、不足情報特定部２３１は、“移動先配置移動量関連ワード”を含んでいるか確認する（ＳＴ０１０）。関連語を含まない場合（ＳＴ０１０ Ｎｏ）には、図４に戻り、入出力部２５０の表部へ再入力依頼を提示し、操作者に再音声入力を促す（ＳＴ００７）。

不足情報特定部２３１が、関連語を含んでいると判定した場合（ＳＴ０１０ Ｙｅｓ）には、次のステップへ進む。ここでは、“移動先配置移動量関連ワード”である、“左端”を含んでいるため（ＳＴ０１０ Ｙｅｓ）、次のステップに進み、センサ２２からセンサ情報を取得する（ＳＴ０１１）。環境情報取得部２２０は、センサ２２から得られたセンサ情報を解析し、ロボット周辺環境に関する環境情報を取得する。

図１５は、環境情報取得部２２０が取得した環境情報の具体例を示したものである。

図１５に示す通り、環境情報取得部２２０では、移動先の配置空間および移動先枠６０ｂの環境情報が得られている。環境情報は、例えば、１回目に移動先枠６０ｂに配置済みの移動対象物５０ａ１の位置情報（Ｐ＿６０ｂ＿1ｓｔ＿ｐｌａｃｅｄ）、移動先枠６０ｂの枠に関する位置情報として、移動先枠６０ｂの枠の左端位置Ｐ＿６０ｂ＿Ｌ＿ｅｄｇｅ、中心位置Ｐ＿６０ｂ＿Ｃｅｎｔｅｒ、右端位置Ｐ＿６０ｂ＿Ｒ＿ｅｄｇｅなどである。

図５に戻り、指示情報補完部１３２は、制御情報および環境情報を用いて指示情報補完処理を行う（ＳＴ０１２）。
図１６は、実施の形態２に係るロボット教示装置２００における指示情報補完部２３２の指示情報補完処理のフローチャートである。

図１６に示す通り、指示情報補完部２３２は、環境情報から、１回目に移動先枠６０ｂに配置済みの移動対象物５０ａ１の位置情報（Ｐ＿６０ｂ＿1ｓｔ＿ｐｌａｃｅｄ）を取得する（ＳＴ３００）。次に、音声入力文字列から“移動先配置移動量関連ワード”を取得する（ＳＴ３０１）。取得した“移動先配置移動量関連ワード”に基づいて、制御を分岐する。

まず、指示情報補完部２３２は、“移動先配置移動量関連ワード”に“左”を含むか否かを判定する（ＳＴ３０２）。“左”を含む場合には（ＳＴ３０２ Ｙｅｓ）、制御情報の配置方向“未指定”を“左”に補正する（ＳＴ３０３）。次に移動量Ｄｘの算出を行う。移動量Ｄｘは、１回目に移動先枠６０ｂに配置済みの移動対象物５０ａ１の位置情報（Ｐ＿６０ｂ＿1ｓｔ＿ｐｌａｃｅｄ）と、音声入力文字列から抽出した移動先枠６０ｂの枠の指定位置の差分の絶対値にて求める（ＳＴ３０４）。ここでは、“移動先配置移動量関連ワード”が“左端”である場合、枠の指定位置を、移動先枠６０ｂの枠の左端位置Ｐ＿６０ｂ＿Ｌ＿ｅｄｇｅと移動対象物５０ａ１の位置情報（Ｐ＿６０ｂ＿1ｓｔ＿ｐｌａｃｅｄ）で移動量Ｄｘを求める。

例えば、移動対象物５０ａ１の位置情報Ｐ＿６０ｂ＿1ｓｔ＿ｐｌａｃｅｄのｘ座標の値が、１００として、移動先枠６０ｂの枠の左端位置Ｐ＿６０ｂ＿Ｌ＿ｅｄｇｅのｘ座標の値が、９５の場合、移動量Ｄｘは、５となる。単位がｃｍの場合、２回目以降は、１回目の配置した位置から５ｃｍ左の位置に配置するように教示される。

“移動先配置移動量関連ワード”に“左”を含まない場合には（ＳＴ３０２ Ｎｏ）、指示情報補完部２３２は、続いて“移動先配置移動量関連ワード”に“右”を含むか否かを判定する（ＳＴ３０５）。“右”を含む場合には（ＳＴ３０５ Ｙｅｓ）、制御情報の配置方向“未指定”を“右”に補正する（ＳＴ３０６）。左の場合と同様に、移動量Ｄｘの算出を行う。移動先枠６０ｂの枠の右端位置Ｐ＿６０ｂ＿Ｒ＿ｅｄｇｅと移動対象物５０ａ１の位置情報（Ｐ＿６０ｂ＿1ｓｔ＿ｐｌａｃｅｄ）で移動量Ｄｘを求める。

次に、“移動先配置移動量関連ワード”に“右”を含まない場合には（ＳＴ３０５ Ｎｏ）、指示情報補完部２３２は、続いて、“移動先配置移動量関連ワード”に“中”を含むか否かを判定する（ＳＴ３０７）。“中”を含む場合には（ＳＴ３０７ Ｙｅｓ）、１回目に移動先枠６０ｂに配置済みの移動対象物５０ａ１の位置情報（Ｐ＿６０ｂ＿1ｓｔ＿ｐｌａｃｅｄ）と移動先枠６０ｂの枠の中心位置Ｐ＿６０ｂ＿Ｃｅｎｔｅｒから、まず、現在の対象物の位置と枠中心位置が一致するか確認する（ＳＴ３０８）。一致した場合（ＳＴ３０８ Ｙｅｓ）には、図４に戻り、入出力部２５０の表示部へ再入力依頼を提示し、操作者に再音声入力を促す（ＳＴ００７）。一致しない場合（ＳＴ３０８ Ｎｏ）には、現在の対象物の位置は枠中心より右か否かを判定する（ＳＴ３０９）。枠中心位置より右ならば（ＳＴ３０９ Ｙｅｓ）、制御情報の配置方向“未指定”を“左”に補正する（ＳＴ２１０）。枠中心位置より左ならば（ＳＴ３０９ Ｎｏ）、制御情報の配置方向“未指定”を“右”に補正する（ＳＴ３１０）。移動量Ｄｘの算出は、１回目に移動先枠６０ｂに配置済みの移動対象物５０ａ１の位置情報（Ｐ＿６０ｂ＿1ｓｔ＿ｐｌａｃｅｄ）と、音声入力文字列から抽出した移動先枠６０ｂの枠の指定位置（中心位置Ｐ＿６０ｂ＿Ｃｅｎｔｅｒ）の差分の絶対値にて求める（ＳＴ３１１）。

図５に移り、指示情報補完部２３２は、２回目の音声入力から抽出した制御情報のうち、“移動先配置方向” を“未指定”から“左”に補正し、“移動先配置移動量”を“未指定”から“Ｄｘ”に補正し、制御情報は、“対象物”は“物Ａ”、 “移動先配置方向”は“左”、“移動先配置移動量”は“Ｄｘ”となる。指示情報補完部２３２は、動作内容および補正後の制御情報を補完済みの指示情報として制御信号出力部２４０に出力する。

制御信号出力部２４０は、指示情報（動作内容および制御情報）を紐づけリストに従い、制御コマンド（ＡｄｊｕｓｔＣｎｔｌ１）および制御パラメータ（Ｄｓｔ＿ｐｏｓ＿２：Ｐ＿６０ｂ、Ｄｓｔ＿ｐｏｓ＿ｏｂｊ＿ｄｉｒ：Ｌｅｆｔ、Ｔａｒｇｅｔ＿ｐｏｓ：Ｏｂｊ１、Ｄｓｔ＿ｐｏｓ＿ｏｂｊ＿ａｍｔ：Ｄｘ）に変換して、ロボット制御装置２３へ出力する。

ロボット制御装置２３は、ロボット教示装置２００から教示された制御コマンドおよび制御パラメータをロボット制御プログラムに反映し、ロボット２０の動作を制御する。

図１４に示す通り、ロボット２０は、ロボット制御装置２３の動作指令に従い、移動元ケース５０内の配置枠５０ａ（“枠Ａ”）から、移動対象物５０ａ２（“物Ａ”）をピックアップし、移動先ケース６０の配置枠６０ｂ（“枠Ｂ”）内の１回目に置いた配置位置Ｐ＿５０ａ１より左にＤｘだけ移動した位置を２回目以降の配置場所（６０ｂ＿２ｎｄ＿ｐｌａｃｅｄ）として、移動対象物５０ａ２（“物Ａ”）を配置する。

以上のような動作により、ロボット教示装置２００は、音声によるロボット教示において、移動対象物を所定の場所へ移動する教示の際に、習熟度の低い操作者や教示に慣れない操作者による曖昧な言葉を含む動作制御指示が行われても、曖昧な制御情報を具体的な移動方向および移動量の制御情報に補正することで、操作者の意図に沿ったロボット教示を行うことができる。

なお、実施の形態２に係る指示情報推定部２３０では、環境情報取得部２２０から周辺物体位置情報として、各枠内の左端、中心、右端の位置情報を取得して、移動量を算出しているが、各枠内の左端、中心、右端の位置情報を初期設定時に設定しておき、その値と、配置済みの移動対象物５０ａ１の位置情報（Ｐ＿６０ｂ＿1ｓｔ＿ｐｌａｃｅｄ）から、移動量を算出しても良い。

なお、実施の形態２に係る指示情報推定部２３０の補完結果に基づいて、ロボット２０の制御を行っているが、指示情報推定部２３０の補完結果を入出力部２５０の表示部へ提示し、移動対象物の移動量の目安となる定規、目盛りなどの寸法のわかる情報を操作者に画面上で確認できるようにしても良い。また、操作者の確認・了承を受けた後にロボット教示を行うように制御しても良い。

図１７は、実施の形態２に係る入出力部２５０よる移動対象物の移動量情報（目安）表示例である。図１７に示すように、移動量情報の目安を表示することで、操作者に移動対象物の移動時の移動量をわかりやすく伝えることができる。

また、実施の形態１に係るロボット教示装置１００の変形例は、実施の形態２に係るロボット教示装置２００にも適用可能である。また、実施の形態２に係るロボット教示装置２００の構成を実施の形態１に係るロボット教示装置１００に組み合わせても良い。

実施の形態３．
実施の形態３に係るロボット制御システム３０００は、ロボット教示装置３００の指示情報補完部３３２の指示情報補完処理フローのステップ（ＳＴ０１２）内の処理について、実施の形態１、２から一部変更・追加される以外は、実施の形態１、２に係るロボット制御システム１０００，２０００、ロボット教示装置１００，２００の構成と同じである。実施の形態３では、指示情報補完部３３２が移動対象物の移動量を推定する別の例について説明する。

図１８は、実施の形態３に係るロボット教示装置３００及びロボット制御システム３０００の構成を示す構成図である。また、ロボット教示装置３００のハードウェア構成については、実施の形態１、２に係るロボット教示装置１００，２００と同様である。

実施の形態３では、実施の形態２に示した専門的な知識がない現場作業者や不慣れな初心者が操作者としてロボット３０への動作指示を行う場合のもう１つの例について、ロボット教示装置３００の動作を説明する。操作者は、ロボット３０への音声で移動調整の動作指示を行う際に、音声入力用のコマンドやパラメータを完全には把握していないため、移動調整に必要な情報である“配置移動量”を具体的な数値“２ｃｍ”や“５ｃｍ”などではなく、既に配置された移動対象物を基準として、その対象物からのずらしたい“程度”と“方向”を示す“やや左”、“少し左”、“ちょっと右”、“もう少し右”など、移動量が明示されない曖昧な表現を用いてしまう場合がある。たとえば、「物Ａを左に５ｃｍずらして下さい」と指示する際に、「物Ａを少し左にずらして下さい」と指示する場合などである。

ロボット教示装置３００の動作は、ステップ０１２（ＳＴ０１２）を除いて、実施の形態１、２と同様であるため、図４及び図５のフローチャートを用いて説明する。

これまでと同様に、図４のステップ００２（ＳＴ００２）に戻り説明する。ロボット教示装置３００は、音声入力を受け付ける状態（ＳＴ００２）にあり、操作者は、２回目の音声教示として「物Ａを少し左にずらして下さい」とロボット教示装置３００に音声入力する。

音声認識部３１０で音声認識処理を行う（ＳＴ００３）。不足情報特定部３３１は、音声認識結果「物Ａを少し左に移動して下さい」を音声入力単語列「“物Ａ”、“を”、“少し”、“左”“に”、 “ずらし”、“て”、“下さい”」に変換する（ＳＴ００４）。続いて音声入力単語列に含まれる動作内容と制御情報を推定し、抽出する（ＳＴ００５）。

不足情報特定部３３１は、入力された単語列から、事前学習した動作内容および制御情報の推定モデルにより、動作内容：枠内移動調整１、制御情報：“対象物”は“物Ａ”、“移動先枠”は“枠Ｂ”、“移動先配置方向”は“左”、“移動先配置移動量”は“未指定”、“移動先配置移動量関連ワード”は“少し”と推定・抽出する。音声入力単語列に動作内容および制御情報が含まれているので、「動作内容および制御情報が含まれている」と判定（ＳＴ００６ Ｙｅｓ）する。なお、“移動先配置移動量関連ワード”とは“少し”の他に、“やや”、“大きく”、“ちょっと”、“もう少し”、“少々”、“わずか”、“少しだけ”、“こころもち”など、枠内の移動量の程度を示す同様の意味を持つワードである。

続いて、図５に移り、不足情報特定部３３１は、抽出した制御情報が動作内容（枠内移動調整１）に必要な制御情報を満たしているか、制御情報が不足していないか判定を行う（ＳＴ００８）。２回目の音声入力から抽出した “対象物”は“物Ａ”、“移動先配置方向”は“左”、“移動先配置移動量”は“未指定”の制御情報を得る。ここで必要な制御情報の“移動先配置移動量”は“未指定”のため、制御情報が不足していると判定し、不足情報は”移動先配置移動量”であると特定する（ＳＴ００８ Ｙｅｓ）。

続いて、不足情報特定部３３１は、“移動先配置移動量関連ワード”を含んでいるか確認する（ＳＴ０１０）。“移動先配置移動量関連ワード”を含まない場合（ＳＴ０１０ Ｎｏ）には、図４に戻り、入出力部３５０の表示部へ再入力依頼を提示し、操作者に再音声入力を促す（ＳＴ００７）。

不足情報特定部３３１が、“移動先配置移動量関連ワード”を含んでいると判定した場合（ＳＴ０１０ Ｙｅｓ）には、次のステップへ進む。ここでは、“移動先配置移動量関連ワード”である、“少し”を含んでいるため（ＳＴ０１０ Ｙｅｓ）、次のステップに進み、センサ３２からセンサ情報を取得する（ＳＴ０１１）。環境情報取得部３２０は、センサ３２から得られたセンサ情報を解析し、ロボット周辺環境および移動対象物に関する環境情報を取得する。

図１９は、環境情報取得部３２０が取得した環境情報を示したものである。

図１９に示す通り、環境情報取得部３２０では、移動先の配置空間および移動先枠６０ｂの環境情報が得られている。周辺物体位置情報は、例えば、１回目に移動先枠６０ｂに配置済みの移動対象物５０ａ１の位置情報（Ｐ＿６０ｂ＿1ｓｔ＿ｐｌａｃｅｄ）や、２回目の発話に含まれる移動先方向“左”を元にセンサ３２から得た移動先枠６０ｂの枠内の移動対象物５０ａ１の“左側”に関する空間情報（位置：Ｐ＿６０ｂ＿Ｓｐ＿Ｌ、幅：Ｐ＿６０ｂ＿Ｓｐ＿Ｌ＿ｗ、高さ：Ｐ＿６０ｂ＿Ｓｐ＿Ｌ＿ｈ）である。

図５に戻り、指示情報補完部３３２は、制御情報および環境情報を用いて制御情報補正処理を行う（ＳＴ０１２）。

図２０は、実施の形態３に係る指示情報補完部３３２の指示情報補完処理のフローチャートである。

図２０に示す通り、指示情報補完部３３２は、周辺物体位置情報として得られた、１回目に移動先枠６０ｂに配置済みの移動対象物５０ａ１の位置情報（Ｐ＿６０ｂ＿1ｓｔ＿ｐｌａｃｅｄ）および移動先枠６０ｂの枠内の移動対象物５０ａ１の“左側”に関する位置情報及び空間情報（位置：Ｐ＿６０ｂ＿Ｓｐ＿Ｌ、幅：Ｐ＿６０ｂ＿Ｓｐ＿Ｌ＿ｗ、高さ：Ｐ＿６０ｂ＿Ｓｐ＿Ｌ＿ｈ）を取得（ＳＴ４００）する。次に、指示情報補完部３３２は、左側の空間サイズを分割数（任意の数値）で除算し、移動量の単位となる移動量幅Ｗｘを算出する（ＳＴ４０１）。たとえば、ｘ方向の移動量増減を２段階とする場合には、x方向の分割数を２とする、移動量増減を４段階とする場合には、x方向の分割数を４とする。ここでは、３段階とし、移動量幅Ｗｘは、Ｐ＿６０ｂ＿Ｓｐ＿Ｌ＿ｗ／３となる。

次に、指示情報補完部３３２は、音声入力文字列から“移動先配置移動量関連ワード”を取得する（ＳＴ４０２）。続いて、指示情報補完部３３２は、“移動先配置移動量関連ワード”が“少し”など、“小さな”移動量を示すワードか否かを判定する（ＳＴ４０３）。“移動先配置移動量関連ワード”が“小さな”移動量を示すワードの場合には（ＳＴ４０３ Ｙｅｓ）、移動量係数Ｋを小さな値に設定する（ＳＴ４０４）。また、“移動先配置移動量関連ワード”が“小さな”移動量を示すワードではない場合には（ＳＴ４０３ Ｎｏ）、移動量係数Ｋを大きな値に設定する（ＳＴ４０５）。最終的な移動量は、移動量幅Ｗｘと移動量係数Ｋより算出する（ＳＴ４０６）。

例えば、小さな移動量を示すワードの場合（ＳＴ４０３ Ｙｅｓ）、指示情報補完部３３２は、移動量係数Ｋに“１”を設定する（ＳＴ４０４）。小さな移動量を示すワードを含まない場合（ＳＴ４０３ Ｎｏ）、移動量係数Ｋに“３”を設定する（ＳＴ４０５）。次に移動量幅Ｗｘと移動量係数Ｋから、移動量Ｄｘを算出する（移動量Ｄｘ＝移動量幅Ｗｘ×移動量係数Ｋ：ＳＴ４０６）。例えば、Ｐ＿６０ｂ＿Ｓｐ＿Ｌ＿ｗ＝９ｃｍの場合、移動量増減を３段階とすると、移動量幅Ｗｘは、Ｐ＿６０ｂ＿Ｓｐ＿Ｌ＿ｗ／３＝３ｃｍとなる。また、移動量係数Ｋを、例えば、１～３の範囲の値とすると、“移動先配置移動量関連ワード”が“少し”の場合には、移動量係数Ｋ＝１を設定する。その結果、移動量Ｄｘは、移動量幅Ｗｘ×移動量係数Ｋ＝３ｃｍ×１＝３ｃｍと算出される。また、“移動先配置移動量関連ワード”が“大きく”の場合には、移動量係数Ｋ＝３を設定する。その結果、移動量Ｄｘは、移動量幅Ｗｘ×移動量係数Ｋ＝３ｃｍ×３＝９ｃｍと算出される。このように“移動先配置移動量関連ワード”の内容により、移動量Ｄｘを制御する。

図５に移り、指示情報補完部３３２は、２回目の音声入力から抽出した制御情報のうち、 “移動先配置移動量”を“未指定”から“Ｄｘ”に補正し、制御情報は、“対象物”は“物Ａ”、 “移動先配置方向”は“左”、“移動先配置移動量”は“Ｄｘ”となる。指示情報補完部３３２は、動作内容および補正後の制御情報を補完済みの指示情報として制御信号出力部３４０に出力する。

制御信号出力部３４０は、指示情報（動作内容および制御情報）を紐づけリストに従い、制御コマンド（ＡｄｊｕｓｔＣｎｔｌ１）および制御パラメータ（Ｄｓｔ＿ｐｏｓ＿２：Ｐ＿６０ｂ、Ｄｓｔ＿ｐｏｓ＿ｏｂｊ＿ｄｉｒ：Ｌｅｆｔ、Ｔａｒｇｅｔ＿ｐｏｓ：Ｏｂｊ１、Ｄｓｔ＿ｐｏｓ＿ｏｂｊ＿ａｍｔ：Ｄｘ）に変換して、ロボット制御装置３３へ出力する。

ロボット制御装置３３は、ロボット教示装置３００から教示された制御コマンドおよび制御パラメータをロボット制御プログラムに反映し、ロボット３０の動作を制御する。

図１４に示す通り、ロボット３０は、ロボット制御装置３３の動作指令に従い、移動元ケース５０内の配置枠５０ａ（“枠Ａ”）から、移動対象物５０ａ２（“物Ａ”）をピックアップし、移動先ケース６０の配置枠６０ｂ（“枠Ｂ”）内の１回目に置いた配置位置Ｐ＿５０ａ１より左にＤｘだけ移動した位置を２回目以降の配置場所（６０ｂ＿２ｎｄ＿ｐｌａｃｅｄ）として、移動対象物５０ａ２（“物Ａ”）を配置する。

以上のような動作により、ロボット教示装置３００は、音声によるロボット教示において、移動対象物を所定の場所へ移動する教示の際に、習熟度の低い操作者や教示に慣れない操作者による曖昧な言葉を含む動作制御指示が行われても、曖昧な制御情報を具体的な移動量の制御情報に補正することで、操作者の意図に沿ったロボット教示を行うことができる。

なお、実施の形態３に係る指示情報補完部３３２は、“移動先配置移動量関連ワード”を含んでいるか確認し、“移動先配置移動量関連ワード”を含まない場合には、入出力部３５０の表示部へ再入力依頼を提示し、操作者に再音声入力を促すよう制御しているが、“小さな”移動量を示すワードを含まない場合と同様に、移動量係数Ｋを所定の値に設定しておき、移動量Ｄｘを算出するように制御しても良い。

なお、実施の形態３に係る指示情報補完部３３２は、分割数（移動量増減）を３段階、移動量係数Ｋを１～３の範囲の値としたが、任意の値に設定し、制御しても良い。分割数を増やすことで、移動量の指定を細かく設定することが可能になる。

なお、実施の形態３では、操作者による曖昧な移動調整指示が行われた場合について記載しているが、指示情報補完部３３２は、２回目の教示で行われた発話内容（「物Ａを少し左にずらして下さい」）と、その指示の補正結果（移動量幅Ｗｘ、移動量係数Ｋ、移動量Ｄｘ）の値を保存し、３回目の教示でもう一度同じ発話が実施された場合には、移動量係数Ｋの値を既存値より大きく設定するように制御しても良い。この制御により、これ以降、同様の曖昧な量的表現による音声指示が行われた場合に、同じ移動調整操作の発話回数を減らす効果が得られる。

すなわち、指示情報推定部３３０は、音声指示が連続で行われた場合、周辺物体位置情報と音声指示の回数とに基づき、指示情報に不足している情報を補完するようにしてもよい。

また、実施の形態１に係るロボット教示装置１００の変形例は、実施の形態３に係るロボット教示装置３００にも適用可能である。また、実施の形態３に係るロボット教示装置３００の構成を実施の形態１，２に係るロボット教示装置１００，２００に組み合わせても良い。

本開示に係るロボット教示装置は、ＦＡ（Ｆａｃｔｏｒｙ Ａｕｔｏｍａｔｉｏｎ）機器に用いるのに適している。

１００，２００，３００ ロボット教示装置、１１０，２１０，３１０ 音声認識部、１２０，２２０，３２０ 環境情報取得部、１３０，２３０，３３０ 指示情報推定部、１３１，２３１，３３１ 不足情報特定部、１３２，２３２，３３２ 指示情報補完部、１４０，２４０，３４０ 制御信号出力部、１５０，２５０，３５０ 入出力部、１０００，２０００，３０００ ロボット制御システム、１０，２０，３０ ロボット、１１，２１，３１ マイク、１２，２２，３２ センサ、１３，２３，３３ ロボット制御装置、１ 入力装置、２ 処理装置、３ 記憶装置、４ 通信装置、５ 出力装置。

Claims (26)

1. マイクによって収集された音声信号に対して音声認識処理を行い、移動対象物を所定の移動先に配置するロボットへの指示内容を示す指示情報を取得する音声認識部と、
   前記ロボットの周辺環境を検知するセンサによって取得されたセンサ情報に基づき、前記移動先周辺に存在する物体の位置を示す周辺物体位置情報を取得する環境情報取得部と、
   前記周辺物体位置情報に基づき、前記ロボットの動作指示に不足している情報を前記指示情報に補完する指示情報推定部と、
   を備え、
   前記指示情報推定部は、
   予め設定された前記ロボットの動作指示に必要な情報である必須情報と、前記指示情報とを比較し、前記ロボットの動作指示に不足している情報を不足情報として特定する不足情報特定部と、
   前記周辺物体位置情報に基づき、前記指示情報に前記不足情報を補完する指示情報補完部と、を備え、
   前記不足情報特定部が、前記移動対象物の配置位置を示す情報が不足していると特定した場合、
   前記指示情報補完部は、前記周辺物体位置情報に基づき、前記指示情報に前記移動対象物の配置位置を示す情報を補完する
   ことを特徴とするロボット教示装置。
2. マイクによって収集された音声信号に対して音声認識処理を行い、移動対象物を所定の移動先に配置するロボットへの指示内容を示す指示情報を取得する音声認識部と、
   前記ロボットの周辺環境を検知するセンサによって取得されたセンサ情報に基づき、前記移動先周辺に存在する物体の位置を示す周辺物体位置情報を取得する環境情報取得部と、
   前記周辺物体位置情報に基づき、前記ロボットの動作指示に不足している情報を前記指示情報に補完する指示情報推定部と、
   を備え、
   前記環境情報取得部は、さらに、前記センサ情報に基づき、前記移動先周辺に存在する物体の大きさを示す形状情報を取得し、前記指示情報推定部は、前記周辺物体位置情報と前記形状情報とに基づき、前記指示情報に不足している情報を補完する
   ことを特徴とするロボット教示装置。
3. マイクによって収集された音声信号に対して音声認識処理を行い、移動対象物を所定の移動先に配置するロボットへの指示内容を示す指示情報を取得する音声認識部と、
   前記ロボットの周辺環境を検知するセンサによって取得されたセンサ情報に基づき、前記移動先周辺に存在する物体の位置を示す周辺物体位置情報を取得する環境情報取得部と、
   前記周辺物体位置情報に基づき、前記ロボットの動作指示に不足している情報を前記指示情報に補完する指示情報推定部と、
   を備え、
   前記環境情報取得部は、さらに、前記センサ情報に基づき、前記移動先周辺に存在する配置可能領域の大きさを示す空間情報を取得し、前記指示情報推定部は、前記周辺物体位置情報と前記空間情報とに基づき、前記指示情報に不足している情報を補完する
   ことを特徴とするロボット教示装置。
4. マイクによって収集された音声信号に対して音声認識処理を行い、移動対象物を所定の移動先に配置するロボットへの指示内容を示す指示情報を取得する音声認識部と、
   前記ロボットの周辺環境を検知するセンサによって取得されたセンサ情報に基づき、前記移動先周辺に存在する物体の位置を示す周辺物体位置情報を取得する環境情報取得部と、
   前記周辺物体位置情報に基づき、前記ロボットの動作指示に不足している情報を前記指示情報に補完する指示情報推定部と、
   を備え、
   前記環境情報取得部は、さらに、前記移動対象物の温度を示す温度情報を取得し、
   前記指示情報推定部は、前記周辺物体位置情報と前記温度情報とに基づき、前記指示情報に不足している情報を補完する
   ことを特徴とするロボット教示装置。
5. マイクによって収集された音声信号に対して音声認識処理を行い、移動対象物を所定の移動先に配置するロボットへの指示内容を示す指示情報を取得する音声認識部と、
   前記ロボットの周辺環境を検知するセンサによって取得されたセンサ情報に基づき、前記移動先周辺に存在する物体の位置を示す周辺物体位置情報を取得する環境情報取得部と、
   前記周辺物体位置情報に基づき、前記ロボットの動作指示に不足している情報を前記指示情報に補完する指示情報推定部と、
   を備え、
   前記音声認識部は、前記音声信号から、前記移動対象物の数量を示す数量情報を含む前記指示情報を取得し、
   前記指示情報推定部は、前記周辺物体位置情報と前記数量情報とに基づき、前記指示情報に不足している情報を補完する
   ことを特徴とするロボット教示装置。
6. マイクによって収集された音声信号に対して音声認識処理を行い、移動対象物を所定の移動先に配置するロボットへの指示内容を示す指示情報を取得する音声認識部と、
   前記ロボットの周辺環境を検知するセンサによって取得されたセンサ情報に基づき、前記移動先周辺に存在する物体の位置を示す周辺物体位置情報を取得する環境情報取得部と、
   前記周辺物体位置情報に基づき、前記ロボットの動作指示に不足している情報を前記指示情報に補完する指示情報推定部と、
   を備え、
   前記指示情報推定部は、音声指示が連続で行われた場合、前記周辺物体位置情報と前記音声指示の回数とに基づき、前記指示情報に不足している情報を補完する
   ことを特徴とするロボット教示装置。
7. マイクによって収集された音声信号に対して音声認識処理を行い、移動対象物を所定の移動先に配置するロボットへの指示内容を示す指示情報を取得する音声認識部と、
   前記ロボットの周辺環境を検知するセンサによって取得されたセンサ情報に基づき、前記移動先周辺に存在する物体の位置を示す周辺物体位置情報を取得する環境情報取得部と、
   前記周辺物体位置情報に基づき、前記ロボットの動作指示に不足している情報を前記指示情報に補完する指示情報推定部と、
   を備え、
   前記音声認識部は、第一の音声信号から第一の指示情報を取得し、第二の音声信号から第二の指示情報を取得し、
   前記指示情報推定部は、前記第二の指示情報が肯定的な指示であるか、否定的な指示であるかを判定し、その判定結果に基づき前記第一の指示情報に不足している情報を補完する
   ことを特徴とするロボット教示装置。
8. 前記不足情報特定部が、前記配置位置を示す情報のうち、前記移動対象物の配置方向を示す情報が不足していると特定した場合、
   前記指示情報補完部は、前記周辺物体位置情報に基づき、前記指示情報に前記移動対象物の配置方向を示す情報を補完する
   ことを特徴とする請求項１に記載のロボット教示装置。
9. 前記不足情報特定部が、前記配置位置を示す情報のうち、前記移動対象物の移動量を示す情報が不足していると特定した場合、
   前記指示情報補完部は、前記周辺物体位置情報に基づき、前記指示情報に前記移動対象物の移動量を示す情報を補完する
   ことを特徴とする請求項８に記載のロボット教示装置。
10. 前記環境情報取得部は、前記センサ情報に基づき、前記移動対象物の位置を示す対象物位置情報を前記周辺物体位置情報として取得し、
    前記指示情報推定部は、前記対象物位置情報に基づき、前記指示情報に不足している情報を補完する
    ことを特徴とする請求項１から９のいずれか一項に記載のロボット教示装置。
11. 前記指示情報推定部は、前記移動対象物の種類を示す種類情報を取得し、前記周辺物体位置情報と前記種類情報とに基づき、前記指示情報に不足している情報を補完する
    ことを特徴とする請求項１から１０のいずれか一項に記載のロボット教示装置。
12. 作業者が発声した音声を収集し、音声信号を出力するマイクと、
    移動対象物を所定の移動先に配置するロボットの周辺環境を検知し、検知結果を示すセンサ情報を出力するセンサと、
    前記音声信号に対して音声認識処理を行い、前記ロボットへの指示内容を示す指示情報を取得する音声認識部と、
    前記センサ情報に基づき、前記移動先周辺に存在する物体の位置を示す周辺物体位置情報を取得する環境情報取得部と、
    前記周辺物体位置情報に基づき、前記ロボットの動作指示に不足している情報を前記指示情報に補完する指示情報推定部と、
    を備え、
    前記指示情報推定部は、
    予め設定された前記ロボットの動作指示に必要な情報である必須情報と、前記指示情報とを比較し、前記ロボットの動作指示に不足している情報を不足情報として特定する不足情報特定部と、
    前記周辺物体位置情報に基づき、前記指示情報に前記不足情報を補完する指示情報補完部と、を備え、
    前記不足情報特定部が、前記移動対象物の配置位置を示す情報が不足していると特定した場合、
    前記指示情報補完部は、前記周辺物体位置情報に基づき、前記指示情報に前記移動対象物の配置位置を示す情報を補完する
    ことを特徴とするロボット制御システム。
13. 作業者が発声した音声を収集し、音声信号を出力するマイクと、
    移動対象物を所定の移動先に配置するロボットの周辺環境を検知し、検知結果を示すセンサ情報を出力するセンサと、
    前記音声信号に対して音声認識処理を行い、前記ロボットへの指示内容を示す指示情報を取得する音声認識部と、
    前記センサ情報に基づき、前記移動先周辺に存在する物体の位置を示す周辺物体位置情報を取得する環境情報取得部と、
    前記周辺物体位置情報に基づき、前記ロボットの動作指示に不足している情報を前記指示情報に補完する指示情報推定部と、
    を備え、
    前記環境情報取得部は、さらに、前記センサ情報に基づき、前記移動先周辺に存在する物体の大きさを示す形状情報を取得し、前記指示情報推定部は、前記周辺物体位置情報と前記形状情報とに基づき、前記指示情報に不足している情報を補完する
    ことを特徴とするロボット制御システム。
14. 作業者が発声した音声を収集し、音声信号を出力するマイクと、
    移動対象物を所定の移動先に配置するロボットの周辺環境を検知し、検知結果を示すセンサ情報を出力するセンサと、
    前記音声信号に対して音声認識処理を行い、前記ロボットへの指示内容を示す指示情報を取得する音声認識部と、
    前記センサ情報に基づき、前記移動先周辺に存在する物体の位置を示す周辺物体位置情報を取得する環境情報取得部と、
    前記周辺物体位置情報に基づき、前記ロボットの動作指示に不足している情報を前記指示情報に補完する指示情報推定部と、
    を備え、
    前記環境情報取得部は、さらに、前記センサ情報に基づき、前記移動先周辺に存在する配置可能領域の大きさを示す空間情報を取得し、前記指示情報推定部は、前記周辺物体位置情報と前記空間情報とに基づき、前記指示情報に不足している情報を補完する
    ことを特徴とするロボット制御システム。
15. 作業者が発声した音声を収集し、音声信号を出力するマイクと、
    移動対象物を所定の移動先に配置するロボットの周辺環境を検知し、検知結果を示すセンサ情報を出力するセンサと、
    前記音声信号に対して音声認識処理を行い、前記ロボットへの指示内容を示す指示情報を取得する音声認識部と、
    前記センサ情報に基づき、前記移動先周辺に存在する物体の位置を示す周辺物体位置情報を取得する環境情報取得部と、
    前記周辺物体位置情報に基づき、前記ロボットの動作指示に不足している情報を前記指示情報に補完する指示情報推定部と、
    を備え、
    前記環境情報取得部は、さらに、前記移動対象物の温度を示す温度情報を取得し、
    前記指示情報推定部は、前記周辺物体位置情報と前記温度情報とに基づき、前記指示情報に不足している情報を補完する
    ことを特徴とするロボット制御システム。
16. 作業者が発声した音声を収集し、音声信号を出力するマイクと、
    移動対象物を所定の移動先に配置するロボットの周辺環境を検知し、検知結果を示すセンサ情報を出力するセンサと、
    前記音声信号に対して音声認識処理を行い、前記ロボットへの指示内容を示す指示情報を取得する音声認識部と、
    前記センサ情報に基づき、前記移動先周辺に存在する物体の位置を示す周辺物体位置情報を取得する環境情報取得部と、
    前記周辺物体位置情報に基づき、前記ロボットの動作指示に不足している情報を前記指示情報に補完する指示情報推定部と、
    を備え、
    前記音声認識部は、前記音声信号から、前記移動対象物の数量を示す数量情報を含む前記指示情報を取得し、
    前記指示情報推定部は、前記周辺物体位置情報と前記数量情報とに基づき、前記指示情報に不足している情報を補完する
    ことを特徴とするロボット制御システム。
17. 作業者が発声した音声を収集し、音声信号を出力するマイクと、
    移動対象物を所定の移動先に配置するロボットの周辺環境を検知し、検知結果を示すセンサ情報を出力するセンサと、
    前記音声信号に対して音声認識処理を行い、前記ロボットへの指示内容を示す指示情報を取得する音声認識部と、
    前記センサ情報に基づき、前記移動先周辺に存在する物体の位置を示す周辺物体位置情報を取得する環境情報取得部と、
    前記周辺物体位置情報に基づき、前記ロボットの動作指示に不足している情報を前記指示情報に補完する指示情報推定部と、
    を備え、
    前記指示情報推定部は、音声指示が連続で行われた場合、前記周辺物体位置情報と前記音声指示の回数とに基づき、前記指示情報に不足している情報を補完する
    ことを特徴とするロボット制御システム。
18. 作業者が発声した音声を収集し、音声信号を出力するマイクと、
    移動対象物を所定の移動先に配置するロボットの周辺環境を検知し、検知結果を示すセンサ情報を出力するセンサと、
    前記音声信号に対して音声認識処理を行い、前記ロボットへの指示内容を示す指示情報を取得する音声認識部と、
    前記センサ情報に基づき、前記移動先周辺に存在する物体の位置を示す周辺物体位置情報を取得する環境情報取得部と、
    前記周辺物体位置情報に基づき、前記ロボットの動作指示に不足している情報を前記指示情報に補完する指示情報推定部と、
    を備え、
    前記音声認識部は、第一の音声信号から第一の指示情報を取得し、第二の音声信号から第二の指示情報を取得し、
    前記指示情報推定部は、前記第二の指示情報が肯定的な指示であるか、否定的な指示であるかを判定し、その判定結果に基づき前記第一の指示情報に不足している情報を補完する
    ことを特徴とするロボット制御システム。
19. マイクによって収集された音声信号に対して音声認識処理を行い、移動対象物を所定の移動先に配置するロボットへの指示内容を示す指示情報を取得する音声認識工程と、
    前記ロボットの周辺環境を検知するセンサによって取得されたセンサ情報に基づき、前記移動先周辺に存在する物体の位置を示す周辺物体位置情報を取得する環境情報取得工程と、
    前記周辺物体位置情報に基づき、前記ロボットの動作指示に不足している情報を前記指示情報に補完する指示情報推定工程と、
    を含み、
    前記指示情報推定工程は、
    予め設定された前記ロボットの動作指示に必要な情報である必須情報と、前記指示情報とを比較し、前記ロボットの動作指示に不足している情報を不足情報として特定する不足情報特定工程と、
    前記周辺物体位置情報に基づき、前記指示情報に前記不足情報を補完する指示情報補完工程と、を含み、
    前記不足情報特定工程で、前記移動対象物の配置位置を示す情報が不足していると特定した場合、
    前記指示情報補完工程で、前記周辺物体位置情報に基づき、前記指示情報に前記移動対象物の配置位置を示す情報を補完する
    ことを特徴とするロボット教示方法。
20. マイクによって収集された音声信号に対して音声認識処理を行い、移動対象物を所定の移動先に配置するロボットへの指示内容を示す指示情報を取得する音声認識工程と、
    前記ロボットの周辺環境を検知するセンサによって取得されたセンサ情報に基づき、前記移動先周辺に存在する物体の位置を示す周辺物体位置情報を取得する環境情報取得工程と、
    前記周辺物体位置情報に基づき、前記ロボットの動作指示に不足している情報を前記指示情報に補完する指示情報推定工程と、
    を含み、
    前記環境情報取得工程では、さらに、前記センサ情報に基づき、前記移動先周辺に存在する物体の大きさを示す形状情報を取得し、前記指示情報推定工程では、前記周辺物体位置情報と前記形状情報とに基づき、前記指示情報に不足している情報を補完する
    ことを特徴とするロボット教示方法。
21. マイクによって収集された音声信号に対して音声認識処理を行い、移動対象物を所定の移動先に配置するロボットへの指示内容を示す指示情報を取得する音声認識工程と、
    前記ロボットの周辺環境を検知するセンサによって取得されたセンサ情報に基づき、前記移動先周辺に存在する物体の位置を示す周辺物体位置情報を取得する環境情報取得工程と、
    前記周辺物体位置情報に基づき、前記ロボットの動作指示に不足している情報を前記指示情報に補完する指示情報推定工程と、
    を含み、
    前記環境情報取得工程では、さらに、前記センサ情報に基づき、前記移動先周辺に存在する配置可能領域の大きさを示す空間情報を取得し、前記指示情報推定工程では、前記周辺物体位置情報と前記空間情報とに基づき、前記指示情報に不足している情報を補完する
    ことを特徴とするロボット教示方法。
22. マイクによって収集された音声信号に対して音声認識処理を行い、移動対象物を所定の移動先に配置するロボットへの指示内容を示す指示情報を取得する音声認識工程と、
    前記ロボットの周辺環境を検知するセンサによって取得されたセンサ情報に基づき、前記移動先周辺に存在する物体の位置を示す周辺物体位置情報を取得する環境情報取得工程と、
    前記周辺物体位置情報に基づき、前記ロボットの動作指示に不足している情報を前記指示情報に補完する指示情報推定工程と、
    を含み、
    前記環境情報取得工程では、さらに、前記移動対象物の温度を示す温度情報を取得し、
    前記指示情報推定工程では、前記周辺物体位置情報と前記温度情報とに基づき、前記指示情報に不足している情報を補完する
    ことを特徴とするロボット教示方法。
23. マイクによって収集された音声信号に対して音声認識処理を行い、移動対象物を所定の移動先に配置するロボットへの指示内容を示す指示情報を取得する音声認識工程と、
    前記ロボットの周辺環境を検知するセンサによって取得されたセンサ情報に基づき、前記移動先周辺に存在する物体の位置を示す周辺物体位置情報を取得する環境情報取得工程と、
    前記周辺物体位置情報に基づき、前記ロボットの動作指示に不足している情報を前記指示情報に補完する指示情報推定工程と、
    を含み、
    前記音声認識工程では、前記音声信号から、前記移動対象物の数量を示す数量情報を含む前記指示情報を取得し、
    前記指示情報推定工程では、前記周辺物体位置情報と前記数量情報とに基づき、前記指示情報に不足している情報を補完する
    ことを特徴とするロボット教示方法。
24. マイクによって収集された音声信号に対して音声認識処理を行い、移動対象物を所定の移動先に配置するロボットへの指示内容を示す指示情報を取得する音声認識工程と、
    前記ロボットの周辺環境を検知するセンサによって取得されたセンサ情報に基づき、前記移動先周辺に存在する物体の位置を示す周辺物体位置情報を取得する環境情報取得工程と、
    前記周辺物体位置情報に基づき、前記ロボットの動作指示に不足している情報を前記指示情報に補完する指示情報推定工程と、
    を含み、
    前記指示情報推定工程では、音声指示が連続で行われた場合、前記周辺物体位置情報と前記音声指示の回数とに基づき、前記指示情報に不足している情報を補完する
    ことを特徴とするロボット教示方法。
25. マイクによって収集された音声信号に対して音声認識処理を行い、移動対象物を所定の移動先に配置するロボットへの指示内容を示す指示情報を取得する音声認識工程と、
    前記ロボットの周辺環境を検知するセンサによって取得されたセンサ情報に基づき、前記移動先周辺に存在する物体の位置を示す周辺物体位置情報を取得する環境情報取得工程と、
    前記周辺物体位置情報に基づき、前記ロボットの動作指示に不足している情報を前記指示情報に補完する指示情報推定工程と、
    を含み、
    前記音声認識工程では、第一の音声信号から第一の指示情報を取得し、第二の音声信号から第二の指示情報を取得し、
    前記指示情報推定工程では、前記第二の指示情報が肯定的な指示であるか、否定的な指示であるかを判定し、その判定結果に基づき前記第一の指示情報に不足している情報を補完する
    ことを特徴とするロボット教示方法。
26. 請求項１９から２５のいずれか一項に記載の全工程をコンピュータに実行させるロボット教示プログラム。

Images