JP7063844B2

JP7063844B2 - ロボット教示装置

Info

Publication number: JP7063844B2
Application number: JP2019086731A
Authority: JP
Inventors: 哲平星山
Original assignee: FANUC Corp
Current assignee: FANUC Corp
Priority date: 2019-04-26
Filing date: 2019-04-26
Publication date: 2022-05-09
Anticipated expiration: 2039-04-26
Also published as: US20200338736A1; DE102020110614A1; JP2020182988A; CN111843986A

Description

本発明は、ロボット教示装置に関する。

ロボットの動作プログラムは、教示装置をキー操作して作成・編集するのが一般的である。特許文献１及び特許文献２は、音声入力機能を有する教示装置の例を記載する。特許文献１には、「本発明の場合、操作者が所望の操作メニューを、前記音声入力有効スイッチ７を押し、前記音声入力部６に発話すると、前記音声認識処理部８で、前記音声入力部６で入力された音声信号が該当するテキストに変換され、前記記憶手段１０ｄの登録メニューと比較され登録された当該操作メニュー画面が選択され、前記表示画面５ｃに表示される。」と記載されている（特許文献１、段落０００９）。特許文献２は、「音声入力手段と、１以上の文字列を所定箇所に当て嵌めて１つの文章を完成させるための雛形を複数個記憶する手段と、前記雛形に当て嵌める複数の文字列候補を記憶する文字列候補記憶手段と、前記雛形に前記文字列候補を当て嵌めて完成した文章と、ロボットの教示プログラムで使用する指令との対応関係を記憶する対応関係記憶手段と、前記記憶された何れかの雛形に前記何れかの文字列候補を当て嵌めた文章の中に、前記音声入力手段から入力された文章と一致する文章があれば、該一致する文章を探し出すサーチ手段と、前記サーチ手段によって探し出された前記一致する文章を、前記対応関係記憶手段によって記憶されている対応関係に基づいて、ロボット指令に変換し、該ロボット指令を前記教示プログラムに挿入する手段とを備えたプログラム編集装置」を記載する（特許文献２、請求項１）。

特開２００６－６８８６５号公報特開２００５－１８７８９号公報

教示装置を用いたロボットの教示では、オペレータがロボットの教示と並行して別の作業を遂行する場合がある。ロボットの教示におけるオペレータの負担をよりいっそう軽減することができるロボット教示装置が望まれている。

本開示の一態様は、ロボットの教示を行うためのロボット教示装置であって、表示装置と、音声を収集し音声信号を出力するマイクロホンと、前記音声信号から前記音声が表す１以上の単語を識別し該１以上の単語からなる文字データを出力する音声認識部と、ロボットの動作プログラムの編集画面を作成し前記表示装置に表示させるプログラム編集部と、前記動作プログラムの編集画面が前記表示装置に表示された状態において、前記音声認識部から出力される前記文字データが表す言葉を、前記動作プログラム中の指令に対してコメント文として付加するコメント入力部と、前記ロボットの教示に使用する複数種類の指令の各々と、認識対象語とを関連付けて記憶する対応関係記憶部と、付加された前記コメント文を新たな認識対象語とし、該新たな認識対象語と、前記動作プログラム中の前記コメント文が付加された前記指令とを関連付けて前記対応関係記憶部に追加する対応関係追加部と、前記文字データが表す言葉に前記対応関係記憶部に記憶された前記認識対象語が含まれるか否かを判別する認識対象語判別部と、前記文字データが表す言葉に含まれると判別された前記認識対象語に関連付けて前記対応関係記憶部に記憶された前記指令を実行するための信号を出力する指令実行信号出力部と、を備えるロボット教示装置である。また、本開示の別の態様は、ロボットの教示を行うためのロボット教示装置であって、表示装置と、音声を収集し音声信号を出力するマイクロホンと、前記音声信号から前記音声が表す１以上の単語を識別し該１以上の単語からなる文字データを出力する音声認識部と、ロボットの動作プログラムの編集画面を作成し前記表示装置に表示させるプログラム編集部と、前記動作プログラムの編集画面が前記表示装置に表示された状態において、前記音声認識部から出力される前記文字データが表す言葉を、前記動作プログラム中の指令に対してコメント文として付加するコメント入力部と、を備え、前記プログラム編集部は、前記音声認識部により識別された前記１以上の単語をファイル名として用いて動作プログラムのファイルを新規作成する動作プログラム作成部を備える、ロボット教示装置である。

上記構成によれば、オペレータは、ロボット教示装置を手動操作してロボットを教示するために両手がふさがっている状況でも、音声で動作プログラムへのコメント文の入力を行い可読性の高い動作プログラムを作成することができる。したがって、ロボットの教示におけるオペレータの負担が軽減される。

添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれらの目的、特徴および利点ならびに他の目的、特徴および利点がさらに明確になるであろう。

一実施形態に係るロボット教示装置を含むロボットシステムの全体構成を表す図である。ロボット教示装置の機能ブロック図である。音声入力処理を表すフローチャートである。動作プログラムの編集画面の例を示す図である。言語切替処理を表すフローチャートである。音声入力教示処理を表すフローチャートである。音声入力された命令の実行許可を求めるメッセージ画像の例を示す。音声が表す言葉が認識対象語に含まれる語を含むという関連性を有する場合の音声入力教示処理を表すフローチャートである。図８の音声入力教示処理において表示装置に表示されるリストの一例としての選択画面を示す。音声入力された音声が表す言葉が認識対象語と似た意味の言葉を含むという関連性を有する場合の音声入力教示処理を表すフローチャートである。図１０の音声入力教示処理において表示装置に表示されるリストの一例としての選択画面を示す。

次に、本開示の実施形態について図面を参照して説明する。参照する図面において、同様の構成部分または機能部分には同様の参照符号が付けられている。理解を容易にするために、これらの図面は縮尺を適宜変更している。また、図面に示される形態は本発明を実施するための一つの例であり、本発明は図示された形態に限定されるものではない。

図１は一実施形態に係るロボット教示装置３０を含むロボットシステム１００の全体構成を表す図である。図２は、ロボット教示装置３０の機能ブロック図である。図１に示すように、ロボットシステム１００は、ロボット１０と、ロボット１０を制御するロボット制御装置２０と、ロボット制御装置２０に接続されたロボット教示装置３０とを備える。ロボット教示装置３０には、音声を収集し音声信号を出力するマイクロホン４０が有線又は無線により接続されている。一例として、図１では、マイクロホン４０は、ロボット教示装置３０を操作するオペレータＯＰが装着するヘッドセットタイプのマイクとして構成されている。なお、マイクロホン４０は、ロボット教示装置３０に内蔵されていても良い。

ロボット１０は、例えば、垂直多関節ロボットである。ロボット１０として他のタイプのロボットが用いられても良い。ロボット制御装置２０は、ロボット教示装置３０から入力される各種指令に応じてロボット１０の動作を制御する。ロボット制御装置２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、記憶装置、表示部、操作部、外部機器インタフェース、ネットワークインタフェース等を有する一般的なコンピュータとしての構成を有していても良い。ロボット教示装置３０は、例えば、教示操作盤、或いはタブレット端末等の携帯型情報端末である。ロボット教示装置３０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、記憶装置、表示部、操作部、外部機器インタフェース、ネットワークインタフェース等を有する一般的なコンピュータとしての構成を有していても良い。

ロボット教示装置３０は、表示装置３１と操作部３２とを備える。操作部３２には、教示入力のためのハードキー（ハードウェアキー）３０２が配置されている。表示装置３１は、タッチパネルを有し、表示装置３１の表示画面上にはソフトキー３０１が配置されている。オペレータＯＰは、操作キー（ハードキー３０２及びソフトキー３０１）を操作してロボット１０の教示或いは操作を行うことができる。図２に示すように、ロボット教示装置３０は、マイクロホン４０から入力される音声信号から音声が表す１以上の単語を識別し該１以上の単語からなる文字データを出力する音声認識部３１１と、ロボット１０の動作プログラムの編集画面を作成し表示装置３１に表示させるプログラム編集部３１２と、動作プログラムの編集画面が表示装置３１に表示された状態において、音声認識部３１１から出力される文字データが表す言葉を、動作プログラム中の指令に対してコメント文として付加するコメント入力部３１３とを有する。この構成により、オペレータＯＰは、ロボット教示装置３０を手動操作してロボット１０を教示するために両手がふさがっている状況でも、音声で動作プログラムへのコメント文の入力を行い可読性の高い動作プログラムを作成することができる。したがって、ロボットの教示におけるオペレータの負担が軽減される。

図２を参照してロボット教示装置３０の機能について更に説明する。ロボット教示装置３０は、更に、ロボット１０の教示に使用する複数種類の指令の各々と、認識対象語とを関連付けて記憶する対応関係記憶部３１４と、付加されたコメント文を新たな認識対象語とし、該新たな認識対象語と、動作プログラム中のコメント文が付加された指令とを関連付けて対応関係記憶部３１４に追加する対応関係追加部３１５と、文字データが表す言葉に対応関係記憶部３１４に記憶された認識対象語が含まれるか否かを判別する認識対象語判別部３１６と、文字データが表す言葉に含まれると判別された認識対象語に関連付けて対応関係記憶部３１４に記憶された指令を実行するための信号をロボット制御装置２０に出力する指令実行信号出力部３１７と、を備える。図２に示すロボット教示装置３０の各種機能は、ソフトウェアにより、或いはハードウェアとソフトウェアと協働により実現することができる。

次に、上述の構成を有するロボット教示装置３０において実行されるコメント入力処理について図３及び図４を参照して説明する。図３はコメント入力処理のフローチャートであり、図４は動作プログラムの作成・編集を行う場合の表示装置３１上の編集画面の例を示す。図３のコメント入力処理は、ロボット教示装置３０のＣＰＵによる制御の下で実行される。はじめに、オペレータＯＰは、ソフトキー或いはハードキーを操作して、作成中の動作プログラム中のコメント入力を行いたい指令を選択し、ロボット教示装置３０をコメント入力待ちの状態に遷移させる（ステップＳ１０１）。本明細書において、指令とは、ロボットに対する命令（マクロ命令を含む）、命令に付随するデータ、その他教示に係わる各種データを含む意味で用いる。図４のような編集画面３５１において、４行目の命令“ＲＯ［１］”に“ハンドトジル”とのコメント文を音声入力により付加する場面について説明する。例えば、オペレータＯＰは、タッチ操作等により、動作プログラの４行目を選択し、コメント文の入力位置にコメント入力を示す記号を入力して、ロボット教示装置３０をコメント入力待ちの状態に遷移させる。

次に、オペレータＯＰは、ソフトキー３０１の一つとして配置された音声有効スイッチ３０１ａ（図１参照）を操作して、ロボット教示装置３０を音声入力が有効な状態に設定する（ステップＳ１０２）。ここで、音声入力が有効な状態は、マイクロホン４０、音声認識部３１１、及び認識対象語判別部３１６が作動する状態である。なお、音声有効スイッチ３０１ａは、ハードキー３０２の一つとして配置されても良い。音声有効スイッチ３０１ａは、例えば、一度押下されると音声入力を有効にしてその状態を維持し、次に押下されると音声入力を無効としてソフトキー及びハードキーによる入力が受け付けられるように機能する。

次に、オペレータＯＰは、コメント文を音声入力する（ステップＳ１０３）。音声認識部３１１は、マイクロホン４０から入力された音声信号に対して辞書データ３２２に基づいて音声認識処理を行い、音声信号から１以上の単語を識別する。辞書データ３２２は、音響モデル、言語モデル等の音声認識に必要な各種辞書データを複数種類の言語について有している。識別された単語がない場合（Ｓ１０４：Ｎｏ）、処理はステップＳ１０３に戻る。識別された単語がある場合（Ｓ１０４：Ｙｅｓ）、ロボット教示装置３０は選択されている指令にコメント文を入力する（ステップＳ１０５）。

図４の編集画面３５１において、１行目の“ワークホジ”、４行目の“ハンドトジル”、５行目の“ワークホジフラグ”はそれぞれ図３のコメント入力処理によって動作プログラムに音声入力されたコメント文の例である。１行目の“ワークホジ”は、図４の動作プログラム全体に対するコメント文であり、この動作プログラムが「ワークを保持する」動作を行うことを表している。４行目の“ハンドトジル”は、命令“ＲＯ［１］＝オン”が、ロボット１０の「ハンドを閉じる」動作であることを表している。５行目の“ワークホジフラグ”は、命令“ＤＯ［１］＝オン”がワーク保持動作を表すフラグの設定の命令であることを表している。上述したコメント入力処理により、オペレータＯＰは、ロボット教示装置３０を手動操作してロボット１０を教示するために両手がふさがっている状況でも、音声で動作プログラムへのコメント文の入力を行い可読性の高い動作プログラムを作成することができる。したがって、ロボットの教示におけるオペレータの負担が軽減される。

図１に示すように、音声認識部３１１は、音声の識別の対象となる言語を選択するための選択画面を表示装置３１に表示し、ユーザ操作による言語の選択を受け付ける言語選択部３２１を有していても良い。音声認識部３１１は、各種言語の辞書データ３２２を有し、言語選択部３２１を介してユーザ選択された言語の辞書データを用いて音声信号に基づく単語の識別を実行することができる。また、対応関係記憶部３１４に各種言語の認識対象語を記憶しておくことで、認識対象語判別部３１６は、言語選択部３２１を介してユーザ選択された言語に基づいて認識対象語の識別を実行することができる。

ロボット教示装置３０（音声認識部３１１）は、該複数の言語の辞書データ３２２を用いて音声の言語を推定し、推定された言語が言語選択部３２１を介して選択中の言語と異なる場合に、選択中の言語を、推定された言語に切り替えることを促すメッセージを表す画像を表示装置３１に表示させる機能を有していても良い。図５は、このような言語切替処理を表すフローチャートである。言語切替処理は、例えば、図３のステップＳ１０１のようなコメント入力待ちの状態、或いは、教示入力待ちの状態で動作する。はじめに、オペレータＯＰが音声有効スイッチ３０１ａを操作して、音声入力を有効にする（ステップＳ２０１）。この状態で、オペレータＯＰは、音声入力を行う（ステップＳ２０２）。

次に、ロボット教示装置３０は、入力された音声に、言語選択部３２１により選択されている言語で識別された言葉があるか否かを判定する（ステップＳ２０３）。言語選択部３２１により選択されている言語で識別された言葉がある場合（Ｓ２０３：Ｙｅｓ）、本言語切替処理は終了する。他方、言語選択部３２１により選択されている言語で識別された言葉がない場合（Ｓ２０３：Ｎｏ）、ロボット教示装置３０は、各種言語の辞書データ３２２を用いることで、入力された音声に、言語選択部３２１により選択されている言語以外の他の言語で識別された言葉があるか否かを判定する（ステップＳ２０４）。その結果、他の言語で識別された言葉がある場合（Ｓ２０４：Ｙｅｓ）、音声の識別の対象となる言語をステップＳ２０４で判定された他の言語へ切り替えることを促すメッセージを表示装置３１に表示させる（ステップＳ２０５）。他の言語で識別された言葉がない場合（Ｓ２０４：Ｎｏ）、処理はステップＳ２０２に戻る。

次に、ロボット教示装置３０は、ステップＳ２０５で提案した言語への切替を許可するか否かのユーザ操作を受け付ける（ステップＳ２０６）。提案した言語への切替を許可する操作がなされた場合（Ｓ２０６：Ｙｅｓ）、ロボット教示装置３０は、提案した言語への切り替えを行う（ステップＳ２０７）。他方、提案した言語への切替が許可されなかった場合（Ｓ２０６：Ｎｏ）、本言語切替処理を終了する。なお、対応関係記憶部３１４において認識対象語も複数種類の言語について記憶されている。これにより、ステップＳ２０７において言語の切り替えが行われた場合、認識対象語判別部３１６は、切り替えられた言語で認識対象語の識別を行うことができる。

次に、ロボット教示装置３０が提供する音声入力による教示機能（ロボット１０に対する指令の実行、動作プログラムへの指令の入力等を含む）について説明する。ロボット教示装置３０の音声入力による教示機能の利便性を説明するに当たり、ここで図４に示した動作プログラムを手動操作により入力する場合の操作例について説明する。図４に示した動作プログラム（“Ｐｒｏｇｒａｍ１”）の編集画面３５１において、例えば、４行目に命令を入力する場合、オペレータＯＰは、４行目をキー操作により選択する。次に、オペレータＯＰは、編集画面３５１の下部の選択メニュー画面３６１から命令を入力するための項目“命令”（符号３６１ａ）をキー操作により選択する。すると、命令の分類項目が一覧表示されたポップアップメニュー画面３６２が表示される。オペレータＯＰは、Ｉ／Ｏ命令を入力するための項目“Ｉ／Ｏ”（符号３６２ａ）をキー操作により選択する。すると、Ｉ／Ｏ命令に該当する具体的な命令の一覧を示すポップポアップメニュー画像３６３が表示される。ここで、オペレータＯＰは、キー操作により、命令“ＲＯ［］＝”（３６３ａ）を選択し、引数として“［］”内に１を入力し、また、イコール記号“＝”の右に“オン”を入力する。このような手動によるキー操作を行う場合、ユーザは、予め“ＲＯ［］＝”という命令が選択メニュー画面３６１内の項目“Ｉ／Ｏ”（符号３６２ａ）にあることを知っておく必要がある。

本実施形態に係るロボット教示装置３０は、認識対象語を予めロボット教示装置３０内に記憶させておくことで、オペレータＯＰが命令に関する詳細な知識を持つことを要求することなく、オペレータＯＰにとって分かりやすいい表現の言葉を発することで所望の命令の入力等を行うことを可能にする。更に、ロボット教示装置３０は、上述のように入力されたコメント文を認識対象語として自動的に登録する。これにより、オペレータＯＰは、動作プログラムの編集画面において例えば“ハンドトジル”と発話することで、上述のようにメニュー画面を階層的にたどって行く操作を行うことなしに、命令“ＲＯ［１］＝オン”を入力することができる。

このような音声入力による教示機能は、認識対象語判別部３１６が音声が表す言葉に対応関係記憶部３１４に記憶された認識対象語が含まれるか否かを判別し、指令実行信号出力部３１７が、判別された識対象語に関連付けて対応関係記憶部３１４に記憶された指令を実行する信号をロボット制御装置２０に出力することによって実現される。下記表１は、対応関係記憶部３１４に記憶されている情報の例を示している。表１では、命令“カクジクイチ”に対して４つの認識対象語“カクジクイチ”、“カクジク”、“カクジクポジション”、“イチキョウジ”が関連付けられている。この場合、オペレータＯＰは、４つの認識対象語“カクジクイチ”、“カクジク”、“カクジクポジション”、“イチキョウジ”のうちいずれかを発話することで、命令“カクジクイチ”を実行したり動作プログラムへ入力することができる。命令“チョクセンイチ”、命令“ＤＯ［］”、命令“ＲＯ［］”の各々にも４つの認識対象語が関連づけられている。

表１において、命令“ＤＯ［］”に関連付けられた４つの認識対象語のうち“ディーオー”、“デジタルアウトプット”、“アウトプット”は予め登録されていた認識対象語であり、“ハンドトジル”は、動作プログラムへのコメント文の音声入力に伴って対応関係追加部３１５によって対応関係記憶部３１４に加えられた認識対象語である。また、表１において、命令“ＲＯ［］”に関連付けられた４つの認識対象語のうち“アールオー”、“ロボットアウトプット”、“アウトプット”は予め登録されていた認識対象語であり、“ワークホジフラグ”は、動作プログラムへのコメント文の音声入力に伴って対応関係追加部３１５によって対応関係記憶部３１４に加えられた認識対象語である。このように、オペレータＯＰがコメント文として音声入力した言葉が認識対象語として対応関係記憶部３１４に自動的に追加されることで、以降は、オペレータＯＰは自らが用いた分かり易い表現の認識対象語を発話することで所望の命令を実行し或いは動作プログラムに入力することができる。

図６は、音声入力による教示機能（以下、音声入力教示処理と記す）を表すフローチャートである。図６の音声入力教示処理は、ロボット教示装置３０のＣＰＵによる制御の下で実行される。オペレータＯＰは、例えば、ロボット教示装置３０が教示入力を受け付ける状態において音声有効スイッチ３０１ａを操作して音声入力を有効にする（ステップＳ１１）。次に、オペレータＯＰは、所望の命令に対応する認識対象語を発話する（ステップＳ１２）。一例として、オペレータＯＰは、ロボット１０のハンドを開く命令“ＨＯＰ”を意図して“ハンドオープン”と発話する場合を想定する。ロボット教示装置３０は、音声入力された言葉が対応関係記憶部３１４に記憶された認識対象語を含むか否かを識別する（ステップＳ１３）。音声入力された言葉に認識対象語が含まれない場合には（Ｓ１３：Ｎｏ）、処理はステップＳ１２に戻る。ここでは、オペレータＯＰ発話した“ハンドオープン”が認識対象語として対応関係記憶部３１４に記憶されているものとする。この場合、音声入力された言葉に認識対象語が含まれると判定され（Ｓ１３：Ｙｅｓ）、処理はステップＳ１４に進む。

次に、ロボット教示装置３０（実行許可要求部３３１）は、オペレータＯＰに対して音声入力された命令の実行許可を求めるメッセージ画面４０１（図７参照）を表示装置３１に表示する（ステップＳ１４）。メッセージ画面４０１は、命令の実行の可否のオペレータＯＰによる選択操作を受け付けるボタン（“はい”、“いいえ”）を含んでいる。ステップＳ１５では、オペレータＯＰからの選択操作を受け付ける。オペレータＯＰは、メッセージ画面４０１上のボタンを操作して命令“ＨＯＰ”を実行するか否かを指示することができる。命令の実行を許可する操作が受け付けられた場合（Ｓ１５：Ｙｅｓ）、指令実行信号出力部３１７は、命令の実行が許可されたと解釈し（ステップＳ１６）、命令を実行するための信号をロボット制御装置２０に送信する（ステップＳ１７）。命令の実行を許可しない操作が受け付けられた場合（Ｓ１５：Ｎｏ）、処理はステップＳ１２に戻る。

ステップＳ１５において、ロボット教示装置３０は、メッセージ画面４０１が表示された状態で音声入力による選択操作を受け付けるように構成されていても良い。この場合、音声認識部３１１が命令の実行を許可する単語“はい”を識別できた場合、ロボット教示装置３０は、命令の実行が許可されたと判断する。そして、指令実行信号出力部３１７は、命令“ＨＯＰ”を実行するための信号をロボット制御装置２０に送信する。

認識対象語判別部３１６は、入力された音声が表す言葉に対応関係記憶部３１４に記憶された認識対象語が含まれない場合に、音声が表す言葉に対し所定の関連性を有する１以上の認識対象語を対応関係記憶部から抽出し、抽出された１以上の認識対象語と対応関係記憶部３１４において関連付けられている１以上の命令から１つを選択する操作入力を受け付ける選択画面を表示装置３１に表示するように構成されていても良い。図８から図１１を参照して、認識対象語判別部３１６によるこのような機能について２つの例を説明する。

図８は、音声入力された音声が表す言葉と対応関係記憶部３１４に記憶された認識対象語との間に、音声が表す言葉が認識対象語に含まれる語を含むという関連性を有する場合の音声入力教示処理を表すフローチャートである。図８のフローチャートにおいてステップＳ２１－２７は、それぞれ図６のステップＳ１１－Ｓ１７と同じ処理内容であるためその説明を省略する。ステップＳ２３において、音声入力された言葉が認識対象語を含まないと判断された場合（Ｓ２３：Ｎｏ）、処理はステップＳ２８に進む。

ステップＳ２８において、ロボット教示装置３０は、音声が表す言葉が認識対象語に含まれる語を含むか否かを判断する。音声が表す言葉が認識対象語に含まれる語を含む場合（Ｓ２８：Ｙｅｓ）、ロボット教示装置３０は、音声が表す言葉が認識対象語に含まれる語を含むという関連性を有する認識対象語を対応関係記憶部３１４から抽出する。そして、ロボット教示装置３０は、抽出された認識対象語と対応関係記憶部３１４において関連付けられた命令のリストを候補として表示装置３１に表示する（ステップＳ２９）。音声が表す言葉が認識対象語に含まれる語を含まない場合（Ｓ２８：Ｎｏ）、処理はステップＳ２２に戻る。図９は、ステップＳ２９において表示装置３１に表示されるリストの一例としての選択画面４１１を示す。例えば、下記表２に示すように、オペレータＯＰの発話が“おーぷん”を含む場合に、認識対象語の“はんどおーぷん”と“ぼっくすおーぷん”が候補として抽出され得る。また、下記表２に示すように、オペレータＯＰの発話が“はんど”を含む場合に、認識対象語の“はんどおーぷん”と“はんどくろーず”が候補として抽出され得る。

図９の選択画面４１１は、オペレータＯＰの発話が“おーぷん”を含む場合に、認識対象語の“はんどおーぷん”と“ぼっくすおーぷん”が候補として抽出された場合の例である。ロボット教示装置３０は、オペレータＯＰによる選択画面４１１を介しての選択操作を受け付ける（ステップＳ２１０）。ロボット教示装置３０は、選択画面４１１を介していずれかの操作（命令）を指定する選択操作が受け付けられた場合（Ｓ２１０：Ｙｅｓ）、指定された操作（命令）を選択して実行する（ステップＳ２１１、Ｓ２７）。選択画面４１１中にオペレータＯＰの意図する操作がなく（Ｓ２１０：Ｎｏ）、オペレータＯＰが選択画面４１１において“この中にはない”を選択した場合（Ｓ２１２）、処理はステップＳ２２に戻る。図１０－１１で説明した音声教示入力処理によれば、ロボット教示装置３０がオペレータＯＰの発話内容の一部しか認識できなかった場合でも、オペレータＯＰは所望の命令を下すことができる。

図１０は、音声入力された音声が表す言葉と対応関係記憶部３１４に記憶された認識対象語との間に、音声入力された音声が表す言葉が対応関係記憶部３１４に記憶された認識対象語と似た意味の言葉を含むという関連性を有する場合の音声入力教示処理を表すフローチャートである。図１０のフローチャートにおいてステップＳ３１－３７は、それぞれ図６のステップＳ１１－Ｓ１７と同じ処理内容であるためその説明を省略する。ステップＳ３３において、音声入力された言葉が認識対象語を含まないと判断された場合（Ｓ３３：Ｎｏ）、処理はステップＳ３８に進む。

ステップＳ３８において、ロボット教示装置３０は、音声が表す言葉が認識対象語と似た意味の言葉を含むか否かを判断する。音声が表す言葉が認識対象語と似た意味の言葉を含む場合（Ｓ３８：Ｙｅｓ）、ロボット教示装置３０は、音声が表す言葉が認識対象語と似た意味の言葉を含むという関連性を有する認識対象語を対応関係記憶部３１４から抽出する。一例として、ロボット教示装置３０（認識対象語判別部３１６）は、認識対象語となり得る言葉と、そのような言葉と似た意味を有する言葉とを対応付けた辞書データを有していても良い。そして、ロボット教示装置３０は、抽出された認識対象語と対応関係記憶部３１４において関連付けられた命令のリストを候補として表示装置３１に表示する（ステップＳ３９）。図１１は、ステップＳ３９において表示装置３１に表示されるリストの一例としての選択画面４２１を示す。例えば、下記表３に示すように、オペレータＯＰの発話が“はんどひらけ”又は“はんどをひらいて”である場合、ロボット教示装置３０は、これらの発話の内容を解釈して、発話された内容と似た意味を有する認識対象語として“はんどおーぷん”を抽出することができる。また、下記表３に示すように、オペレータＯＰの発話が“はんどとじろ”又は“はんどをとじて”である場合、ロボット教示装置３０は、これらの発話の内容を解釈して、発話された内容と似た意味を有する認識対象語として“はんどくろーず”を抽出することができる。

図１１の選択画面４２１は、オペレータＯＰの発話が“はんどひらけ”であった場合に、認識対象語の“はんどおーぷん”が候補として抽出された場合の例である。ロボット教示装置３０は、オペレータＯＰによる選択画面４２１を介しての選択操作を受け付ける（ステップＳ３１０）。ロボット教示装置３０は、選択画面４２１を介していずれかの操作（命令）を指定する選択操作が受け付けられた場合（Ｓ３１０：Ｙｅｓ）、指定された操作（命令）を選択して実行する（ステップＳ３１１、Ｓ３７）。選択画面４２１中にオペレータＯＰの意図する操作がなく（Ｓ３１０：Ｎｏ）、オペレータＯＰが選択画面４２１において“この中にはない”を選択した場合（Ｓ３１２）、処理はステップＳ３２に戻る。図１０－１１で説明した音声教示入力処理によれば、ロボット教示装置３０は、ステップＳ３８において、認識した言葉の中に認識対象語に含まれる言葉に似た言葉が含まれているか否かを元に、それが本来どの認識対象語を意図したものか判断する。したがって、オペレータＯＰは、認識対象語を正確に覚えていなくても、所望の命令を下すことができる。

プログラム編集部３１２は、前記音声認識部３１１により識別された１以上の単語をファイル名として用いて動作プログラムのファイルを新規作成する動作プログラム作成部３９１を備えていても良い。例えば、ロボット教示装置３０において動作プログラムを新規作成する所定のキー操作がなされ音声有効スイッチ３０１ａが操作された場合、動作プログラム作成部３９１は、音声入力された語をファイル名として用いて動作プログラムを新規作成する。

また、ロボット教示装置３０は、複数の動作プログラムを記憶する動作プログラム記憶部３１８を更に備え、プログラム編集部３１２は、前記音声認識部３１１により識別された１以上の単語に基づいて、動作プログラム記憶部３１８に記憶された複数の動作プログラムからから編集画面の作成の対象となる１つの動作プログラムを選択する動作プログラム選択部３９２を備えていても良い。例えば、ロボット教示装置３０において動作プログラム記憶部３１８に記憶された動作プログラムのリストを表示するキー操作がなされ音声有効スイッチ３０１ａが操作された場合、動作プログラム選択部３９２は、音声入力された語に対応する動作ププログラムを編集対象として選択する。

以上、典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、上述の各実施形態に変更及び種々の他の変更、省略、追加を行うことができるのを理解できるであろう。

上述した実施形態に示した音声入力処理（図３）、言語切替処理（図５）、音声入力教示処理（図６、８、１０）を実行するプログラムは、コンピュータに読み取り可能な各種記録媒体（例えば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ等の半導体メモリ、磁気記録媒体、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等の光ディスク）に記録することができる。

１０ロボット
２０ロボット制御装置
３０ロボット教示装置
３１表示装置
３２操作部
４０マイクロホン
３０１ソフトキー
３０２ハードキー
３１１音声認識部
３１２プログラム編集部
３１３コメント入力部
３１４対応関係記憶部
３１５対応関係追加部
３１６認識対象語判別部
３１７指令実行信号出力部
３１８動作プログラム記憶部
３２１言語選択部
３２２辞書データ
３３１実行許可要求部
３５１編集画面

Claims

ロボットの教示を行うためのロボット教示装置であって、
表示装置と、
音声を収集し音声信号を出力するマイクロホンと、
前記音声信号から前記音声が表す１以上の単語を識別し該１以上の単語からなる文字データを出力する音声認識部と、
ロボットの動作プログラムの編集画面を作成し前記表示装置に表示させるプログラム編集部と、
前記動作プログラムの編集画面が前記表示装置に表示された状態において、前記音声認識部から出力される前記文字データが表す言葉を、前記動作プログラム中の指令に対してコメント文として付加するコメント入力部と、
前記ロボットの教示に使用する複数種類の指令の各々と、認識対象語とを関連付けて記憶する対応関係記憶部と、
付加された前記コメント文を新たな認識対象語とし、該新たな認識対象語と、前記動作プログラム中の前記コメント文が付加された前記指令とを関連付けて前記対応関係記憶部に追加する対応関係追加部と、
前記文字データが表す言葉に前記対応関係記憶部に記憶された前記認識対象語が含まれるか否かを判別する認識対象語判別部と、
前記文字データが表す言葉に含まれると判別された前記認識対象語に関連付けて前記対応関係記憶部に記憶された前記指令を実行するための信号を出力する指令実行信号出力部と、を備えるロボット教示装置。
前記音声認識部は、前記音声認識部による認識の対象となる言語を選択する操作入力を受け付ける言語選択部を有し、
前記音声認識部は、前記言語選択部を介して選択された言語に基づき前記１以上の単語の識別を行う、請求項１に記載のロボット教示装置。
前記認識対象語判別部は、前記言語選択部を介して選択された言語に基づき前記文字データが表す言葉に前記認識対象語が含まれるか否かを判別する、請求項２に記載のロボット教示装置。
前記音声認識部は、複数種類の言語の辞書データを有し、該複数種類の言語の辞書データを用いて前記音声の言語を推定し、推定された前記言語が前記言語選択部を介して選択中の前記言語と異なる場合に、前記選択中の言語を、推定された前記言語に切り替えることを促すメッセージを表す画像を前記表示装置に表示させる、請求項２又は３に記載のロボット教示装置。
前記指令実行信号出力部は、前記指令を実行するための信号を出力する前に、実行許可を求めるメッセージを表す画像を前記表示装置に表示させる実行許可要求部を備える、請求項１から４のいずれか一項に記載のロボット教示装置。
前記実行許可要求部は、操作キーを介した入力操作に基づいて前記指令の実行が許可されたか否かを判定する、請求項５に記載のロボット教示装置。
前記実行許可要求部は、前記マイクロホンを介して前記音声信号として入力され前記音声認識部により識別された前記１以上の単語に基づいて前記指令の実行が許可されたか否かを判定する、請求項５に記載のロボット教示装置。
前記認識対象語判別部は、前記文字データが表す言葉に前記対応関係記憶部に記憶された前記認識対象語が含まれない場合に、前記文字データが表す言葉に対し所定の関連性を有する１以上の前記認識対象語を前記対応関係記憶部から抽出し、抽出された前記１以上の認識対象語と前記対応関係記憶部において関連付けられている１以上の前記指令から１つを選択する操作入力を受け付ける選択画面を前記表示装置に表示する、請求項１から７のいずれか一項に記載のロボット教示装置。
前記プログラム編集部は、前記音声認識部により識別された前記１以上の単語をファイル名として用いて動作プログラムのファイルを新規作成する動作プログラム作成部を備える、請求項１から８のいずれか一項に記載のロボット教示装置。
複数の前記動作プログラムを記憶する動作プログラム記憶部を更に備え、
前記プログラム編集部は、前記音声認識部により識別された前記１以上の単語に基づいて、前記動作プログラム記憶部に記憶された複数の前記動作プログラムから前記編集画面の作成の対象となる１つの動作プログラムを選択する動作プログラム選択部を備える、請求項１から９のいずれか一項に記載のロボット教示装置。
ロボットの教示を行うためのロボット教示装置であって、
表示装置と、
音声を収集し音声信号を出力するマイクロホンと、
前記音声信号から前記音声が表す１以上の単語を識別し該１以上の単語からなる文字データを出力する音声認識部と、
ロボットの動作プログラムの編集画面を作成し前記表示装置に表示させるプログラム編集部と、
前記動作プログラムの編集画面が前記表示装置に表示された状態において、前記音声認識部から出力される前記文字データが表す言葉を、前記動作プログラム中の指令に対してコメント文として付加するコメント入力部と、を備え、
前記プログラム編集部は、前記音声認識部により識別された前記１以上の単語をファイル名として用いて動作プログラムのファイルを新規作成する動作プログラム作成部を備える、ロボット教示装置。