JP7186036B2 - ロボット操作装置及びロボット操作プログラム - Google Patents
ロボット操作装置及びロボット操作プログラム Download PDFInfo
- Publication number
- JP7186036B2 JP7186036B2 JP2018152674A JP2018152674A JP7186036B2 JP 7186036 B2 JP7186036 B2 JP 7186036B2 JP 2018152674 A JP2018152674 A JP 2018152674A JP 2018152674 A JP2018152674 A JP 2018152674A JP 7186036 B2 JP7186036 B2 JP 7186036B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- motion data
- motion
- gesture
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Toys (AREA)
- Manipulator (AREA)
Description
ところが、この方法では、ロボットの開発段階で、自律的に動作する実験用のロボットを準備することが困難である。例えば、ロボットが人の位置を認識して、話しかけるロボットの場合、ロボットが確実に人の位置を見つけることができないと、ロボットは、人がいない方向に話し掛けてしまう等、実験の趣旨に合わない動作をしてしまい、実験が成立しない事態が生じる。
例えば、特許文献1及び特許文献2において、遠隔でロボットを操作するシステムが提案されている。
図1は、本実施形態に係る遠隔操作システム1の構成を示す図である。
遠隔操作システム1は、人と一緒にテレビ等の放送番組を視聴しながらコミュニケーションを取るロボット2の効果及び影響を調査するために、ロボット2を遠隔で操作者4が操作するシステムである。
本実施形態では、ロボット2が行う発話の内容、仕草の種類、発話の方向といった動作のテンプレートを予め用意した状態で、操作者4が遠隔でロボット2を操作することにより、ロボットと人とのコミュニケーションを観察する。
ロボット2は、テレビ、ラジオ等の放送番組、又は人の話し声から抽出された入力文に応じて、発話文及び仕草等の動作を決定し、動作データを操作端末3へ送信する。ロボット2が決定した動作の内容が操作端末3に表示され、操作者4は、ロボット2が発話する内容、仕草の種類、発話の方向等を確認、又は編集してロボット2へ返信する。これにより、ロボットが実際に動作を実行する。
このとき、ロボット2の実際の動作及び人の様子は、カメラ5及びマイク6から、映像及び音声が確認用画面7に出力される。
操作端末3は、通信部31(受信部、送信部)と、表示制御部32と、編集処理部33とを備える。操作端末3は、ロボット2とは異なる空間に配置され、操作者4が操作を行う。
また、入力文は、例えば、ロボット2に搭載されたカメラやマイクを用いて、テレビの画像を利用した画像処理により字幕又は画像内の事象が文字列として取得され、又はテレビの音声を利用した音声認識等により文字列が抽出されてもよい。
本実施形態において、ロボット2は、人及びテレビの位置を検出又は予め記憶し、いずれかの方向を向いて発話できるものとする。
発話文生成部21は、一つの入力文に対して複数の発話文を生成してもよい。この場合、複数の発話文は、発話時の状況への適合度を示す所定の指標に基づいて順位付けがされてもよい。
ステップS1において、発話文生成部21は、字幕文からキーワードを抽出するために形態素解析を実施する。例えば、「サッカーの試合が楽しみだ。」といった文の場合、発話文生成部21は、「サッカー/の/試合/が/楽しみ/だ。」と文を断片化する。形態素解析には、オープンソースの形態素解析エンジン(例えば、「MeCab」、<http://taku910.github.io/mecab/>)等が利用可能である。
なお、発話文の生成手法は、文テンプレートにキーワードを代入する手法に限ったものではなく、対話ログから文を抽出して利用する手法、又は隣接単語の出現頻度を調べ単語間の繋がりからキーワードを選択するn-gramモデル等により発話文を生成する手法が用いられてもよい。
なお、動作データは、入力文毎に、一つ又は複数生成されてよい。すなわち、一つの入力文に対して複数の発話文が候補として生成され、さらに、発話文の候補それぞれに対して、仕草の種類及び発話方向が少なくとも一つ生成される。
動作データは、例えば、発話文生成部21で生成された発話文(発話文字列)、仕草の種類を示す仕草ID、ロボット2が向く方向を示す方向ID、方向IDに対応してロボット2が向く方向の角度データ等を含む。
なお、方向IDと角度データとは、必ずしも実際の環境に合致しているとは限らない。例えば、テレビの方向(方向ID=「tv」)をロボット2が正しく認識していない場合、動作データに記述される角度データは、実際の角度とは異なる。
仕草IDは、例えば、喜ぶ動作を示す「joy」、仕草をしない「none」等、ロボット2が動作可能な複数の仕草を表した仕草名に対応して、予め定義されている。
方向IDは、ロボット2が向く方向、すなわちロボット2が発話する方向にある対象物に対応して定義されている。例えば、ロボット2がテレビの方向を向くときの方向IDは「tv」、人の方向を向くときの方向IDは「human」等とする。
このように、通信部24は、必ずしも適切ではないロボット2の動作データを、操作端末3に送信した後、操作者4が動作内容を確認又は修正した動作データを受信し、動作実行部25に転送する。
また、通信部24は、操作者4が新たに生成した動作データを操作端末3から受信した場合も、この受信した動作データを動作実行部25に転送する。
ここで、通信部31は、ロボット2から複数の動作データを、優先順位と共に受信してもよく、この場合、操作者4により一つの動作データが選択及び編集され、ロボット2へ送信される。
また、表示制御部32は、テンプレートと共に、複数受信した動作データを選択候補として表示してもよい。このとき、表示制御部32は、発話文生成部21で付与された優先順位に従って、受信した複数の動作データを表示する。
また、編集処理部33は、動作データの一部を直接編集する入力を受け付けてもよい。具体的には、例えば、方向を示す角度の修正入力、又は発話文の直接入力が受け付けられてよい。
編集操作画面は、操作端末3が有するWEBブラウザに表示されてもよい。
表示制御部32は、操作端末3の編集操作画面上に、ロボット2から受信した動作データを、項目毎のエリアに初期表示し、さらに対応する所定の表示エリアに、選択候補であるテンプレートを表示する。
実行ボタンが押されると、編集処理部33は、方向表示エリア、仕草表示エリア、発話文字列表示エリアで確認、又は修正された動作データを確定し、通信部31は、確定された動作データをロボット2へ送信する。
戻るボタンが押されると、編集処理部33は、各テンプレートのボタン又は手動入力で修正されたデータを、ロボット2から受信した初期状態に戻す。
このとき、動作実行部25は、動作データの方向IDと方向データベース28にある方向データとを照合し、あるいは指定された角度データを方向データとみなして、この方向データに基づいて決定したモータ制御データを実行することでロボット2を動作させる。
動作実行部25は、これらの動作を統合的に制御することで、ロボット2がテレビ又は人の方向を向き、身振り手振りを交えながら発話する。
発話データベース26は、ロボット2が発話するための音声ファイルを、発話文字列と対応付けて格納している。
動作データの発話文字列に対応した音声ファイルが選択されることで、ロボット2が発話文字列の文を発話する。
仕草データベース27は、ロボット2が動作するための仕草ファイルを、仕草IDと対応付けて格納している。
動作データの仕草IDに対応した仕草ファイルが選択されることで、ロボット2が仕草IDで示される仕草を表現する動作を実行する。
仕草ファイルには、仕草IDに対応した各仕草を表現するための動作のモータ制御データ、及び動作が完了するまでの時間等が記述されている。各動作のモータ制御データは、ロボット2に搭載されている複数のモータを制御するための値が配列等で記載される。
ステップS11において、動作実行部25は、指定された仕草IDに対応する仕草ファイルを、仕草データベース27から選択する。
ステップS13において、動作実行部25は、モータ制御データに基づいて、ロボット2の動作に関わる各モータを制御する。
例えば、ロボット2が仕草ID「joy」の仕草を表現する場合、3000msecの動作時間で、動作1から動作3の動作を順に実行する。各動作の動作制御データは、ロボット2が備えるモータそれぞれに対応する制御値が配列として記述されている。この例では、5自由度のロボットに対して要素数5の配列が用いられ、例えば、3軸の頭の回転量と、左右の腕の移動量とが指定される。
これより、動作1から動作3にかけて、腕を上げていくロボットの動作が実現する。
方向データベース28は、ロボット2が動作する方向データを、方向IDと対応付けて格納している。方向データは、ロボット2のモータ制御データであってもよい。
方向IDに対して、ロボット2が各方向に向くための動作数に応じたモータ制御データが方向データベース28に基づいて決定される。例えば、方向ID「tv」の場合、テレビの方向へ向くロボット2の動作が、動作1から動作2にかけてモータ制御データにより記述される。また、方向ID「human」の場合、人の方向へ向くロボット2の動作が、動作1から動作2にかけてモータ制御データにより記述される。
なお、方向IDに対応してロボット2が識別する方向、すなわち方向データベース28とは異なる方向が動作データ内の角度データで指定された場合、方向データベース28の方向データが更新されることにより、モータ制御データの制御値が更新される。
このとき、複数の動作データに優先順位が付与され、優先順位に従って選択肢が提示されることで、操作者4は、より容易に動作を選択できる。
また、操作端末3は、動作データのうち一部の項目、例えば発話だけ若しくは仕草だけを独立して指定し、ロボット2に指示できる構成であってもよい。
2 ロボット
3 操作端末(ロボット操作装置)
4 操作者
5 カメラ
6 マイク
7 確認用画面
21 発話文生成部
22 動作データ生成部
23 動作データ取得部
24 通信部
25 動作実行部
26 発話データベース
27 仕草データベース
28 方向データベース
31 通信部(受信部、送信部)
32 表示制御部
33 編集処理部
Claims (5)
- ロボットが決定した当該ロボットの動作を示し、発話文字列、仕草を示す仕草ID、発話の方向を示す方向ID、及び初期状態から向く方向の角度データを含む動作データを受信する受信部と、
受信した前記動作データと共に、当該動作データを編集するための選択候補として、テンプレートを表示する表示制御部と、
前記テンプレートの選択入力を受け付け、前記動作データを編集する編集処理部と、
前記編集処理部により編集された動作データを、前記ロボットへ送信する送信部と、を備えるロボット操作装置。 - 前記編集処理部は、前記動作データの一部を直接編集する入力を受け付ける請求項1に記載のロボット操作装置。
- 前記受信部は、複数の動作データを受信し、
前記表示制御部は、前記テンプレートと共に、前記複数の動作データを前記選択候補として表示する請求項1又は請求項2に記載のロボット操作装置。 - 前記受信部は、前記複数の動作データを、優先順位と共に受信し、
前記表示制御部は、前記優先順位に従って、前記複数の動作データを表示する請求項3に記載のロボット操作装置。 - ロボットが決定した当該ロボットの動作を示し、発話文字列、仕草を示す仕草ID、発話の方向を示す方向ID、及び初期状態から向く方向の角度データを含む動作データを受信する受信ステップと、
受信した前記動作データと共に、当該動作データを編集するための選択候補として、テンプレートを表示する表示制御ステップと、
前記テンプレートの選択入力を受け付け、前記動作データを編集する編集処理ステップと、
前記編集処理ステップにおいて編集された動作データを、前記ロボットへ送信する送信ステップと、をコンピュータに実行させるためのロボット操作プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018152674A JP7186036B2 (ja) | 2018-08-14 | 2018-08-14 | ロボット操作装置及びロボット操作プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018152674A JP7186036B2 (ja) | 2018-08-14 | 2018-08-14 | ロボット操作装置及びロボット操作プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020026011A JP2020026011A (ja) | 2020-02-20 |
JP7186036B2 true JP7186036B2 (ja) | 2022-12-08 |
Family
ID=69620867
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018152674A Active JP7186036B2 (ja) | 2018-08-14 | 2018-08-14 | ロボット操作装置及びロボット操作プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7186036B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005014242B1 (ja) | 2003-08-12 | 2005-03-24 | Atr Advanced Telecomm Res Inst | コミュニケーションロボット用制御システム |
JP2007160427A (ja) | 2005-12-12 | 2007-06-28 | Advanced Telecommunication Research Institute International | ロボット制御システム |
JP2016101612A (ja) | 2014-11-27 | 2016-06-02 | トヨタ自動車株式会社 | 物品搬送用ロボット |
-
2018
- 2018-08-14 JP JP2018152674A patent/JP7186036B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005014242B1 (ja) | 2003-08-12 | 2005-03-24 | Atr Advanced Telecomm Res Inst | コミュニケーションロボット用制御システム |
JP2007160427A (ja) | 2005-12-12 | 2007-06-28 | Advanced Telecommunication Research Institute International | ロボット制御システム |
JP2016101612A (ja) | 2014-11-27 | 2016-06-02 | トヨタ自動車株式会社 | 物品搬送用ロボット |
Also Published As
Publication number | Publication date |
---|---|
JP2020026011A (ja) | 2020-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6902683B2 (ja) | 仮想ロボットのインタラクション方法、装置、記憶媒体及び電子機器 | |
JP4710331B2 (ja) | プレゼンテーション用アプリケーションをリモートコントロールするための装置,方法,プログラム及び記録媒体 | |
JP6767046B2 (ja) | 音声対話システム、音声対話装置、ユーザー端末、および音声対話方法 | |
CN110751940B (zh) | 一种生成语音包的方法、装置、设备和计算机存储介质 | |
KR101213835B1 (ko) | 음성 인식에 있어서 동사 에러 복원 | |
US20060184369A1 (en) | Voice activated instruction manual | |
JP6725006B2 (ja) | 制御装置および機器制御システム | |
US6915258B2 (en) | Method and apparatus for displaying and manipulating account information using the human voice | |
CN112219214A (zh) | 用于面试训练的具有时间匹配反馈的系统及方法 | |
US20140028780A1 (en) | Producing content to provide a conversational video experience | |
JP2014532933A (ja) | 電子装置及びその制御方法 | |
US11100943B1 (en) | Systems and methods for processing and presenting conversations | |
JP6795668B1 (ja) | 議事録作成システム | |
JP6746923B2 (ja) | 情報処理システム、情報処理装置、情報処理方法および情報処理プログラム | |
JP2011504624A (ja) | 自動同時通訳システム | |
JP2008145769A (ja) | 対話シナリオ生成システム,その方法およびプログラム | |
JP4917920B2 (ja) | コンテンツ生成装置及びコンテンツ生成プログラム | |
JP7186036B2 (ja) | ロボット操作装置及びロボット操作プログラム | |
JP7417272B2 (ja) | 端末装置、サーバ装置、配信方法、学習器取得方法、およびプログラム | |
JP5041853B2 (ja) | コンテンツ生成装置及びコンテンツ生成プログラム | |
JP2000172483A (ja) | 共有仮想画面における音声認識方法及びシステム及び共有仮想画面における音声認識プログラムを格納した記憶媒体 | |
JP2002259113A (ja) | 音声マクロ処理装置、その方法、そのコンピュータ・プログラムおよびそのプログラムを記録した記録媒体 | |
WO2020079941A1 (ja) | 情報処理装置及び情報処理方法、並びにコンピュータプログラム | |
JP3963349B2 (ja) | 対話型番組提示装置及び対話型番組提示プログラム | |
WO2020026799A1 (ja) | 情報処理装置、情報処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210712 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220519 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220607 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220701 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221128 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7186036 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |