JP6594235B2 - 作業支援装置およびプログラム - Google Patents
作業支援装置およびプログラム Download PDFInfo
- Publication number
- JP6594235B2 JP6594235B2 JP2016052919A JP2016052919A JP6594235B2 JP 6594235 B2 JP6594235 B2 JP 6594235B2 JP 2016052919 A JP2016052919 A JP 2016052919A JP 2016052919 A JP2016052919 A JP 2016052919A JP 6594235 B2 JP6594235 B2 JP 6594235B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- work
- robot
- information
- emotion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Manipulator (AREA)
Description
図1は、第1の実施形態に係る作業支援装置の概略構成を示す図である。作業支援装置1は、ロボット10、カメラ20および脈拍センサ30を備える。カメラ20は、ユーザの映像を取得する。脈拍センサ30は、ユーザの脈拍信号を取得する。なお、本発明の取得センサは、カメラまたは脈拍センサに限定されることなく、ユーザの映像またはユーザの脈拍信号等の生体信号の少なくとも一つを取得できれば、いずれの物理センサであっても、本発明の技術的思想は変わらない。また、図1では、カメラ20または脈拍センサ30は、ロボット10の外部に接続されているが、本発明の技術的思想は、これに限定されるわけではなく、ロボット10の内部に内蔵されていても良い。なお、ロボット10は、いずれかの部位が可動であるロボット本体と、可動部を動かす駆動部を備えていても良い。ここで各部位とは、ロボット本体の目、口、手、指、脚等に該当し、各アクチュエータを動作させることによって可動となる。
図6は、第2の実施形態に係る作業支援装置の概略構成を示す図である。作業支援装置2は、ロボット10、カメラ20または脈拍センサ30、および宅内機器(電子機器)90を備える。カメラ20は、ユーザの映像を取得する。脈拍センサ30は、ユーザの脈拍信号を取得する。なお、本実施形態においても、本発明の取得センサは、カメラまたは脈拍センサに限定されることなく、ユーザの映像またはユーザの脈拍信号等の生体信号を取得できれば、いずれの物理センサであっても、本発明の技術的思想は変わらない。
・ユーザの腕が真上に上がる映像を受信
→ 調理状況100:完了
・ユーザの手が左右に振られる映像を受信
→ 調理状況100:未完了
・ユーザの腕が真上に上がる映像も、ユーザの手が左右に振られる映像も受信しない
→ 調理状況100:繁忙
・ユーザの視線が天井に向く映像を受信
→ 調理状況100:完了
・ユーザの視線がロボットに向く映像を受信
→ 調理状況100:未完了
・ユーザの視線が天井に向く映像も、ユーザの視線がロボットに向く映像も受信しない
→ 調理状況100:繁忙
・ユーザの情動度40またはユーザのストレス指標50の値P(t)がθA未満
→ 調理状況100:完了
・ユーザの情動度40またはユーザのストレス指標50の値P(t)がθA以上かつθB未満
→ 調理状況100:未完了
・ユーザの情動度40またはユーザのストレス指標50の値P(t)がθB以上
→ 調理状況100:繁忙
・調理状況100として、完了と判定
→ 料理データベースからN+1番目の調理手順における画像を抽出し、調理手順に関わる情報70として提示
・調理状況100として、未完了と判定
→ 料理データベースからN番目の作業手順における画像を抽出し、調理手順に関わる情報70として提示。
・調理状況100として、繁忙と判定
→ 一定時間経過後、ステップT1へ戻る
→ 電話機で検出された入電、電子メールの受信を当該通信手段の受信有無情報に変換
・宅内機器90として、スマートフォンを使用
→ スマートフォンで検出された入電、電子メールの受信、SNSメッセージ等の受信を当該通信手段の受信有無情報に変換
・宅内機器90として、TVを使用
→ TVの視聴予約開始時刻を数値データに変換
・宅内機器90として、インターフォンを使用
→ インターフォンの押下をインターフォン押下有無情報に変換
・宅内機器90として、降雪雨センサ・風速センサ・温度センサを使用
→ 降雪雨センサ・風速センサ・温度センサで検出された降雪雨、風速、温度を数値データに変換
・宅内機器90として、電話機を使用
→ 周囲の状況110として、電話機への入電をロボット10に送信
→ 周囲の状況110として、電話機への電子メールの受信をロボット10に送信
・宅内機器90として、スマートフォンを使用
→ 周囲の状況110として、スマートフォンへの入電をロボット10に送信
→ 周囲の状況110として、スマートフォンへの電子メールの受信をロボット10に送信
→ 周囲の状況110として、スマートフォンへのSNSメッセージの受信をロボット10に送信
・宅内機器90として、PCを使用
→ 周囲の状況110として、PCへの入電をロボット10に送信
→ 周囲の状況110として、PCへの電子メールの受信をロボット10に送信
→ 周囲の状況110として、PCへのSNSメッセージの受信をロボット10に送信
・宅内機器90として、TVを使用
→ 周囲の状況110として、視聴予約したTV放送の開始をロボット10に送信
・宅内機器90として、インターフォンを使用
→ 周囲の状況110として、訪問者からの呼出をロボット10に送信
・宅内機器90として、降雪雨センサ・風速センサ・温度センサを使用
→ 周囲の状況110として、降雪雨の発生をロボット10へ送信
→ 周囲の状況110として、強風の発生をロボット10へ送信
→ 周囲の状況110として、気温の変化をロボット10へ送信
→ 調理手順に関わる情報70:変更なし
(2)θi<N番目の調理手順における目安の調理時間−N番目の手順における作業経過時間
・料理データベースにおけるN+1番目以降の目安の調理時間に、θi以下の調理手順(M番目)が存在し、且つN番目の調理手順と入れ替え可能
→ 調理手順に関わる情報70:料理データベースからM番目の調理手順における画像を抽出し、調理手順に関わる情報70として提示
・料理データベースにおけるN+1番目以降の目安の調理時間に、θi以下の調理手順が存在しない、またはN番目の調理手順と入れ替え不可能
→ 調理手順に関わる情報70:中断
・料理データベースにあるN番目の調理手順における調理器具と異なる調理器具を使用する映像を受信
→ 正しい調理器具を渡す
・料理データベースにあるN番目の調理手順における調理方法と異なる映像を受信
→ 正しい調理方法を提示する
・ユーザの視線がN番目の調理手順に使用する調理機器とは異なる方向に向く映像を受信
→ 警告を促す
・ユーザの情動度40またはユーザのストレス指標50の値P(t)がθ以上
→ 各調理機器の安全装置を作動させる
・作業進行状況:完了
→ ロボット10:「良くできました」等、賞賛の声掛け
・作業進行状況:未完了
→ ロボット10:「頑張って」等、激励の声掛け
・作業進行状況:繁忙
→ ロボット10:「どうしたの?」等、心配の声掛け
・ユーザの情動度40またはユーザのストレス指標50の値P(t)がθ以上
→ ロボット10:「落ち着いて」等、慎重な声掛け
・料理データベースにあるN番目の調理手順における作業結果との類似度を受信
→ 類似度を5段階で評価し、ロボット評価として出力する
・ユーザの情動度40またはユーザのストレス指標50の値P(t)がθ以上
→ コーヒーメーカを起動し、ご褒美としてユーザにコーヒーを提供する
10 ロボット
10−1 情報取得部
10−2 感情判定部
10−3 動作生成部
10−4 情報提示部
10−5 状況判定部
10−6 手順変更部
10−7 物理的協力部
20 カメラ
30 脈拍センサ
40 ユーザの情動度
50 ユーザのストレス指標
60 ロボット動作
70 調理手順に関わる情報
90 宅内機器(電子機器)
90−1 周囲状況取得部
100 調理状況
110 周囲の状況
Claims (8)
- ユーザが行う作業を支援する作業支援装置であって、
予め特徴抽出がされたユーザの平常時の映像に対する時間的変化の不規則性をユーザの感情の変化量として示す情動度、またはユーザの生体信号の変動時系列データから算出されユーザのストレスの度合いを示すストレス指標を判定する感情判定部と、
前記判定した情動度またはストレス指標の少なくとも一つを用いてロボット動作を生成する動作生成部と、
前記生成したロボット動作に応じて、予め保持している作業手順に関する情報を提示する情報提示部と、を備えることを特徴とする作業支援装置。 - 少なくとも前記映像または前記生体信号を取得する情報取得部を備えることを特徴とする請求項1記載の作業支援装置。
- 前記映像または前記生体信号の少なくとも一つ、および、前記判定した情動度またはストレス指標の少なくとも一つを用いて、作業進行状況を判定する状況判定部を備え、
前記情報提示部は、前記判定した作業進行状況および前記生成したロボット動作に基づいて、前記作業進行状況に応じた作業手順に関する情報を提示することを特徴とする請求項1または請求項2記載の作業支援装置。 - ユーザの入力、または環境情報を取得する電子機器を介して、ユーザの周囲の環境情報を取得する周囲状況取得部を備えることを特徴とする請求項1から請求項3のいずれかに記載の作業支援装置。
- 前記取得した環境情報に基づいて、前記作業手順に関する情報を変更する手順変更部を備えることを特徴とする請求項4記載の作業支援装置。
- 前記映像、前記生体信号、または前記環境情報の少なくとも一つに応じて、物理的な作業支援を行う物理的協力部を備えることを特徴とする請求項4または請求項5記載の作業支援装置。
- いずれかの部位が可動であるロボット本体と、
前記部位を動かす駆動部と、を備え、
前記ロボット動作に基づいて、前記駆動部を駆動させることによって、前記ロボット本体の部位を動かすことを特徴とする請求項1から請求項6のいずれかに記載の作業支援装置。 - ユーザが行う作業を支援する作業支援装置のプログラムであって、
予め特徴抽出がされたユーザの平常時の映像に対する時間的変化の不規則性をユーザの感情の変化量として示す情動度、またはユーザの生体信号の変動時系列データから算出されユーザのストレスの度合いを示すストレス指標を判定する処理と、
前記判定した情動度またはストレス指標の少なくとも一つを用いてロボット動作を生成する処理と、
前記生成したロボット動作に応じて、予め保持している作業手順に関する情報を提示する処理と、を含む一連の処理をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016052919A JP6594235B2 (ja) | 2016-03-16 | 2016-03-16 | 作業支援装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016052919A JP6594235B2 (ja) | 2016-03-16 | 2016-03-16 | 作業支援装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017164851A JP2017164851A (ja) | 2017-09-21 |
JP6594235B2 true JP6594235B2 (ja) | 2019-10-23 |
Family
ID=59909703
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016052919A Active JP6594235B2 (ja) | 2016-03-16 | 2016-03-16 | 作業支援装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6594235B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6943744B2 (ja) * | 2017-12-13 | 2021-10-06 | Kddi株式会社 | 支援決定装置、方法及びプログラム |
CN109658928B (zh) * | 2018-12-06 | 2020-06-23 | 山东大学 | 一种家庭服务机器人云端多模态对话方法、装置及系统 |
JP2023127043A (ja) * | 2022-03-01 | 2023-09-13 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006072894A (ja) * | 2004-09-06 | 2006-03-16 | Advanced Institute Of Information Technology Inc | 調理支援装置およびプログラム |
JP2008015585A (ja) * | 2006-07-03 | 2008-01-24 | National Institute Of Information & Communication Technology | 生活タスク支援システム |
JP6150429B2 (ja) * | 2013-09-27 | 2017-06-21 | 株式会社国際電気通信基礎技術研究所 | ロボット制御システム、ロボット、出力制御プログラムおよび出力制御方法 |
-
2016
- 2016-03-16 JP JP2016052919A patent/JP6594235B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017164851A (ja) | 2017-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102239604B1 (ko) | 응시 정보를 사용한 디바이스 제어 | |
EP3062198B1 (en) | Generating actions based on a user's mood | |
US10546582B2 (en) | Information processing device, method of information processing, and program | |
JP2021007042A (ja) | 情報処理装置およびプログラム | |
JP6594235B2 (ja) | 作業支援装置およびプログラム | |
CN108874152A (zh) | 具有本能警告的移动设备 | |
US10181220B2 (en) | System and method for contact center augmented reality | |
CN108475507A (zh) | 信息处理设备、信息处理方法和程序 | |
CN108683850B (zh) | 一种拍摄提示方法及移动终端 | |
CN110855893A (zh) | 一种视频拍摄的方法及电子设备 | |
CN105451090B (zh) | 图像处理方法和图像处理装置 | |
CN107358953A (zh) | 语音控制方法、移动终端及存储介质 | |
Mayer et al. | Examples of multimodal user interfaces for socially assistive robots in Ambient Assisted Living environments | |
US10963063B2 (en) | Information processing apparatus, information processing method, and program | |
JP2020173714A (ja) | 対話支援装置、対話支援システム、及び対話支援プログラム | |
CN108133708B (zh) | 一种语音助手的控制方法、装置及移动终端 | |
JP2019079204A (ja) | 情報入出力制御システムおよび方法 | |
JP7146373B2 (ja) | 接客サービスシステム | |
JP6482037B2 (ja) | 制御装置、制御方法及び制御プログラム | |
KR101567154B1 (ko) | 다중 사용자 기반의 대화 처리 방법 및 이를 수행하는 장치 | |
WO2017175447A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP6969576B2 (ja) | 情報処理装置、および情報処理方法 | |
JP6950708B2 (ja) | 情報処理装置、情報処理方法、および情報処理システム | |
JP2014030865A (ja) | 視線制御装置、視線制御方法及び視線制御プログラム並びに端末装置 | |
WO2014084374A1 (ja) | 通信システム、通信方法、通信装置、プログラム、及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180313 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180405 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190219 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190410 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190917 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190924 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6594235 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |