JP6854719B2 - 装置、ロボット、方法及びプログラム - Google Patents

装置、ロボット、方法及びプログラム Download PDF

Info

Publication number
JP6854719B2
JP6854719B2 JP2017135289A JP2017135289A JP6854719B2 JP 6854719 B2 JP6854719 B2 JP 6854719B2 JP 2017135289 A JP2017135289 A JP 2017135289A JP 2017135289 A JP2017135289 A JP 2017135289A JP 6854719 B2 JP6854719 B2 JP 6854719B2
Authority
JP
Japan
Prior art keywords
display
height
robot
sensor
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017135289A
Other languages
English (en)
Other versions
JP2019014032A (ja
Inventor
志奇 黄
志奇 黄
康平 田原
康平 田原
太田 雄策
雄策 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2017135289A priority Critical patent/JP6854719B2/ja
Priority to CN201810722645.4A priority patent/CN109227600B/zh
Priority to US16/027,426 priority patent/US10507582B2/en
Priority to EP18182478.0A priority patent/EP3428757A1/en
Publication of JP2019014032A publication Critical patent/JP2019014032A/ja
Application granted granted Critical
Publication of JP6854719B2 publication Critical patent/JP6854719B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666Avoiding collision or forbidden zones
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H3/00Dolls
    • A63H3/28Arrangements of sound-producing means in dolls; Means in dolls for producing sounds
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H11/00Self-movable toy figures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/003Manipulators for entertainment
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06Safety devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H2200/00Computerized interactive toys, e.g. dolls
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/45Nc applications
    • G05B2219/45007Toy

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)
  • Toys (AREA)

Description

本開示は、ユーザーによって動かされる装置、ロボット、方法及びプログラムに関する。
従来から、ユーザーによって動かされる装置から基準水平面までの鉛直方向の距離(高さ)を示す情報を利用して、前記装置の動作を制御する方法が種々提案されている。
例えば、特許文献1では、作業者が効率的に対象設備を点検するために、作業者が地面から離れている高さを測定し、測定した高さが点検箇所の高さに接近した場合に、音によって作業者に報知することが提案されている。
また、特許文献2では、電動ドライバが傾いた状態での不注意によるネジ止め作業を確実に回避するために、電動ドライバの傾き及び高さを計測し、電動ドライバが閾値角度以上に傾き、且つ、ネジ止め対象物に対して閾値高さ以内に接近した場合に、警報音を発することが提案されている。
特開2011−44098号公報 特開2011−67885号公報
しかしながら、上記の従来技術では、更なる改善が必要とされていた。
上記課題を解決するために、本開示の一態様の装置は、ユーザーによって動かされる装置であって、前記装置の動き及び動く方向を検出する第1センサーと、前記装置の鉛直方向の移動距離を測定する第2センサーと、前記装置の周辺の映像を取得するカメラと、プロセッサと、ディスプレイと、スピーカーと、を備え、前記プロセッサは、前記第1センサーの検知結果に基づいて、前記装置が鉛直方向に動かされたか判断し、前記装置が鉛直方向に動かされたと判断した場合は、前記第2センサーの検知結果に基づいて、前記装置の真下にある物体から前記装置までの距離を算出し、前記カメラから取得された映像に基づいて、前記装置の二次元位置を測定し、前記装置の二次元位置と前記二次元位置で前記装置が落下した際に前記装置にダメージを与え得る高さとの対応関係を示した第1テーブルにおいて前記測定された二次元位置に対応する高さと前記算出された距離を比較し、前記対応する高さより前記算出された距離が長い場合は、前記ディスプレイに第1表示をさせ、前記スピーカーに第1音声を出力させ、前記算出された距離が前記対応する高さ以下の場合は、前記ディスプレイに第2表示をさせ、前記スピーカーに第2音声を出力させる。
上記態様により、更なる改善を実現できた。
本開示の第1の実施形態に係るロボットの機能構成の一例を示すブロック図である。 第一の部屋マップ情報の一例を示す図である。 位置危険高さテーブルの一例を示す図である。 材質危険高さテーブルの一例を示す図である。 表現テーブルの一例を示す図である。 本開示の第1の実施形態に係るロボットの感情表現を変化させる制御の一例を示すフローチャートである。 位置危険高さテーブルの作成処理の一例を示すフローチャートである。 第二の部屋マップ情報の一例を示す図である。 第三の部屋マップ情報の一例を示す図である。 ユーザー動作判定処理の一例を示すフローチャートである。 本開示の第1の実施形態に係る高さ算出処理の一例を示すフローチャートである。 本開示の第1の実施形態に係る表現決定処理の一例を示すフローチャートである。 表現実行処理の一例を示すフローチャートである。 本開示の第2の実施形態に係るロボットの機能構成の一例を示すブロック図である。 本開示の第2の実施形態に係るロボットの感情表現を変化させる制御の一例を示すフローチャートである。 本開示の第2の実施形態に係る高さ計算処理の一例を示すフローチャートである。 本開示の第2の実施形態に係る表現決定処理の一例を示すフローチャートである。 本開示の第3の実施形態に係るロボットの外観斜視図である。 本開示の第3の実施形態に係るロボットの内部斜視図である。 本開示の第3の実施形態に係るロボットの感情表現の一例を示す図である。
(本開示の基礎となった知見)
ユーザーに持ち上げられた状態でユーザーと遊ぶロボットが検討されている。このようなロボットがユーザーに持ち上げられた後、ユーザーの不注意などによって硬い床に落とされた場合、ロボットが壊れる可能性がある。これを防止するため、ロボットが持ち上げられた高さを測定し、測定した高さが閾値高さ以上になった場合に、ユーザーに表情や発話などで警告を報知する技術が知られている。
例えば、特許文献1には、作業者が効率的に対象設備を点検するために、作業者が地面から離れている高さを測定し、測定した高さが点検箇所の高さに接近した場合に、音によって作業者に報知する技術が記載されている。
また、特許文献2には、電動ドライバが傾いた状態での不注意によるネジ止め作業を確実に回避するために、電動ドライバの傾き及び高さを計測し、電動ドライバが閾値角度以上に傾き、且つ、ネジ止め対象物に対して閾値高さ以内に接近した場合に、警報音を発する技術が記載されている。
これらの技術を上記ロボットに適用し、測定したロボットの高さが、ロボットが落下の際に壊れ得る閾値高さに接近した場合に、ユーザーに警告を報知することが考えられる。しかしながら、この場合、床面からの高さを前記閾値高さとして固定すると、ロボットが、高さを有する物体(例えば、机、ソファー等)の上面や柔らかい材質(例えばカーペット、畳等)の床面から当該閾値高さまで持ち上げられ、ロボットが落下の際に壊れないような時でも、ユーザーに必要以上に警告が報知される。
このような課題を解決するため、本発明者は、上記ロボット等のユーザーによって動かされる装置が落下した際にダメージを受け得るか否かを適切にユーザーに報知することを検討し、本開示にかかる各態様を想到するに至った。
本開示の第一の態様に係る装置は、ユーザーによって動かされる装置であって、前記装置の動き及び動く方向を検出する第1センサーと、前記装置の鉛直方向の移動距離を測定する第2センサーと、前記装置の周辺の映像を取得するカメラと、プロセッサと、ディスプレイと、スピーカーと、を備え、前記プロセッサは、前記第1センサーの検知結果に基づいて、前記装置が鉛直方向に動かされたか判断し、前記装置が鉛直方向に動かされたと判断した場合は、前記第2センサーの検知結果に基づいて、前記装置の真下にある物体から前記装置までの距離を算出し、前記カメラから取得された映像に基づいて、前記装置の二次元位置を測定し、前記装置の二次元位置と前記二次元位置で前記装置が落下した際に前記装置にダメージを与え得る高さとの対応関係を示した第1テーブルにおいて前記測定された二次元位置に対応する高さと前記算出された距離を比較し、前記対応する高さより前記算出された距離が長い場合は、前記ディスプレイに第1表示をさせ、前記スピーカーに第1音声を出力させ、前記算出された距離が前記対応する高さ以下の場合は、前記ディスプレイに第2表示をさせ、前記スピーカーに第2音声を出力させる。
本構成によれば、装置が鉛直方向に動かされた場合に、装置の真下の物体から装置までの距離が、装置の二次元位置に対応する、装置が落下した際に装置にダメージを与え得る高さよりも長いときは、第1表示がなされ、第1音声が出力される。一方、装置の真下の物体から装置までの距離が、装置の二次元位置に対応する、装置が落下した際に装置にダメージを与え得る高さ以下のときは、第2表示がなされ、第2音声が出力される。
このため、装置の二次元位置によって装置の真下にある物体の高さが異なる空間において、装置が鉛直方向に動かされた場合に、装置の真下にある物体までの距離に応じて、装置が落下した際にダメージを受け得るか否かを適切にユーザーに報知することができる。
また、上記第一の態様において、前記プロセッサは、前記装置が鉛直方向に動かされていないと判断した場合は、前記第1センサーの検知結果に基づいて、前記装置が水平方向に動かされたか判断し、前記装置が水平方向に動かされたと判断した場合は、前記映像に基づいて、前記装置の二次元位置を測定し、前記装置の二次元位置と前記二次元位置に存在する物体の高さとの対応関係を示した第2テーブルを参照して、前記距離を算出し、前記第1テーブルにおいて前記測定された二次元位置に対応する高さと前記算出された距離を比較し、前記対応する高さより前記算出された距離が長い場合は、前記ディスプレイに前記第1表示をさせ、前記スピーカーに前記第1音声を出力させ、前記算出された距離が前記対応する高さ以下の場合は、前記ディスプレイに前記第2表示をさせ、前記スピーカーに前記第2音声を出力させてもよい。
本構成によれば、装置が水平方向に動かされた場合に、装置の真下の物体から装置までの距離が、装置の二次元位置に対応する、装置が落下した際に装置にダメージを与え得る高さよりも長いときは、第1表示がなされ、第1音声が出力される。一方、装置の真下の物体から装置までの距離が、装置の二次元位置に対応する、装置が落下した際に装置にダメージを与え得る高さ以下のときは、第2表示がなされ、第2音声が出力される。
このため、装置の二次元位置によって装置の真下にある物体の高さが異なる空間において、装置が水平方向に動かされた場合に、装置の真下にある物体までの距離に応じて、装置が落下した際にダメージを受け得るか否かを適切にユーザーに報知することができる。
また、上記第一の態様において、前記ディスプレイは、前記装置の表情を両目と口によって表示し、前記第1表示は、恐怖又は困惑の表情を示し、前記第1音声は、危険を通知する又はより低い高さへ前記装置を移動させることを前記ユーザーへリクエストすることが好ましい。
本構成によれば、装置が落下した際にダメージを受け得る場合、両目と口によって恐怖又は困惑の表情が表示され、危険を通知する又はより低い高さへ装置を移動させることをユーザーへリクエストする音声が出力される。このため、これらの表示又は音声を通じて、装置が落下した際にダメージを受け得ることを、ユーザーに容易に把握させることができる。
また、上記第一の態様において、前記ディスプレイは、前記装置の表情を両目と口によって表示し、前記第2表示は、喜びの表情を示し、前記第2音声は、前記装置の高さを肯定することが好ましい。
本構成によれば、装置が落下した際にダメージを受け得ない場合、両目と口によって喜びの表情が表示され、装置の高さを肯定する音声が出力される。このため、これらの表示又は音声を通じて、装置が落下した際にダメージを受け得ないことを、ユーザーに容易に把握させることができる。
また、上記第一の態様において、前記第1テーブルにおいて、前記二次元位置において前記装置が落下した際に前記装置にダメージを与え得る高さは第1高さと第2高さとを含み、前記第2高さは前記第1高さよりも高く、前記第1表示は第3表示と第4表示を含み、前記第1音声は第3音声と第4音声を含み、前記ディスプレイは、前記装置の表情を両目と口によって表示し、前記プロセッサは、前記測定された二次元位置に対応する前記第1高さより前記算出された距離が長く、且つ、前記算出された距離が前記測定された二次元位置に対応する前記第2高さ以下である場合は、前記ディスプレイに前記第3表示をさせ、前記スピーカーに前記第3音声を出力させ、前記測定された二次元位置に対応する前記第2高さより前記算出された距離が長い場合は、前記ディスプレイに前記第4表示をさせ、前記スピーカーに前記第4音声を出力させ、前記第3表示は、困惑の表情を示し、前記第4表示は、恐怖の表情を示し、前記第3音声は、より低い高さへ前記装置を移動させることを前記ユーザーへリクエストし、前記第4音声は、危険を通知することが好ましい。
本構成によれば、装置が鉛直方向に動かされた場合に、装置の真下の物体から装置までの距離が第1高さより長く、且つ、第2高さ以下のときは、両目と口によって困惑の表情が表示され、より低い高さへ装置を移動させることをユーザーへリクエストする音声が出力される。一方、前記距離が第2高さよりも長いときは、両目と口によって恐怖の表情が表示され、危険を通知する音声が出力される。
このため、これらの表示又は音声を通じて、前記距離が第1高さより長く、且つ、第2高さ以下の場合及び前記距離が第2高さよりも長い場合に、装置が落下した際にダメージを受け得ることを、ユーザーに容易に把握させることができる。また、これらの表示又は音声を通じて、前記距離が第2高さよりも長い場合の方が、前記距離が第1高さより長く、且つ、第2高さ以下の場合よりも、装置が落下した際に受け得るダメージが大きいことを、ユーザーに容易に把握させることができる。
また、上記第一の態様において、前記プロセッサは、更に、前記装置と前記ユーザーとの対話履歴を記憶したデータベースを参照し、前記対話履歴において現在から所定時間前までに、前記装置が前記ユーザーへ前記装置を鉛直上方向に移動させることをリクエストしたか判断し、前記装置が前記ユーザーへ前記装置を鉛直上方向に移動させることをリクエストしたと判断した場合、且つ、前記対応する高さより前記算出された距離が長い場合は、前記ディスプレイに第5表示をさせ、前記スピーカーに第5音声を出力させてもよい。
本構成によれば、装置の真下の物体から装置までの距離が、装置の二次元位置に対応する、装置が落下した際に装置にダメージを与え得る高さより長い場合であっても、現在から所定時間前までに、装置がユーザーへ鉛直上方向に移動させることをリクエストしていたときは、第5表示がなされ、第5音声が出力される。このため、ユーザーが装置のリクエストに従って装置を鉛直上方向に移動させる動作を行った場合に、その動作を拒むような表示や音声の出力を防止することができる。
また、上記第一の態様において、前記第5表示は、笑顔を示し、前記第5音声は、感謝の意を示すことが好ましい。
本構成によれば、ユーザーが装置を鉛直方向に動かした場合に、装置が落下した際にダメージを受け得る虞があっても、現在から所定時間前までに、装置がユーザーへ鉛直上方向に移動させることをリクエストしていたときは、笑顔が表示され、感謝の意を示す音声が出力される。このため、ユーザーが装置のリクエストに従って装置を鉛直上方向に移動させる動作を行った場合に、その動作に対して、装置が感謝やねぎらいの意を示していることを、ユーザーに容易に把握させることができる。
また、上記第一の態様において、前記第1センサー及び前記第2センサーは、前記装置の水平方向及び鉛直方向の加速度を検出する加速度センサーであってもよい。
本構成によれば、加速度センサーを第1センサー及び第2センサーとして兼用することができる。このため、第1センサー及び第2センサーを個別に設ける場合よりも、装置の構成を簡素化し、装置を安価に構成することができる。
また、本開示の一態様に係るロボットは、ユーザーによって動かされるロボットであって、前記ロボットの動き及び動く方向を検出する第1センサーと、前記ロボットの鉛直方向の移動距離を測定する第2センサーと、前記ロボットの周辺の映像を取得するカメラと、プロセッサと、ディスプレイと、スピーカーと、を備え、前記プロセッサは、前記第1センサーの検知結果に基づいて、前記ロボットが鉛直方向に動かされたか判断し、前記ロボットが鉛直方向に動かされたと判断した場合は、前記第2センサーの検知結果に基づいて、前記ロボットの真下にある物体から前記ロボットまでの距離を算出し、前記カメラから取得された映像に基づいて、前記ロボットの二次元位置を測定し、前記ロボットの二次元位置と前記二次元位置で前記ロボットが落下した際に前記ロボットにダメージを与え得る高さとの対応関係を示した第1テーブルにおいて前記測定された二次元位置に対応する高さと前記算出された距離を比較し、前記対応する高さより前記算出された距離が長い場合は、前記ディスプレイに第1表示をさせ、前記スピーカーに第1音声を出力させ、前記算出された距離が前記対応する高さ以下の場合は、前記ディスプレイに第2表示をさせ、前記スピーカーに第2音声を出力させる。
本構成によれば、ロボットが鉛直方向に動かされた場合に、ロボットの真下の物体からロボットまでの距離が、ロボットの二次元位置に対応する、ロボットが落下した際にロボットにダメージを与え得る高さよりも長いときは、第1表示がなされ、第1音声が出力される。一方、ロボットの真下の物体からロボットまでの距離が、ロボットの二次元位置に対応する、ロボットが落下した際にロボットにダメージを与え得る高さ以下のときは、第2表示がなされ、第2音声が出力される。
このため、ロボットの二次元位置によってロボットの真下にある物体の高さが異なる空間において、ロボットが鉛直方向に動かされた場合に、ロボットの真下にある物体までの距離に応じて、ロボットが落下した際にダメージを受け得るか否かを適切にユーザーに報知することができる。
また、本開示の一態様に係る方法は、ユーザーによって動かされる装置に感情を表現させる方法であって、前記装置は、前記装置の動き及び動く方向を検出する第1センサーと、前記装置の鉛直方向の移動距離を測定する第2センサーと、前記装置の周辺の映像を取得するカメラと、ディスプレイと、スピーカーと、を備え、前記第1センサーの検知結果に基づいて、前記装置が鉛直方向に動かされたか判断し、前記装置が鉛直方向に動かされたと判断した場合は、前記第2センサーの検知結果に基づいて、前記装置の真下にある物体から前記装置までの距離を算出し、前記カメラから取得された映像に基づいて、前記装置の二次元位置を測定し、前記装置の二次元位置と前記二次元位置で前記装置が落下した際に前記装置にダメージを与え得る高さとの対応関係を示した第1テーブルにおいて前記測定された二次元位置に対応する高さと前記算出された距離を比較し、前記対応する高さより前記算出された距離が長い場合は、前記ディスプレイに第1表示をさせ、前記スピーカーに第1音声を出力させ、前記算出された距離が前記対応する高さ以下の場合は、前記ディスプレイに第2表示をさせ、前記スピーカーに第2音声を出力させる。
また、本開示は、上記のような特徴的な処理を実行する方法だけでなく、当該方法に含まれる特徴的な処理を前記装置のプロセッサに実行させるプログラムも開示する。このようなプログラムを、CD−ROM等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
また、本開示の第二の態様に係る装置は、ユーザーによって動かされる装置であって、前記装置の動き及び動く方向を検出する第1センサーと、前記装置の真下にある物体までの距離を測定する第3センサーと、前記装置の周辺の映像を取得するカメラと、プロセッサと、ディスプレイと、スピーカーと、を備え、前記プロセッサは、前記第1センサーの検知結果に基づいて、前記装置が鉛直方向に動かされたか判断し、前記装置が鉛直方向に動かされたと判断した場合は、前記第3センサーの検知結果に基づいて、前記装置の真下にある物体から前記装置までの距離を算出し、前記カメラから取得された映像に基づいて、前記装置の真下にある物体の材質を判断し、物体の材質と前記物体に前記装置が落下した際に前記装置にダメージを与え得る高さとの対応関係を示したテーブルにおいて前記判断された前記材質に対応する高さと前記算出された距離を比較し、前記対応する高さより前記算出された距離が長い場合は、前記ディスプレイに第1表示をさせ、前記スピーカーに第1音声を出力させ、前記算出された距離が前記対応する高さ以下の場合は、前記ディスプレイに第2表示をさせ、前記スピーカーに第2音声を出力させる。
本構成によれば、装置が鉛直方向に動かされた場合に、装置の真下の物体から装置までの距離が、装置の真下にある物体の材質に対応する、装置が落下した際に装置にダメージを与え得る高さよりも長いときは、第1表示がなされ、第1音声が出力される。一方、装置の真下の物体から装置までの距離が、装置の真下にある物体の材質に対応する、装置が落下した際に装置にダメージを与え得る高さ以下のときは、第2表示がなされ、第2音声が出力される。
このため、装置の二次元位置によって装置の真下にある物体の高さや材質が異なる空間において、装置が鉛直方向に動かされた場合に、装置の真下にある物体までの距離及び当該物体の材質に応じて、装置が落下した際にダメージを受け得るか否かを適切にユーザーに報知することができる。
また、上記第二の態様において、前記プロセッサは、前記装置が鉛直方向に動かされていないと判断した場合は、前記第1センサーの検知結果に基づいて、前記装置が水平方向に動かされたか判断し、前記装置が水平方向に動かされたと判断した場合は、前記第3センサーの検知結果に基づいて、前記装置の真下にある物体から前記装置までの距離を算出し、前記映像に基づいて、前記装置の真下にある物体の材質を判断し、前記テーブルにおいて前記判断された前記材質に対応する高さと前記算出された距離を比較し、前記対応する高さより前記算出された距離が長い場合は、前記ディスプレイに第1表示をさせ、前記スピーカーに第1音声を出力させ、前記算出された距離が前記対応する高さ以下の場合は、前記ディスプレイに第2表示をさせ、前記スピーカーに第2音声を出力させてもよい。
本構成によれば、装置が水平方向に動かされた場合に、装置の真下の物体から装置までの距離が、装置の真下にある物体の材質に対応する、装置が落下した際に装置にダメージを与え得る高さよりも長いときは、第1表示がなされ、第1音声が出力される。一方、装置の真下の物体から装置までの距離が、装置の真下にある物体の材質に対応する、装置が落下した際に装置にダメージを与え得る高さ以下のときは、第2表示がなされ、第2音声が出力される。
このため、装置の二次元位置によって装置の真下にある物体の高さや材質が異なる空間において、装置が水平方向に動かされた場合に、装置の真下にある物体までの距離及び当該物体の材質に応じて、装置が落下した際にダメージを受け得るか否かを適切にユーザーに報知することができる。
また、上記第二の態様において、前記ディスプレイは、前記装置の表情を両目と口によって表示し、前記第1表示は、恐怖又は困惑の表情を示し、前記第1音声は、危険を通知する又はより低い高さへ前記装置を移動させることを前記ユーザーへリクエストすることが好ましい。
本構成によれば、装置が落下した際にダメージを受け得る場合、両目と口によって恐怖又は困惑の表情が表示され、危険を通知する又はより低い高さへ装置を移動させることをユーザーへリクエストする音声が出力される。このため、これらの表示又は音声を通じて、装置が落下した際にダメージを受け得ることを、ユーザーに容易に把握させることができる。
また、上記第二の態様において、前記ディスプレイは、前記装置の表情を両目と口によって表示し、前記第2表示は、喜びの表情を示し、前記第2音声は、前記装置の高さを肯定することが好ましい。
本構成によれば、装置が落下した際にダメージを受け得ない場合、両目と口によって喜びの表情が表示され、装置の高さを肯定する音声が出力される。このため、これらの表示又は音声を通じて、装置が落下した際にダメージを受け得ないことを、ユーザーに容易に把握させることができる。
また、上記第二の態様において、前記テーブルにおいて、前記二次元位置において前記装置が落下した際に前記装置にダメージを与え得る高さは第3高さと第4高さとを含み、前記第4高さは前記第3高さよりも高く、前記第1表示は第3表示と第4表示を含み、前記第1音声は第3音声と第4音声を含み、前記ディスプレイは、前記装置の表情を両目と口によって表示し、前記プロセッサは、前記測定された二次元位置に対応する前記第3高さより前記算出された距離が長く、且つ、前記算出された距離が前記測定された二次元位置に対応する前記第4高さ以下である場合は、前記ディスプレイに前記第3表示をさせ、前記スピーカーに前記第3音声を出力させ、前記測定された二次元位置に対応する前記第2高さより前記算出された距離が長い場合は、前記ディスプレイに前記第4表示をさせ、前記スピーカーに前記第4音声を出力させ、前記第3表示は、困惑の表情を示し、前記第4表示は、恐怖の表情を示し、前記第3音声は、より低い高さへ前記装置を移動させることを前記ユーザーへリクエストし、前記第4音声は、危険を通知することが好ましい。
本構成によれば、装置が鉛直方向に動かされた場合に、装置の真下の物体から装置までの距離が第3高さより長く、且つ、第4高さ以下のときは、両目と口によって困惑の表情が表示され、より低い高さへ装置を移動させることをユーザーへリクエストする音声が出力される。一方、前記距離が第4高さよりも長いときは、両目と口によって恐怖の表情が表示され、危険を通知する音声が出力される。
このため、これらの表示又は音声を通じて、前記距離が第3高さより長く、且つ、第4高さ以下の場合及び前記距離が第4高さよりも長い場合に、装置が落下した際にダメージを受け得ることを、ユーザーに容易に把握させることができる。また、これらの表示又は音声を通じて、前記距離が第4高さよりも長い場合の方が、前記距離が第3高さより長く、且つ、第4高さ以下の場合よりも、装置が落下した際に受け得るダメージが大きいことを、ユーザーに容易に把握させることができる。
また、上記第二の態様において、前記プロセッサは、更に、前記装置と前記ユーザーとの対話履歴を記憶したデータベースを参照し、前記対話履歴において現在から所定時間前までに、前記装置が前記ユーザーへ前記装置を鉛直上方向に移動させることをリクエストしたか判断し、前記装置が前記ユーザーへ前記装置を鉛直上方向に移動させることをリクエストしたと判断した場合、且つ、前記対応する高さより前記算出された距離が長い場合は、前記ディスプレイに第5表示をさせ、前記スピーカーに第5音声を出力させてもよい。
本構成によれば、装置の真下の物体から装置までの距離が、装置の真下にある物体の材質に対応する、装置が落下した際に装置にダメージを与え得る高さよりも長い場合であっても、現在から所定時間前までに、装置がユーザーへ鉛直上方向に移動させることをリクエストしていたときは、第5表示がなされ、第5音声が出力される。このため、ユーザーが装置のリクエストに従って装置を鉛直上方向に移動させる動作を行った場合に、その動作を拒むような表示や音声の出力を防止することができる。
また、上記第二の態様において、前記第5表示は、笑顔を示し、前記第5音声は、感謝の意を示すことが好ましい。
本構成によれば、ユーザーが装置を鉛直方向に動かした場合に、装置が落下した際にダメージを受け得る虞があっても、現在から所定時間前までに、装置がユーザーへ鉛直上方向に移動させることをリクエストしていたときは、笑顔が表示され、感謝の意を示す音声が出力される。このため、ユーザーが装置のリクエストに従って装置を鉛直上方向に移動させる動作を行った場合に、その動作に対して、装置が感謝やねぎらいの意を示していることを、ユーザーに容易に把握させることができる。
また、本開示の一態様に係るロボットは、ユーザーによって動かされるロボットであって、前記ロボットの動き及び動く方向を検出する第1センサーと、前記ロボットの真下にある物体までの距離を測定する第3センサーと、前記ロボットの周辺の映像を取得するカメラと、プロセッサと、ディスプレイと、スピーカーと、を備え、前記プロセッサは、前記第1センサーの検知結果に基づいて、前記ロボットが鉛直方向に動かされたか判断し、前記ロボットが鉛直方向に動かされたと判断した場合は、前記第3センサーの検知結果に基づいて、前記ロボットの真下にある物体から前記ロボットまでの距離を算出し、前記カメラから取得された映像に基づいて、前記ロボットの真下にある物体の材質を判断し、物体の材質と前記物体に前記ロボットが落下した際に前記ロボットにダメージを与え得る高さとの対応関係を示したテーブルにおいて前記判断された前記材質に対応する高さと前記算出された距離を比較し、前記対応する高さより前記算出された距離が長い場合は、前記ディスプレイに第1表示をさせ、前記スピーカーに第1音声を出力させ、前記算出された距離が前記対応する高さ以下の場合は、前記ディスプレイに第2表示をさせ、前記スピーカーに第2音声を出力させる。
本構成によれば、ロボットが鉛直方向に動かされた場合に、ロボットの真下の物体からロボットまでの距離が、ロボットの真下にある物体の材質に対応する、ロボットが落下した際にロボットにダメージを与え得る高さよりも長いときは、第1表示がなされ、第1音声が出力される。一方、ロボットの真下の物体からロボットまでの距離が、ロボットの真下にある物体の材質に対応する、ロボットが落下した際にロボットにダメージを与え得る高さ以下のときは、第2表示がなされ、第2音声が出力される。
このため、ロボットの二次元位置によってロボットの真下にある物体の高さや材質が異なる空間において、ロボットが鉛直方向に動かされた場合に、ロボットの真下にある物体までの距離及び当該物体の材質に応じて、ロボットが落下した際にダメージを受け得るか否かを適切にユーザーに報知することができる。
また、本開示の一態様に係る方法は、ユーザーによって動かされる装置に感情を表現させる方法であって、前記装置は、前記装置の動き及び動く方向を検出する第1センサーと、前記装置の真下にある物体までの距離を測定する第3センサーと、前記装置の周辺の映像を取得するカメラと、ディスプレイと、スピーカーと、を備え、前記第1センサーの検知結果に基づいて、前記装置が鉛直方向に動かされたか判断し、前記装置が鉛直方向に動かされたと判断した場合は、前記第3センサーの検知結果に基づいて、前記装置の真下にある物体から前記装置までの距離を算出し、前記カメラから取得された映像に基づいて、前記装置の真下にある物体の材質を判断し、物体の材質と前記物体に前記装置が落下した際に前記装置にダメージを与え得る高さとの対応関係を示したテーブルにおいて前記判断された前記材質に対応する高さと前記算出された距離を比較し、前記対応する高さより前記算出された距離が長い場合は、前記ディスプレイに第1表示をさせ、前記スピーカーに第1音声を出力させ、前記算出された距離が前記対応する高さ以下の場合は、前記ディスプレイに第2表示をさせ、前記スピーカーに第2音声を出力させる。
また、本開示は、上記のような特徴的な処理を実行する方法だけでなく、当該方法に含まれる特徴的な処理を前記装置のプロセッサに実行させるプログラムも開示する。このようなプログラムを、CD−ROM等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
尚、以下で説明する実施形態は、何れも本開示の一具体例を示すものである。以下の実施形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施形態において、各々の内容を組み合わせることも出来る。
(第1の実施形態)
先ず、本開示の第1の実施形態に係るロボット1(装置)について説明する。ロボット1は、ユーザーによって持ち上げられる又は運ばれる等して、ユーザーによって動かされる。また、ロボット1は、床等の上を自律的に走行可能に構成されている。具体的には、ロボット1は、HDDやSSD等の所定の記憶容量を有する不図示の記憶装置、ロボット1を走行させる駆動機構及び当該駆動機構を制御する駆動装置、無線LANや携帯情報端末キャリアの通信網等のネットワークを介して外部装置と通信を行う通信装置及びマイクロコンピューター等によって構成されている。マイクロコンピューターは、CPU(プロセッサ)、ROM及びRAM等を備え、ROMに記憶されている所定の制御プログラム(プログラム)をCPUに実行させることにより、所定の制御を行う。
図1は、本開示の第1の実施形態に係るロボット1の機能構成の一例を示すブロック図である。図1に示すように、ロボット1は、カメラ101、画像処理部102、センサー103、センサー情報取得部104、主制御部105、スピーカー106、音声情報出力制御部107、ディスプレイ108、表示情報出力制御部109、メモリ110、対話履歴DB111、部屋マップDB112、位置危険高さDB113、材質危険高さDB114及び表現DB115として機能する。
カメラ101は、静止画を撮影するカメラや動画を撮影するビデオカメラによって構成され、ロボット1の周辺の画像(映像)を取得する。カメラ101の撮影方向は、主制御部105によって調整される。ただし、第1実施形態では、カメラ101の撮影方向は、ロボット1の鉛直方向下方(以降、真下)には調整できない構成となっている。
画像処理部102は、マイクロコンピューターによって構成され、カメラ101が取得した画像及び後述の部屋マップDB112が管理している各部屋の部屋マップ情報に基づき、各部屋の中におけるロボット1の相対位置(二次元位置)を推定する。部屋マップDB112、部屋マップ情報及びロボット1の相対位置の推定方法については後述する。また、画像処理部102は、公知の画像認識処理を行うことにより、カメラ101が取得した画像に含まれる床及び障害物の画像に基づき、床及び障害物其々の材質及び高さを識別する。
センサー103は、例えば、加速度センサーやジャイロセンサー等のロボット1の移動の有無(動き)及び移動方向(動く方向)を検出するセンサー(第1センサー)と、加速度センサー等のロボット1の鉛直方向の移動距離を検出するセンサー(第2センサー)と、赤外線距離センサー等のロボット1の真下にある床又は障害物からロボット1までの距離を検出するセンサー(第3センサー)と、のうち、一以上のセンサーによって構成される。
第1の実施形態では、センサー103は、加速度センサーによって構成されているものとする。つまり、第1の実施形態では、センサー103は、加速度センサーによって検出されるロボット1の水平方向及び鉛直方向の加速度に基づき、ロボット1の移動の有無及び移動方向と、ロボット1の鉛直方向の移動距離と、を検出可能であるものとする。
センサー情報取得部104は、マイクロコンピューターによって構成され、センサー103によって検出された情報に基づき、ユーザーがロボット1に対して行った動作を判定する。ユーザーがロボット1に対して行う動作には、ロボット1を持ち上げる動作、ロボット1を運ぶ動作及びロボット1を下ろす動作が含まれる。以降、ユーザーがロボット1に対して行う動作をユーザー動作と略記する。
主制御部105は、マイクロコンピューターによって構成され、ロボット1の動作を制御する。例えば、主制御部105は、ロボット1を所定の走行方向に走行させる制御や、ロボット1の現在位置に応じて、ロボット1の感情表現を変化させる制御等を行う。
スピーカー106は、音声情報出力制御部107による制御の下、入力された音声信号を物理振動に変換することで、当該音声信号が表す音声を出力する。
音声情報出力制御部107は、マイクロコンピューターによって構成され、主制御部105による制御の下、所定の発話テキスト文を表す音声信号を生成し、スピーカー106に、当該音声信号が表す発話テキスト文の音声を出力させる。
ディスプレイ108は、例えば、複数の発光ダイオードにより構成され、表示情報出力制御部109による制御の下、ロボット1の表情を表す表示情報を表示する。
表示情報出力制御部109は、マイクロコンピューターによって構成され、主制御部105による制御の下、所定の表情を表す表示情報をディスプレイ108に出力させる。これにより、ディスプレイ108は、表示情報が表すロボット1の表情を表示する。
メモリ110は、RAM等の揮発性の記憶装置によって構成され、ロボット1の制御に用いる各種データや制御プログラム等を記憶する。
対話履歴DB111は、HDD(Hard Disk Drive)やSSD(Solid State Drive)等の不揮発性の記憶装置によって構成される。対話履歴DB111は、一定期間内(例えば1日間等)におけるロボット1とユーザーの対話の内容を表す対話情報を対話履歴として管理する。尚、対話情報は、ロボット1とユーザーの対話の内容を表すテキスト文であってもよいし、当該対話の内容を表す音声信号を変換してデータ化したものであってもよい。
部屋マップDB112は、HDDやSSD等の不揮発性の記憶装置によって構成される。部屋マップDB112は、各部屋の部屋マップ情報を管理する。各部屋の部屋マップ情報とは、各部屋を表す領域における床及び障害物(物体)其々の配置領域を示す情報である。図2に、部屋マップDB112が管理する部屋マップ情報の一例を示す。例えば、図2に示す部屋マップ情報では、ある部屋を表す矩形領域において、下辺の中央付近に存在する「障害物1」、上辺の中央付近に存在する「障害物2」及び左下隅に存在する「障害物3」の配置領域が図示され、残りの領域が「床」の配置領域として図示されている。尚、各部屋の部屋マップ情報は、主制御部105が例えばSLAM(Simultaneous Localization and Mapping)等の公知のマップ作成処理を行うこと等によって生成される。
位置危険高さDB113は、HDDやSSD等の不揮発性の記憶装置によって構成される。図3は、位置危険高さテーブルT3(第1テーブル、第2テーブル)の一例を示す図である。位置危険高さDB113は、各部屋の中に存在するロボット1が真下にある床又は障害物に落下した際にロボット1が故障し得るときの、ロボット1の当該床又は障害物からの高さに関する情報(以降、位置危険高さ情報)を、図3に示す位置危険高さテーブルT3を用いて管理する。
具体的には、位置危険高さ情報には、部屋名X301、位置範囲X302、材質X303、高さX304、危険高さ1X305及び危険高さ2X306が含まれる。位置危険高さDB113は、位置危険高さ情報に含まれる各情報X301〜306を其々対応付けて位置危険高さテーブルT3に記憶することによって、位置危険高さ情報を管理する。
部屋名X301は、ロボット1が存在する部屋を特定するための識別子である。位置範囲X302は、部屋の中の床又は障害物の配置領域を示す情報である。例えば、位置範囲X302は、床又は障害物が矩形の場合、部屋の四隅の何れかを基準点(例えば、左上隅)にしたときの当該床又は障害物の四個の頂点の相対位置(二次元位置)を表す四個の座標情報によって構成される。
材質X303は、部屋の中の床又は障害物の材質の識別子である。高さX304は、部屋の中の床又は障害物の高さである。部屋の中の床又は障害物の高さとは、床面から床又は障害物の鉛直方向の最高点までの距離を示す。例えば、図3に示す位置危険高さテーブルでは、材質X303が「ソファー」である障害物の高さX304は、床面から当該障害物の鉛直方向の最高点までの距離である「30cm」に設定される。また、材質X303が「カーペット」や「フローリング」等の床を表す材質である床の高さX304は、「0cm」に設定される。
危険高さ1X305(第1高さ)及び危険高さ2X306(第2高さ)は、ロボット1が真下にある材質X303の床又は障害物に落下した際にロボット1が故障し得る(ロボット1にダメージを与え得る)ときの、ロボット1の当該床又は障害物からの高さを示す情報である。
危険高さ1X305は、ロボット1が故障する可能性が低いときの高さを示し、危険高さ2X306は、ロボット1が故障する可能性が高いときの高さを示す。したがって、危険高さ2X306は、危険高さ1X305が表す高さよりも高く設定される。例えば、図3に示す位置危険高さテーブルT3では、部屋名X301「リビング」で特定される部屋の中の、材質X303が「カーペット」の床に対応する危険高さ2X306「60cm」が、危険高さ1X305「30cm」よりも高く設定されている。
つまり、ロボット1が存在する部屋及びその部屋の中におけるロボット1の相対位置が分かれば、位置危険高さテーブルT3において当該部屋の部屋名X301及び当該相対位置を含む位置範囲X302に対応付けられている危険高さ1X305及び危険高さ2X306を取得できる。位置危険高さテーブルT3の作成方法については後述する。
材質危険高さDB114は、HDDやSSD等の不揮発性の記憶装置によって構成される。図4は、材質危険高さテーブルT4(テーブル)の一例を示す図である。材質危険高さDB114は、部屋の中に存在し得る床及び障害物の材質と、その材質の床又は障害物にロボット1が落下した際にロボット1が故障し得るときの、ロボット1の当該床又は障害物からの高さに関する情報と、を対応付けた材質危険高さ情報を、図4に示す材質危険高さテーブルT4を用いて管理する。
具体的には、材質危険高さ情報には、材質X401、危険高さ1X402、危険高さ2X403が含まれる。材質危険高さDB114は、材質危険高さ情報に含まれる各情報X401〜403を其々対応付けて材質危険高さテーブルT4に予め記憶することによって、材質危険高さ情報を管理する。
材質X401は、部屋の中に存在し得る床又は障害物の材質の識別子である。危険高さ1X402及び危険高さ2X403は、ロボット1が材質X401の床又は障害物に落下した際にロボット1が故障し得るときの、ロボット1の当該床又は障害物からの高さを示す情報である。危険高さ1X402(第3高さ)は、ロボット1が故障する可能性が低いときの高さを示し、危険高さ2X403(第4高さ)は、ロボット1が故障する可能性が高いときの高さを示す。したがって、危険高さ2X403は、危険高さ1X402が表す高さよりも高く予め設定されている。
例えば、図4に示す材質危険高さテーブルT4では、材質X401が「カーペット」の床に対応する危険高さ2X403「60cm」は、危険高さ1X402「30cm」よりも高く予め設定されている。
表現DB115は、HDDやSSD等の不揮発性の記憶装置によって構成される。図5は、表現テーブルT5の一例を示す図である。表現DB115は、ロボット1が、恐怖、困惑、喜び及び感謝等の感情を表現する(以降、感情表現を行う)場合に取り得る一以上の表情と、ロボット1が当該感情表現を行う場合に発話し得る一以上の内容を其々表す一以上の発話テキスト文と、を対応付けた表現情報を、図5に示す表現テーブルT5を用いて管理する。
具体的には、表現情報には、表現X501、表情X502及び発話内容X503が含まれる。表現DB115は、表現情報に含まれる各情報X501〜503を其々対応付けて表現テーブルT5に予め記憶することによって、表現情報を管理する。
表現X501は、ロボット1が行う感情表現を特定するための識別子である。表情X502は、ロボット1が、表現X501が表す感情表現を行っているときに取り得る一以上の表情の識別子である。発話内容X503は、ロボット1が、表現X501が表す感情表現を行っているときに発話し得る一以上の内容を其々表す一以上の発話テキスト文である。
例えば、主制御部105は、ロボット1に感情表現を行わせる場合、表現テーブルT5において、当該感情に対応する表現X501に対応付けられた、表情X502及び発話内容X503を取得する。そして、主制御部105は、当該取得した表情X502に含まれる一以上の表情の識別子から一の表情の識別子を選択し、当該取得した発話内容X503に含まれる一以上の発話テキスト文から一の発話テキスト文を選択する。尚、主制御部105は、これら一の表情の識別子及び一の発話テキスト文を、例えばランダムに選択してもよいし、予め定められた順番に従って選択してもよい。
そして、主制御部105は、表示情報出力制御部109(図1)を制御して、選択した一の表情の識別子で特定される表情を表す表示情報をディスプレイ108に出力させる。また、主制御部105は、音声情報出力制御部107(図1)を制御して、選択した一の発話テキスト文を表す音声信号を生成させ、スピーカー106に当該音声信号が表す発話テキスト文の音声を出力させる。
例えば、主制御部105は、図5に示す表現テーブルT5における表現X501「恐怖表現」が表す表現をロボット1に行わせる場合、表現テーブルT5において表現X501「恐怖表現」に対応付けられている表情X502「表情3」、発話内容X503「ああ、怖い!怖い!」を選択する。そして、主制御部105は、表示情報出力制御部109を制御して、表情X502「表情3」を表す表示情報をディスプレイ108に出力させ、音声情報出力制御部107(図1)を制御して、発話内容X503「ああ、怖い!怖い!」の音声をスピーカー106に出力させる。
(ロボット1の感情表現を変化させる制御の全体的な動作)
次に、第1の実施の形態において、主制御部105が、ロボット1の現在位置に応じてロボット1の感情表現を変化させる制御の全体的な動作について説明する。図6は、本開示の第1の実施形態に係るロボット1の感情表現を変化させる制御の一例を示すフローチャートである。
図6に示すように、主制御部105は、先ず、位置危険高さテーブルT3を作成する(ステップS601)。次に、センサー情報取得部104は、センサー103から取得した情報に基づき、ユーザー動作を判定する(ステップS602)。
ステップS602において、ユーザー動作が判定されると(ステップS603でYES)、主制御部105は、ロボット1の真下の床又は障害物からロボット1までの高さを算出する(ステップS604)。ステップS602において、ユーザー動作が判定されていない場合(ステップS603でNO)、処理はステップS602に戻る。
ステップS604の後、主制御部105は、ステップS605で表現決定処理を実行する(ステップS605)。ステップS605の表現決定処理では、主制御部105は、ステップS604で算出したロボット1から真下の床又は障害物までの高さと、各部屋におけるロボット1の相対位置に対応する危険高さとを比較した結果に基づき、ロボット1に行わせる感情表現を決定する。各部屋におけるロボット1の相対位置に対応する危険高さとは、位置危険高さテーブルT3(図3)において、ロボット1が存在する部屋の識別子と一致する部屋名X301及びロボット1の部屋の中における相対位置を示す座標情報を含む位置範囲X302に対応付けられている、危険高さ1X305及び危険高さ2X306を示す。
次に、主制御部105は、ステップS606で表現実行処理を実行する(ステップS606)。ステップS606では、主制御部105は、ステップS605で決定した感情表現をロボット1に行わせるか否かを判断する。そして、主制御部105は、当該感情表現をロボット1に行わせると判断した場合は、ロボット1に当該感情表現を行わせる。一方、主制御部105は、当該感情表現をロボット1に行わせないと判断した場合は、ロボット1に当該感情表現を行わせない。
ステップS606の後、処理は、ステップS602に戻り、ステップS602以降の処理が繰り返される。
(位置危険高さテーブルT3(図3)の作成処理の詳細)
次に、前記全体的なフローチャートの中の各処理の詳細について説明する。先ず、ステップS601における位置危険高さテーブルT3(図3)の作成処理の詳細について説明する。図7は、位置危険高さテーブルT3の作成処理の一例を示すフローチャートである。
図7に示すように、主制御部105は、位置危険高さテーブルT3の作成処理を開始すると、先ず、部屋マップDB112が管理する各部屋(例えばリビング、寝室等)の部屋マップ情報を順番にメモリ110に記憶する。また、主制御部105は、位置危険高さDB113によって、位置危険高さテーブルT3(図3)に記憶されている全ての位置危険高さ情報を削除させる。これにより、主制御部105は、位置危険高さテーブルT3を初期化する(ステップS701)。
次に、主制御部105は、変数iを1に初期化し(ステップS702)、ステップS703〜ステップS709を実行する。
ステップS703では、主制御部105は、ステップS701でi番目にメモリ110に記憶した部屋マップ情報(図2)をメモリ110から読み出し、これを第一の部屋マップ情報M1として設定する。
次に、主制御部105は、第一の部屋マップ情報M1に対応した部屋の床の材質を判定する(ステップS704)。具体的には、ステップS704において、主制御部105は、例えば前記駆動装置に前記駆動機構を制御させることにより、ロボット1を走行させながら、カメラ101にロボット1の周辺の画像を取得させる。そして、主制御部105は、当該取得された画像に対して公知の画像認識処理を行うことにより、当該画像に含まれる床の材質を判定する。
尚、主制御部105は、カメラ101によって取得された床の画像から、床の材質を判定できない場合、ユーザーが操作するスマートフォン等の外部装置と前記通信装置を介して通信を行い、外部装置においてユーザーによって入力された床の材質を取得するようにしてもよい。
そして、主制御部105は、ステップS704で判定した床の材質を示す情報を第一の部屋マップ情報M1に追加し、これを第二の部屋マップ情報M2として設定する(ステップS705)。尚、主制御部105は、ステップS704において部屋の床が複数種類の材質で構成されていると判定した場合、ステップS705において、各種類の材質の床の領域を示す画像を第一の部屋マップ情報M1に追加する。
図8は、第二の部屋マップ情報M2の一例を示す図である。例えば、第一の部屋マップ情報M1が、図2に示す部屋マップ情報であるものとする。また、ステップS704において、主制御部105は、部屋の中央部付近の矩形の床の領域の材質がカーペットであり、その他の床の領域の材質がフローリングであると判定したとする。
この場合、主制御部105は、図8に示すように、第一の部屋マップ情報M1(図2)における部屋の中央部付近に、前記矩形の床の領域を表す矩形画像を追加し、当該矩形画像の内側に当該矩形の床の材質を示す「カーペット」を追加する。更に、主制御部105は、図8に示すように、第一の部屋マップ情報M1(図2)における前記その他の床の領域を表す画像の内側に、床の材質を示す「フローリング」を追加する。
次に、主制御部105は、第二の部屋マップ情報M2に対応する部屋の中に存在する各障害物の材質及びその障害物の高さを判定する(ステップS706)。具体的には、ステップS706において、主制御部105は、ステップS704と同様、例えば、前記駆動装置に前記駆動機構を制御させることで、ロボット1を走行させながら、カメラ101ににロボット1の周辺の画像を取得させる。そして、主制御部105は、当該取得された画像に対して公知の画像認識処理を行うことにより、当該画像に含まれる各障害物の材質及び高さを判定する。
尚、主制御部105は、カメラ101によって取得された障害物の画像から、障害物の材質及び高さを判定できない場合、ユーザーが操作するスマートフォン等の外部装置と前記通信装置を介して通信を行い、外部装置においてユーザーによって入力された各障害物の材質及び高さを取得するようにしてもよい。また、ステップS706において、主制御部105が、障害物の材質として、障害物の物体の種類(例えばソファー、テレビ、本棚等)を判定するようにしてもよい。
そして、主制御部105は、ステップS706で判定した障害物の材質及び高さを示す情報を第二の部屋マップ情報M2に追加し、これを第三の部屋マップ情報M3として設定する(ステップS707)。
図9は、第三の部屋マップ情報M3の一例を示す図である。例えば、第二の部屋マップ情報M2が、図8に示す部屋マップ情報であるものとする。また、ステップS706において、主制御部105は、部屋を表す矩形領域において下辺の中央付近に存在する「障害物1」の材質及び高さが「ソファー」及び「30cm」であると判定し、上辺の中央付近に存在する「障害物2」の材質及び高さが、「テレビ」及び「80cm」であると判定し、左下隅に存在する「障害物3」の材質及び高さが、「本棚」及び「190cm」であると判定したとする。
この場合、主制御部105は、図9に示すように、第二の部屋マップ情報M2(図8)における「障害物1」の配置領域を示す画像の内側に、「障害物1」の材質及び高さを示す「ソファー」及び「30cm」を追加し、「障害物2」の配置領域を示す画像の内側に、「障害物2」の材質及び高さを示す「テレビ」及び「80cm」を追加し、「障害物3」の配置領域を示す画像の内側に、「障害物3」の材質及び高さを示す「本棚」及び「190cm」を追加する。
次に、主制御部105は、第三の部屋マップ情報M3の床及び障害物の配置領域に追加されている、床及び障害物の材質及び高さを示す情報を、位置危険高さテーブルT3(図3)に追記する(ステップS708)。
具体的には、ステップS708において、主制御部105は、位置危険高さテーブルT3(図3)の部屋名X301に、第三の部屋マップ情報M3に対応する部屋の識別子、つまり、ステップS703でメモリ110から読み出したi番目の部屋マップ情報(図2)に対応する部屋の識別子を記憶する。
主制御部105は、位置範囲X302に、第三の部屋マップ情報M3に含まれる床及び障害物其々の配置領域を示す座標情報を記憶する。例えば、床の配置領域が矩形の場合、主制御部105は、第三の部屋マップ情報M3に対する部屋の四隅の内の何れかを基準点としたときの当該床の配置領域の四頂点の相対位置を示す、四個の座標情報を記憶する。
主制御部105は、材質X303に、第三の部屋マップ情報M3に含まれる床及び障害物其々の材質の識別子を記憶し、高さX304に、当該床及び障害物其々の高さを記憶する。尚、主制御部105は、第三の部屋マップ情報M3に床の材質の識別子(例えば、フローリング、カーペット等)が含まれていた場合、当該材質の物体の高さX304には、「0cm」を記憶する。
主制御部105は、危険高さ1X305及び危険高さ2X306には、材質危険高さテーブルT4(図4)において、材質X303(例えば「カーペット」)と一致する材質X401に対応付けられている危険高さ1X402(例えば「30cm」)及び危険高さ2X403(例えば「60cm」)を其々記憶する。
ステップS708の後、主制御部105は、変数iを1増加し(ステップS709)、ステップS703以降の処理を繰り返す。このようにして、主制御部105は、部屋マップDB112が管理している各部屋の第一の部屋マップ情報M1に基づき、位置危険高さ情報(X301〜X306)を位置危険高さテーブルT3(図3)に順次追加する。
(ユーザー動作を判定する処理の詳細)
次に、ステップS602(図6)におけるユーザー動作を判定する処理(以降、ユーザー動作判定処理)の詳細について説明する。図10は、ユーザー動作判定処理の一例を示すフローチャートである。
図10に示すように、センサー情報取得部104は、ユーザー動作判定処理を開始すると、先ず、ユーザーがロボット1を持ち上げる動作を行ったか(鉛直方向に動かしたか)否かを判定する(ステップS1001)。
具体的には、ステップS1001において、センサー103を構成する加速度センサーが検出したロボット1の鉛直方向上方へ向かう加速度(以降、Z軸方向の加速度)がプラスの第1の閾値以上になると、センサー103は、ロボット1が鉛直方向の上方に移動したことを検出する。この場合、センサー情報取得部104は、ユーザーがロボット1を持ち上げる動作を行ったと判定する(ステップS1001でYES)。
この場合、センサー情報取得部104は、ユーザー動作の判定が終了したか否かを示す動作検出フラグを、ユーザー動作の判定が終了したことを示すTrueに設定し、ユーザー動作の種類を「持ち上げ」に設定する(ステップS1002)。
一方、ロボット1のZ軸方向の加速度が第1の閾値以上ではない場合、センサー103は、ロボット1が鉛直方向の上方に移動したことを検出しない。この場合、センサー情報取得部104は、ユーザーがロボット1を持ち上げる動作を行っていないと判定し(ステップS1001でNO)、ユーザーがロボット1を下ろす動作を行ったか(鉛直方向に動かしたか)否かを判定する(ステップS1003)。
具体的には、ステップS1003において、前記加速度センサーが検出したロボット1のZ軸方向の加速度がマイナスの第2の閾値以下になると、センサー103は、ロボット1が鉛直方向の下方に移動したことを検出する。この場合、センサー情報取得部104は、ユーザーがロボット1を下ろす動作を行ったと判定する(ステップS1003でYES)。この場合、センサー情報取得部104は、動作検出フラグをTrueに設定し、ユーザー動作の種類を「下ろし」に設定する(ステップS1004)。
一方、ロボット1のZ軸方向の加速度が第2の閾値以下ではない場合、センサー103は、ロボット1が鉛直方向の下方に移動したことを検出しない。この場合、センサー情報取得部104は、ユーザーがロボット1を下ろす動作を行っていないと判定し(S1003でNO)、ユーザーがロボット1を運ぶ動作を行ったか(水平方向に動かしたか)否かを判定する(ステップS1005)。
具体的には、ステップS1005において、前記加速度センサーが検出したロボット1の水平方向且つ前進方向の加速度(以降、X軸方向の加速度)の絶対値又はロボット1の水平方向且つ左右方向(前記前進方向に対して直交する方向)の加速度(以降、Y軸方向の加速度)の絶対値が、所定の第3の閾値以上になると、センサー103は、ロボット1が水平方向に移動したことを検出する。この場合、センサー情報取得部104は、ユーザーがロボット1を運ぶ動作を行ったと判定し(ステップS1005でYES)、動作検出フラグをTrueに設定し、ユーザー動作の種類を「運び」に設定する(ステップS1006)。
一方、ロボット1のX軸方向及びY軸方向の加速度の絶対値が共に第3の閾値以上ではない場合、センサー103は、ロボット1が水平方向に移動したことを検出しない。この場合、センサー情報取得部104は、ユーザーがロボット1を下ろす動作を行っていないと判定し(S1005でNO)、動作検出フラグを、ユーザー動作の判定が終了してないことを示すFalseに設定する(ステップS1007)。
(ロボット1の高さを算出する処理の詳細)
次に、ステップS604(図6)におけるロボット1の高さを算出する処理(以降、高さ算出処理)の詳細について説明する。図11は、本開示の第1の実施形態に係る高さ算出処理の一例を示すフローチャートである。
図11に示すように、主制御部105は、高さ算出処理を開始すると、先ず、ステップS602(図6)のユーザー動作判定処理において設定されたユーザー動作の種類が「運び」であるか否かを判定する(ステップS1101)。
主制御部105は、ユーザー動作の種類が「運び」ではない場合(ステップS1101でNO)、ユーザーが、ロボット1を持ち上げる又は下ろす動作を行い、ロボット1を鉛直方向に動かしたと判断する。この場合、ロボット1の真下にある床又は障害物から鉛直方向上方にロボット1が離間している距離(装置(ロボット)の真下にある物体から装置(ロボット)までの距離)H1が変化しているので、主制御部105は、当該距離H1の変化量dhを算出する(ステップS1104)。以降、ロボット1の真下にある床又は障害物から鉛直方向上方にロボット1が離間している距離H1を、床又は障害物からのロボット1の高さH1と記載する。
具体的には、主制御部105は、ユーザーがロボット1を持ち上げる又は下ろす動作を開始してから完了するまでの期間に、センサー103(図1)を構成する加速度センサーが検出したZ軸方向の加速度を二回積分して、ロボット1が鉛直方向に移動した距離を算出し、当該距離を前記変化量dhとする。尚、ユーザーがロボット1を持ち上げる動作を開始してから完了するまでの期間とは、前記加速度センサーが検出したZ軸方向の加速度が0からプラスの所定の閾値以下になるまでの期間である。ユーザーがロボット1を下ろす動作を開始してから完了するまでの期間とは、前記加速度センサーが検出したZ軸方向の加速度が0からマイナスの所定の閾値以上になるまでの期間である。
次に、主制御部105は、床又は障害物からのロボット1の高さH1にステップS1104で算出した変化量dhを加算することにより、床又は障害物からのロボット1の高さH1を「H1+dh」に更新する(ステップS1105)。尚、主制御部105は、ステップS1105の開始時に、床又は障害物からのロボット1の高さH1が初期化されていない場合は、当該高さH1を「0cm」に初期化した後、変化量dhを加算する。
次に、主制御部105は、画像処理部102を制御して、カメラ101が取得した画像及び部屋マップDB112が管理している各部屋の部屋マップ情報に基づき、部屋の中におけるロボット1の相対位置を推定させる(ステップS1106)。
具体的には、画像処理部102は、ステップS1106において、公知の画像認識処理を実行することにより、カメラ101が取得した画像に含まれる床や障害物の配置領域と、部屋マップDB112が管理している各部屋の部屋マップ情報に含まれる床や障害物の配置領域と、を比較する。当該比較した結果、画像処理部102は、カメラ101が取得した画像に含まれる床や障害物と同じ配置領域に床や障害物が配置されている部屋マップ情報を特定する。そして、画像処理部102は、当該特定した部屋マップ情報に対応する部屋の中に、ロボット1が存在すると判断する。
そして、画像処理部102は、公知の画像認識処理を実行することにより、カメラ101が取得した画像に含まれる部屋の四隅や床及び障害物と、カメラ101が取得した画像の中心等の所定の基準点と、の距離等から、部屋の中におけるロボット1の相対位置を表す座標情報を算出する。
これにより、画像処理部102は、前記特定した部屋の中における当該算出した座標情報が表す相対位置にロボット1が存在すると推定し、当該特定した部屋の識別子と、当該算出した座標情報と、を主制御部105に出力する。
一方、ユーザー動作の種類が「運び」である場合(ステップS1101でYES)、主制御部105は、ステップS1106と同様にして、部屋の中におけるロボット1の相対位置を推定させる(ステップS1102)。
ユーザーによってロボット1を運ぶ動作が行われた場合、ロボット1の真下にある床又は障害物が変化し、床又は障害物からのロボット1の高さH1が変化する可能性がある。このため、ステップS1102の後、主制御部105は、ユーザーがロボット1を運ぶ動作を行う前のロボット1の真下にあった床又は障害物の高さ(以降、前回高さ)と、ロボット1の現在位置の真下にある床又は障害物の高さと、に基づき、床又は障害物からのロボット1の高さH1を更新する(ステップS1103)。
具体的には、ステップS1103において、主制御部105は、ステップS1102において画像処理部102によって推定させたロボット1の相対位置を表す、ロボット1が存在する部屋の識別子と当該部屋の中におけるロボット1の相対位置を示す座標情報とを、画像処理部102から取得する。
そして、主制御部105は、位置危険高さテーブルT3(図3)において、当該取得したロボット1が存在する部屋の識別子(例えば「リビング」)と一致する部屋名X301及び当該取得した座標情報を含む位置範囲X302に対応付けられている材質X303(例えば「ソファー」)及び高さX304(例えば「30cm」)を取得する。
そして、主制御部105は、当該取得した材質X303(例えば「ソファー」)と、メモリ110(図1)に記憶されている、ユーザーがロボット1を運ぶ動作を行う前のロボット1の真下にあった床又は障害物の材質(以降、前回材質)(例えば「カーペット」)と、が異なっている場合、及び、メモリ110(図1)に前回材質が記憶されていない場合、ロボット1の真下にある床又は障害物が変化したと判断する。
この場合、主制御部105は、上述の位置危険高さテーブルT3(図3)から取得した高さX304(例えば「30cm」)から、メモリ110(図1)に記憶されている前回高さ(例えば「0cm」)を減算する。そして、主制御部105は、当該減算結果が表す高さdH(例えば「30cm」)だけ、床又は障害物からのロボット1の高さH1がユーザー動作前よりも低くなったと判断し、床又は障害物からのロボット1の高さH1から当該減算結果が表す高さdHを減算した結果によって、床又は障害物からのロボット1の高さH1を更新する(H1=H1−dH)。
一方、主制御部105は、位置危険高さテーブルT3(図3)から取得した材質X303(例えば「ソファー」)と、メモリ110(図1)に記憶されている前回材質と、が一する場合、ロボット1の真下にある床又は障害物は変化していないと判断し、床又は障害物からのロボット1の高さH1を更新しない。
そして、主制御部105は、上述の位置危険高さテーブルT3(図3)から取得した材質X303(例えば「ソファー」)及び高さX304(例えば「30cm」)を、前回材質及び前回高さとして、メモリ110(図1)に記憶する。
(表現決定処理の詳細)
次に、ステップS605(図6)における表現決定処理の詳細について説明する。図12は、本開示の第1の実施形態に係る表現決定処理の一例を示すフローチャートである。図12に示すように、主制御部105は、表現決定処理を開始すると、先ず、位置危険高さテーブルT3(図3)において、ステップS702又はS706(図11)で推定されたロボット1が存在する部屋の識別子と一致する部屋名X301及び同ステップで推定されたロボット1の部屋の中における相対位置を示す座標情報を含む位置範囲X302に対応付けられている、危険高さ1X305及び危険高さ2X306(二次元位置に対応する高さ)とを取得する。そして、主制御部105は、当該取得した危険高さ1X305を変数H2として設定(H2=危険高さ1X305)し、当該取得した危険高さ2X306を変数H3として設定(H3=危険高さ2X306)する(ステップS1201)。
次に、主制御部105は、ステップS703又はS705(図11)で更新された床又は障害物からのロボット1の高さH1を、ステップS1201で設定された変数H3と比較する(ステップS1202)。床又は障害物からのロボット1の高さH1が変数H3より大きい場合(ステップS1202でYES)、主制御部105は、現在、ロボット1が落下すると故障する可能性が高いと判断し、ロボット1に行わせる感情表現を「恐怖表現」に決定する(ステップS1203)。「恐怖表現」とは、表現テーブルT5(図5)において、表現X501「恐怖表現」によって特定される感情表現である。
床又は障害物からのロボット1の高さH1が変数H3より大きくない場合(ステップS1202でNO)、床又は障害物からのロボット1の高さH1を、ステップS1201で設定された変数H2と比較する(ステップS1204)。床又は障害物からのロボット1の高さH1が変数H2より大きい場合(ステップS1204でYES)、主制御部105は、現在、ロボット1が落下すると故障する可能性があると判断し、ロボット1に行わせる感情表現を「困惑表現」に決定する(ステップS1205)。「困惑表現」とは、表現テーブルT5(図5)において、表現X501「困惑表現」によって特定される感情表現である。
床又は障害物からのロボット1の高さH1が変数H2より大きくない場合(ステップS1204でNO)、主制御部105は、現在、ロボット1が落下したとしても故障しないと判断し、ロボット1に行わせる感情表現を「喜び表現」に決定する(ステップS1206)。「喜び表現」とは、表現テーブルT5(図5)において、表現X501「喜び表現」によって特定される感情表現である。
(表現実行処理の詳細)
次に、ステップS606(図6)における表現実行処理の詳細について説明する。図13は、表現実行処理の一例を示すフローチャートである。図13に示すように、主制御部105は、表現実行処理を開始すると、先ず、対話履歴DB111が管理している直近の所定期間(例えば10分間)に行われた対話の内容を表す対話情報を参照し、ロボット1がユーザーに対して持ち上げるように依頼する内容の対話が行われたか否かを判断する(ステップS1301)。
例えば、ロボット1は二次電池に蓄電された電力で動作するように構成されている。主制御部105は、ロボット1を動作させる電力が不足している場合等に、音声情報出力制御部107を制御して、スピーカー106に、ユーザーに抱っこを要求する旨の音声を出力させる。これにより、ロボット1とユーザーとの間で、ロボット1がユーザーに対して持ち上げるように依頼する内容の対話が行われる。この場合、対話履歴DB111によって、ユーザーに抱っこを要求する旨の音声を示す対話情報が対話履歴として管理される。
主制御部105は、ロボット1がユーザーに対して持ち上げるように依頼する内容の対話が行われたと判断した場合は(ステップS1301でYES)、ロボット1に行わせる感情表現を、表現決定処理(図12)で決定した感情表現に代えて、「感謝表現」に決定する(ステップS1302)。「感謝表現」とは、表現テーブルT5(図5)において、表現X501「感謝表現」によって特定される感情表現である。
つまり、主制御部105は、ロボット1がユーザーに対して持ち上げるように依頼する内容の対話が行われたと判断した場合は(ステップS1301でYES)、床又は障害物からのロボット1の高さH1が前記変数H2より大きい場合(S1204でYES又はS1202でYES)であっても、ロボット1に行わせる感情表現を「感謝表現」に決定する。
一方、主制御部105は、ロボット1がユーザーに対して持ち上げるように依頼する内容の対話が行われていないと判断した場合(ステップS1301でNO)、及び、ステップS1302を行った場合、ロボット1に行わせる感情表現が前回ロボット1に行わせた感情表現と同一表現であり、且つ、直近の一定期間内(例えば1時間内など)に前回と同じ感情表現をロボット1に行わせたか否かを判断する(ステップS1303)。
具体的には、主制御部105は、後述するステップS1308において、メモリ110(図1)に、前回ロボット1が行った感情表現を特定する識別子(例:「恐怖表現」)と、当該感情表現を行った日時と、を記憶する。そこで、ステップS1303では、主制御部105は、メモリ110に記憶されている前回ロボット1が行った感情表現を特定する識別子と当該感情表現を行った日時とを参照して上記判断を行う。
ステップS1303において、主制御部105は、ロボット1に行わせる感情表現が前回の表現決定処理において決定された感情表現と同一表現であり、且つ、前回の表現決定処理が直近の一定期間内に行われていたと判断したとする(ステップS1303でYES)。この場合、主制御部105は、表現実行処理を終了する。
一方、ステップS1303において、主制御部105は、ロボット1に行わせる感情表現が、前回ロボット1に行わせた感情表現と同一表現ではないと判断したとする。又は、前回の表現決定処理が直近の一定期間内に行われていないと判断したとする(ステップS1303でNO)。これらの場合、主制御部105は、ステップS1304以降の処理を実行することにより、表現決定処理において決定された感情表現をロボット1に行わせる。
具体的には、ステップS1304では、主制御部105は、表現テーブルT5(図5)において、ロボット1に行わせる感情表現を表す識別子と一致する表現X501に対応付けられている表情X502及び発話内容X503を参照する(ステップS1304)。
そして、主制御部105は、ステップS1304で参照した表情X502に含まれる一以上の表情の識別子のうち一の識別子を選択し、ステップS1304で参照した発話内容X503に含まれる一以上の発話テキスト文から一の発話テキスト文を選択する(ステップS1305)。尚、上述のように、ステップS1305において、主制御部105は、一の表情の識別子及び一の発話テキスト文を、例えばランダムに選択してもよいし、予め定められた順番に従って選択してもよい。
次に、主制御部105は、表示情報出力制御部109(図1)を制御して、ステップS1305で選択した一の表情の識別子で特定される表情を表す表示情報をディスプレイ108に出力させる(ステップS1306)。また、主制御部105は、音声情報出力制御部107(図1)を制御して、ステップS1305で選択した一の発話テキスト文を表す音声信号を生成させ、スピーカー106に当該音声信号が表す発話テキスト文の音声を出力させる(ステップS1307)。
例えば、ロボット1に行わせる感情表現が「恐怖表現」であるとする。この場合、ステップS1305において、主制御部105は、表現テーブルT5(図5)において表現X501「恐怖表現」に対応付けられている表情X502「表情3」、発話内容X503「ああ、怖い!怖い!」を選択する。
この場合、主制御部105は、ステップS1306において、表示情報出力制御部109(図1)を制御して、表情X502「表情3」によって特定される表情を表す表示情報をディスプレイ108に出力させる(第1表示をさせる)。また、ステップS1307において、主制御部105は、音声情報出力制御部107(図1)を制御して、発話内容X503「ああ、怖い!怖い!」を表す音声(第1音声)をスピーカー106に出力させる。
同様にして、ロボット1に行わせる感情表現が「困惑表現」である場合、主制御部105は、ステップS1305〜S1307において、表現テーブルT5(図5)において表現X501「困惑表現」に対応付けられている、表情X502「表情4」によって特定される表情を表す表示情報をディスプレイ108に出力させ(第1表示をさせる)、発話内容X503「嫌だ嫌だ、下ろして!」を表す音声(第1音声)をスピーカー106に出力させる。
また、ロボット1に行わせる感情表現が「喜び表現」である場合、主制御部105は、ステップS1305〜S1307において、表現テーブルT5(図5)において表現X501「喜び表現」に対応付けられている、表情X502「表情1」によって特定される表情を表す表示情報をディスプレイ108に出力させ(第2表示をさせる)、発話内容X503「いいね!いいね!」を表す音声(第2音声)をスピーカー106に出力させる。
尚、ロボット1に行わせる感情表現が「喜び表現」である場合、主制御部105は、ステップS1305〜S1307において、表現テーブルT5(図5)において表現X501「喜び表現」に対応付けられている、表情X502「表情2」によって特定される表情を表す表示情報をディスプレイ108に出力させ(第2表示をさせる)、発話内容X503「ここいいね!」を表す音声(第2音声)をスピーカー106に出力させてもよい。
また、ロボット1に行わせる感情表現が「感謝表現」である場合、主制御部105は、ステップS1305〜S1307において、表現テーブルT5(図5)において表現X501「感謝表現」に対応付けられている、表情X502「表情5」によって特定される表情を表す表示情報をディスプレイ108に出力させ(第5表示をさせる)、発話内容X503「ありがとう!しっかり持ってね!」を表す音声(第5音声)をスピーカー106に出力させる。
ステップS1307の後、主制御部105は、今回ロボット1に行わせた感情表現を特定するための識別子(例:「喜び表現」)と、現在時刻とを、メモリ110(図1)に保存する(ステップS1308)。
以上、第1実施形態の構成によれば、ユーザーがロボット1を持ち上げた時、ロボット1の真下にある床又は障害物からロボット1の位置までの高さH1に応じて、ロボット1の感情表現を変化させることができる。これにより、ユーザーの不注意等でロボット1が落下し、ロボット1の真下にある床又は障害物に衝突することによって故障が発生し得る場合に、当該故障が発生し得る旨の警告を表す感情表現を、ロボット1に行わせることができる。
(第2の実施形態)
次に、本開示の第2の実施形態に係るロボット2について説明する。図14は、本開示の第2の実施形態に係るロボット2の機能構成の一例を示すブロック図である。以下、第1の実施形態と同じ構成要素については同じ番号を付して説明を省略し、第1の実施形態と差異のある部分についてのみ説明する。
先ず、ロボット2の機能構成について説明する。ロボット2は、真下にある床又は障害物の材質を、ロボット2がユーザーによって持ち上げられた後に識別するように構成されている。このため、図14に示すように、ロボット2が備えるカメラ101aは、ロボット2の真下の画像を取得可能に構成されている。
また、ロボット2は、床又は障害物からのロボット2の高さH1を、ロボット2がユーザーによって持ち上げられた後に測定可能に構成されている。このため、ロボット2が備えるセンサー103aは、上記加速度センサーだけでなく、更に上記距離センサー(第3センサー)を備えて構成されている。また、ロボット2の位置を推定する必要性がなくなるので、ロボット2は、部屋マップDB112(図1)と位置危険高さDB113(図1)と、を備えていない。
(ロボット2の感情表現を変化させる制御の全体的な動作)
次に、第2の実施形態において、主制御部105aが、ロボット2の現在位置に応じてロボット2の感情表現を変化させる制御の全体的な動作について説明する。図15は、本開示の第2の実施形態に係るロボット2の感情表現を変化させる制御の一例を示すフローチャートである。
図15に示すように、第2の実施形態では、第1の実施形態とは異なり、主制御部105aは、図6のステップS601の位置危険高さテーブルT3(図3)の作成処理を実行せずに、図6のステップS602及びS603と同様のステップS1501及びS1502を実行する。そして、主制御部105aは、図6のステップS604とは異なる処理内容の高さ算出処理を実行し(ステップS1503)、図6のステップS605とは異なる処理内容の表現決定処理を実行し(ステップS1504)、ステップS606と同様のステップS1505を実行する(ステップS1505)。
(ロボット2における高さ算出処理の詳細)
次に、ステップS1503(図15)における高さ算出処理の詳細について説明する。図16は、本開示の第2の実施形態に係る高さ計算処理の一例を示すフローチャートである。
図16に示すように、主制御部105aは、高さ算出処理を開始すると、ステップS1501(図15)のユーザー動作判定処理において設定されたユーザー動作の種類が「運び」であるか否かを判定する(ステップS1601)。
ユーザー動作の種類が「運び」である場合(ステップS1601でYES)、主制御部105aは、画像処理部102に公知の画像認識処理を実行させることにより、カメラ101aが取得したロボット2の真下の画像から、ロボット2の真下にある床又は障害物の材質を識別(判断)させる(ステップS1603)。
一方、ユーザー動作の種類が「運び」ではない場合(ステップS1601でNO)、主制御部105aは、ユーザー動作の種類が「持ち上げ」又は「下ろし」であると判断し、ユーザー動作が完了するまで待機する(ステップS1602)。
具体的には、ステップS1602において、主制御部105aは、ユーザー動作の種類が「持ち上げ」である場合は、センサー103a(図14)を構成する加速度センサーが検出したZ軸方向の加速度がプラスの所定の閾値以下になった場合に、ユーザー動作が完了したと判断する。一方、主制御部105aは、ユーザー動作の種類が「下ろし」である場合は、前記加速度センサーが検出したZ軸方向の加速度がマイナスの所定の閾値以上になった場合に、ユーザー動作が完了したと判断する。ユーザー動作が完了すると(ステップS1602でYES)、主制御部105aは、ステップS1603を実行する。
ステップS1603の後、主制御部105aは、センサー103a(図14)を構成する距離センサーに床又は障害物からのロボット2の高さを検出させ、当該検出された床又は障害物からのロボット2の高さによって、前記高さH1を更新する(ステップS1604)。
(表現決定処理の詳細)
次に、ステップS1504(図15)における表現決定処理の詳細について説明する。図17は、本開示の第2の実施形態に係る表現決定処理の一例を示すフローチャートである。図17に示すように、主制御部105aは、表現決定処理を開始すると、材質危険高さテーブルT4(図4)において、ステップS1603(図16)で識別したロボット2の真下にある床又は障害物の材質と一致する材質X401に対応付けられている危険高さ1X402及び危険高さ2X403(材質に対応する高さ)を取得する。そして、主制御部105aは、当該取得した危険高さ1X402を変数H2として設定(H2=危険高さ1X402)し、当該取得した危険高さ2X403を変数H3として設定(H3=危険高さ2X403)する(ステップS1701)。
次に、主制御部105aは、ステップS1604(図16)で更新された床又は障害物からのロボット2の高さH1と、ステップS1701で設定された変数H2及びH3とを用いて、第1の実施形態のステップS1202〜S1206と同様のステップS1702〜ステップS1706を行い、ロボット2に行わせる感情表現を決定する(ステップS1702〜ステップS1706)。
以上のように、第2の実施形態の構成によれば、ユーザーがロボット2を持ち上げた時、ロボット2の真下にある床又は障害物の材質と、当該床又は障害物からのロボット2の高さH1とに応じて、ロボット2の感情表現を変化させることができる。これにより、ユーザーの不注意等でロボット2が落下し、ロボット2の真下にある床又は障害物に衝突することによって故障が発生し得る場合に、当該故障が発生し得る旨の警告を表す感情表現を、ロボット2に行わせることができる。
(第3の実施形態)
第3の実施形態では、第1の実施形態のロボット1及び第2の実施形態のロボット2を、球状のロボット3に実装した例について説明する。図18は、本開示の第3の実施形態に係るロボット3の外観斜視図である。ロボット3は、図18に示すように、球体状の筐体901を備える。筐体901は、例えば、透明な部材又は半透明の部材で構成される。
図19は、本開示の第3の実施形態に係るロボット3の内部斜視図である。図19に示すように、フレーム902は、筐体901の内側部に配置されている。フレーム902は、第1回転板903及び第2回転板904を備える。第1回転板903は、第2回転板904に対して上方に位置している。
ディスプレイ108(図1、図14)は、第1表示部108a、第2表示部108b及び第3表示部108cを備えている。第1表示部108a及び第2表示部108bは、第1回転板903の上面に備え付けられている。第3表示部108cは、第2回転板904の上面に備え付けられている。
第1表示部108a、第2表示部108b及び第3表示部108cは、例えば、複数の発光ダイオードにより構成される。第1表示部108a、第2表示部108b及び第3表示部108cは、表示情報出力制御部109(図1、図14)による制御の下、ロボット3の表情を表す表示情報を表示する。
具体的には、第1表示部108a、第2表示部108b及び第3表示部108cは、複数の発光ダイオードの点灯を個別に制御することにより、図18に示すように、ロボット3の表情を両目及び口によって表示する。ロボット3の表情を表す表示情報は、ロボット3の顔の左目、右目及び口の画像によって構成される。第1表示部108aは、表示情報に含まれる右目の画像を表示し、第2表示部108bは、表示情報に含まれる左目の画像を表示する。第3表示部108cは、表示情報に含まれる口の画像を表示する。当該表示された右目、左目及び口の画像は、透明又は半透明の部材からなる筐体901を透過し、外部に放射される。
カメラ101(図1、図14)は、図19に示すように、第1回転板903の上面に備え付けられ、ロボット3の顔の鼻を構成する。
スピーカー106(図1、図14)は、出力面が正面を向くようにフレーム902に備え付けられ、ロボット3の顔の顎の位置に配置されている。図18に示すように、ロボット3の顎に相当する位置の筐体901には、複数の小さな穴が形成されている。
図19に示すように、第1回転板903の上面には、制御回路909が備え付けられている。制御回路909には、画像処理部102、センサー情報取得部104、主制御部105(図1)、105a(図14)、音声情報出力制御部107(図1、図14)、表示情報出力制御部109(図1、図14)を構成するマイクロコンピュータが配置されている。また、制御回路909には、メモリ110(図1、図14)、対話履歴DB111(図1、図14)、部屋マップDB112(図1)、位置危険高さDB113(図1)、材質危険高さDB114(図1、図14)及び表現DB115(図1、図14)を構成する記憶装置が配置されている。また、制御回路909には、センサー103(図1)、103a(図14)が配置されている。
第1駆動輪910及び第2駆動輪911は、それぞれ、第2回転板904の下面に備え付けられており、筐体901の内周面に接している。また、第1駆動輪910は、第1駆動輪910を駆動させる第1モータ912を有する。同様に、第2駆動輪911は、第2駆動輪911を駆動させる第2モータ913を有する。即ち、第1駆動輪910及び第2駆動輪911は、それぞれ独立した個別のモータによって駆動される。第1駆動輪910及び第2駆動輪911は、一組の駆動輪を構成する。
第1駆動輪910及び第2駆動輪911を前方方向に回転させると、その動力によって筐体901は前方方向に回転する。これにより、ロボット3は前進する。逆に、第1駆動輪910及び第2駆動輪911を後方方向に回転させると、ロボット3は後進する。また、第1駆動輪910及び第2駆動輪911を互いに逆方向に回転させると、その動力によって筐体901は、その中心を通過する鉛直軸回りの回転動作を行う。即ち、ロボット3は、その場で左回り又は右回りに回転する。ロボット3は、このような前進、後進又は回転動作によって移動する。
尚、主制御部105(図1)、105a(図14)は、第1モータ912及び第2モータ913の駆動を制御することにより、第1駆動輪910及び第2駆動輪911の回転方向及び回転速度を制御する。これにより、主制御部105(図1)、105a(図14)は、ロボット3の走行を制御する。
カウンターウェイト914は、第1回転板903と第2回転板904との間に設けられている。カウンターウェイト914は、筐体901の中心からやや下方に位置する。このため、ロボット3の重心は、筐体901の中心から下方に位置する。これにより、ロボット3の動作を安定させることができる。尚、カウンターウェイト914には、不図示の重り駆動用モータが内蔵されている。主制御部105(図1)、105a(図14)は、当該駆動用モータを制御することにより、カウンターウェイト914の位置を移動させることにより、ロボット3の姿勢を制御する。
また、ロボット3は、不図示の充電器により充電される不図示の二次電源をさらに備える。
(感情表現の具体例)
以下、ロボット3の感情表現の具体例について説明する。図20は、本開示の第3の実施形態に係るロボット3の感情表現の一例を示す図である。
ステップS605(図6)、S1505(図15)の表現決定処理において、ロボット3に行わせる感情表現が、表現テーブルT5(図5)における表現X501「恐怖表現」が表す表現に決定されたとする。この場合、主制御部105(図1)、105a(図14)は、例えば、表現テーブルT5(図5)において、表現X501「恐怖表現」に対応付けられている表情X502「表情3」、発話内容X503「ああ、怖い!怖い!」を選択する。
そして、主制御部105、105aは、表示情報出力制御部109(図1、図14)を制御して、図20の符号D11に図示するように、表情X502「表情3」によって特定される恐怖の表情を表す表示情報を、ディスプレイ108(第1表示部108a、第2表示部108b及び第3表示部108c)に出力させる。また、主制御部105、105aは、音声情報出力制御部107(図1、図14)を制御して、図20の符号D11に図示するように、危険を通知する発話内容X503「ああ、怖い!怖い!」を表す音声をスピーカー106に出力させる。これにより、ロボット3は、表現X501「恐怖表現」が表す感情表現を行う。
また、ステップS605(図6)、S1505(図15)の表現決定処理において、ロボット3に行わせる感情表現が、表現テーブルT5(図5)における表現X501「困惑表現」が表す表現に決定されたとする。この場合、主制御部105(図1)、105a(図14)は、例えば、表現テーブルT5(図5)において、表現X501「困惑表現」に対応付けられている表情X502「表情4」、発話内容X503「嫌だ嫌だ、下ろして!」を選択する。
そして、主制御部105、105aは、表示情報出力制御部109(図1、図14)を制御して、図20の符号D12に図示するように、表情X502「表情4」によって特定される困惑の表情を表す表示情報を、ディスプレイ108(第1表示部108a、第2表示部108b及び第3表示部108c)に出力させる。また、主制御部105、105aは、音声情報出力制御部107(図1、図14)を制御して、図20の符号D12に図示するように、より低い高さへロボット3を移動させることをユーザーへリクエストする発話内容X503「嫌だ嫌だ、下ろして!」を表す音声をスピーカー106に出力させる。これにより、ロボット3は、表現X501「困惑表現」が表す感情表現を行う。
また、ステップS605(図6)、S1505(図15)の表現決定処理において、ロボット3に行わせる感情表現が、表現テーブルT5(図5)における表現X501「喜び表現」が表す表現に決定されたとする。この場合、主制御部105(図1)、105a(図14)は、例えば、表現テーブルT5(図5)において、表現X501「喜び表現」に対応付けられている表情X502「表情1」、発話内容X503「いいね!いいね!」を選択する。
そして、主制御部105、105aは、表示情報出力制御部109(図1、図14)を制御して、図20の符号D21に図示するように、表情X502「表情1」によって特定される第1の喜びの表情を表す表示情報を、ディスプレイ108(第1表示部108a、第2表示部108b及び第3表示部108c)に出力させる。また、主制御部105、105aは、音声情報出力制御部107(図1、図14)を制御して、図20の符号D21に図示するように、ロボット3の高さを肯定する第1の発話内容X503「いいね!いいね!」を表す音声をスピーカー106に出力させる。これにより、ロボット3は、表現X501「喜び表現」が表す感情表現を行う。
尚、ステップS605(図6)、S1505(図15)の表現決定処理において、ロボット3に行わせる感情表現が、表現テーブルT5(図5)における表現X501「喜び表現」が表す表現に決定された場合に、主制御部105(図1)、105a(図14)は、例えば、表現テーブルT5(図5)において、表現X501「喜び表現」に対応付けられている表情X502「表情2」、発話内容X503「ここいいね!」を選択してもよい。
この場合、主制御部105、105aは、表示情報出力制御部109(図1、図14)を制御して、図20の符号D22に図示するように、表情X502「表情2」によって特定される第2の喜びの表情を表す表示情報を、ディスプレイ108(第1表示部108a、第2表示部108b及び第3表示部108c)に出力させる。また、主制御部105、105aは、音声情報出力制御部107(図1、図14)を制御して、図20の符号D22に図示するように、ロボット3の高さを肯定する第2の発話内容X503「ここいいね!」を表す音声をスピーカー106に出力させる。
また、ステップS1302(図6)において、ロボット3に行わせる感情表現が、表現テーブルT5(図5)における表現X501「感謝表現」が表す表現に決定されたとする。この場合、主制御部105(図1)、105a(図14)は、例えば、表現テーブルT5(図5)において、表現X501「感謝表現」に対応付けられている表情X502「表情5」、発話内容X503「ありがとう!しっかり持ってね!」を選択する。
そして、主制御部105、105aは、表示情報出力制御部109(図1、図14)を制御して、図20の符号D3に図示するように、表情X502「表情5」によって特定される笑顔を表す表示情報を、ディスプレイ108(第1表示部108a、第2表示部108b及び第3表示部108c)に出力させる。また、主制御部105、105aは、音声情報出力制御部107(図1、図14)を制御して、図20の符号D3に図示するように、感謝の意を示す発話内容X503「ありがとう!しっかり持ってね!」を表す音声をスピーカー106に出力させる。これにより、ロボット3は、表現X501「感謝表現」が表す感謝表現を行う。
尚、上記第1乃至第3の実施形態は、本開示に係る実施形態の例示に過ぎず、本開示を上記第1乃至第3の実施形態に限定する趣旨ではない。例えば、以下に示す変形実施形態であってもよい。
(第1変形実施形態)
上記第1乃至第2の実施形態において、ステップS1301、S1302(図13)を省略してもよい。
(第2変形実施形態)
第1の実施形態において、位置危険高さテーブルT3(図3)を用いて管理される位置危険高さ情報に、危険高さ2X306(図3)が含まれず、材質危険高さテーブルT4(図4)を用いて管理される材質危険高さ情報に危険高さ2X403(図4)が含まれないようにしてもよい。これに合わせて、図12に示すステップS1202及びS1203を省略し、ステップS1201における変数H3の設定を省略し、当該ステップS1201の後、ステップ1204を行うようにしてもよい。
同様に、第2の実施形態において、材質危険高さテーブルT4(図4)を用いて管理される材質危険高さ情報に危険高さ2X403(図4)が含まれないようにしてもよい。これに合わせて、図17に示すステップS1702、S1703を省略し、ステップS1701における変数H3の設定を省略し、当該ステップS1701の後、ステップ1704を行うようにしてもよい。
(第3変形実施形態)
第1の実施形態において、図12に示すステップS1206を省略してもよい。同様に、第2の実施形態において、図17に示すステップS1706を省略してもよい。
(第4変形実施形態)
本開示に係る装置は、ロボット1、2に限らず、ユーザーによって動かされ、且つ、ロボット1、2と同様の構成を有する、例えばノートパソコンや家電等の装置にも適用可能である。この場合、S601(図6)で用いる、位置危険高さテーブルT3(図3)を用いて管理される位置危険高さ情報及び材質危険高さテーブルT4(図4)を用いて管理される材質危険高さ情報は、外部装置においてユーザーによって編集され、当該装置が備える通信装置によって当該外部装置から取得してもよい。
本開示は、ロボット等の装置が持ち上げられ、ユーザーの不注意によって装置が落下した場合に、装置が故障することを防止するために有用である。
1、2、3 ロボット(装置)
101、101a カメラ
103、103a 第1センサー、第2センサー、第3センサー
106 スピーカー
108 ディスプレイ
108a 第1表示部(ディスプレイ)
108b 第2表示部(ディスプレイ)
108c 第3表示部(ディスプレイ)
T3 位置危険高さテーブル(第1テーブル、第2テーブル)
X305 危険高さ1(第1高さ)
X306 危険高さ2(第2高さ)
T4 材質危険高さテーブル(テーブル)
X402 危険高さ1(第3高さ)
X403 危険高さ2(第4高さ)

Claims (21)

  1. ユーザーによって動かされる装置であって、
    前記装置の動き及び動く方向を検出する第1センサーと、
    前記装置の鉛直方向の移動距離を測定する第2センサーと、
    前記装置の周辺の映像を取得するカメラと、
    プロセッサと、
    ディスプレイと、
    スピーカーと、を備え、
    前記プロセッサは、
    前記第1センサーの検知結果に基づいて、前記装置が鉛直方向に動かされたか判断し、
    前記装置が鉛直方向に動かされたと判断した場合は、前記第2センサーの検知結果に基づいて、前記装置の真下にある物体から前記装置までの距離を算出し、
    前記カメラから取得された映像に基づいて、前記装置の二次元位置を測定し、
    前記装置の二次元位置と前記二次元位置で前記装置が落下した際に前記装置にダメージを与え得る高さとの対応関係を示した第1テーブルにおいて前記測定された二次元位置に対応する高さと前記算出された距離を比較し、
    前記対応する高さより前記算出された距離が長い場合は、前記ディスプレイに第1表示をさせ、前記スピーカーに第1音声を出力させ、
    前記算出された距離が前記対応する高さ以下の場合は、前記ディスプレイに第2表示をさせ、前記スピーカーに第2音声を出力させる、
    装置。
  2. 前記プロセッサは、
    前記装置が鉛直方向に動かされていないと判断した場合は、
    前記第1センサーの検知結果に基づいて、前記装置が水平方向に動かされたか判断し、
    前記装置が水平方向に動かされたと判断した場合は、前記映像に基づいて、前記装置の二次元位置を測定し、
    前記装置の二次元位置と前記二次元位置に存在する物体の高さとの対応関係を示した第2テーブルを参照して、前記距離を算出し、
    前記第1テーブルにおいて前記測定された二次元位置に対応する高さと前記算出された距離を比較し、
    前記対応する高さより前記算出された距離が長い場合は、前記ディスプレイに前記第1表示をさせ、前記スピーカーに前記第1音声を出力させ、
    前記算出された距離が前記対応する高さ以下の場合は、前記ディスプレイに前記第2表示をさせ、前記スピーカーに前記第2音声を出力させる、
    請求項1に記載の装置。
  3. 前記ディスプレイは、前記装置の表情を両目と口によって表示し、
    前記第1表示は、恐怖又は困惑の表情を示し、
    前記第1音声は、危険を通知する又はより低い高さへ前記装置を移動させることを前記ユーザーへリクエストする、
    請求項1に記載の装置。
  4. 前記ディスプレイは、前記装置の表情を両目と口によって表示し、
    前記第2表示は、喜びの表情を示し、
    前記第2音声は、前記装置の高さを肯定する、
    請求項1に記載の装置。
  5. 前記第1テーブルにおいて、前記二次元位置において前記装置が落下した際に前記装置にダメージを与え得る高さは第1高さと第2高さとを含み、前記第2高さは前記第1高さよりも高く、
    前記第1表示は第3表示と第4表示を含み、
    前記第1音声は第3音声と第4音声を含み、
    前記ディスプレイは、前記装置の表情を両目と口によって表示し、
    前記プロセッサは、
    前記測定された二次元位置に対応する前記第1高さより前記算出された距離が長く、且つ、前記算出された距離が前記測定された二次元位置に対応する前記第2高さ以下である場合は、前記ディスプレイに前記第3表示をさせ、前記スピーカーに前記第3音声を出力させ、
    前記測定された二次元位置に対応する前記第2高さより前記算出された距離が長い場合は、前記ディスプレイに前記第4表示をさせ、前記スピーカーに前記第4音声を出力させ、
    前記第3表示は、困惑の表情を示し、
    前記第4表示は、恐怖の表情を示し、
    前記第3音声は、より低い高さへ前記装置を移動させることを前記ユーザーへリクエストし、
    前記第4音声は、危険を通知する、
    請求項1に記載の装置。
  6. 前記プロセッサは、
    更に、前記装置と前記ユーザーとの対話履歴を記憶したデータベースを参照し、
    前記対話履歴において現在から所定時間前までに、前記装置が前記ユーザーへ前記装置を鉛直上方向に移動させることをリクエストしたか判断し、
    前記装置が前記ユーザーへ前記装置を鉛直上方向に移動させることをリクエストしたと判断した場合、且つ、前記対応する高さより前記算出された距離が長い場合は、前記ディスプレイに第5表示をさせ、前記スピーカーに第5音声を出力させる、
    請求項1に記載の装置。
  7. 前記第5表示は、笑顔を示し、
    前記第5音声は、感謝の意を示す、
    請求項6に記載の装置。
  8. 前記第1センサー及び前記第2センサーは、前記装置の水平方向及び鉛直方向の加速度を検出する加速度センサーである、
    請求項1に記載の装置。
  9. ユーザーによって動かされるロボットであって、
    前記ロボットの動き及び動く方向を検出する第1センサーと、
    前記ロボットの鉛直方向の移動距離を測定する第2センサーと、
    前記ロボットの周辺の映像を取得するカメラと、
    プロセッサと、
    ディスプレイと、
    スピーカーと、を備え、
    前記プロセッサは、
    前記第1センサーの検知結果に基づいて、前記ロボットが鉛直方向に動かされたか判断し、
    前記ロボットが鉛直方向に動かされたと判断した場合は、前記第2センサーの検知結果に基づいて、前記ロボットの真下にある物体から前記ロボットまでの距離を算出し、
    前記カメラから取得された映像に基づいて、前記ロボットの二次元位置を測定し、
    前記ロボットの二次元位置と前記二次元位置で前記ロボットが落下した際に前記ロボットにダメージを与え得る高さとの対応関係を示した第1テーブルにおいて前記測定された二次元位置に対応する高さと前記算出された距離を比較し、
    前記対応する高さより前記算出された距離が長い場合は、前記ディスプレイに第1表示をさせ、前記スピーカーに第1音声を出力させ、
    前記算出された距離が前記対応する高さ以下の場合は、前記ディスプレイに第2表示をさせ、前記スピーカーに第2音声を出力させる、
    ロボット。
  10. ユーザーによって動かされる装置に感情を表現させる方法であって、
    前記装置は、前記装置の動き及び動く方向を検出する第1センサーと、前記装置の鉛直方向の移動距離を測定する第2センサーと、前記装置の周辺の映像を取得するカメラと、ディスプレイと、スピーカーと、を備え、
    前記第1センサーの検知結果に基づいて、前記装置が鉛直方向に動かされたか判断し、
    前記装置が鉛直方向に動かされたと判断した場合は、前記第2センサーの検知結果に基づいて、前記装置の真下にある物体から前記装置までの距離を算出し、
    前記カメラから取得された映像に基づいて、前記装置の二次元位置を測定し、
    前記装置の二次元位置と前記二次元位置で前記装置が落下した際に前記装置にダメージを与え得る高さとの対応関係を示した第1テーブルにおいて前記測定された二次元位置に対応する高さと前記算出された距離を比較し、
    前記対応する高さより前記算出された距離が長い場合は、前記ディスプレイに第1表示をさせ、前記スピーカーに第1音声を出力させ、
    前記算出された距離が前記対応する高さ以下の場合は、前記ディスプレイに第2表示をさせ、前記スピーカーに第2音声を出力させる、
    方法。
  11. 請求項10に記載の方法を前記装置のプロセッサに実行させるプログラム。
  12. ユーザーによって動かされる装置であって、
    前記装置の動き及び動く方向を検出する第1センサーと、
    前記装置の真下にある物体までの距離を測定する第3センサーと、
    前記装置の周辺の映像を取得するカメラと、
    プロセッサと、
    ディスプレイと、
    スピーカーと、を備え、
    前記プロセッサは、
    前記第1センサーの検知結果に基づいて、前記装置が鉛直方向に動かされたか判断し、
    前記装置が鉛直方向に動かされたと判断した場合は、前記第3センサーの検知結果に基づいて、前記装置の真下にある物体から前記装置までの距離を算出し、
    前記カメラから取得された映像に基づいて、前記装置の真下にある物体の材質を判断し、
    物体の材質と前記物体に前記装置が落下した際に前記装置にダメージを与え得る高さとの対応関係を示したテーブルにおいて前記判断された前記材質に対応する高さと前記算出された距離を比較し、
    前記対応する高さより前記算出された距離が長い場合は、前記ディスプレイに第1表示をさせ、前記スピーカーに第1音声を出力させ、
    前記算出された距離が前記対応する高さ以下の場合は、前記ディスプレイに第2表示をさせ、前記スピーカーに第2音声を出力させる、
    装置。
  13. 前記プロセッサは、
    前記装置が鉛直方向に動かされていないと判断した場合は、
    前記第1センサーの検知結果に基づいて、前記装置が水平方向に動かされたか判断し、
    前記装置が水平方向に動かされたと判断した場合は、前記第3センサーの検知結果に基づいて、前記装置の真下にある物体から前記装置までの距離を算出し、
    前記映像に基づいて、前記装置の真下にある物体の材質を判断し、
    前記テーブルにおいて前記判断された前記材質に対応する高さと前記算出された距離を比較し、
    前記対応する高さより前記算出された距離が長い場合は、前記ディスプレイに第1表示をさせ、前記スピーカーに第1音声を出力させ、
    前記算出された距離が前記対応する高さ以下の場合は、前記ディスプレイに第2表示をさせ、前記スピーカーに第2音声を出力させる、
    請求項12に記載の装置。
  14. 前記ディスプレイは、前記装置の表情を両目と口によって表示し、
    前記第1表示は、恐怖又は困惑の表情を示し、
    前記第1音声は、危険を通知する又はより低い高さへ前記装置を移動させることを前記ユーザーへリクエストする、
    請求項12に記載の装置。
  15. 前記ディスプレイは、前記装置の表情を両目と口によって表示し、
    前記第2表示は、喜びの表情を示し、
    前記第2音声は、前記装置の高さを肯定する、
    請求項12に記載の装置。
  16. 前記テーブルにおいて、前記二次元位置において前記装置が落下した際に前記装置にダメージを与え得る高さは第3高さと第4高さとを含み、前記第4高さは前記第3高さよりも高く、
    前記第1表示は第3表示と第4表示を含み、
    前記第1音声は第3音声と第4音声を含み、
    前記ディスプレイは、前記装置の表情を両目と口によって表示し、
    前記プロセッサは、
    前記測定された二次元位置に対応する前記第3高さより前記算出された距離が長く、且つ、前記算出された距離が前記測定された二次元位置に対応する前記第4高さ以下である場合は、前記ディスプレイに前記第3表示をさせ、前記スピーカーに前記第3音声を出力させ、
    前記測定された二次元位置に対応する前記第2高さより前記算出された距離が長い場合は、前記ディスプレイに前記第4表示をさせ、前記スピーカーに前記第4音声を出力させ、
    前記第3表示は、困惑の表情を示し、
    前記第4表示は、恐怖の表情を示し、
    前記第3音声は、より低い高さへ前記装置を移動させることを前記ユーザーへリクエストし、
    前記第4音声は、危険を通知する、
    請求項12に記載の装置。
  17. 前記プロセッサは、
    更に、前記装置と前記ユーザーとの対話履歴を記憶したデータベースを参照し、
    前記対話履歴において現在から所定時間前までに、前記装置が前記ユーザーへ前記装置を鉛直上方向に移動させることをリクエストしたか判断し、
    前記装置が前記ユーザーへ前記装置を鉛直上方向に移動させることをリクエストしたと判断した場合、且つ、前記対応する高さより前記算出された距離が長い場合は、前記ディスプレイに第5表示をさせ、前記スピーカーに第5音声を出力させる、
    請求項12に記載の装置。
  18. 前記第5表示は、笑顔を示し、
    前記第5音声は、感謝の意を示す、
    請求項17に記載の装置。
  19. ユーザーによって動かされるロボットであって、
    前記ロボットの動き及び動く方向を検出する第1センサーと、
    前記ロボットの真下にある物体までの距離を測定する第3センサーと、
    前記ロボットの周辺の映像を取得するカメラと、
    プロセッサと、
    ディスプレイと、
    スピーカーと、を備え、
    前記プロセッサは、
    前記第1センサーの検知結果に基づいて、前記ロボットが鉛直方向に動かされたか判断し、
    前記ロボットが鉛直方向に動かされたと判断した場合は、前記第3センサーの検知結果に基づいて、前記ロボットの真下にある物体から前記ロボットまでの距離を算出し、
    前記カメラから取得された映像に基づいて、前記ロボットの真下にある物体の材質を判断し、
    物体の材質と前記物体に前記ロボットが落下した際に前記ロボットにダメージを与え得る高さとの対応関係を示したテーブルにおいて前記判断された前記材質に対応する高さと前記算出された距離を比較し、
    前記対応する高さより前記算出された距離が長い場合は、前記ディスプレイに第1表示をさせ、前記スピーカーに第1音声を出力させ、
    前記算出された距離が前記対応する高さ以下の場合は、前記ディスプレイに第2表示をさせ、前記スピーカーに第2音声を出力させる、
    ロボット。
  20. ユーザーによって動かされる装置に感情を表現させる方法であって、
    前記装置は、前記装置の動き及び動く方向を検出する第1センサーと、前記装置の真下にある物体までの距離を測定する第3センサーと、前記装置の周辺の映像を取得するカメラと、ディスプレイと、スピーカーと、を備え、
    前記第1センサーの検知結果に基づいて、前記装置が鉛直方向に動かされたか判断し、
    前記装置が鉛直方向に動かされたと判断した場合は、前記第3センサーの検知結果に基づいて、前記装置の真下にある物体から前記装置までの距離を算出し、
    前記カメラから取得された映像に基づいて、前記装置の真下にある物体の材質を判断し、
    物体の材質と前記物体に前記装置が落下した際に前記装置にダメージを与え得る高さとの対応関係を示したテーブルにおいて前記判断された前記材質に対応する高さと前記算出された距離を比較し、
    前記対応する高さより前記算出された距離が長い場合は、前記ディスプレイに第1表示をさせ、前記スピーカーに第1音声を出力させ、
    前記算出された距離が前記対応する高さ以下の場合は、前記ディスプレイに第2表示をさせ、前記スピーカーに第2音声を出力させる、
    方法。
  21. 請求項20に記載の方法を前記装置のプロセッサに実行させるプログラム。
JP2017135289A 2017-07-11 2017-07-11 装置、ロボット、方法及びプログラム Active JP6854719B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017135289A JP6854719B2 (ja) 2017-07-11 2017-07-11 装置、ロボット、方法及びプログラム
CN201810722645.4A CN109227600B (zh) 2017-07-11 2018-07-04 装置、机器人、方法以及程序
US16/027,426 US10507582B2 (en) 2017-07-11 2018-07-05 Apparatus, robot, method, and recording medium
EP18182478.0A EP3428757A1 (en) 2017-07-11 2018-07-09 Apparatus, robot, method and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017135289A JP6854719B2 (ja) 2017-07-11 2017-07-11 装置、ロボット、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2019014032A JP2019014032A (ja) 2019-01-31
JP6854719B2 true JP6854719B2 (ja) 2021-04-07

Family

ID=63209153

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017135289A Active JP6854719B2 (ja) 2017-07-11 2017-07-11 装置、ロボット、方法及びプログラム

Country Status (4)

Country Link
US (1) US10507582B2 (ja)
EP (1) EP3428757A1 (ja)
JP (1) JP6854719B2 (ja)
CN (1) CN109227600B (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7273566B2 (ja) * 2019-03-19 2023-05-15 パナソニックホールディングス株式会社 ロボット、ロボットの制御方法及びプログラム
JP6590393B1 (ja) * 2019-05-13 2019-10-16 M&Tプロジェクトパートナーズ株式会社 玩具
KR20210020312A (ko) * 2019-08-14 2021-02-24 엘지전자 주식회사 로봇 및 그의 제어 방법
US11699421B2 (en) * 2019-09-30 2023-07-11 Mr. Christmas Incorporated System for touchless musical instrument
CN111600528A (zh) * 2020-04-26 2020-08-28 深圳市威富智能设备有限公司 电批、电批控制方法、电批控制设备及存储介质
CN117958664B (zh) * 2024-04-02 2024-06-11 追觅创新科技(苏州)有限公司 一种清洁机器人的主动越障控制方法、系统及清洁机器人

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5321614A (en) * 1991-06-06 1994-06-14 Ashworth Guy T D Navigational control apparatus and method for autonomus vehicles
US5995884A (en) * 1997-03-07 1999-11-30 Allen; Timothy P. Computer peripheral floor cleaning system and navigation method
US6792335B2 (en) * 2001-05-23 2004-09-14 Carnegie Mellon University Robotic apparatuses, systems and methods
JP2003346150A (ja) * 2002-05-24 2003-12-05 Sony Corp 床面認識装置及び床面認識方法並びにロボット装置
JP4363177B2 (ja) * 2003-01-31 2009-11-11 日本ビクター株式会社 移動ロボット
JP2004237392A (ja) * 2003-02-05 2004-08-26 Sony Corp ロボット装置、及びロボット装置の表現方法
US7689321B2 (en) * 2004-02-13 2010-03-30 Evolution Robotics, Inc. Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system
JP2005296511A (ja) * 2004-04-15 2005-10-27 Funai Electric Co Ltd 自走式掃除機
GB2414309B (en) * 2004-05-18 2009-02-25 Simon Richard Daniel Spherical display and control device
WO2007041295A2 (en) * 2005-09-30 2007-04-12 Irobot Corporation Companion robot for personal interaction
KR100791389B1 (ko) * 2006-12-26 2008-01-07 삼성전자주식회사 스트럭쳐드 라이트를 이용한 거리 측정 장치 및 방법
JP4539685B2 (ja) * 2007-06-22 2010-09-08 セイコーエプソン株式会社 部品搬送装置及びicハンドラ
JP2009207633A (ja) * 2008-03-03 2009-09-17 Namco Bandai Games Inc 玩具
EP3311722B1 (en) * 2008-04-24 2019-07-24 iRobot Corporation Application of localization, positioning & navigation systems for robotic enabled mobile products
US8961695B2 (en) * 2008-04-24 2015-02-24 Irobot Corporation Mobile robot for cleaning
KR101484940B1 (ko) * 2009-05-14 2015-01-22 삼성전자 주식회사 로봇청소기 및 그 제어방법
JP5186641B2 (ja) 2009-08-24 2013-04-17 トモデータサービス有限会社 作業支援装置および作業支援プログラム
JP5344243B2 (ja) * 2009-09-24 2013-11-20 富士通株式会社 電動ドライバの姿勢監視装置、および姿勢監視装置付き電動ドライバ
US8620489B2 (en) * 2010-12-24 2013-12-31 Microsoft Corporation Robotic drive system modularity
CN104070526B (zh) * 2013-03-29 2017-03-01 联想(北京)有限公司 智能机器
KR20160048492A (ko) * 2014-10-24 2016-05-04 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
TWI627609B (zh) * 2014-12-04 2018-06-21 微星科技股份有限公司 狀態檢測方法、機器人及移動裝置
KR102335186B1 (ko) * 2014-12-24 2021-12-03 삼성전자주식회사 렌즈 조립체, 이를 이용한 장애물 감지유닛, 및 이를 구비한 이동로봇
US9601007B2 (en) * 2015-01-29 2017-03-21 Floorbotics Inc. Self-propelled floor apparatus and system having a bactericidal function

Also Published As

Publication number Publication date
EP3428757A1 (en) 2019-01-16
CN109227600B (zh) 2023-04-18
CN109227600A (zh) 2019-01-18
JP2019014032A (ja) 2019-01-31
US10507582B2 (en) 2019-12-17
US20190015982A1 (en) 2019-01-17

Similar Documents

Publication Publication Date Title
JP6854719B2 (ja) 装置、ロボット、方法及びプログラム
US11961285B2 (en) System for spot cleaning by a mobile robot
KR102385263B1 (ko) 이동형 홈 로봇 및 이동형 홈 로봇의 제어 방법
US10921818B2 (en) Robot
KR102357265B1 (ko) 게임 플레이를 통한 환경의 세부 데이터 세트 생성 방법 및 시스템
CN112739244A (zh) 移动机器人清洁系统
JP7025532B2 (ja) 衝突の検出、推定、および回避
JP2019071046A (ja) ロボット仮想境界線
KR102463806B1 (ko) 이동이 가능한 전자 장치 및 그 동작 방법
US20190101926A1 (en) Autonomous mobile cleaning apparatus, cleaning method, and recording medium
KR20150086278A (ko) 주체와 객체의 연관
WO2016056317A1 (ja) 情報処理装置および情報処理方法
JP2016198850A (ja) 自律移動装置および自律移動装置の制御方法
KR20180074404A (ko) 공항용 로봇 및 그의 동작 방법
JP2020137549A (ja) 装置、方法、及びプログラム
KR20180040907A (ko) 공항 로봇
KR20210141294A (ko) 전자 장치 및 그의 제어 방법
CN112154018B (zh) 控制装置、控制方法以及程序
KR102302198B1 (ko) 청소 장치 및 그 제어 방법
KR102478667B1 (ko) 승강기를 이용하여 로봇의 센서 이상을 감지하는 시스템이 적용된 건물
US11548154B2 (en) Systems and methods for dimensionally-restricted robotic teleoperation
KR20180082242A (ko) 이동 로봇 및 그 제어 방법
JP6558179B2 (ja) 情報処理装置、情報処理システム、及びプログラム
CN116955376A (zh) 区域地图更新方法、机器人及计算机可读存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200428

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200605

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210316

R151 Written notification of patent or utility model registration

Ref document number: 6854719

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151