JP7273566B2 - ロボット、ロボットの制御方法及びプログラム - Google Patents

ロボット、ロボットの制御方法及びプログラム Download PDF

Info

Publication number
JP7273566B2
JP7273566B2 JP2019051108A JP2019051108A JP7273566B2 JP 7273566 B2 JP7273566 B2 JP 7273566B2 JP 2019051108 A JP2019051108 A JP 2019051108A JP 2019051108 A JP2019051108 A JP 2019051108A JP 7273566 B2 JP7273566 B2 JP 7273566B2
Authority
JP
Japan
Prior art keywords
robot
action
user
obstacle
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019051108A
Other languages
English (en)
Other versions
JP2020151070A (ja
Inventor
兼人 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2019051108A priority Critical patent/JP7273566B2/ja
Priority to US16/740,856 priority patent/US11969876B2/en
Priority to CN202010064972.2A priority patent/CN111736585B/zh
Publication of JP2020151070A publication Critical patent/JP2020151070A/ja
Priority to JP2023073597A priority patent/JP7502520B2/ja
Application granted granted Critical
Publication of JP7273566B2 publication Critical patent/JP7273566B2/ja
Priority to US18/442,626 priority patent/US20240190012A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0225Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)
  • Toys (AREA)

Description

本開示は、ユーザと相互作用することによって相互に意思疎通するロボット及びそのロボットの制御方法に関する。
従来からロボットが人間に遭遇した場合においてロボットがとるべき行動を決定する技術が提案されている。
例えば、特許文献1には、人間のロボットに対する親和性を算出し、当該親和性に基づいて、ロボットの回避動作と人間に期待する期待回避動作とを計画する技術が開示されている。具体的には、特許文献1には、老人はロボットに対する親和性が低い傾向にあるため、ロボット側が大きく回避することで老人に不安感や不快感を抱かせないようにすることが開示されている(例えば、段落[0015])。
特許文献2には、ロボットに反応するときに、歩行者が歩行バランスを失ったり、転倒したりする危険性を低減するために、歩行者の脚の動きに合わせて、歩行者が方向転換しやすくなるように、歩行者に対するロボットの回避行動を決定する技術が開示されている(例えば、段落[0016])。
特許第5409924号公報 特開2014-2514号公報
しかしながら、上記の従来技術では、ロボットとユーザとの意思疎通の機会を増やすことが何ら考慮されていないため、さらなる改善が必要とされていた。
本開示の目的は、ロボットとユーザとの意思疎通の機会を極力増やしつつ障害物を回避させることができるロボット及びロボットの制御方法を提供することである。
本開示の一態様は、ユーザと相互作用することによって相互に意思疎通するロボットであって、
障害物を検知するための第1センサーと、
メモリと、
プロセッサと、を備え、
前記メモリは、複数の行動種別を記憶しており、前記複数の行動種別のそれぞれは、前記ロボットに所定の行動を実行させるためのプログラムであり、
前記メモリは、前記複数の行動種別のうち前記ロボットが実行している行動種別をさらに記憶し、
前記プロセッサは、
前記第1センサーが前記障害物を検知したときに前記ロボットが実行している行動種別が、前記複数の行動種別のいずれであるかを前記メモリを参照することで判断し、
前記第1センサーによって検知された前記障害物の種別を判断し、
前記第1センサーが前記障害物を検知したときに前記ロボットが実行している前記行動種別及び前記第1センサーによって検知された前記障害物の種別に基づいて、前記ユーザとの相互作用の機会を増やすための第1行動と、前記障害物に対応するための第2行動とのいずれかを決定し、
前記ロボットを制御して、前記決定された行動を実行させる。
本開示によれば、ロボットとユーザとの意思疎通の機会を極力増やしつつ障害物を回避させることができる。
本開示の実施の形態に係るロボットの外観斜視図である。 本開示の実施の形態に係るロボットの内部斜視図である。 本開示の実施の形態に係るロボット及びロボットの充電に用いられる充電器を示すブロック図である。 接触情報データベースのデータ構成の一例を示す図である。 本開示の実施の形態に係るロボットにおける障害物対応処理を示すフローチャートである。 障害物対応処理を纏めた図である。
(本開示に係る一態様を発明するに至った経緯)
まず、本開示に係る一態様をするに至った着眼点について説明する。
本発明者は、ユーザとのコミュニケーションを通じて、時にはユーザを教育したり、時にはユーザを叱ったり、時にはユーザの遊び相手になったりというような幼児向けロボットを研究している。このようなロボットでは、例えば、触れる、話す、見つめる、側にいる、遠隔操作するというようなロボットとユーザとの意思疎通の機会を極力増やすことが重要である。その一方で、障害物を検出した際はそれを回避する行動をとる必要もある。
しかし、検出した障害物がユーザである場合、障害物がユーザ以外の物体である場合と同様に障害物を回避させてしまうと、ユーザのロボットに対する親しみやすさが低下し、ロボットとユーザとの意思疎通の機会の増大を妨げる虞がある。したがって、このようなロボットは、障害物を検出した場合、単に回避行動をとるのではなく、障害物がユーザであるか否かを考慮して適切な行動をとる必要がある。
上記特許文献1及び上記特許文献2は、ロボットの行動制御方法に関するものである。
上記特許文献1では、上述のように、ロボットは、人間と遭遇すると、当該人間の前記ロボットに対する親和性に基づき、ロボットの回避動作と人間に期待する期待回避動作を計画する行動をする。
また、上記特許文献2では、上述のように、ロボットは、歩行者と遭遇すると、当該歩行者の脚の動きに合わせて、当該歩行者が方向転換しやすくなるように、当該歩行者を回避する行動をする。
しかしながら、上記特許文献1では、ロボットは、人間との親和性を考慮した回避行動を行うことが開示されているに過ぎない。また、上記特許文献2では、ロボットは、障害物が歩行者の場合に、歩行者の方向転換のしやすさを考慮した回避行動を行うことが開示されているに過ぎない。そのため、特許文献1、2は、いずれも、ロボットとユーザとの意思疎通の機会を極力増やすことが何ら考慮されていない。
そこで、本発明者は、障害物検知時のロボット自体の行動種別の情報(例えば、ランダム走行、ユーザへの接近、充電器への移動、対話時の移動など)と、障害物の種別情報(例えば、ユーザ、物体など)とに応じてロボットの行動を決定することで、ロボットとユーザとの相互の意思疎通の機会を極力増やしつつロボットに障害物を回避させることができるとの知見を得て、以下の本開示に係る各態様を想到するに至った。
本開示の一態様は、ユーザと相互作用することによって相互に意思疎通するロボットであって、
障害物を検知するための第1センサーと、
メモリと、
プロセッサと、を備え、
前記メモリは、複数の行動種別を記憶しており、前記複数の行動種別のそれぞれは、前記ロボットに所定の行動を実行させるためのプログラムであり、
前記メモリは、前記複数の行動種別のうち前記ロボットが実行している行動種別をさらに記憶し、
前記プロセッサは、
前記第1センサーが前記障害物を検知したときに前記ロボットが実行している行動種別が、前記複数の行動種別のいずれであるかを前記メモリを参照することで判断し、
前記第1センサーによって検知された前記障害物の種別を判断し、
前記第1センサーが前記障害物を検知したときに前記ロボットが実行している前記行動種別及び前記第1センサーによって検知された前記障害物の種別に基づいて、前記ユーザとの相互作用の機会を増やすための第1行動と、前記障害物に対応するための第2行動とのいずれかを決定し、
前記ロボットを制御して、前記決定された行動を実行させる。
本構成によれば、第1センサーが障害物を検知したときにロボットが実行している行動種別及び第1センサーによって検知された障害物の種別に基づいて、ユーザとの相互作用の機会を増やすための第1行動と、前記障害物に対応するための第2行動とのいずれかが決定され、決定された行動がロボットにより実行される。
これにより、例えば、障害物の種別がユーザであるか物体であるかに応じて、ユーザとの相互作用を増やすための第1行動と、障害物に対応するための第2行動とを適切に切り替えることができる。その結果、本構成は、ロボットとユーザとの意思疎通の機会を極力増やしつつ障害物を回避させることができる。
上記態様において、前記プロセッサは、
前記第1センサーが前記障害物を検知したときに前記ロボットが実行している前記行動種別が、前記ロボットが前記ユーザに向かって移動する行動であり、かつ、前記第1センサーによって検知された障害物の種別が前記ユーザ以外の物体であるときに、
前記障害物を除去して欲しいことを示す前記第1行動を決定してもよい。
本構成によれば、ロボットがユーザに向かって移動する行動の実行中にユーザ以外の物体が検知されたとき、そのまま、障害物を回避する行動をとるのではなく、ユーザに障害物を除去して欲しいことを示す第1行動がとられる。これにより、ロボットは、ユーザとの意思疎通の機会の増大を図りつつ障害物を回避できる。
上記態様において、前記プロセッサは、
前記第1センサーが前記障害物を検知したときに前記ロボットが実行している前記行動種別が、前記ロボットが前記ユーザに向かって移動する行動であり、かつ、前記第1センサーによって検知された障害物の種別が前記ユーザであるときに、
前記ユーザとの対話を誘発する前記第1行動を決定してもよい。
本構成によれば、ロボットがユーザに向かって移動する行動の実行中にユーザが検知されたとき、ユーザを回避する行動をとるのではなく、ユーザとの対話を誘発する第1行動が取られる。これにより、周囲にユーザが居る状況下において、ロボットとユーザとの意思疎通の機会を増大させることができる。
上記態様において、前記プロセッサは、
前記第1センサーが前記障害物を検知したときに前記ロボットが実行している前記行動種別が、前記ロボットが充電台に向かって移動する行動であり、かつ、前記第1センサーによって検知された障害物の種別が前記ユーザ以外の物体であるときに、
前記障害物を回避する前記第2行動を決定してもよい。
本構成によれば、ロボットが例えば電力不足によって充電台への移動中に、ユーザ以外の物体が検知された場合、物体を回避する第2行動がとられる。そのため、電力不足の際に物体を回避して速やかに充電台に移動することができ、ロボットの電池切れを防止できる。
上記態様において、前記プロセッサは、
前記第1センサーが前記障害物を検知したときに前記ロボットが実行している前記行動種別が、前記ロボットが充電台に向かって移動する行動であり、かつ、前記第1センサーによって検知された障害物の種別が前記ユーザであるときに、
前記ロボットを前記充電台に移動させて欲しいことを示す前記第1行動を決定してもよい。
本構成によれば、ロボットが例えば電力不足によって充電台への移動中に、ユーザが検知された場合、ユーザを回避する行動がとられるのではなく、ユーザに対してロボットを充電台に移動させて欲しいことをユーザに促す第1行動がとられる。これにより、ユーザに対してロボットを充電台まで運ぶ行動を誘発させることが可能となり、ユーザとの意思疎通の機会を増大させつつロボットの電池切れを防止できる。
上記態様において、前記プロセッサは、
前記第1センサーが前記障害物を検知したときに前記ロボットが実行している前記行動種別が、前記ロボットがランダムに移動する行動であり、かつ、前記第1センサーによって検知された障害物の種別が前記ユーザ以外の物体であるときに、
前記障害物を回避する前記第2行動を決定してもよい。
本構成によれば、ランダム走行中に障害物としてユーザ以外の物体が検知された場合、障害物を回避する第2行動がとられる。これにより、例えば、ロボットの周囲にユーザが居ない可能性の高く、ロボットとユーザとが意思疎通を図る必要性の低い状況下において、ロボットがユーザ以外の物体に衝突して双方又はいずれか一方が破損することを防止できる。
上記態様において、前記プロセッサは、
前記第1センサーが前記障害物を検知したときに前記ロボットが実行している前記行動種別が、前記ロボットがランダムに移動する行動であり、かつ、前記第1センサーによって検知された障害物の種別が前記ユーザであるときに、
前記ユーザとの対話を誘発する前記第1行動を決定してもよい。
本構成によれば、ランダム走行中に障害物としてユーザが検知された場合、ユーザとの対話を誘発する第1行動がとられる。これにより、例えば、ユーザのロボットに対する関心がさほど高くない状況下において、ロボットの側からユーザに対して意思疎通のアプローチが図られ、このアプローチに対してユーザを応答させることが可能となり、そのことによって、ロボットとユーザとの意思疎通の機会を増大させることができる。
上記態様において、前記プロセッサは、
前記第1センサーが前記障害物を検知したときに前記ロボットが実行している前記行動種別が、前記ロボットが前記ユーザと対話する行動であり、かつ、前記第1センサーによって検知された障害物の種別が前記ユーザ以外の物体であるときに、
前記障害物を除去して欲しいことを示す前記第1行動を決定してもよい。
本構成によれば、ユーザとの対話中に障害物として物体が検知された場合、障害物を回避する行動をとるのではなく、障害物を除去して欲しいことを示す第1行動がとられる。これにより、ロボットは、ユーザに対して障害物を除去する行動を促すことが可能となり、ユーザとの意思疎通を図りながら障害物を回避できる。
上記態様において、前記プロセッサは、
前記第1センサーが前記障害物を検知したときに前記ロボットが実行している前記行動種別が、前記ロボットが前記ユーザと対話する際に前進する行動であり、かつ、前記第1センサーによって検知された障害物の種別が前記ユーザであるときに、
前記ロボットが前記ユーザに近づいたことを喜ぶ前記第1行動を決定してもよい。
本構成によれば、ユーザとの対話中にロボットが前進する行動をとったときに障害物としてユーザが検知された場合、ユーザとの接近を喜ぶ第1行動をロボットにとらせることができる。これにより、ユーザに親しみやすさを感じさせ、ユーザとロボットとの意思疎通の機会を増大させることができる。
上記態様において、前記プロセッサは、
前記第1センサーが前記障害物を検知したときに前記ロボットが実行している前記行動種別が、前記ロボットがランダムに移動する行動であり、前記第1センサーによって検知された障害物の種別が前記ユーザであり、かつ、前記ユーザが成人であるときに、
前記ロボットから離れて欲しいことを示す前記第1行動を決定してもよい。
本構成によれば、ランダム走行中に障害物として成人のユーザを検知した場合、そのユーザに対してロボットから離れて欲しいことを示す第1行動がとられる。これにより、成人との意思疎通を図りながらユーザを回避することができる。
上記態様において、前記ロボット周辺の情報を取得するカメラと、
前記ロボット周辺の音を取得するマイクと、
前記ロボットが前記人間に触れられていることを検知するための第2センサーと、をさらに備え、
前記プロセッサは、
前記第1センサーが前記障害物を検知したときに前記ロボットが実行している前記行動種別が、前記ロボットが前記ユーザに向かって移動する行動、又は前記ロボットがランダムに移動する行動であり、前記第1センサーによって検知された障害物の種別が前記ユーザであり、かつ、前記カメラにより取得された情報、前記マイクにより取得された音、及び前記第2センサーの検知結果のいずれかに基づいて算出された前記ユーザとの接触量が閾値以上のときに、
前記ロボットが、前記ユーザを回避する前記第2行動を決定してもよい。
本構成によれば、ユーザに向かって移動中、又はランダム走行中に、障害物としてユーザが検知され、さらに、カメラが取得した情報、マイクが取得した音、及びロボットが人間に触れられていることを検知する第2センサーの検知結果から得られるユーザとロボットとの接触量が閾値以上の場合、ユーザを回避する行動がとられる。これにより、例えば、ユーザとロボットとの接触量が閾値以上であり、これ以上ロボットがユーザに対して意思疎通を図ることを望まないユーザの保護者の要望に応じることができる。ここで、接触量は、ユーザとロボットとの相互作用の多さを示す量であり、例えば、接触時間、接触回数などである。接触には、触れる、なでるなどの物理的な接触のみならず、会話するそばにいるなどの間接的な接触も含まれる。
上記態様において、前記ロボットから離れて欲しいことを示す前記第1行動は、前記ロボットから離れて欲しいことを示す仕草を行うことを含んでいてもよい。
本構成によれば、ロボットから離れて欲しいことを示す仕草が第1行動として採用されているため、そのことをユーザに対してさりげなく伝えることができる。
上記態様において、音声を出力するスピーカーと、
情報を表示するディスプレイと、をさらに備え、
前記ロボットから離れて欲しいことを示す前記第1行動は、(i)前記ロボットから離れて欲しいことを示す音声を出力すること、及び、(ii)前記ロボットから離れて欲しいことを示す映像を出力すること、の少なくともいずれか一つを含んでいてもよい。
本構成によれば、音声及び映像のいずれか一方を用いてロボットから離れて欲しいことがユーザに伝えられるため、そのことをユーザに対して正確に伝えることができる。
上記態様において、音声を出力するスピーカーと、
情報を表示するディスプレイと、をさらに備え、
前記障害物を除去して欲しいことを示す前記第1行動は、前記障害物を除去して欲しいことを示す仕草を行うことを含んでいてもよい。
本構成によれば、障害物を除去してほしいことを示す仕草が第1行動として採用されているため、そのことをユーザに対してさりげなく伝えることができる。
上記態様において、音声を出力するスピーカーと、
情報を表示するディスプレイと、をさらに備え、
前記障害物を除去して欲しいことを示す前記第1行動は、(i)前記障害物を除去して欲しいことを示す音声を前記スピーカーから出力すること、及び、(ii)前記障害物を除去して欲しいことを示す情報を前記ディスプレイに表示すること、の少なくともいずれか一つを含んでいてもよい。
本構成によれば、音声及び映像のいずれか一方を用いて、障害物を除去してほしいことがユーザに伝えられるため、そのことをユーザに対して正確に伝えることができる。
上記態様において、前記ユーザとの対話を誘発する前記第1行動は、(i)前記ロボットを前記ユーザに接触させること、及び、(ii)前記ロボットを左右に揺らすこと、の少なくともいずれか一つを含んでいてもよい。
本構成によれば、ユーザとの対話を誘発する第1行動として、ロボットがユーザに接触したり、ロボットが左右に揺れる動作をしたりする行動が採用されているため、おねだりしているような動作をロボットにとらせることによって、ユーザとの対話を誘発できる。
上記態様において、音声を出力するスピーカーと、
情報を表示するディスプレイと、
前記ロボット周辺の音を取得するマイクと、をさらに備え、
前記ユーザとの対話を誘発する前記第1行動は、(i)前記ユーザとの対話を誘発する音声を前記スピーカーから出力すること、(ii)前記ディスプレイを前記ユーザに向けること、及び、(iii)前記マイクを前記ユーザに向けること、の少なくともいずれか一つを含んでいてもよい。
本構成によれば、音声及び映像の少なくとも一方を通じて対話の意思表示をユーザに対して正確に伝えることができると共に、マイクをユーザに向けることによってユーザからの発話を正確に取得できる。
上記態様において、前記ロボットを前記充電台に移動させて欲しいことを示す前記第1行動は、前記ロボットを充電台に移動させて欲しいことを示す仕草を行うことを含んでいてもよい。
本構成によれば、充電台に移動してほしいことを示す仕草が第1行動として採用されているため、そのことをユーザに対してさりげなく伝えることができる。
上記態様において、音声を出力するスピーカーと、
情報を表示するディスプレイと、をさらに備え、
前記ロボットを前記充電台に移動させて欲しいことを示す前記第1行動は、(i)前記ロボットを前記充電台に移動させて欲しいことを示す音声を、前記スピーカーから出力すること、及び、(ii)前記ロボットを前記充電台に移動させて欲しいことを示す情報を前記ディスプレイに表示すること、の少なくともいずれか一つを含んでいてもよい。
本構成によれば、音声及び映像のいずれか一方を用いて、充電台に移動させてほしいことがユーザに伝えられるため、そのことをユーザに対して正確に伝えることができる。
上記態様において、前記ロボットが前記ユーザに近づいたことを喜ぶ前記第1行動は、(i)前記ロボットが前記ユーザに近づいたことを喜ぶことを示す仕草を行うことを含んでもよい。
本構成によれば、ユーザに近づいたことを喜ぶ仕草を通じて、その喜びがユーザに伝えられるため、その喜びをさりげなくにユーザに伝えることができる。
上記態様において、音声を出力するスピーカーと、
情報を表示するディスプレイと、をさらに備え、
前記ロボットが前記ユーザに近づいたことを喜ぶ前記第1行動は、(i)前記ロボットが前記ユーザに近づいたことを喜ぶことを示す音声を、前記スピーカーから出力すること、及び、(ii)前記ロボットが前記ユーザに近づいたことを喜ぶことを示す情報を前記ディスプレイに表示すること、の少なくともいずれか一つを含んでいてもよい。
本構成によれば、音声及び映像のいずれか一方を用いて、ユーザに近づいたことへの喜びがユーザに伝えられるため、その喜びをユーザに対して正確に伝えることができる。
本開示は、このようなロボットに含まれる特徴的な各構成をコンピュータに実行させるプログラム、或いはこのプログラムによって動作するロボットの制御方法として実現することもできる。また、このようなプログラムを、CD-ROM等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
(実施の形態)
以下、本発明の実施の形態について、図面を参照しながら説明する。以下で説明する実施の形態は、本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
まず、図1及び図2を参照しつつ、本開示の実施の形態に係るロボットの外観の詳細について説明する。図1は、本開示の実施の形態に係るロボットの外観斜視図であり、図2は、本開示の実施の形態に係るロボットの内部斜視図である。
ロボット1は、図1に示すように、球体状のメイン筐体121と、第1球冠部122、及び第2球冠部123とを備える。メイン筐体121、第1球冠部122、及び第2球冠部123は全体として球体を構成する。即ち、ロボット1は、球体形状を有する。ロボット1は、所定の空間を二次元的に移動しながらユーザと接触する。第1球冠部122及び第2球冠部123はメイン筐体121に設けられたシャフト(図示せず)によって連結されている。一方、シャフトとメイン筐体121とは固定されていない。従って、シャフト周りにメイン筐体121を回転させることによって、ロボット1が前進又は後進する。
また、ロボット1は、図1に示すように、第1球冠部122にカメラ101とマイク103とを備える。さらにメイン筐体121の内部にはスピーカ113が設けられている。スピーカ113は、ロボット1の音声を出力する。カメラ101は、ロボット1の周辺環境の映像を取得する。マイク103は、ロボット1の周辺環境の音声を取得する。なお、スピーカ113は、第1球冠部122、及び第2球冠部123のいずれかに設けられていてもよい。本態様では、ロボット1は、第1球冠部122にカメラ101を備えるが、これに限らず、第1球冠部122及び第2球冠部123の少なくとも一方にカメラ101を備えればよいが、カメラ101の配置場所及び個数を調整することにより、ロボット1の周囲360度の映像を取得することが可能になる。本態様では、ロボット1は、第1球冠部122にマイク103を備えるが、これに限らず、第1球冠部122、及び第2球冠部123のいずれかにマイク103を備えればよい。
図2に示すように、ロボット1は、メイン筐体121の内部に、第1表示部111a、第2表示部111b、及び第3表示部111cを備える。第1表示部111a、第2表示部111b、及び第3表示部111cは、固定板金125に備え付けられている。固定板金125は、アーム126を介してシャフトに取り付けられている。第1表示部111a、第2表示部111b、及び第3表示部111cは、例えば、複数の発光ダイオードにより構成される。第1表示部111a、第2表示部111b、及び第3表示部111cは、ロボット1の表情を表示する。具体的には、第1表示部111a、第2表示部111b、及び第3表示部111cは、複数の発光ダイオードの点灯を個別に制御することにより、図1に示すようにロボット1の顔の一部、例えば、目及び口を表示する。図1及び図2の例では、第1表示部111aが右目の画像を表示し、第2表示部111bが左目の画像を表示し、第3表示部111cが口の画像を表示している。そして、右目、左目、及び口の画像は、透明又は半透明の部材からなるメイン筐体121を通過し、外部に放射されている。
図2に示すように、ロボット1は、メイン筐体121の内部の下方に重り127を備える。このため、ロボット1の重心は、メイン筐体121の中心から下方に位置する。これにより、ロボット1の動作を安定させることができる。
次に、図3を参照しつつ、本開示の実施の形態に係るロボット1の内部回路の詳細について説明する。図3は、本開示の実施の形態に係るロボット1及びロボット1の充電に用いられる充電器2を示すブロック図である。
図3に示すように、ロボット1は、カメラ101、マイク103、センサ105、電源109、表示部111、スピーカ113、駆動機構115、プロセッサ100、及びメモリ130を備える。プロセッサ100は、映像処理部102、音声処理部104、センサ情報処理部106、主制御部107、管理部108、電源制御部110、表示制御部112、音声制御部114、駆動機構制御部116を備える。また、充電器2は、充電制御部117を備える。プロセッサ100は、例えば、CPU等の電気回路であり、メモリ130は、例えば不揮発性の半導体メモリである。
カメラ101は、ロボット1の周辺環境の映像を取得する。マイク103は、ロボット1の周辺環境の音声を取得する。センサ105は、例えば、距離センサ、熱画像センサ、照度センサ、ジャイロセンサ、加速度センサ、地磁気センサ、感圧センサ、近接センサ、指紋認証センサ、静脈認証センサなどにより構成される。センサ105により取得される情報には、ロボット1の周辺環境を示す情報、及びロボット1に対するユーザの操作情報などが含まれる。周辺環境を示す情報は、例えば、距離センサ、熱画像センサ、照度センサなどから得られ、操作情報は、例えばジャイロセンサ、加速度センサ、地磁気センサ、感圧センサ、近接センサ、指紋認証センサ、静脈認証センサなどから得られる。なお、センサ105を構成する距離センサ、熱画像センサ、指紋認証センサと、カメラ101と、マイク103とは障害物を検知するための第1センサーの一例である。また、センサ105を構成するジャイロセンサ、加速度センサ、地磁気センサ、感圧センサ、接近センサ、指紋認証センサ、静脈認証センサは、ロボットが人間に触れられていることを検知する第2センサーの一例である。
映像処理部102は、カメラ101で取得された映像から障害物の種別(例えば、ユーザ及び物体など)、位置、大きさ、障害物がユーザの場合は表情の種類、属性情報(例えば、ユーザID及び年代など)を解析し、解析結果を映像解析結果としてメモリ130に記憶することで映像解析結果を管理する。表情の種類は、例えば、「笑った顔」、及び「驚いた顔」などの肯定的表現と、「悲しい顔」及び「嫌がっている顔」などの否定的表現とを含む。
音声処理部104は、マイク103で取得された音声からユーザの音声の有無、音声の種類、及び属性情報(例えば、ユーザID、年代など)を解析し、解析結果を音声解析結果としてメモリ130に記憶することで音声解析結果を管理する。音声の種類は、例えば、「好き」及び「もっと遊ぼう」などの肯定的表現と、「嫌い」及び「あっちに行って」などの否定的表現などを含む。
センサ情報処理部106は、センサ105で取得された周辺環境を示す情報から、障害物の種別(例えば、ユーザ、物体など)、位置、大きさ、及びロボット1から障害物までの距離などを解析する。また、センサ情報処理部106は、センサ105で取得された操作情報から、ユーザの操作時間、操作回数、操作の種類などを解析する。そして、センサ情報処理部106は、これらの解析結果をセンサ解析結果としてメモリ130に記憶することでセンサ解析結果を管理する。操作の種類は、例えば、「触れる」、「撫でる」などの肯定的表現と、「叩く」、「弾く」などの否定的表現とを含む。操作の種類は、例えば、センサ105を構成する感圧センサの波形パターンに基づいて識別される。
例えば、センサ情報処理部106によって得られた情報から障害物が検出され、その障害物を含む映像が映像処理部102によって解析されて、障害物が物体であるかユーザであるかの種別が解析される。また、障害物の種別がユーザである場合、そのユーザを含む映像が映像処理部102によって解析(例えば、顔認証、表情検知処理など)されることによってユーザの表情、ユーザの属性情報などが解析される。
但し、これは一例であり、ユーザの属性情報は例えばマイク103によって取得された音声が音声処理部104によって声紋認証されることで取得されてもよいし、センサ105を構成する指紋認証センサ又は静脈センサが取得した情報がセンサ情報処理部106によって解析されてユーザの属性情報が取得されてもよい。また、障害物がユーザであるか物体であるかの判別は、例えば、センサ105を構成する熱画像センサによって取得された情報が示す障害物の温度分布をセンサ情報処理部106が解析することによって行われてもよい。
また、ロボット1は、充電器2により充電される。電源109は、例えば、充電器2によって充電されるリチウムイオン電池などの二次電池であり、ロボット1の電力源である。電源制御部110は、充電器2の充電制御部117の制御によって電源109に蓄えられる電力を管理する。
具体的には、電源制御部110は、ロボット1の電力状態が充電中かどうかを表す充電中フラグと電源109の電力残量の情報とをメモリ130に記憶することで、電源109を管理する。さらに、電源制御部110は、主制御部107に前記充電中フラグと前記電力残量の情報とをメモリ130から読み出して出力する。さらに、電源制御部110は、ロボット1が充電器2に接続されている場合は、充電器2の充電制御部117と共に電源109への充電を制御する。
管理部108は、ロボット1の現在の行動種別を示す行動種別情報132をメモリ130に記憶することで、ロボット1の行動種別を管理する。本実施の形態において、行動種別は、例えば、ランダム走行と、ユーザへの接近と、充電器への移動と、対話時の移動との4つに区分されるが、本開示はこれに限定されず、3つに区分されてもよいし、5つ以上に区分されてもよい。また、行動種別は、上記の4つに限定されず、他の行動種別が採用されてもよい。
ここで、ランダム走行とは、例えば、ロボット1がランダムに前後に進んだり、左右に曲がったり、走行速度を変えたりしながら走行することである。ランダム走行は、例えば、ロボット1に対してタスクが与えられていない状況下で実行される行動種別であり、ロボット1の基本状態である。これにより、ロボット1はタスクが与えられていない状況下であっても、自律的に行動することになり、あたかもペットのようにふるまうことができる。なお、タスクとは、何らかの目的を達成するためにロボット1に課される仕事であり、例えば、ユーザとの対話、ユーザへの接近、及び充電台への移動などである。
ユーザへの接近とは、例えば、ロボット1がユーザを見つけた場合に、ユーザのそばまで接近することである。ユーザへの接近は、例えば、ランダム走行中にロボット1がユーザを検知した場合に実行される。充電器2への移動は、電源109の電力残量が所定値以下になった場合に実行される。充電器2への移動では、ロボット1は、電源109を充電をするために、充電器2を探索して充電器2まで移動する。なお、充電器2への移動は、例えば、ロボット1の電池切れを防止するために、他の行動種別よりも優先的に実行される。
対話時の移動は、例えば、ロボット1がユーザと対話している場合におけるロボット1の移動である。ロボット1は、事前にインストールされた、所定の表情と音声と動きとから構成される会話のプログラム又は遊びのプログラムを実行し、ユーザと対話する。ここで、会話のプログラムには、例えば、子供を対象とした自己紹介、挨拶、天気予報、スケジュール確認、雑談などが含まれる。遊びのプログラムには、例えば、子供を対象とした、しりとり、クイズ、じゃんけん、絵本などの読み聞かせ、お世話遊び、歌、かくれんぼ、生活習慣行動の促しなどが含まれる。
さらに、管理部108は、ロボット1とユーザとの接触の履歴である接触情報を接触情報DB(データベース)131に蓄積し、接触情報を管理する。図4は、接触情報データベース131のデータ構成の一例を示す図である。接触情報データベース131は、1つの行に1つの接触情報が割り当てられているデータベースであり、ロボット1の接触相手となるユーザに関する情報と、接触内容とを対応付けて記憶する。
ここで、「接触」とは、ユーザがロボット1のそばにいたり、ユーザがロボット1を見ていたり、ユーザとロボット1とが話していたり、ユーザがロボット1に触れていたり、ユーザがリモコン操作、ジェスチャ操作、又は手拍子の音などでロボット1を遠隔操作していたりすることを指す。すなわち、「接触」とは、ユーザとロボット1との物理的な接触のみならず、ユーザとロボット1との間接的な接触も含まれ、意思疎通を図るためのユーザとロボットとの相互作用(インタラクション)を指す。
具体的には、接触情報DB131は、「接触日時」、「接触相手」、及び「接触内容」を対応付けて記憶する。「接触日時」は、ロボット1とユーザとの接触時における開始時刻と終了時刻とを示す。「接触日時」に記憶された開始時刻から終了時刻までの時間がロボット1とユーザとの接触時間になる。
「接触相手」は、ロボット1に接触したユーザに関する情報を示し、「ユーザID」、「ユーザの種類」、及び「ユーザの表情」の列を含む。「ユーザID」は、ロボット1に接触したユーザの識別子である。「ユーザID」は、例えば、ロボット1が所在する家に居住する1以上のユーザのそれぞれに対して事前に付与されたものである。管理部108は、映像処理部102による映像解析結果が示すユーザIDを主制御部107を介して取得して「ユーザID」の列に記録する。
「ユーザの種類」は、ロボット1に接触したユーザの属性情報である。ここでは、「ユーザの種類」としては、例えば、子供又は大人が採用されているが、これは一例であり、例えば、母親、父親、長男、長女というような属性情報が採用されてもよいし、年代が採用されてもよいし、男性及び女性が採用されてもよい。管理部108は、映像処理部102の映像結果に含まれるユーザの種類を主制御部107を介して取得して、「ユーザの種類」の列に記録する。
「ユーザの表情」は、ロボット1とユーザとの接触時におけるユーザの表情の種類を示す。ここでは、「ユーザの表情」として、例えば、「笑顔」、「驚いた顔」などの肯定的表現と、「悲しい顔」、「嫌がっている顔」、「怒った顔」などの否定的表現などが含まれる。管理部108は、映像処理部102による映像解析結果に含まれる表情の種類を主制御部107を介して取得し、「ユーザの表情」の列に記録する。
「接触内容」は、ユーザとロボット1との接触の内容を示す。ここでは、「接触内容」には、例えば、「ロボットを叩く」、「ロボットを撫でる」、「ロボットをさする」、「ロボットをリモコンで操作」などのロボット1に対するユーザの操作と、「好き」、「もっと遊ぼう」、「嫌い」、「あっちに行って」などのロボット1に対するユーザの発話内容などが含まれる。さらに、「接触内容」は、「ロボットを見ている」、「ロボットのそばにいる」、「手拍子をする」などの相互作用を図るためのロボット1に対するユーザの行動などが含まれる。管理部108は、例えば、センサ情報処理部106によるセンサ解析結果に含まれる操作の種類、音声処理部104による音声解析結果に含まれる音声の種類、及び映像処理部102による映像解析結果に含まれる表情の種類を主制御部107を介して取得し、接触内容の列に記録する。
その他、接触情報データベース131は、ロボット1とユーザとの接触時間又は接触回数などの列を含んでもよい。接触時間は、「接触日時」の列に記録された開始時刻と終了時刻との差分により得られる。接触回数は、例えば、1回の接触におけるユーザのロボット1に対する操作回数である。例えば、「ロボットを叩く」の接触回数は、ユーザがロボット1を叩いた回数であり、「ロボットを撫でる」の接触回数は、ユーザがロボット1を撫でた回数である。
表示部111は、図2に示す第1表示部111a、第2表示部111b、第3表示部111cで構成される。表示部111は、例えば、所定間隔で配列された複数の発光ダイオードにより構成され、ロボット1の表情を示す表示情報を出力する。具体的には、表示部111は、複数の発光ダイオードの点灯を個別に制御することにより、ロボット1の顔の一部、例えば、目及び口を表示する。
表示制御部112は、主制御部107から出力される行動制御コマンドに応じた表示情報を表示部111から出力させるための表示信号を出力する。これにより、表示部111は、ロボット1の表情を出力する。
音声制御部114は、主制御部107から出力される行動制御コマンドに応じた音声をスピーカ113から出力するための音声信号を出力する。これにより、スピーカ113は、ロボット1の音声を出力する。
駆動機構115は、例えば、複数のモータ、フレーム、ギア、駆動ベルト、シャフトなどにより構成され、ロボット1を動作させる。具体的には、駆動機構115は、複数のモータを制御することにより、ロボット1の顔の向きを変更したり移動させたりする。
複数のモータは、例えば、図2を参照し、メイン筐体121を回転させてロボット1を走行させる第1モータと、重り127を前後方向周りに回転させてロボット1の姿勢を左右方向周りに傾斜させる第2モータと、アーム126をシャフト周りに回転させ、ロボットの目及び口を上方又は下方に傾斜させる第3モータとを含む。フレームはシャフトにぶら下げられ、複数のモータ、ギア、及び駆動ベルトを収容する。複数のギアは、駆動ベルトに掛け回され、第3モータの回転力をアーム126に伝達する。
具体的には、駆動機構115は、駆動機構制御部116からの駆動信号にしたがって、第1モータ~第3モータを駆動することにより、ロボット1を走行させたり、ロボット1を旋回させたり、ロボット1の目及び口を上方又は下方に傾斜させたりする。なお、ロボット1は、後方から前方に見て右方向に重り127を傾斜させ、前進することで右旋回し、左方向に重りを傾斜させ、前進することで左旋回する。
駆動機構制御部116は、主制御部107から出力される行動制御コマンドに応じて、ロボット1の駆動機構115を動かすための制御信号を出力する。これにより、駆動機構115は、行動制御コマンドに応じた動作をロボット1に行わせる。
主制御部107は、映像解析結果を映像処理部102から取得する。主制御部107は、ユーザの音声解析結果を音声処理部104から取得する。主制御部107は、センサ解析結果をセンサ情報処理部106から取得する。主制御部107は、行動種別情報132を管理部108から取得する。
主制御部107は、映像処理部102から取得した映像解析結果に含まれるユーザの認識結果と、音声処理部104から取得したユーザの音声認識結果と、センサ情報処理部106から取得したユーザの操作認識結果とから、「接触日時」、「接触相手」、及び「接触内容」を決定して接触情報を生成し、管理部108に出力する。さらに、主制御部107は、後述の障害物対応処理時には、接触相手となるユーザの接触情報を管理部108から取得する。
主制御部107は、電源109の電力状態の充電中フラグと電力残量の情報とを電源制御部110から取得する。
主制御部107は、映像処理部102からの映像解析結果と、センサ情報処理部106からのセンサ解析結果と、管理部108から取得した情報とを基に、行動制御コマンドを生成し、表示制御部112、音声制御部114、駆動機構制御部116に出力する。前記行動制御コマンドの内容の詳細は後述する。
主制御部107は、電源制御部110から充電中フラグを定期的に取得し、充電中フラグがOFFである場合、即ち、ロボット1の電力状態が充電中でない場合に、図5で後述する障害物対応処理を行う。なお、障害物対応処理を行う条件は、これに限られるものではない。主制御部107は、例えば、電源制御部110から電源109の電力残量の情報を充電中フラグに加えてさらに定期的に取得し、充電中フラグがOFFであり、且つ、電力残量の情報が示す電力残量が所定値以上の場合に、次に述べる障害物対応処理を行ってもよい。
次に、図5を参照しつつ、本開示の実施の形態に係るロボット1における障害物対応処理について説明する。図5は、本開示の実施の形態に係るロボット1における障害物対応処理を示すフローチャートである。
まず、主制御部107は、センサ情報処理部106からセンサ解析結果を取得し、センサ105によってロボット1から所定距離内に障害物が検知されたたか否かを判断する(S201)。所定距離としては、ロボット1がユーザとインタラクションをとることが可能な予め定められた距離である。
主制御部107は、センサ105によりロボット1から所定距離内に障害物が検知されなかった場合(S201において「No」の場合)、障害物対応処理を終了する。
一方、主制御部107は、センサ105によりロボット1から所定距離内に障害物が検知された場合(S201において「Yes」の場合)、ロボット1の走行を停止する行動制御コマンドを駆動機構制御部116に出力する(S202)。この場合、主制御部107は、この行動制御コマンドに加え、所定の表情(例えば、驚いた顔、悲しい顔など)を再現する座標にある表示部111の複数の発光ダイオードを点灯するための行動制御コマンドと、所定の音声(例えば、「おっとっと」、「危ない、危ない」、「何かありそう」など)をロボット1に発話させる行動制御コマンドとを、それぞれ、表示制御部112と音声制御部114とに出力してもよい。
次に、主制御部107は、管理部108から、ステップS202でのロボット1が走行を停止する直前のロボット1の行動種別情報132(例えば、ランダム走行、ユーザへの接近、充電器への移動、対話時の移動など)を取得する(S203)。
次に、主制御部107は、映像処理部102から取得したカメラ101が取得した映像に対する映像解析結果に含まれる障害物の種別(例えば、ユーザ、物体など)から、ステップS201で検知された障害物の種別がユーザか否かを判断する(S204)。
このフローでは、S204において、主制御部107は、障害物が人物か物体かの判別を行うだけに留め、ユーザIDなどのユーザの属性情報までは特定する必要はない。但し、これは一例であり、後述の接触情報DB131を参照する態様を採用する場合、主制御部107は、S204にてユーザの属性情報を特定する。
また、このフローでは、ステップS201とステップS204とに示されるように、障害物の検知とユーザの検知とは別々に実施されているが、これは一例であり、障害物の検知とユーザの検知とはステップS201において同時に実施されてもよい。
例えば、ステップS201において、センサ105により障害物が検知された場合、主制御部107は、映像処理部102にカメラ101の映像を解析させてその映像解析結果を映像処理部102から取得し、センサ105で検出された障害物がユーザであるか否かを判定すればよい。
或いは、ステップS201において、センサ105により障害物が検知されたとき、障害物としてのユーザが発話していたとする。この場合、主制御部107は、音声解析結果に含まれる属性情報からユーザを認識してもよい。
ステップS204における判断結果が、障害物がユーザであることを示す場合(S204において「Yes」の場合)、主制御部107は、ステップS203で取得した行動種別情報132から、ロボット1の現在の行動種別が「ランダム走行」であるか否かを判断する(S205)。
ステップS205における判断結果が「ランダム走行」である場合(S205において「Yes」の場合)、主制御部107は、ロボット1がユーザに「対話誘導発話」を実施する行動制御コマンドを表示制御部112と音声制御部114とに対し出力し(S206)、障害物対応処理を終了する。
「ランダム走行」中における「対話誘導発話」の具体例は以下の通りである。主制御部107は、表示制御部112に対し、図6の表H6の1行1列目に示すように、お願いをする表情(例えば、「^ ^」の形状の両目など)を再現できる座標にある表示部111の複数の発光ダイオードを点灯する行動制御コマンドを表示制御部112に出力する。また、主制御部107は、図6の表H6の1行1列目に示すように、例えば、「一緒に遊んで」などのロボット1がユーザに対話の相手になってもらうことを誘導する内容の音声をロボット1に発話させる行動制御コマンドを音声制御部114に出力する。そして、全ての行動制御コマンドの出力が完了すると、主制御部107は障害物対応処理を終了する。
このように、本実施の形態では、「ランダム走行」中において、ロボット1が検知した障害物がユーザの場合は、障害物、即ち、ユーザを回避せずにユーザに対して対話を促す「対話誘導発話」を行う。これにより、ロボット1とユーザとの意思疎通の機会を極力増やすことができる。
なお、ここで説明したロボット1の表情と音声とは一例であり、これに限られるものではない。例えば、主制御部107は、音声をロボット1に発話させる行動制御コマンドのみを音声制御部114に出力してもよい。この場合、スピーカ113から出力される音声だけでロボット1とユーザとの意思疎通が図られる。また、主制御部107は、ロボット1が発話する音声をテキスト化したテキスト情報を表情として表示する行動制御コマンドのみを表示制御部112に出力してもよい。この場合、表示部111に表示されるテキスト情報だけでロボット1とユーザとの意思疎通が図られる。また、主制御部107は、ロボット1が発話する音声とその音声のテキスト情報との両方を出力させる行動制御コマンドを表示制御部112及び音声制御部114に出力してもよい。この場合、音声及びテキスト情報を用いたロボット1とユーザとの意思疎通が図られる。
さらに、主制御部107は、ロボット1の音声と表情とに加え、所定の動き(例えば、左右の揺れ、上下の頷きなど)をロボット1にとらせる行動制御コマンドを駆動機構制御部116に出力してもよい。この場合、ロボット1は、動きも用いて、一層効果的にユーザに対話の相手になってもらうことを誘導できる。また、主制御部107は、対話の相手になってもらうことを誘導する行動制御コマンドだけでなく、以下の行動制御コマンドを出力してもよい。すなわち、主制御部107は、例えば、ユーザに優しくロボット1の本体を当てる、ロボット1が表示部111をユーザの方に向けることによってユーザの顔を見る表情をする、ユーザのそばで揺れる、ユーザの方向にロボット1のマイク103(耳部)を向けるなど、発話を伴わない意思疎通を誘導するための行動制御コマンドを出力してもよい。
一方、ステップS205における判断結果が「ランダム走行」でない場合(S205において「No」の場合)、主制御部107は、ステップS203で取得した行動種別情報132から、ロボット1の現在の行動種別が「ユーザへの接近」か否かを判断する(S207)。
ステップS207における判断結果が「ユーザへの接近」である場合(S207において「Yes」の場合)、前述のステップS206に進んで「対話誘導発話」が行われた後、障害物対応処理は終了する。
一方、ステップS207における判断結果が「ユーザへの接近」でない場合(S207において「No」の場合)、主制御部107は、ステップS203で取得したロボット1の行動種別情報132から、ロボット1の現在の行動種別が「充電器への移動」か否かを判断する(S208)。
ステップS208における判断結果が「充電器への移動」の場合(S208において「Yes」の場合)、主制御部107は、ロボット1がユーザに「充電器設置誘導発話」を実施する行動制御コマンドを表示制御部112と音声制御部114とに出力し(S209)、障害物対応処理を終了する。
充電器設置誘導発話の具体例は以下の通りである。主制御部107は、表示制御部112に対し、図6の表H6の3行1列目に示すように、助けを求める表情(例えば、「> <」の形状の両目など)を再現できる座標にある表示部111の複数の発光ダイオードを点灯する行動制御コマンドを表示制御部112に出力する。また、主制御部107は、図6の表H6の3行1列目に示すように、例えば、「充電器に戻して」などのロボット1がユーザに充電器2まで運んで戻してもらうことを誘導する内容の音声をロボット1に発話させる行動制御コマンドを音声制御部114に出力する。そして、全ての行動制御コマンドの出力が完了すると、主制御部107は障害物対応処理を終了する。
このように、本実施の形態では、「充電器への移動」中において、ロボット1が検知した障害物がユーザの場合は、障害物、即ち、ユーザを回避せずにユーザに充電器2まで運んでてもらうことを促す。これにより、ロボット1とユーザとの意思疎通の機会を極力増やすことができる。
なお、ここで説明したロボット1の表情と音声とは一例であり、これに限られるものではない。例えば、主制御部107は、音声をロボット1に発話させる行動制御コマンドのみを音声制御部114に出力してもよい。この場合、スピーカ113から出力される音声だけでロボット1とユーザとの意思疎通が図られる。また、主制御部107は、ロボット1が発話する音声をテキスト化したテキスト情報を表情として表示する行動制御コマンドのみを表示制御部112に出力してもよい。この場合、表示部111に表示されるテキスト情報だけでロボット1とユーザとの意思疎通が図られる。また、主制御部107は、ロボット1が発話する音声とその音声のテキスト情報との両方を出力させる行動制御コマンドを音声制御部114及び表示制御部112に出力してもよい。この場合、音声とテキスト情報とを用いたロボット1とユーザとの意思疎通が図られる。
さらに、主制御部107は、ロボット1の音声と表情とに加え、所定の動き(例えば、左右の揺れ、上下の頷きなど)をロボット1にとらせる行動制御コマンドを駆動機構制御部116に出力することによって、充電器2に移動させて欲しいことを示す仕草をロボット1に行わせてもよい。この場合、ロボット1は、動きも用いて、一層効果的にユーザに充電器まで運んでもらうことを誘導することができる。
一方、ステップS208における判断結果が「充電器への移動」でない場合(S208において「No」の場合)、即ち、「ランダム走行」、「ユーザへの接近」、「充電器への移動」のいずれにも該当せず、「対話時の移動」である場合、主制御部107は、ロボット1がユーザにリアクション発話を実施する行動制御コマンドを表示制御部112と音声制御部114とに出力し(S210)、障害物対応処理を終了する。対話時の移動としては、ロボット1の前進が含まれる。
リアクション発話の具体的は以下の通りである。主制御部107は、表示制御部112に対し、図6の表H6の4行1列目に示すように、喜びの表情(例えば、「^ ^」の形状の両目など)を再現できる座標にある表示部111の複数の発光ダイオードを点灯するコマンドを行動制御コマンドとして出力する。また、主制御部107は、図6の表H6の4行1列目に示すように、例えば、「近くにいれて嬉しい」などのユーザへのリアクションとなる音声をロボット1に発話させる行動制御コマンドを音声制御部114に出力する。そして、全ての行動制御コマンドの出力が完了すると、主制御部107は障害物対応処理を終了する。
このように、本実施の形態では、「対話時の移動」において、ロボット1が検知した障害物がユーザの場合は、障害物、即ち、ユーザを回避せずにユーザに「リアクション発話」がされているため、ロボット1とユーザとの意思疎通の機会を極力増やすことができる。
なお、ここで説明したロボット1の表情と音声とは一例であり、これに限られるものではない。例えば、主制御部107は、音声をロボット1に発話させる行動制御コマンドのみを音声制御部114に出力してもよい。この場合、スピーカ113から出力される音声だけでロボット1とユーザとの意思疎通が図られる。また、ロボット1が発話する音声をテキスト化したテキスト情報を表情として表示する行動制御コマンドのみを表示制御部112に出力してもよい。この場合、表示部111に表示されるテキスト情報だけでロボット1とユーザとの意思疎通が図られる。また、主制御部107は、ロボットが発話する音声とその音声のテキスト情報との両方を出力させる行動制御コマンドを表示制御部112及び音声制御部114に出力してもよい。この場合、音声とテキスト情報とを用いたロボット1とユーザとの意思疎通が図られる。
さらに、主制御部107は、ロボット1の音声と表情とに加え、所定の動き(例えば、左右の揺れ、上下の頷きなど)をロボット1にとらせる行動制御コマンドを駆動機構制御部116に出力することによって、ユーザに近づいたことを喜ぶ仕草をロボット1に行わせてもよい。この場合、ロボット1は、動きも用いて、一層効果的にユーザにリアクションを行うことができる。
一方、ステップS204の判断結果が、障害物がユーザでない場合(S204において「No」の場合)、即ち、障害物が物体であった場合、主制御部107は、ステップS203で取得した行動種別情報132が「ランダム走行」であるか否かを判断する(S211)。
ステップS211における判断結果が「ランダム走行」である場合(S211において「Yes」の場合)、主制御部107は、ロボット1が障害物を回避して走行する行動制御コマンドを駆動機構制御部116に出力し(S212)、障害物対応処理を終了する。障害物の回避方法の一例は、例えば、ステップS202におけるロボット1の停止場所を初期地点として、所定の距離分を後進した後、左又は右に曲がり前進する方法である。障害物の回避方法の他の例は、その場で所定の角度を旋回した後、前進する方法などである。障害物の回避方法のさらに他の例は、後進せずに右折又は左折する方法などである。
但し、本開示はこれらの方法にこれに限られるものではない。
このように、本実施の形態では、ロボット1が検知した障害物が物体であり、障害物検知時のロボット1の行動種別が「ランダム走行」及び「充電器への移動」というように周りにユーザが存在するかが不明な行動の場合、ロボット1がユーザとの意思疎通の機会を増やすことは困難である。そのため、主制御部107は、最低限の動作として、物体に衝突することを回避する行動制御コマンドを駆動機構制御部116に出力する。これにより、ロボット1と物体とが衝突し、いずれか一方又は両方の破損を防止できる。
なお、障害物を回避する際の行動制御コマンドは、これに限られるものではない。例えば、主制御部107は、この行動制御コマンドに加え、所定の表情(例えば、驚いた顔、悲しい顔など)を再現する座標にある表示部111の複数の発光ダイオードを点灯する行動制御コマンドと、所定の音声(例えば、「おっとっと」、「危ない、危ない」、「何かありそう」など)をロボット1に発話させる行動制御コマンドとを、それぞれ、表示制御部112と音声制御部114とに出力してもよい。
一方、ステップS211における判断結果が「ランダム走行」でない場合(S211において「No」の場合)、主制御部107は、ステップS203で取得したロボット1の行動種別情報132から、ロボット1の現在の行動種別が「ユーザへの接近」であるか否かを判断する(S213)。
ステップS213における判断結果が「ユーザへの接近」の場合(S213において「Yes」の場合)、主制御部107は、ロボット1がユーザに「障害物除去誘導発話」を実施する行動制御コマンドを表示制御部112と音声制御部114とに出力し(S214)、障害物対応処理を終了する。
「障害物除去誘導発話」の具体例は以下の通りである。主制御部107は、図6の表H6の2行2列目に示すように、助けを求める表情(例えば、「> <」の形状の両目など)を再現できる座標にある表示部111の複数の発光ダイオードを点灯する行動制御コマンドを表示制御部112に出力する。また、主制御部107は、図6の表H6の2行2列目に示すように、例えば、「障害物をどけて」などのロボット1がユーザに障害物をどけてもらうことを誘導する内容の音声をロボット1に発話させる行動制御コマンドを音声制御部114に出力する。そして、全ての行動制御コマンドの出力が完了すると、主制御部107は障害物対応処理を終了する。
このように、本実施の形態では、ロボット1が検知した障害物が物体であり、障害物検知時のロボット1の行動が「ユーザへの接近」又は「対話時の移動」といった周りにユーザが存在する確率が高い行動の場合は、ユーザに障害物をどけることを促す「障害物除去誘導発話」を行う。これにより、ロボット1とユーザとの意思疎通の機会を極力増やすことができる。
なお、ここで説明したロボット1の表情と音声とは一例であり、これに限られるものではない。例えば、主制御部107は、音声をロボット1に発話させる行動制御コマンドのみを音声制御部114に出力してもよい。この場合、スピーカ113から出力される音声だけでロボット1とユーザとの意思疎通が図られる。また、主制御部107は、ロボット1が発話する音声をテキスト化したテキスト情報を表情として表示する行動制御コマンドのみを表示制御部112に出力してもよい。この場合、表示部111に表示されるテキスト情報だけでロボット1とユーザとの意思疎通が図られる。また、主制御部107は、音声とその音声のテキスト情報との両方を出力させる行動制御コマンドを表示制御部112及び音声制御部114に出力してもよい。この場合、音声及びテキスト情報を用いたロボット1とユーザとの意思疎通が図られる。
さらに、主制御部107は、ロボット1の音声と表情とに加えて又は代えて、所定の動き(例えば、左右の揺れ、上下の頷きなど)をロボット1にとらせる行動制御コマンドを駆動機構制御部116に出力することで、障害物を除去してほしいことを示す仕草をロボット1に行わせてもよい。この場合、ロボット1は、動きも用いて、一層効果的にユーザに障害物をどけてもらうことを誘導できる。
一方、ステップS213における判断結果が「ユーザへの接近」でない場合(S213において「No」の場合)、主制御部107は、ステップS203で取得した行動種別情報132から、ロボット1の現在の行動種別が「充電器への移動」か否かを判断する(S215)。
ステップS215における判断結果が「充電器への移動」の場合(S215において「Yes」の場合)、前述のステップS212に進み、障害物を回避する行動を実行した後、障害物対応処理は終了する。
一方、ステップS215における判断結果が「充電器への移動」でない場合(S215において「No」の場合)、即ち、「ランダム走行」、「ユーザへの接近」、「充電器への移動」のいずれでもなく、「対話時の移動」の場合、前述のステップS214に進み、障害物除去誘導発話の実行後、障害物対応処理は終了する。
次に、図5のフローで示される障害物対応処理の纏めを説明する。図6は、障害物対応処理を纏めた図である。図6において左側は障害物を検知したときのロボット1の行動を示し、図6において右側は障害物対応処理によってロボット1が取り得る行動を纏めた表H6を示している。
図6のステップS601では、ロボット1は、「ランダム走行」、「ユーザへの接近」、「充電器への移動」、及び「対話時の移動」のうちのいずれかの行動をとっている。ステップS602では、ロボット1は障害物を検知したため、障害物に対して所定距離内で停止する。ステップS603では、ロボット1は障害物の種別がユーザ及び物体のいずれに該当するかを判別する。そして、ロボット1は、S601での行動種別と、S603で検出した障害物の種別とに応じて表H6に示す行動をとる。
表H6の1行目に示すように、行動種別が「ランダム走行」の場合、障害物が「ユーザ」であれば、ロボット1は、「一緒に遊んで」といったユーザU1への対話を促す「対話誘導発話」を行う。これは、ランダム走行中にユーザU1が発見されたことから、ロボット1の周囲にユーザU1が居ることが明らかであり、ユーザU1に発話をしてユーザU1との意思疎通の機会の増大を図るためである。一方、障害物が「物体」であれば、ロボット1は物体を回避する。これは、ランダム走行中においてユーザU1が発見されておらず、ロボット1の周囲にユーザU1が居るか否かが不明であり、ユーザU1との意思疎通を図ることが困難だからである。
表H6の2行目に示すように、行動種別が「ユーザへの接近」の場合、障害物が「ユーザ」であれば、ロボット1は、「対話誘導発話」を行う。これは、周囲にユーザU1が居ることが明らかであり、ロボット1からユーザU1に積極的に発話をして、ユーザU1との意思疎通の機会の増大を図るためである。一方、障害物が「物体」であれば、ロボット1は、「障害物をどけて」といったユーザU1に障害物をどけてもらうことを促す「障害物除去誘導発話」を行う。これは、ロボット1の周囲にユーザU1が居ることが明らかであり、ロボット1が単に障害物を回避する行動を行うよりは、ユーザU1に障害物の除去を促した方がユーザU1との意思疎通の機会が増大されるからである。
表H6の3行目に示すように、行動種別が「充電器への移動」の場合、障害物が「ユーザ」であれば、ロボット1は、「充電器に戻して」というようなユーザU1に対してロボット1を充電器2まで戻す作業を促す「充電器設置誘導発話」を行う。これは、ロボット1の周囲にユーザU1が居ることが明らかであり、自律的に充電器2に移動するよりはユーザU1に戻してもらった方がユーザU1との意思疎通の機会が増大するからである。一方、障害物が「物体」の場合、ロボット1は、障害物を回避する行動をとる。これは、ロボット1の周囲にユーザU1が居るか否か不明であり、ユーザU1との意思疎通を図ることが困難だからである。
表H6の4行目に示すように、行動種別が「対話時の移動」であり、障害物が「ユーザ」であれば、ロボット1は、「近くにいれて嬉しい」といった「リアクション発話」を行う。これは、ユーザU1とロボット1とが既に対話中であるため、ロボット1からユーザU1に対して積極的に発話して、ロボット1とユーザU1との意思疎通の機会の増大を図るためである。一方、障害物が「物体」の場合、ロボット1は「障害物除去誘導発話」を行う。これは、ロボット1はユーザU1と対話中であり、「物体」の存在をきっかけにユーザU1との対話をはずませることによって、ユーザU1とロボット1との意思疎通の機会の増大を図るためである。
表H6に示されるように、ロボット1がユーザU1と意思疎通をしていないのは、1行2列目のパターンと3行2列目のパターンとの2つであり、それ以外は、ロボット1とユーザU1との間で何らかの意思疎通が図られており、極力意思疎通の機会が増えるようにロボット1の行動が制御されていることが分かる。なお、表H6において、「対話誘導発話」、「充電器設置誘導発話」、「リアクション発話」、「障害物除去誘導発話」は、それぞれ、ユーザU1との相互作用の機会を増やす第1行動の一例である。また、「回避」は、障害物に対応するための第2行動の一例に相当する。
以上のように、本実施の形態によれば、障害物検知時のロボット1の行動種別と、障害物の種別とに応じて、ユーザとの相互作用の機会を増やすための第1行動と、障害物を回避するための第2行動とが切り替えられている。そのため、本実施の形態は、ロボット1とユーザとの意思疎通の機会を極力増やしつつ障害物を回避することができる。
なお、本開示は以下の変形例が採用できる。
(1)本実施の態様では、子供と親とを一括りにユーザとして説明したが、これは一例であり、主制御部107は、ユーザが子供の場合と親の場合とにおいて前述の障害物対応処理におけるロボット1の発話内容を変化させてもよい。この場合、主制御部107が映像処理部102から取得する映像解析結果に含まれるユーザの属性情報(例えば、ユーザID、年代など)からユーザが親であるか子供であるかを判断すればよい。
例えば、前述の「対話誘導発話」においては、ユーザが子供の場合、主制御部107は、前述の通り、「一緒に遊んで」などの発話を実施する。これにより、ロボット1と子供とが意思疎通をする機会を極力増やすことができる。
一方、「ランダム走行」中に検知されたユーザが親の場合、主制御部107は、「そこをどいて」などロボット1の回避の手助けを誘導する発話を実施する行動制御コマンドを音声制御部114に出力する。これにより、ロボット1は親に対して意思疎通を図りながら物体としての障害物を回避することができる。
なお、主制御部107は、「そこをどいて」との発話をすることに代えて、ロボット1から離れてほしいことを示す仕草をロボット1に行わせる行動制御コマンドを出力してもよい。この場合、主制御部107は、ロボット1を左右に揺らす行動制御コマンドを駆動機構制御部116に出力すればよい。主制御部107は、例えば、困った顔の表情を表示部111に出力するための行動制御コマンドを表示制御部112に出力してもよい。
(2)図5のフローでは、接触情報DB131が活用されない例が説明されたが、本開示はこれに限定されず接触情報DB131を活用して、障害物への対応方法を変化させてもよい。例えば、主制御部107は、ステップS204でユーザを検知した場合、接触情報DB131に基づいて、検知したユーザとロボット1との所定期間における接触時間を特定し、その接触時間が所定の閾値以上であったとする。この場合、主制御部107は、ロボット1の行動種別が「ランダム走行」又は「ユーザへの接近」であれば、「対話誘導発話」を実施するのではなく、ユーザから回避する行動を実施してもよい。例えば、既にロボット1と子供との接触時間が十分とられている場合、親によってはロボット1と子供との接触の継続を望まない可能性がある。そこで、本開示は、このような親の意向を踏まえて、ユーザから回避する行動をロボット1にとらせる。
具体的には、主制御部107は、ステップS204において障害物がユーザであると判断した場合、映像処理部102から出力される映像解析結果に含まれるユーザの属性情報から該当するユーザのユーザIDを特定する。そして、主制御部107は、該当するユーザの現在から過去一定期間(例えば、1日、半日、6時間など)内の接触情報を接触情報DB131から抽出する処理を管理部108に依頼することで現在から過去一定期間の接触情報を取得する。そして、主制御部107は、取得した接触情報の「接触日時」の列に記憶されたデータを用いて、該当するユーザの現在から過去一定期間内のトータルの接触時間を算出する。そして、主制御部107は、トータルの接触時間が所定の閾値以上である場合、ロボット1の現在の行動種別が「ランダム走行」又は「ユーザへの接近」であれば、そのユーザを回避する行動制御コマンドを駆動機構制御部116に出力すればよい。
ここでは、ロボット1と子供との接触時間が利用されたが、本開示はこれに限定されない。例えば、主制御部107は、ロボット1と子供との所定時間における接触回数が採用されてもよい。この態様を採用する場合、接触情報DB131は上述の「接触回数」の列を備えている。主制御部107は、管理部108から取得した該当するユーザの現在から過去一定期間内の接触情報の「接触回数」の列に記憶されたデータを用いて該当するユーザの過去一定期間内のトータルの接触回数を求める。そして、主制御部107は、トータルの接触回数が所定の閾値以上であれば、そのユーザを回避する行動制御コマンドを駆動機構制御部116に出力すればよい。
また、主制御部107は、ロボット1との接触時における子供の表情、音声、又は操作の種類を活用し、肯定的表現(例えば、「笑った顔」、「驚いた顔」などの表情、「好き」、「もっと遊ぼう」などの音声、「触れる」、「撫でる」などの操作など)を接触時間に代えて利用してもよい。
この態様を採用する場合、主制御部107は、管理部108から取得した該当するユーザの現在から過去一定期間内の接触情報の「接触内容」の列に記憶されたデータを参照することで、肯定的表現が記憶された接触情報のトータルの個数を集計する。そして、主制御部107は、集計したトータルの個数が所定の閾値以上であれば、そのユーザを回避する行動制御コマンドを駆動機構制御部116に出力すればよい。
(3)ステップS201において、障害物の検知と障害物の種別の識別とを同時に行った場合、障害物の種別に応じてロボット1が停止するまでの時間を変化させてもよい。例えば、主制御部107は、検知した障害物の種別がユーザの場合、現在位置からユーザまでの距離がロボット1がユーザとインタラクションをすることが可能な所定距離以上離間していれば、通常の走行速度よりも速い速度でロボット1を走行させる行動制御コマンドを駆動機構制御部116に出力する。そして、ロボット1がユーザに対して所定距離の位置に到達すると、主制御部107はロボット1の走行を停止させる行動制御コマンドを駆動機構制御部116に出力する。これにより、ロボット1はユーザに対して通常よりも速い速度で近づくことができ、あたかもペットが飼い主に駆け寄っていくような行動をロボット1にとらせることができる。一方、ユーザを検知したときのユーザまでの距離が所定距離以下の場合、主制御部107はロボット1の走行を停止させる行動制御コマンドを駆動機構制御部116に出力し、ロボット1の走行を速やかに停止させればよい。
(4)上記実施の形態では、ロボット1は図1に示す球体ロボットであるが、本開示はこれに限定されず、球体ロボット以外の2足歩行ロボット、4足歩行ロボット、車輪で移動するロボットなどであってもよい。
本開示の例示的な実施形態にかかるロボットによれば、ロボットがユーザとの接触の機会を極力増やしつつ障害物を回避するために有用である。
1 :ロボット
100 :プロセッサ
101 :カメラ
102 :映像処理部
103 :マイク
104 :音声処理部
105 :センサ
106 :センサ情報処理部
107 :主制御部
108 :管理部
111 :表示部
112 :表示制御部
113 :スピーカ
114 :音声制御部
115 :駆動機構
116 :駆動機構制御部
117 :充電制御部
130 :メモリ
131 :接触情報データベース
132 :行動種別情報
131 :接触情報DB

Claims (24)

  1. ユーザと相互作用することによって相互に意思疎通するロボットであって、
    障害物を検知するための第1センサーと、
    メモリと、
    プロセッサと、を備え、
    前記メモリは、複数の行動種別を記憶しており、前記複数の行動種別のそれぞれは、前記ロボットに所定の行動を実行させるためのプログラムであり、
    前記メモリは、前記複数の行動種別のうち前記ロボットが実行している行動種別をさらに記憶し、
    前記プロセッサは、
    前記第1センサーが前記障害物を検知したときに前記ロボットが実行している行動種別が、前記複数の行動種別のいずれであるかを前記メモリを参照することで判断し、
    前記第1センサーによって検知された前記障害物の種別を判断し、
    前記第1センサーが前記障害物を検知したときに前記ロボットが実行している前記行動種別及び前記第1センサーによって検知された前記障害物の種別に基づいて、前記ユーザとの相互作用の機会を増やすための第1行動と、前記障害物に対応するための第2行動とのいずれかを決定し、
    前記ロボットを制御して、前記決定された行動を実行させ、
    前記第1センサーが前記障害物を検知したときに前記ロボットが実行している前記行動種別が、前記ロボットが前記ユーザに向かって移動する行動であり、かつ、前記第1センサーによって検知された障害物の種別が前記ユーザ以外の物体であるときに、
    前記ロボットが自律的に前記障害物を回避できる状況であると否かを問わず、
    前記障害物を除去して欲しいことを示す前記第1行動を決定する、
    ロボット。
  2. 前記プロセッサは、
    前記第1センサーが前記障害物を検知したときに前記ロボットが実行している前記行動種別が、前記ロボットが前記ユーザに向かって移動する行動であり、かつ、前記第1センサーによって検知された障害物の種別が前記ユーザであるときに、
    前記ユーザとの対話を誘発する前記第1行動を決定する、
    請求項1に記載のロボット。
  3. 前記プロセッサは、
    前記第1センサーが前記障害物を検知したときに前記ロボットが実行している前記行動種別が、前記ロボットが充電台に向かって移動する行動であり、かつ、前記第1センサーによって検知された障害物の種別が前記ユーザ以外の物体であるときに、
    前記障害物を回避する前記第2行動を決定する、
    請求項1又は2に記載のロボット。
  4. 前記プロセッサは、
    前記第1センサーが前記障害物を検知したときに前記ロボットが実行している前記行動種別が、前記ロボットが充電台に向かって移動する行動であり、かつ、前記第1センサーによって検知された障害物の種別が前記ユーザであるときに、
    前記ロボットを前記充電台に移動させて欲しいことを示す前記第1行動を決定する、
    請求項1~のいずれか1項に記載のロボット。
  5. 前記プロセッサは、
    前記第1センサーが前記障害物を検知したときに前記ロボットが実行している前記行動種別が、前記ロボットがランダムに移動する行動であり、かつ、前記第1センサーによって検知された障害物の種別が前記ユーザ以外の物体であるときに、
    前記障害物を回避する前記第2行動を決定する、
    請求項1~のいずれか1項に記載のロボット。
  6. 前記プロセッサは、
    前記第1センサーが前記障害物を検知したときに前記ロボットが実行している前記行動種別が、前記ロボットがランダムに移動する行動であり、かつ、前記第1センサーによって検知された障害物の種別が前記ユーザであるときに、
    前記ユーザとの対話を誘発する前記第1行動を決定する、
    請求項1~のいずれか1項に記載のロボット。
  7. 前記プロセッサは、
    前記第1センサーが前記障害物を検知したときに前記ロボットが実行している前記行動種別が、前記ロボットが前記ユーザと対話する行動であり、かつ、前記第1センサーによって検知された障害物の種別が前記ユーザ以外の物体であるときに、
    前記障害物を除去して欲しいことを示す前記第1行動を決定する、
    請求項1~のいずれか1項に記載のロボット。
  8. 前記プロセッサは、
    前記第1センサーが前記障害物を検知したときに前記ロボットが実行している前記行動種別が、前記ロボットが前記ユーザと対話する際に前進する行動であり、かつ、前記第1センサーによって検知された障害物の種別が前記ユーザであるときに、
    前記ロボットが前記ユーザに近づいたことを喜ぶ前記第1行動を決定する、
    請求項1~のいずれか1項に記載のロボット。
  9. 前記プロセッサは、
    前記第1センサーが前記障害物を検知したときに前記ロボットが実行している前記行動種別が、前記ロボットがランダムに移動する行動であり、前記第1センサーによって検知された障害物の種別が前記ユーザであり、かつ、前記ユーザが成人であるときに、
    前記ロボットから離れて欲しいことを示す前記第1行動を決定する、
    請求項1~のいずれか1項に記載のロボット。
  10. 前記ロボット周辺の情報を取得するカメラと、
    前記ロボット周辺の音を取得するマイクと、
    前記ロボットが人間に触れられていることを検知するための第2センサーと、をさらに備え、
    前記プロセッサは、
    前記第1センサーが前記障害物を検知したときに前記ロボットが実行している前記行動種別が、前記ロボットが前記ユーザに向かって移動する行動、又は前記ロボットがランダムに移動する行動であり、前記第1センサーによって検知された障害物の種別が前記ユーザであり、かつ、前記カメラにより取得された情報、前記マイクにより取得された音、及び前記第2センサーの検知結果のいずれかに基づいて算出された前記ユーザとの接触量が閾値以上のときに、
    前記ロボットが、前記ユーザを回避する前記第2行動を決定する、
    請求項1~のいずれか1項に記載のロボット。
  11. 前記ロボットから離れて欲しいことを示す前記第1行動は、前記ロボットから離れて欲しいことを示す仕草を行うことを含む、
    請求項に記載のロボット。
  12. 音声を出力するスピーカーと、
    情報を表示するディスプレイと、をさらに備え、
    前記ロボットから離れて欲しいことを示す前記第1行動は、(i)前記ロボットから離れて欲しいことを示す音声を出力すること、及び、(ii)前記ロボットから離れて欲しいことを示す映像を出力すること、の少なくともいずれか一つを含む、
    請求項に記載のロボット。
  13. 音声を出力するスピーカーと、
    情報を表示するディスプレイと、をさらに備え、
    前記障害物を除去して欲しいことを示す前記第1行動は、前記障害物を除去して欲しいことを示す仕草を行うことを含む、
    請求項又はに記載のロボット。
  14. 音声を出力するスピーカーと、
    情報を表示するディスプレイと、をさらに備え、
    前記障害物を除去して欲しいことを示す前記第1行動は、(i)前記障害物を除去して欲しいことを示す音声を前記スピーカーから出力すること、及び、(ii)前記障害物を除去して欲しいことを示す情報を前記ディスプレイに表示すること、の少なくともいずれか一つを含む、
    請求項又はに記載のロボット。
  15. 前記ユーザとの対話を誘発する前記第1行動は、(i)前記ロボットを前記ユーザに接触させること、及び、(ii)前記ロボットを左右に揺らすこと、の少なくともいずれか一つを含む、
    請求項又はに記載のロボット。
  16. 音声を出力するスピーカーと、
    情報を表示するディスプレイと、
    前記ロボット周辺の音を取得するマイクと、をさらに備え、
    前記ユーザとの対話を誘発する前記第1行動は、(i)前記ユーザとの対話を誘発する音声を前記スピーカーから出力すること、(ii)前記ディスプレイを前記ユーザに向けること、及び、(iii)前記マイクを前記ユーザに向けること、の少なくともいずれか一つを含む、
    請求項又はに記載のロボット。
  17. 前記ロボットを前記充電台に移動させて欲しいことを示す前記第1行動は、前記ロボットを充電台に移動させて欲しいことを示す仕草を行うことを含む、
    請求項に記載のロボット。
  18. 音声を出力するスピーカーと、
    情報を表示するディスプレイと、をさらに備え、
    前記ロボットを前記充電台に移動させて欲しいことを示す前記第1行動は、(i)前記ロボットを前記充電台に移動させて欲しいことを示す音声を、前記スピーカーから出力すること、及び、(ii)前記ロボットを前記充電台に移動させて欲しいことを示す情報を前記ディスプレイに表示すること、の少なくともいずれか一つを含む、
    請求項に記載のロボット。
  19. 前記ロボットが前記ユーザに近づいたことを喜ぶ前記第1行動は、(i)前記ロボット
    が前記ユーザに近づいたことを喜ぶことを示す仕草を行うことを含む、
    請求項に記載のロボット。
  20. 音声を出力するスピーカーと、
    情報を表示するディスプレイと、をさらに備え、
    前記ロボットが前記ユーザに近づいたことを喜ぶ前記第1行動は、(i)前記ロボットが前記ユーザに近づいたことを喜ぶことを示す音声を、前記スピーカーから出力すること、及び、(ii)前記ロボットが前記ユーザに近づいたことを喜ぶことを示す情報を前記ディスプレイに表示すること、の少なくともいずれか一つを含む、
    請求項に記載のロボット。
  21. ユーザと相互作用することによって相互に意思疎通するロボットの制御方法であって、
    障害物をセンサーにより検知し、
    複数の行動種別を予めメモリに記憶し、前記複数の行動種別のそれぞれは、前記ロボットに所定の行動を実行させるためのプログラムであり、
    前記ロボットが実行している行動種別を前記メモリに記憶し、
    前記センサーが前記障害物を検知したときに前記ロボットが実行している行動種別が、前記複数の行動種別のいずれであるかを前記メモリを参照することで判断し、
    前記センサーによって検知された前記障害物の種別が前記ユーザか前記ユーザ以外の物体であるかを判断し、
    前記センサーが前記障害物を検知したときに前記ロボットが実行している行動種別及び前記センサーによって検知された前記障害物の種別に基づいて、前記ユーザとの相互作用の機会を増やすための第1行動と、前記障害物に対応するための第2行動とのいずれかを決定し、
    前記ロボットを制御して、前記決定された行動を実行させ、
    前記センサーが前記障害物を検知したときに前記ロボットが実行している前記行動種別が、前記ロボットが前記ユーザに向かって移動する行動であり、かつ、前記センサーによって検知された障害物の種別が前記ユーザ以外の物体であるときに、
    前記ロボットが自律的に前記障害物を回避できる状況であると否かを問わず、
    前記障害物を除去して欲しいことを示す前記第1行動を決定する、
    ロボットの制御方法。
  22. ユーザと相互作用することによって相互に意思疎通するロボットであって、
    障害物を検知するための第1センサーと、
    メモリと、
    プロセッサと、を備え、
    前記メモリは、複数の行動種別を記憶しており、前記複数の行動種別のそれぞれは、前記ロボットに所定の行動を実行させるためのプログラムであり、
    前記メモリは、前記複数の行動種別のうち前記ロボットが実行している行動種別をさらに記憶し、
    前記プロセッサは、
    前記第1センサーが前記障害物を検知したときに前記ロボットが実行している行動種別が、前記複数の行動種別のいずれであるかを前記メモリを参照することで判断し、
    前記第1センサーによって検知された前記障害物の種別を判断し、
    前記第1センサーが前記障害物を検知したときに前記ロボットが実行している前記行動種別及び前記第1センサーによって検知された前記障害物の種別に基づいて、前記ユーザとの相互作用の機会を増やすための第1行動と、前記障害物に対応するための第2行動とのいずれかを決定し、
    前記ロボットを制御して、前記決定された行動を実行させ、
    前記第1センサーが前記障害物を検知したときに前記ロボットが実行している前記行動種別が、前記ロボットがランダムに移動する行動であり、前記第1センサーによって検知された障害物の種別が前記ユーザであり、かつ、前記ユーザが成人であるときに、前記ロボットから離れて欲しいことを示す前記第1行動を決定し、
    前記第1センサーが前記障害物を検知したときに前記ロボットが実行している前記行動種別が、前記ロボットがランダムに移動する行動であり、前記第1センサーによって検知された障害物の種別が前記ユーザであり、かつ、前記ユーザが子供であるときに、前記ユーザとの対話を誘発する前記第1行動を決定する、
    ロボット。
  23. ユーザと相互作用することによって相互に意思疎通するロボットの制御方法であって、
    障害物をセンサーにより検知し、
    複数の行動種別を予めメモリに記憶し、前記複数の行動種別のそれぞれは、前記ロボットに所定の行動を実行させるためのプログラムであり、
    前記ロボットが実行している行動種別を前記メモリに記憶し、
    前記センサーが前記障害物を検知したときに前記ロボットが実行している行動種別が、前記複数の行動種別のいずれであるかを前記メモリを参照することで判断し、
    前記センサーによって検知された前記障害物の種別が前記ユーザか前記ユーザ以外の物体であるかを判断し、
    前記センサーが前記障害物を検知したときに前記ロボットが実行している行動種別及び前記センサーによって検知された前記障害物の種別に基づいて、前記ユーザとの相互作用の機会を増やすための第1行動と、前記障害物に対応するための第2行動とのいずれかを決定し、
    前記ロボットを制御して、前記決定された行動を実行させ、
    前記センサーが前記障害物を検知したときに前記ロボットが実行している前記行動種別が、前記ロボットがランダムに移動する行動であり、前記センサーによって検知された障害物の種別が前記ユーザであり、かつ、前記ユーザが成人であるときに、前記ロボットから離れて欲しいことを示す前記第1行動を決定し、
    前記センサーが前記障害物を検知したときに前記ロボットが実行している前記行動種別が、前記ロボットがランダムに移動する行動であり、前記センサーによって検知された障害物の種別が前記ユーザであり、かつ、前記ユーザが子供であるときに、前記ユーザとの対話を誘発する前記第1行動を決定する、
    ロボットの制御方法。
  24. 請求項21又は23に記載のロボットの制御方法をコンピュータに実行させるためのプログラム。
JP2019051108A 2019-03-19 2019-03-19 ロボット、ロボットの制御方法及びプログラム Active JP7273566B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019051108A JP7273566B2 (ja) 2019-03-19 2019-03-19 ロボット、ロボットの制御方法及びプログラム
US16/740,856 US11969876B2 (en) 2019-03-19 2020-01-13 Robot and control method of robot
CN202010064972.2A CN111736585B (zh) 2019-03-19 2020-01-20 机器人以及机器人的控制方法
JP2023073597A JP7502520B2 (ja) 2019-03-19 2023-04-27 ロボット、ロボットの制御方法及びプログラム
US18/442,626 US20240190012A1 (en) 2019-03-19 2024-02-15 Robot and control method of robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019051108A JP7273566B2 (ja) 2019-03-19 2019-03-19 ロボット、ロボットの制御方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023073597A Division JP7502520B2 (ja) 2019-03-19 2023-04-27 ロボット、ロボットの制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2020151070A JP2020151070A (ja) 2020-09-24
JP7273566B2 true JP7273566B2 (ja) 2023-05-15

Family

ID=72515972

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019051108A Active JP7273566B2 (ja) 2019-03-19 2019-03-19 ロボット、ロボットの制御方法及びプログラム
JP2023073597A Active JP7502520B2 (ja) 2019-03-19 2023-04-27 ロボット、ロボットの制御方法及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023073597A Active JP7502520B2 (ja) 2019-03-19 2023-04-27 ロボット、ロボットの制御方法及びプログラム

Country Status (3)

Country Link
US (2) US11969876B2 (ja)
JP (2) JP7273566B2 (ja)
CN (1) CN111736585B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020213245A1 (ja) * 2019-04-16 2020-10-22 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP7268581B2 (ja) * 2019-11-07 2023-05-08 トヨタ自動車株式会社 車両、音響制御装置、及び音響制御プログラム
EP4260920A1 (en) * 2020-12-10 2023-10-18 Panasonic Intellectual Property Management Co., Ltd. Robot control method and information provision method
CN113934211A (zh) * 2021-10-13 2022-01-14 安徽淘云科技股份有限公司 一种控制方法及其相关设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003117866A (ja) 2001-10-16 2003-04-23 Nec Corp ロボット装置及びその制御方法
JP2003205483A (ja) 2001-11-07 2003-07-22 Sony Corp ロボットシステム及びロボット装置の制御方法
JP2004230480A (ja) 2003-01-28 2004-08-19 Sony Corp ロボット装置およびロボット制御方法、記録媒体、並びにプログラム
JP2005288573A (ja) 2004-03-31 2005-10-20 Honda Motor Co Ltd 移動ロボット
WO2009090807A1 (ja) 2008-01-16 2009-07-23 Nec Corporation 移動装置、移動装置の移動方法、及び移動装置の移動制御プログラム
CN106994690A (zh) 2017-04-28 2017-08-01 苏州商信宝信息科技有限公司 一种自动化智能牵引机器人的控制方法及其机器人
JP2018176383A (ja) 2017-04-19 2018-11-15 パナソニックIpマネジメント株式会社 相互作用装置、相互作用方法、相互作用プログラム及びロボット
JP2019005591A (ja) 2016-04-08 2019-01-17 Groove X株式会社 人見知りする自律行動型ロボット

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07325620A (ja) * 1994-06-02 1995-12-12 Hitachi Ltd 知能ロボット装置及び知能ロボットシステム
KR100729870B1 (ko) 2004-03-31 2007-06-18 혼다 기켄 고교 가부시키가이샤 이동체의 위치검지 시스템
KR20080075268A (ko) * 2007-02-12 2008-08-18 (주)아이티시에스 외부 자극에 반응하여 동작하는 로봇 완구
TW201038262A (en) * 2009-04-30 2010-11-01 Univ Nat Chiao Tung Interactive caretaking robot with the functions of obstacle avoidance and decision-making based on force-sensing
DE112011103155T5 (de) 2010-09-21 2013-07-18 Toyota Jidosha Kabushiki Kaisha Beweglicher Körper
US8818556B2 (en) 2011-01-13 2014-08-26 Microsoft Corporation Multi-state model for robot and user interaction
JP2014002514A (ja) 2012-06-18 2014-01-09 Panasonic Corp 移動体制御装置
JP5880498B2 (ja) 2013-08-09 2016-03-09 トヨタ自動車株式会社 自律移動体、障害物判別方法及び障害物回避方法
KR102326479B1 (ko) * 2015-04-16 2021-11-16 삼성전자주식회사 청소 로봇 및 그 제어 방법
US9684305B2 (en) * 2015-09-11 2017-06-20 Fuji Xerox Co., Ltd. System and method for mobile robot teleoperation
CN105182346A (zh) 2015-09-30 2015-12-23 长沙开山斧智能科技有限公司 一种复合障碍物扫描仪及其扫描方法
CN106182037A (zh) * 2016-09-06 2016-12-07 广东工业大学 一种家庭监护机器人及其系统
CN106324619A (zh) * 2016-10-28 2017-01-11 武汉大学 一种变电站巡检机器人自动避障方法
US10963493B1 (en) * 2017-04-06 2021-03-30 AIBrain Corporation Interactive game with robot system
JP6833601B2 (ja) * 2017-04-19 2021-02-24 パナソニック株式会社 相互作用装置、相互作用方法、相互作用プログラム及びロボット
US11684886B1 (en) * 2017-06-23 2023-06-27 AI Incorporated Vibrating air filter for robotic vacuums
JP6854719B2 (ja) * 2017-07-11 2021-04-07 パナソニック株式会社 装置、ロボット、方法及びプログラム
US11220008B2 (en) * 2017-07-18 2022-01-11 Panasonic Intellectual Property Management Co., Ltd. Apparatus, method, non-transitory computer-readable recording medium storing program, and robot
CN108818573A (zh) * 2018-09-11 2018-11-16 中新智擎科技有限公司 一种多功能服务机器人
AU2019404207B2 (en) * 2018-12-20 2023-12-14 Augean Robotics, Inc. Collaborative autonomous ground vehicle

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003117866A (ja) 2001-10-16 2003-04-23 Nec Corp ロボット装置及びその制御方法
JP2003205483A (ja) 2001-11-07 2003-07-22 Sony Corp ロボットシステム及びロボット装置の制御方法
JP2004230480A (ja) 2003-01-28 2004-08-19 Sony Corp ロボット装置およびロボット制御方法、記録媒体、並びにプログラム
JP2005288573A (ja) 2004-03-31 2005-10-20 Honda Motor Co Ltd 移動ロボット
WO2009090807A1 (ja) 2008-01-16 2009-07-23 Nec Corporation 移動装置、移動装置の移動方法、及び移動装置の移動制御プログラム
JP2019005591A (ja) 2016-04-08 2019-01-17 Groove X株式会社 人見知りする自律行動型ロボット
JP2018176383A (ja) 2017-04-19 2018-11-15 パナソニックIpマネジメント株式会社 相互作用装置、相互作用方法、相互作用プログラム及びロボット
CN106994690A (zh) 2017-04-28 2017-08-01 苏州商信宝信息科技有限公司 一种自动化智能牵引机器人的控制方法及其机器人

Also Published As

Publication number Publication date
US20240190012A1 (en) 2024-06-13
JP7502520B2 (ja) 2024-06-18
US20200298414A1 (en) 2020-09-24
US11969876B2 (en) 2024-04-30
CN111736585A (zh) 2020-10-02
JP2023095918A (ja) 2023-07-06
CN111736585B (zh) 2024-06-25
JP2020151070A (ja) 2020-09-24

Similar Documents

Publication Publication Date Title
JP7273566B2 (ja) ロボット、ロボットの制御方法及びプログラム
CN210155626U (zh) 信息处理装置
JP7400923B2 (ja) 情報処理装置および情報処理方法
JP5366048B2 (ja) 情報提供システム
US20230266767A1 (en) Information processing apparatus, information processing method, and program
JP7273538B2 (ja) 装置、方法、及びプログラム
US11780098B2 (en) Robot, robot control method, and recording medium
US11938625B2 (en) Information processing apparatus, information processing method, and program
JP7439826B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7327391B2 (ja) 制御装置、制御方法及びプログラム
US20220410023A1 (en) Information processing device, control method of the same, and program
KR20210017357A (ko) 로봇 및 그의 제어 방법
WO2021039190A1 (ja) 情報処理装置、その制御方法及びプログラム
WO2021039194A1 (ja) 情報処理装置、その制御方法及びプログラム
WO2021039191A1 (ja) 情報処理装置、その制御方法及びプログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200605

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230428

R151 Written notification of patent or utility model registration

Ref document number: 7273566

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151